JP2021044725A

JP2021044725A - 車両用表示装置

Info

Publication number: JP2021044725A
Application number: JP2019166066A
Authority: JP
Inventors: 軒介大澤; Kensuke Oosawa; 知彦成瀬; Tomohiko Naruse
Original assignee: Sakae Riken Kogyo Co Ltd
Current assignee: Sakae Riken Kogyo Co Ltd
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2021-03-18
Anticipated expiration: 2039-09-12
Also published as: JP7339821B2

Abstract

【課題】被牽引車がどのような形状に代わっても、確実に車両の左右後方を映し出すことが可能となる車両用表示装置を提供する。【解決手段】牽引車１０１に設けられたカメラ３Ｌ、３Ｒで車両左右後方を撮影し、制御部２は、その後方撮影映像の所定フレーム間Ｆ１、Ｆ０間で、描画情報が近似する描画近似領域の動きベクトルを特定し、その動きベクトルに基づいて、上記後方撮影映像の各フレームに設定される画面表示領域Ｔを移動させることにより、カメラ３Ｌ、３Ｒの撮影範囲Ｓ内での最適な画面表示範囲ＳＴをモニタ４Ｌ、４Ｒの画像表示できる。【選択図】図３

Description

本発明は、牽引車と被牽引車とを有した車両においてその車両の左右後方を表示するための車両用表示装置に関する。

近年、牽引車と被牽引車とを有した車両においてその車両の左右後方を表示するために、牽引車の左右にカメラを配置し、それぞれが撮影する映像を牽引車のサイドミラーや、牽引車の車室内左右に配置されたモニタに表示する技術がある。こうした技術では、車両がカーブを曲がるとき、撮影範囲内に被牽引車が大きく映り込み、車両の左右後方が表示されないという課題がある。これに対し、エッジ認識やパターン認識によって被牽引車の後端位置を特定することにより画面表示位置を変更し、確実に車両の左右後方を映し出す技術がある（特許文献１参照）。

特開２００１−３１０６７９号公報

しかしながら、こうした技術では、被牽引車の形状が異なるものに変更されると対応できなくなるという問題がある。例えば、直方体状の被牽引車が直方体とは異なる形のものに代わると、予め登録されているエッジ形状や形状パターンから外れてしまい、被牽引車の後端位置を特定できなくなってしまう。

本発明の課題は、被牽引車がどのような形状に代わっても、確実に車両の左右後方を映し出すことが可能となる車両用表示装置を提供することになる。

課題を解決するための手段及び発明の効果

上記課題を解決するために本発明の車両用表示装置は、
被牽引車を牽引可能な牽引車に設けられたカメラで車両左右後方を撮影する左右後方撮影手段と、
撮影された後方撮影映像の各フレーム内に画面表示領域を設定する画面表示領域設定手段と、
前記後方撮影映像の各フレームに設定される前記画面表示領域の画像を、車両左右後方映像としてモニタに画面表示する画面表示手段と、
を備える車両用表示装置において、
前記左右後方撮影手段に撮影された後方撮影映像の連続するフレーム間、あるいは所定コマ数おきに連続するフレーム間で、描画情報が近似する描画近似領域をそれぞれ特定し、その描画近似領域の動きベクトルを特定する動きベクトル特定手段を備え、
前記画面表示領域設定手段は、特定された前記動きベクトルに基づいて、前記後方撮影映像の各フレームに設定される前記画面表示領域を移動させることを特徴とする。

上記本発明によれば、被牽引車の動きに合わせて各フレームに設定される画面表示領域の位置が動くので、モニタには、車両の左右後方映像が確実に映し出される。

前記画面表示領域設定手段は、前記動きベクトル特定手段によって特定された前記動きベクトルに対しその水平方向成分を算出し、算出された水平方向成分に基づいて、前記後方撮影映像の各フレームに設定される前記画面表示領域を移動させることができる。この構成によれば、動きベクトル特定手段によって特定された動きベクトルに対して、高さ方向の成分を無視し、水平方向の成分だけに着目することにより、画面表示領域の設定処理が容易になる。

前記動きベクトル特定手段は、前記後方撮影映像の各フレームにおいて、直近で前記画面表示領域が設定されていた領域とその所定の周辺領域のみを対象にして前記描画近似領域を特定してその動きベクトルを特定する一方、残余領域での前記描画近似領域の特定を省略してその動きベクトルを特定しないようにできる。この構成によれば、被牽引車の表示領域を、後方撮影映像の各フレームの全体を対象にして特定するのではなく、各フレームの一部を対象にして特定すればよいので、処理負担を軽減できる。

本発明の車両用表示装置の一例を簡易的に示したブロック図。図１の車両用表示装置を搭載した車両の直線走行時と左曲がり走行時におけるカメラの撮影範囲を簡略的に示した平面図。図１の車両用表示装置を搭載した車両の直線走行時から左曲がり走行時にかけてのカメラの撮影範囲と、そのときモニタに画面表示される範囲を簡略的に示した正面図。モニタ表示制御の流れを示したフローチャート。画面表示領域の設定処理の流れを示したフローチャート。図１の制御部に含まれる各種処理部を示した図。画面表示領域の移動設定の原理を説明するための説明図。ブロック設定の処理の変形例を説明するための説明図。

以下、本発明の第一実施例について図面を用いて説明する。

図１に示す車両用表示装置１は、制御部２と、その制御部２に接続するカメラ３Ｌ、３Ｒ及びモニタ４Ｌ、４Ｒと、を有する。車両用表示装置１は、図２及び図３に示すような、牽引車１０１と、その牽引車１０１が牽引する被牽引車１０２と、を有した車両１００に搭載される。制御部２は、ＣＰＵや、ＲＯＭ、ＲＡＭ等の所定の記憶部を有した周知のマイクロコンピュータである。

カメラ３Ｌ、３Ｒは、図２及び図３に示すように、牽引車１０１の左右にそれぞれ配置され、左右それぞれの側から車両後方映像を撮影する。ここでのカメラ３Ｌ、３Ｒには、例えばその撮影範囲として広角の撮影範囲Ｓを有し、かつ６０ｆｐｓ（frame per second）の最大フレームレートを有した周知のＣＭＯＳカメラを採用できる。なお、図２の撮影範囲Ｓは車両１００の左側のみを図示しており、右側にも存在するものの図示は省略されている。また、図２は簡略的に描画されており、本発明のカメラ３Ｌ、３Ｒは上述の撮影範囲Ｓ及び最大フレームレートのものに限られるものではない。

モニタ４Ｌ、４Ｒは、図２及び図３に示すように、牽引車１０１において運転者の前方側の左右にそれぞれ配置され、対応する側のカメラ３Ｌ、３Ｒが撮影する後方撮影映像のうち、制御部２が画面表示領域Ｔとして切り出した領域内の映像を画面表示する。モニタ４Ｌ、４Ｒは、例えば牽引車１０１の車室内左右にそれぞれ配置される。なお、モニタ４Ｌ、４Ｒは、車室内のものではなく、牽引車１０１の車外左右に位置するサイドミラー１０３Ｌ、１０３Ｒに配置されるものでもよい。ここでのモニタ４Ｌ、４Ｒには、周知の液晶ディスプレイ等を採用できる。

ところで、図２に示すように、牽引車１０１と被牽引車１０２とを有した車両１００では、牽引車１０１にカメラ３Ｌ、３Ｒを搭載して車両後方を撮影すると、右左折時において、図２（ｂ）に示すように、被牽引車１０２が大きく映り込んで車両後方の視野を確保することが難しい。このため本実施例では、図３に示すように、車両後方を水平方向に広い撮影範囲Ｓを有するカメラ３Ｌ、３Ｒを用い、その撮影範囲Ｓ内のうち画面表示範囲ＳＴ内をモニタ４Ｌ、４Ｒに画面表示する場合に、撮影範囲Ｓ内で画面表示範囲ＳＴを移動させることにより、被牽引車１０２が大きく映り込まないようにする。具体的にいえば、図７に示すように、カメラ３Ｌ、３Ｒの撮影映像内において上記画面表示範囲ＳＴに相当する画面表示領域Ｔを設定する場合に、その画面表示領域Ｔ内で被牽引車１０２が写る領域Ｄ（後述するベクトル一致領域）が大きく占有しないよう移動させる形で設定する。これにより、車両１００の右左折時であっても、車両後方映像を被牽引車１０２に大きく遮られることのなくモニタ４Ｌ、４Ｒに映し続けることができる。

以下では、車両左右の後方映像を確実に画面表示するために画面表示領域の移動を実行する画面表示制御について、図４のフローチャートと図６のブロック図を用いて詳細に説明する。

なお、ここでは、カメラ３Ｌの画像をモニタ４Ｌに画面表示する制御について説明するが、カメラ３Ｒの画像をモニタ４Ｒに画面表示する制御についても、同様にしてなされる。

制御部２は、車両の電源のＯＮに伴い図４の画面表示制御を開始して、カメラ３Ｌ、３Ｒ及びモニタ４Ｌ、４Ｒを起動し、撮影及び画面表示を開始させる。これにより制御部２は、図６のカメラ画像入力部２１においてカメラ３Ｌの撮影映像をなす最新のフレームの入力を受けると（Ｓ１：左右後方撮影手段）、図６の画面表示領域設定部２７において、その最新のフレームに対し画面表示領域Ｔを設定し（Ｓ２：画面表示領域設定手段）、図６の画像表示部２８において、設定された画面表示領域Ｔ内の画像を切り出して対応するモニタ４Ｌに出力し、その切り出し画像を画面表示させる（Ｓ３：画面表示手段）。これらの処理（Ｓ１〜Ｓ３）は、フレームの入力を受けるたびに繰り返し実行され、これにより、モニタ４Ｌには、車両後方映像として、各フレームにおいて設定された画面表示領域Ｔ内の画像が連続して画面表示される。なお、図４の画面表示制御は、例えば電源のＯＦＦ（Ｓ４：Ｙｅｓ）に伴い、カメラ３Ｌ、３Ｒ及びモニタ４Ｌ、４Ｒを起動停止させる形で終了することができる。

一方、制御部２は、カメラ３Ｌの撮影映像をなす最新のフレームの入力を受けると、そのフレームをフレームバッファ２２に記憶し、記憶したフレームを、それよりも後に入力されてくるフレームに対し画面表示領域Ｔを設定するために使用する。以下、その画面表示領域Ｔの設定処理について、図５のフローチャートと図６のブロック図を用いて具体的に説明する。

Ｓ３の画面表示領域Ｔの設定処理（画面表示領域設定手段）が実行されると、制御部２は、まずは現在処理対象とされている最新のフレームＦ１（図７下図参照）が、Ｓ３７での画面表示領域Ｔの設定が既に実行された直近のフレームＦ０から所定コマ数後のフレームであるか否かを判定する（Ｓ３１）。フレームＦ１がフレームＦ０の所定コマ数後のフレームでなければ（Ｓ３１：Ｎｏ）、制御部２は、直前のフレーム（図示無し）と同じ位置に画面表示領域Ｔを設定する（Ｓ３８）。

フレームＦ１がフレームＦ０の所定コマ数後のフレームであった場合（Ｓ３１：Ｙｅｓ）、制御部２は、フレームＦ１とフレームＦ０との間で、描画情報が近似する描画近似領域をそれぞれ特定し、その描画近似領域の動きベクトルＣを特定する（Ｓ３２、Ｓ３３：動きベクトル特定手段）。

具体的にいえば、制御部２は、動きベクトル検出部２３において、図７（ｂ）に示すように、現在処理対象とされているフレームＦ１を複数のブロックＡ（ここではブロックＡの一部であるブロックＡ１〜Ａ７を図示）に区分するとともに、区分された各ブロックＡの位置情報及び特徴情報とを対応付けたブロック情報を、所定の記憶部（ブロック情報記憶部）に記憶する（Ｓ３２：ブロック情報記憶手段）。ここでは、フレームＦ１全体を格子状に区分する形で複数のブロックＡを設定し、フレームＦ１内における各ブロックＡの位置情報、特徴情報（色情報、輝度情報等）をブロック情報として所定の記憶部（ブロック情報記憶部）に記憶する。

続いて制御部２は、動きベクトル検出部２３において、Ｓ３７での画面表示領域Ｔの設定を実行した直近のフレームＦ０（図７（ａ）参照）に設定された各ブロックＢ（ここではその一部であるブロックＢ１〜Ｂ７を図示）のブロック情報を所定の記憶部（ブロック情報記憶部）から読み出す。そして、それらフレームＦ１、Ｆ０間（所定フレーム間）において、特徴情報が一致するブロックＡ、Ｂを同一のブロック（描画近似領域）として特定し、特定された同一のブロックＡ、Ｂ（描画近似領域）の動きベクトルＣを、現在処理対象とされているフレームＦ１の動きベクトルＣとして算出する（Ｓ３３：動きベクトル算出手段）。

なお、動きベクトルＣとは、前後のフレームＦ０、Ｆ１において特徴情報が一致するブロックＢ、Ａのうち、前のフレームＦ０の時の位置から、後のフレームＦ１の時の位置に向かう位置ベクトルのことである。図７では、ブロックＡ１−Ｂ１、Ａ２−Ｂ２、Ａ３−Ｂ３、Ａ４−Ｂ４、Ａ５−Ｂ５、Ａ６−Ｂ６、Ａ７−Ｂ７のペアがそれぞれ同一ブロックとして特定されており、それらに対し動きベクトルＣ１〜Ｃ７が図示されている。ただし、Ｃ４は、Ａ４とＢ４の位置に変化が無いため図示していない。

次に制御部２は、特定された動きベクトルが略一致するベクトル一致領域を特定する（ベクトル一致領域特定手段）。なお、ここでいう略一致とは、向きと大きさの違いが５％以下のものとするが、この数値は被牽引車１０２の形状やカメラ３Ｌ、３Ｒの最大フレームレート等に応じて変更できるようにしてもよい。ここでの制御部２は、動き相関検出部２４において、算出された動きベクトルＣが所定の誤差範囲内で一致するブロックＡ（ベクトル一致領域）を特定するとともに、一致したブロックＡのうち一致した数が最も多かったブロックＡが占める領域を、被牽引車１０２が写し出されたベクトル一致領域Ｄ（被牽引車領域）として特定する（Ｓ３４、Ｓ３５：最多一致ブロック特定手段）。図３に示すように、カメラ３Ｌが撮影する被牽引車１０２の映像は、前後のフレームＦ０、Ｆ１の間（所定フレーム間）で、基本的には全体が略水平方向に一定量だけ移動する。これに対し背景の映像は、水平方向だけでなく垂直方向にも移動量を有していたり、水平方向にのみ移動量を有していた場合でも被牽引車１０２とは異なる移動量を有する。このため、前後のフレームＦ０、Ｆ１の間で一定量だけ移動したブロック群を特定することにより、そのブロック群をベクトル一致領域Ｄとして特定することができる。ここでは図７（ｂ）に示すように、現在処理対象とされているフレームＦ１においてロックＡ１、Ａ２、Ａ３がベクトル一致領域Ｄとして特定され、図７（ａ）に示すように、Ｓ３７での画面表示領域Ｔの設定を実行した直近のフレームＦ０では、ブロックＢ１、Ｂ２、Ｂ３がベクトル一致領域Ｄとして特定されている。

さらに制御部２は、特定されたベクトル一致領域Ｄの動きベクトルに基づいて、現在処理対象のフレームＦ１に画面表示領域Ｔを設定する（Ｓ３５〜Ｓ３７）。具体的にいえば、制御部２は、特定されたベクトル一致領域Ｄの動きベクトルに対しその水平方向成分Ｐを算出し、算出された水平方向成分Ｐに基づいて、フレームＦ１に画面表示領域Ｔを設定する。ここでの制御部２は、まずは動き水平成分分離部２５において、前後のフレームＦ０、Ｆ１の間（所定フレーム間）におけるベクトル一致領域Ｄの水平方向の動きベクトルＰを取得する（Ｓ３５：水平ベクトル取得手段）。具体的にいえば、動き水平成分分離部２５において、最多一致数と特定された各ブロックＡの動きベクトルＣの水平方向成分Ｃｘの平均値を、ベクトル一致領域Ｄの水平方向の動きベクトルＰとして算出する。ここでは、図７に示すように、最多一致数と特定された各ブロックＡの動きベクトルＣは、Ｃ１、Ｃ２、Ｃ３である。それらの動きベクトルＣ１、Ｃ２、Ｃ３はそれぞれほぼ水平なベクトルであり、互いにほぼ一致しているといえるが、わずかなずれを有する可能性があるため、Ｃ１、Ｃ２、Ｃ３の水平方向成分Ｃｘ１、Ｃｘ２、Ｃｘ３の平均値を算出し、これをＤの水平方向の動きベクトルＰとして算出する。続いて制御部２は、水平移動画素算出部２６において、算出された水平方向の動きベクトルＰを、フレームＦ１内で画面表示領域Ｔを水平方向に移動させる際の画素移動量に換算する（Ｓ３６）。そして、その算出結果に基づいて制御部２は、画面表示領域設定部２７において、フレームＦ０に設定された画面表示領域Ｔを、算出された移動画素数の分だけ水平方向に移動した位置で、フレームＦ１に新たな画面表示領域Ｔを設定する（Ｓ３７）。なお、画面表示領域Ｔの形状・大きさの変更は生じない。

このように、図５に示す画面表示領域Ｔの設定処理によれば、所定フレーム間において、被牽引車１０２が移動した量と同じ量だけ画面表示領域Ｔを移動して設定するから、カメラ３Ｌが撮影した車両後方映像の中から、被牽引車１０２に大きく遮られることのない領域の画像を、モニタ４Ｌに常に表示することができる。これにより、車両後方の視野を確実に確保することができる。

以上、本発明の一実施例を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではない。例えば上記第一実施例において一部の構成要件を省略する、さらには他の構成要件を追加する等、当業者の知識に基づく種々の変更が可能である。

以下、本発明の他の実施例及び変形例について説明する。なお、上記実施例と共通の機能部や同様の機能部については、同一の符号を付すことにより詳細な説明を省略する。また、上記実施例と下記実施例及び変形例は、技術的な矛盾を生じない範囲において適宜組み合わせて実施できる。

上記実施例においては、動きベクトルが略一致するベクトル一致領域を特定し、そこから被牽引車両１０２が写るベクトル一致領域Ｄを特定するという二段階の処理を実行しているが、前者のベクトル一致領域の特定のみを実行とし、後者の、被牽引車１０２が写るベクトル一致領域の特定を省略した一段階の処理としてもよい。一段階の場合、前者のベクトル一致領域の動きベクトルＰに基づいて、後方撮影映像の各フレームに画面表示領域Ｔを設定することになる。

上記実施例においては、カメラ３Ｌ、３Ｒに撮影された後方撮影映像の、所定コマ数おき（例えば１コマおき）に連続するフレーム間で描画近似領域Ａ、Ｂをそれぞれ特定し、その動きベクトルＣ１、Ｃ２、Ｃ３を特定しているが、カメラ３Ｌ、３Ｒに撮影された後方撮影映像の連続するフレーム間で描画近似領域Ａ、Ｂをそれぞれ特定し、その動きベクトルＣ１、Ｃ２、Ｃ３を特定してもよい。

上記実施例において、各フレームＦ１、Ｆ０内でのブロックＢ、Ａの設定は、格子状に設定されているが、他の方法でもよく、例えば色情報や輝度情報等の特徴情報が所定範囲内で一致するその範囲全体を１ブロックとするような形で設定してもよい。

上記実施例において、図５のＳ３２の処理は、図４のＳ３の処理で処理対象とされているフレーム全体を対象にしてブロック設定をしているが、図８に示すように、例えばフレームＦ内において、直近で設定された画面表示領域Ｔとその所定の周辺領域Ｕのみを対象に、ブロック設定（ブロック区分）を行い、残余領域でのブロック設定を省略してもよい。

また、上記実施例の変形例として、制御部２が、牽引車１０１と被牽引車１０２とが車両前後方向において直線的に連結されているか否かを判定し（直線連結判定手段）、直線的に連結されている場合に、画面表示領域Ｔを、図４のＳ３による設定位置を無効にして、フレーム内の予め定められたデフォルト位置に強制設定するようにしてもよい（デフォルト位置設定手段）。

具体的にいえば、図１に示すように、牽引車１０１と被牽引車１０２との相対角度を連結角度θ（図２参照）として検出する連結角度検出部５を、制御部２に接続した形で設け、制御部２は、牽引車１０１と被牽引車１０２の連結角度θを検出する（連結角度検出手段）。連結角度検出部５には、例えば周知のエンコーダ等を採用できる。そして、制御部２は、連結角度θの検出結果に基づいて、連結角度θが１８０度（図２（ａ）参照）であると判定した場合に、牽引車１０１と被牽引車１０２とが車両前後方向において直線的に連結されていると判断できるから、画面表示領域Ｔを予め定められたデフォルト位置に強制設定する。デフォルト位置としては、例えば図３の上図の画面表示範囲ＳＴと同じ位置に設定しておくことができる。また、制御部２は、連結角度θの検出結果に基づいて、連結角度θが１８０度より小さい場合（牽引車１０１に対し被牽引車１０２が左側に位置する場合：（図２（ｂ）参照）には、右側のカメラ３Ｒが撮影する撮影映像に設定する画面表示領域Ｔを上記のデフォルト位置に強制設定し、連結角度θが１８０度より大きい場合（牽引車１０１に対し被牽引車１０２が右側に位置する場合：図示無し）には、左側のカメラ３Ｌが撮影する撮影映像に設定する画面表示領域Ｔを上記のデフォルト位置に強制設定する。

１車両用表示装置
１００車両
１０１牽引車
１０２被牽引車
３Ｌ、３Ｒカメラ
Ｆ０、Ｆ１フレーム
Ａ（Ａ１〜Ａ７）、Ｂ（Ｂ１〜Ｂ７）ブロック（描画近似領域）
Ｃ各ブロックの動きベクトル
Ｄベクトル一致領域
Ｐベクトル一致領域Ｄの水平方向の動きベクトル
Ｓ撮影範囲
Ｔ画面表示領域

Claims

被牽引車を牽引可能な牽引車に設けられたカメラで車両左右後方を撮影する左右後方撮影手段と、
撮影された後方撮影映像の各フレーム内に画面表示領域を設定する画面表示領域設定手段と、
前記後方撮影映像の各フレームに設定される前記画面表示領域の画像を、車両左右後方映像としてモニタに画面表示する画面表示手段と、
を備える車両用表示装置において、
前記左右後方撮影手段に撮影された後方撮影映像の連続するフレーム間、あるいは所定コマ数おきに連続するフレーム間で、描画情報が近似する描画近似領域をそれぞれ特定し、その描画近似領域の動きベクトルを特定する動きベクトル特定手段を備え、
前記画面表示領域設定手段は、特定された前記動きベクトルに基づいて、前記後方撮影映像の各フレームに設定される前記画面表示領域を移動させることを特徴とする車両用表示装置。
前記画面表示領域設定手段は、前記動きベクトル特定手段によって特定された前記動きベクトルに対しその水平方向成分を算出し、算出された水平方向成分に基づいて、前記後方撮影映像の各フレームに前記画面表示領域を設定する請求項１に記載の車両用表示装置。
前記動きベクトル特定手段は、前記後方撮影映像の各フレームにおいて、直近で前記画面表示領域が設定されていた領域とその所定の周辺領域のみを対象にして前記描画近似領域を特定してその動きベクトルを特定する一方、残余領域での前記描画近似領域の特定を省略してその動きベクトルを特定しない請求項１又は請求項２に記載の車両用表示装置。