JP2017069846A - Display control device - Google Patents
Display control device Download PDFInfo
- Publication number
- JP2017069846A JP2017069846A JP2015195111A JP2015195111A JP2017069846A JP 2017069846 A JP2017069846 A JP 2017069846A JP 2015195111 A JP2015195111 A JP 2015195111A JP 2015195111 A JP2015195111 A JP 2015195111A JP 2017069846 A JP2017069846 A JP 2017069846A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- display area
- image
- bird
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、車両の表示制御装置に関する。 Embodiments described herein relate generally to a vehicle display control apparatus.
従来、車両に設置されたカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。その際に、周辺の環境を認識しやすいように、俯瞰視点で車両の周辺の地面を表した鳥瞰図画像データを生成する技術が提案されている。そして、車両の周辺を撮像した撮像画像データと、鳥瞰図画像データと、を組み合わせて表示する技術が提案されている。 2. Description of the Related Art Conventionally, there is a technology for providing a driver with image data captured as a surrounding environment of a vehicle with a camera installed in the vehicle. At that time, a technique for generating bird's-eye view image data representing the ground around the vehicle from a bird's-eye view is proposed so that the surrounding environment can be easily recognized. And the technique of displaying combining the picked-up image data which imaged the periphery of the vehicle, and bird's-eye view image data is proposed.
しかしながら、車両の周辺を撮像した撮像画像データは、車両のどのあたりを撮像しているのか、運転者が把握しにくい場合もある。また、どのあたりを撮像しているのかを示したアイコン等を鳥瞰図画像データに重畳すると、鳥瞰図画像データに示された車両の周辺の地面が見にくくなるという問題が生じる。 However, the captured image data obtained by imaging the periphery of the vehicle may be difficult for the driver to know which part of the vehicle is being captured. In addition, when an icon or the like indicating where the image is captured is superimposed on the bird's eye view image data, there is a problem that it is difficult to see the ground around the vehicle indicated in the bird's eye view image data.
実施形態の車両の表示制御装置は、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する取得部と、撮像画像データに基づいて生成された、俯瞰視点で車両の周辺を表した鳥瞰図画像を含む第1の表示領域と、撮像画像データに基づいた、車両から第1の方向の視界を表した第2の表示領域と、第1の表示領域に含まれた鳥瞰図画像の縮小画像に、第2の表示領域に表されている第1の方向の視界の範囲を示した画像を重畳した第3の表示領域と、を表示する表示部と、を備える。これにより、一例として、鳥瞰図画像による車両の周囲の状況を表示すると共に、第2の表示領域に表示されている視界の範囲と車両の周囲の状況との対応関係を把握できるため、ユーザの操舵負担を軽減できる。 The vehicle display control apparatus according to the embodiment includes an acquisition unit that acquires captured image data output from an imaging unit that images a periphery of the vehicle, and an overhead view generated based on the captured image data. The first display area including a bird's eye view image representing the periphery of the vehicle, the second display area representing the field of view from the vehicle in the first direction based on the captured image data, and the first display area A display unit for displaying a third display region in which a reduced image of the bird's eye view image is superimposed with an image showing the range of the field of view in the first direction represented in the second display region. Accordingly, as an example, the situation around the vehicle can be displayed by a bird's eye view image, and the correspondence between the field of view displayed in the second display area and the situation around the vehicle can be grasped. The burden can be reduced.
また、実施形態の車両の表示制御装置は、表示部が、さらに、俯瞰視点の変更が行われる毎に、第1の表示領域に、変更された俯瞰視点で車両の周辺を表した鳥瞰図画像を表示し、第3の表示領域に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、第2の表示領域に表されている第1の方向の視界の範囲を示した画像を重畳して表示する。これにより、一例として、俯瞰視点の変更された場合に、当該俯瞰視点に応じた表示を実現できるため、ユーザが周辺の状況の把握が容易になる。 In the vehicle display control apparatus according to the embodiment, the display unit further displays a bird's-eye view image representing the periphery of the vehicle from the changed overhead view point in the first display area every time the overhead view point is changed. And displaying an image showing the range of the field of view in the first direction represented in the second display area on the reduced image of the bird's-eye view image based on the changed overhead view in the third display area. To do. Accordingly, as an example, when the overhead view point is changed, display according to the overhead view point can be realized, so that the user can easily understand the surrounding situation.
また、実施形態の車両の表示制御装置は、表示部が、さらに、俯瞰視点の変更が行われる毎に、第1の表示領域に、変更された俯瞰視点で車両の周辺を表した画像と共に、当該俯瞰視点から参照可能な車両の形状を重畳して表示し、第3の表示領域に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、当該俯瞰視点から参照可能な車両の形状を重畳して表示する。これにより、一例として、ユーザは、車両の周辺の状況の把握が容易になる。 In addition, the display control device for a vehicle according to the embodiment further includes an image representing the periphery of the vehicle from the changed overhead view point in the first display area every time the display unit further changes the overhead view point. The shape of the vehicle that can be referred to from the overhead view is displayed in a superimposed manner, and the shape of the vehicle that can be referenced from the overhead view is superimposed on the reduced image of the bird's eye view image from the changed overhead view in the third display area. To display. Thereby, as an example, the user can easily grasp the situation around the vehicle.
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。 Hereinafter, exemplary embodiments of the present invention are disclosed. The configuration of the embodiment shown below and the operations, results, and effects brought about by the configuration are examples. The present invention can be realized by configurations other than those disclosed in the following embodiments, and at least one of various effects based on the basic configuration and derivative effects can be obtained. .
(第1の実施形態)
第1の実施形態の車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
(First embodiment)
The vehicle 1 of the first embodiment may be, for example, an automobile having an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an automobile having an electric motor (not shown) as a drive source, that is, an electric vehicle, It may be a fuel cell vehicle or the like, a hybrid vehicle using both of them as drive sources, or a vehicle equipped with other drive sources. Further, the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted. In addition, the method, number, layout, and the like of the device related to driving of the
図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4や、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。
As illustrated in FIG. 1, the
また、車室2a内には、表示出力部としての表示装置8や、音声出力部としての音声出力装置9が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向すなわち左右方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
In addition, a
また、車室2a内には、表示装置8とは別の表示装置12が設けられている。この表示装置12には、主として車両1の駐車支援に関する情報を示す画像が表示されうる。表示装置12で表示される情報量は、表示装置8で表示される情報量より少なくてもよい。表示装置12は、例えば、LCDや、OELD等である。なお、表示装置8に、表示装置12で表示される情報が表示されてもよい。
Further, a
また、図1,2に例示されるように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。これら四つの車輪3は、いずれも転舵可能に構成されうる。図3に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(electronic control unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。
As illustrated in FIGS. 1 and 2, the vehicle 1 is, for example, a four-wheeled vehicle, and includes two left and right
また、図1,2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで動画データを出力することができる。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜190°の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている。よって、撮像部15は、車両1が移動可能な路面や車両1が駐車可能な領域を含む車体2の周辺を逐次撮影し、撮像画像データとして出力する。
As illustrated in FIGS. 1 and 2, the
撮像部15aは、例えば、車体2の後側の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパー等に設けられている。撮像部15dは、例えば、車体2の左側、すなわち車幅方向の左側の端部2dに位置され、左側の突出部としてのドアミラー2gに設けられている。ECU14は、複数の撮像部15で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な鳥瞰図画像を生成したりすることができる。なお、鳥瞰図画像は、俯瞰画像や平面画像とも称されうる。
The
また、ECU14は、撮像部15の画像から、車両1の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出(抽出)する。
Further, the ECU 14 identifies the lane markings and the like indicated on the road surface around the vehicle 1 from the image of the
また、図1に例示されるように、車体2には、複数の測距部16,17として、例えば四つの測距部16a〜16dと、八つの測距部17a〜17hとが設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ECU14は、測距部16,17の検出結果により、車両1の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部16,17は、物体を検出する検出部の一例である。なお、測距部17は、例えば、比較的近距離の物体の検出に用いられ、測距部16は、例えば、測距部17よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部17は、例えば、車両1の前方および後方の物体の検出に用いられ、測距部16は、車両1の側方の物体の検出に用いられうる。
As illustrated in FIG. 1, the
また、図3に例示されるように、運転支援システム100では、ECU14や、モニタ装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16、測距部17、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。
As exemplified in FIG. 3, in the driving
ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8,12で表示される画像に関連した画像処理や、車両1の移動目標位置の決定、車両1の移動経路の演算、物体との干渉の有無の判断、車両1の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
The ECU 14 includes, for example, a
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。
The
舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。
The
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。
The
シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
The
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果をブレーキシステム18を介して取得する。
The
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。 The configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are examples, and can be set (changed) in various ways.
次に、ECU14内に実現される周辺監視部140の構成について説明する。周辺監視部140は、図4に示すように、データ取得部141、鳥瞰図画像生成部142と、画像処理部143と、表示処理部144と、を備える。
Next, the configuration of the
データ取得部141は、撮像部15から出力された撮像画像データ、操作入力部10及び操作部14g等の操作入力による信号のような種々の情報を取得する。
The
鳥瞰図画像生成部142は、データ取得部141が取得した撮像画像データに基づいて、車両1周辺の上方の俯瞰視点から、車両1の周辺を表した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。本実施形態の鳥瞰図画像生成部142は、撮像画像データを取得する毎に鳥瞰図画像データの生成を行う。これにより、現在の状況を表した鳥瞰図画像データを表示できる。
The bird's-eye view
画像処理部143は、表示装置8や表示装置12に表示するための画像を生成する。
The
図5は、本実施形態の画像処理部143が、表示装置8や表示装置12に表示するために生成する画像データを例示した図である。図5に示されるように、画像データ500は、第1の表示領域501と、第2の表示領域502と、第3の表示領域503と、を組み合わせて生成されている。
FIG. 5 is a diagram illustrating image data generated by the
第1の表示領域501は、鳥瞰図画像生成部142が生成した、俯瞰視点で車両1周辺を表した鳥瞰図画像データを表示するための表示領域とする。本実施形態の鳥瞰図画像データは、車両1の中心から、地面に対して垂直方向に所定距離だけ離れた位置に俯瞰視点を配置した例について説明する。なお、俯瞰視点は、本実施形態で配置した位置に制限するものではなく、実施態様に応じて適切な位置に配置されるものとする。
The
第2の表示領域502は、撮像画像データに基づいた、車両1から所定の方向の視界を表示するための表示領域とする。所定の方向とは、運転者による操作や、車両1の状況に応じて、選択される方向であって、実施態様に応じて定められる方向とする。例えば、車両1が後進する場合には、所定の方向が後ろ方向となる。第2の表示領域502には、第1の表示領域501の鳥瞰図画像データと比べて、車両1から遠方の環境まで表示される。これにより、運転者は、当該方向に車両を進めても良いか確認できる。
The
第3の表示領域503は、第1の表示領域501に含まれた鳥瞰図画像の縮小画像に、第2の表示領域502に表されている、車両1から所定の方向の視界の範囲を示した画像511を重畳表示するための表示領域とする。鳥瞰図画像を縮小画像にする縮小率は、第1の表示領域501と第3の表示領域503との比率に応じて定められるものとする。
The
また、所定の方向の視界の範囲を示した画像511は、所定の方向の視界の範囲を表した画像であればよく、例えば、当該範囲の輪郭を示した画像や、当該範囲を半透明で表すことで地面が視認できる画像であっても良い。
Further, the
本実施形態の画像処理部143は、鳥瞰図画像生成部142が生成した鳥瞰図画像データを第1の表示領域501に割り当て、撮像画像データに基づいた所定の方向の視界が表された撮像画像データを第2の表示領域502に割り当て、鳥瞰図画像データの縮小画像データ上に、所定の方向の視界の範囲を示した画像511を重畳して第3の表示領域503に割り当てた、画像データを生成する。
The
表示処理部144は、画像処理部143により生成された画像データを、表示装置8や表示装置12に表示する処理を行う。画像処理部143により生成された画像データの出力先は、運転者が参照可能な表示装置であればよく、運転者の操作に応じて、表示装置8や表示装置12に表示可能とする。
The
ところで、第2の表示領域502に表示されている視界の範囲を示した画像を、第1の表示領域501に割り当てられた鳥瞰図画像データに重畳することもできる。しかしながら、視界の範囲を示した画像を、第1の表示領域501に割り当てられた鳥瞰図画像データに重畳した場合に、鳥瞰図画像データの一部の領域が、視界の範囲を示した画像に遮られる。このため、運転者は、当該一部の領域の地面の状況を把握するのが難しくなる可能性がある。
By the way, an image showing the range of the field of view displayed in the
そこで、本実施形態では、地面が表された縮小画像データ(縮小された鳥瞰図画像データ)に、第2の表示領域502に割り当てられた視界の範囲を示した画像を重畳した。これにより、運転者は、第1の表示領域501に割り当てられた鳥瞰図画像データを参照することで、画像等に遮られることなく、周囲の状況を認識できると共に、第3の表示領域503を参照することで、運転者は、第2の表示領域502の範囲を直感的に認識することが可能となる。
Therefore, in the present embodiment, an image showing the field of view assigned to the
また、第3の表示領域503は、第1の表示領域501に表示した鳥瞰図画像データの縮小画像のため、車両の周囲の状況が表されている。そして、周囲の状況が示された縮小画像に、第2の表示領域502に表示されている視界の範囲を示す画像511を重畳することで、運転者は、当該視界の範囲と周囲の状況との対応関係を把握できる。
Further, the
つまり、本実施形態では、第2の表示領域502に表示されている視界の範囲を示した画像を、第1の表示領域501に重畳されるのを抑止した上で、縮小画像データに、当該視界の範囲を示した画像を重畳しているので、鳥瞰図画像データによる車両1の周辺の地面の状況の認識と、当該視界の範囲及び車両1の周囲の地面の相対的な位置関係の認識と、の両立を実現できる。
In other words, in the present embodiment, the image showing the range of the field of view displayed in the
(第2の実施形態)
第1の実施形態では、鳥瞰図画像データの俯瞰視点を、車両1の中心から、地面に対して垂直方向に所定の距離だけ離れた位置に配置した例について説明した。しかしながら、俯瞰視点を当該位置に配置する手法に制限するものではない。そこで、第2の実施形態では、俯瞰視点の位置を変更可能な場合について説明する。
(Second Embodiment)
In the first embodiment, the example in which the bird's-eye view viewpoint of the bird's-eye view image data is arranged at a position away from the center of the vehicle 1 by a predetermined distance in the direction perpendicular to the ground has been described. However, the method is not limited to the method of arranging the overhead view viewpoint at the position. Therefore, in the second embodiment, a case where the position of the overhead viewpoint can be changed will be described.
第2の実施形態の、ECU14内に実現される周辺監視部600の構成について説明する。周辺監視部600は、図6に示すように、データ取得部141、鳥瞰図画像生成部142と、画像処理部143と、表示処理部144と、操作受付部601と、を備える。なお、第1の実施形態と同様の構成は、同一の符号を割り当て、説明を省略する。
A configuration of the
操作受付部601は、データ取得部141を介して、操作入力部10及び操作部14g等の操作入力による信号に基づいて、運転者が行った、俯瞰視点を変更する操作を受け付ける。
The
図7は、俯瞰視点の変更操作の概念を例示した図である。図7に示される例では、操作受付部601が受け付けた操作に基づいて、俯瞰視点701から、俯瞰視点702に変更された例とする。
FIG. 7 is a diagram illustrating the concept of the overhead view viewpoint changing operation. In the example illustrated in FIG. 7, it is assumed that the
そして、鳥瞰図画像生成部142は、操作に基づいて変更された俯瞰視点702からの鳥瞰図画像データを生成する。
Then, the bird's eye view
図8は、本実施形態の画像処理部143が、表示装置8や表示装置12に表示するために生成する画像データを例示した図である。図8に示されるように、画像データ500は、第1の表示領域801と、第2の表示領域802と、第3の表示領域803と、の組み合わせで生成されている。第1の表示領域801には、俯瞰視点702に基づいた鳥瞰図画像データが割り当てられている。
FIG. 8 is a diagram illustrating image data generated by the
画像処理部143は、鳥瞰図画像生成部142が生成した鳥瞰図画像データを第1の表示領域801に割り当て、第2の表示領域802に表された視界の範囲を示した画像852が重畳された縮小画像データを第3の表示領域803に割り当てる。なお、鳥瞰図画像データ及び縮小画像データは、変更された俯瞰視点に基づいている。また、第2の表示領域802には、第1の実施形態と同様に、所定の方向の視界の範囲を表した撮像画像データが割り当てられる。
The
また、本実施形態においては、ECU14内の記憶部(例えばSSD14f)が車両の3次元形状モデルデータを記憶する。そして、画像処理部143は、記憶部に記憶された、当該車両の3次元形状モデルを、俯瞰視点702から車両の3次元形状モデルデータを参照した場合の画像を、鳥瞰図画像データに重畳する。
In the present embodiment, a storage unit (for example,
これにより、第1の表示領域801に、俯瞰視点702から参照した場合の車両850が表示される。同様に、第3の表示領域803に、俯瞰視点702から参照した場合の車両851が表示される。
Thereby, the
これにより、表示処理部144は、操作受付部601が受け付けた操作に従って、俯瞰視点の変更が行われる毎に、第1の表示領域801に、変更された俯瞰視点で車両1周辺を表した鳥瞰図画像を表示し、第3の表示領域803に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、第2の表示領域802に表されている所定の方向の視界の範囲を示した画像852を重畳して表示する。
Accordingly, the
また、表示処理部144は、俯瞰視点の変更が行われる毎に、第1の表示領域801に、変更された俯瞰視点で車両1周辺を表した画像と共に、俯瞰視点から参照可能な車両1の形状を重畳して表示する。同様に、第3の表示領域803にも、変更された俯瞰視点による鳥瞰図画像の縮小画像に、当該俯瞰視点から参照可能な車両1の形状を重畳して表示される。このように本実施形態では、変更された俯瞰視点に基づいた車両1が表示される。
Further, every time the overhead view viewpoint is changed, the
従来から、撮像画像データを表示する際に、撮像範囲と車両との相対的な位置関係を示したアイコン表示で行われていた。しかしながら、アイコン表示では、車両の周囲の地面の状況を把握するのが難しい。そこで、本実施形態では、縮小画像を用いることとした。 Conventionally, when displaying captured image data, an icon display indicating the relative positional relationship between the imaging range and the vehicle has been used. However, in the icon display, it is difficult to grasp the situation of the ground around the vehicle. Therefore, in this embodiment, a reduced image is used.
ところで、縮小画像に車両のアイコンを重畳表示した上で、俯瞰視点を変更可能にすると、変更された俯瞰視点毎の車両のアイコンを用意する必要がある。 By the way, if the overhead view can be changed after the vehicle icon is superimposed on the reduced image, it is necessary to prepare a vehicle icon for each changed overhead view.
これに対して、本実施形態では、車両1の3次元形状モデルデータを記憶し、当該俯瞰視点に応じて車両1の3次元形状モデルデータの表示を行うこととした。これにより、俯瞰視点の変更に応じた縮小画像を表示できると共に、俯瞰視点に応じた車両の形状を表示できる。これにより、運転者は、周囲の状況を把握することが容易になる。 On the other hand, in the present embodiment, the three-dimensional shape model data of the vehicle 1 is stored, and the three-dimensional shape model data of the vehicle 1 is displayed according to the overhead viewpoint. Thereby, while being able to display the reduced image according to the change of an overhead view viewpoint, the shape of the vehicle according to the overhead view viewpoint can be displayed. As a result, the driver can easily grasp the surrounding situation.
上述した実施形態においては、車両の周辺を示した鳥瞰図画像を第1の表示領域に表示する共に、当該鳥瞰図画像を縮小した縮小画像を第3の表示領域に表示した上で、第3の表示領域の縮小画像に第2の表示領域に表示されている視界の範囲を示した画像を重畳している。これにより、鳥瞰図画像データによる車両の周囲の状況を表示すると共に、第2の表示領域に表示されている視界の範囲と車両の周囲状況との対応関係を把握できるため、ユーザの操舵負担を軽減できる。 In the above-described embodiment, the bird's-eye view image showing the periphery of the vehicle is displayed in the first display area, and a reduced image obtained by reducing the bird's-eye view image is displayed in the third display area. An image showing the field of view displayed in the second display area is superimposed on the reduced image of the area. As a result, the situation around the vehicle can be displayed based on the bird's eye view image data, and the correspondence between the field of view displayed in the second display area and the situation around the vehicle can be grasped. it can.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
1…車両、8,12…表示装置、14…ECU、15…撮像部、16,17…測距部、
100…運転支援システム、140,600…周辺監視部、141…データ取得部、142…鳥瞰図画像生成部、143…画像処理部、144…表示処理部、601…操作受付部。
DESCRIPTION OF SYMBOLS 1 ... Vehicle, 8, 12 ... Display apparatus, 14 ... ECU, 15 ... Imaging part, 16, 17 ... Distance measuring part,
DESCRIPTION OF
Claims (3)
前記撮像画像データに基づいて生成された、俯瞰視点で前記車両の周辺を表した鳥瞰図画像を含む第1の表示領域と、前記撮像画像データに基づいた、前記車両から第1の方向の視界を表した第2の表示領域と、前記第1の表示領域に含まれた鳥瞰図画像の縮小画像に、前記第2の表示領域に表されている前記第1の方向の視界の範囲を示した画像を重畳した第3の表示領域と、を表示する表示部と、
を備える車両の表示制御装置。 An acquisition unit that acquires captured image data output from an imaging unit that images the periphery of the vehicle provided in the vehicle;
A first display area including a bird's-eye view image representing the periphery of the vehicle from a bird's-eye view generated based on the captured image data, and a field of view in the first direction from the vehicle based on the captured image data. The image which showed the range of the field of view of the said 1st direction represented to the said 2nd display area in the reduced image of the 2nd display area represented and the bird's-eye view image contained in the said 1st display area A third display area on which is superimposed, a display unit for displaying,
A vehicle display control apparatus comprising:
請求項1に記載の車両の表示制御装置。 The display unit further displays a bird's-eye view image representing the periphery of the vehicle from the changed overhead view point in the first display area every time the overhead view point is changed, and the third display. An image showing the range of the field of view in the first direction represented in the second display area is superimposed and displayed on the reduced image of the bird's eye view image based on the changed bird's-eye view in the area.
The vehicle display control apparatus according to claim 1.
請求項2に記載の車両の表示制御装置。 The display unit further includes a vehicle that can be referred to from the overhead view point together with an image representing the periphery of the vehicle at the changed overhead view point in the first display area every time the overhead view point is changed. The shape of the vehicle that can be referred to from the overhead view is superimposed and displayed on the reduced image of the bird's-eye view image based on the changed overhead view in the third display area.
The vehicle display control device according to claim 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015195111A JP2017069846A (en) | 2015-09-30 | 2015-09-30 | Display control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015195111A JP2017069846A (en) | 2015-09-30 | 2015-09-30 | Display control device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017069846A true JP2017069846A (en) | 2017-04-06 |
Family
ID=58495320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015195111A Pending JP2017069846A (en) | 2015-09-30 | 2015-09-30 | Display control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017069846A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110877572A (en) * | 2018-09-06 | 2020-03-13 | 爱信精机株式会社 | Periphery monitoring device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007235529A (en) * | 2006-03-01 | 2007-09-13 | Nissan Motor Co Ltd | Vehicle surroundings monitoring system and image display method |
JP2011135253A (en) * | 2009-12-24 | 2011-07-07 | Fujitsu Ten Ltd | Image processor, image processing system and image processing method |
-
2015
- 2015-09-30 JP JP2015195111A patent/JP2017069846A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007235529A (en) * | 2006-03-01 | 2007-09-13 | Nissan Motor Co Ltd | Vehicle surroundings monitoring system and image display method |
JP2011135253A (en) * | 2009-12-24 | 2011-07-07 | Fujitsu Ten Ltd | Image processor, image processing system and image processing method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110877572A (en) * | 2018-09-06 | 2020-03-13 | 爱信精机株式会社 | Periphery monitoring device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9925919B2 (en) | Parking assistance device | |
US9216765B2 (en) | Parking assist apparatus, parking assist method and program thereof | |
JP5989729B2 (en) | Delivery support device | |
JP6096156B2 (en) | Parking assistance device | |
US10018473B2 (en) | Vehicle position detecting device | |
JP7151293B2 (en) | Vehicle peripheral display device | |
JP6006765B2 (en) | Driving assistance device | |
JP2014069722A (en) | Parking support system, parking support method, and program | |
JP6555056B2 (en) | Perimeter monitoring device | |
JP2017030549A (en) | Parking support device | |
JP2016060221A (en) | Parking support device and parking support method | |
US10489950B2 (en) | Display control device for displaying a captured image of a vehicle periphery | |
JP2014004930A (en) | Parking support device, parking support method, and parking support program | |
JP7283514B2 (en) | display controller | |
WO2018220915A1 (en) | Periphery monitoring device | |
US20200140011A1 (en) | Parking assistance apparatus | |
JP2014004931A (en) | Parking support device, parking support method, and parking support program | |
JP2017069846A (en) | Display control device | |
JP7130923B2 (en) | display controller | |
CN109311423B (en) | Driving support device | |
JP2019138655A (en) | Traveling support device | |
JP2014000921A (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method and program | |
JP6601097B2 (en) | Display control device | |
JP2018186387A (en) | Display controller | |
JP2017211814A (en) | Parking support device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190903 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200107 |