JP2017069846A - Display control device - Google Patents

Display control device Download PDF

Info

Publication number
JP2017069846A
JP2017069846A JP2015195111A JP2015195111A JP2017069846A JP 2017069846 A JP2017069846 A JP 2017069846A JP 2015195111 A JP2015195111 A JP 2015195111A JP 2015195111 A JP2015195111 A JP 2015195111A JP 2017069846 A JP2017069846 A JP 2017069846A
Authority
JP
Japan
Prior art keywords
vehicle
display area
image
bird
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015195111A
Other languages
Japanese (ja)
Inventor
博之 山▲崎▼
Hiroyuki Yamazaki
博之 山▲崎▼
優 田中
Masaru Tanaka
優 田中
友之 中村
Tomoyuki Nakamura
友之 中村
▲高▼柳 渉
渉 ▲高▼柳
Wataru Takayanagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2015195111A priority Critical patent/JP2017069846A/en
Publication of JP2017069846A publication Critical patent/JP2017069846A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce steering load.SOLUTION: A display control device according to the present embodiment comprises: an acquisition section provided on a vehicle and configured to acquire picked-up image data output from an image pick-up section that picks up an image of surroundings of the vehicle; and a display section that displays: a first display area including a bird-eye view image showing surroundings of the vehicle from an overview, formed based on picked-up image data; a second display area showing a field of view in a first direction from the vehicle, based on the picked-up image data; and a third display area in which an image showing a range of the field of view in the first direction, shown in the second display area, is superposed on a reduced image of the bird-eye view image included in the first display area.SELECTED DRAWING: Figure 4

Description

本発明の実施形態は、車両の表示制御装置に関する。   Embodiments described herein relate generally to a vehicle display control apparatus.

従来、車両に設置されたカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。その際に、周辺の環境を認識しやすいように、俯瞰視点で車両の周辺の地面を表した鳥瞰図画像データを生成する技術が提案されている。そして、車両の周辺を撮像した撮像画像データと、鳥瞰図画像データと、を組み合わせて表示する技術が提案されている。   2. Description of the Related Art Conventionally, there is a technology for providing a driver with image data captured as a surrounding environment of a vehicle with a camera installed in the vehicle. At that time, a technique for generating bird's-eye view image data representing the ground around the vehicle from a bird's-eye view is proposed so that the surrounding environment can be easily recognized. And the technique of displaying combining the picked-up image data which imaged the periphery of the vehicle, and bird's-eye view image data is proposed.

特開2003−259356号公報JP 2003-259356 A

しかしながら、車両の周辺を撮像した撮像画像データは、車両のどのあたりを撮像しているのか、運転者が把握しにくい場合もある。また、どのあたりを撮像しているのかを示したアイコン等を鳥瞰図画像データに重畳すると、鳥瞰図画像データに示された車両の周辺の地面が見にくくなるという問題が生じる。   However, the captured image data obtained by imaging the periphery of the vehicle may be difficult for the driver to know which part of the vehicle is being captured. In addition, when an icon or the like indicating where the image is captured is superimposed on the bird's eye view image data, there is a problem that it is difficult to see the ground around the vehicle indicated in the bird's eye view image data.

実施形態の車両の表示制御装置は、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する取得部と、撮像画像データに基づいて生成された、俯瞰視点で車両の周辺を表した鳥瞰図画像を含む第1の表示領域と、撮像画像データに基づいた、車両から第1の方向の視界を表した第2の表示領域と、第1の表示領域に含まれた鳥瞰図画像の縮小画像に、第2の表示領域に表されている第1の方向の視界の範囲を示した画像を重畳した第3の表示領域と、を表示する表示部と、を備える。これにより、一例として、鳥瞰図画像による車両の周囲の状況を表示すると共に、第2の表示領域に表示されている視界の範囲と車両の周囲の状況との対応関係を把握できるため、ユーザの操舵負担を軽減できる。   The vehicle display control apparatus according to the embodiment includes an acquisition unit that acquires captured image data output from an imaging unit that images a periphery of the vehicle, and an overhead view generated based on the captured image data. The first display area including a bird's eye view image representing the periphery of the vehicle, the second display area representing the field of view from the vehicle in the first direction based on the captured image data, and the first display area A display unit for displaying a third display region in which a reduced image of the bird's eye view image is superimposed with an image showing the range of the field of view in the first direction represented in the second display region. Accordingly, as an example, the situation around the vehicle can be displayed by a bird's eye view image, and the correspondence between the field of view displayed in the second display area and the situation around the vehicle can be grasped. The burden can be reduced.

また、実施形態の車両の表示制御装置は、表示部が、さらに、俯瞰視点の変更が行われる毎に、第1の表示領域に、変更された俯瞰視点で車両の周辺を表した鳥瞰図画像を表示し、第3の表示領域に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、第2の表示領域に表されている第1の方向の視界の範囲を示した画像を重畳して表示する。これにより、一例として、俯瞰視点の変更された場合に、当該俯瞰視点に応じた表示を実現できるため、ユーザが周辺の状況の把握が容易になる。   In the vehicle display control apparatus according to the embodiment, the display unit further displays a bird's-eye view image representing the periphery of the vehicle from the changed overhead view point in the first display area every time the overhead view point is changed. And displaying an image showing the range of the field of view in the first direction represented in the second display area on the reduced image of the bird's-eye view image based on the changed overhead view in the third display area. To do. Accordingly, as an example, when the overhead view point is changed, display according to the overhead view point can be realized, so that the user can easily understand the surrounding situation.

また、実施形態の車両の表示制御装置は、表示部が、さらに、俯瞰視点の変更が行われる毎に、第1の表示領域に、変更された俯瞰視点で車両の周辺を表した画像と共に、当該俯瞰視点から参照可能な車両の形状を重畳して表示し、第3の表示領域に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、当該俯瞰視点から参照可能な車両の形状を重畳して表示する。これにより、一例として、ユーザは、車両の周辺の状況の把握が容易になる。   In addition, the display control device for a vehicle according to the embodiment further includes an image representing the periphery of the vehicle from the changed overhead view point in the first display area every time the display unit further changes the overhead view point. The shape of the vehicle that can be referred to from the overhead view is displayed in a superimposed manner, and the shape of the vehicle that can be referenced from the overhead view is superimposed on the reduced image of the bird's eye view image from the changed overhead view in the third display area. To display. Thereby, as an example, the user can easily grasp the situation around the vehicle.

図1は、第1の実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。FIG. 1 is an exemplary perspective view showing a state in which a part of a compartment of a vehicle according to the first embodiment is seen through. 図2は、第1の実施形態の車両の例示的な平面図(俯瞰図)である。FIG. 2 is an exemplary plan view (overhead view) of the vehicle according to the first embodiment. 図3は、第1の実施形態の駐車支援システムの構成の例示的なブロック図である。FIG. 3 is an exemplary block diagram of the configuration of the parking assistance system according to the first embodiment. 図4は、第1の実施形態の駐車支援システムのECUの構成の例示的なブロック図である。FIG. 4 is an exemplary block diagram of the configuration of the ECU of the parking assistance system according to the first embodiment. 図5は、第1の実施形態の画像処理部が、表示装置に表示するために生成する画像データを例示した図である。FIG. 5 is a diagram illustrating image data generated for display on the display device by the image processing unit according to the first embodiment. 図6は、第2の実施形態の駐車支援システムのECUの構成の例示的なブロック図である。FIG. 6 is an exemplary block diagram of the configuration of the ECU of the parking assistance system according to the second embodiment. 図7は、第2の実施形態の俯瞰視点の変更操作の概念を例示した図である。FIG. 7 is a diagram illustrating the concept of the overhead view changing operation according to the second embodiment. 図8は、第2の実施形態の画像処理部が、表示装置に表示するために生成する画像データを例示した図である。FIG. 8 is a diagram illustrating image data generated for display on the display device by the image processing unit according to the second embodiment.

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。   Hereinafter, exemplary embodiments of the present invention are disclosed. The configuration of the embodiment shown below and the operations, results, and effects brought about by the configuration are examples. The present invention can be realized by configurations other than those disclosed in the following embodiments, and at least one of various effects based on the basic configuration and derivative effects can be obtained. .

(第1の実施形態)
第1の実施形態の車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
(First embodiment)
The vehicle 1 of the first embodiment may be, for example, an automobile having an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an automobile having an electric motor (not shown) as a drive source, that is, an electric vehicle, It may be a fuel cell vehicle or the like, a hybrid vehicle using both of them as drive sources, or a vehicle equipped with other drive sources. Further, the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted. In addition, the method, number, layout, and the like of the device related to driving of the wheels 3 in the vehicle 1 can be variously set.

図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4や、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。   As illustrated in FIG. 1, the vehicle body 2 constitutes a passenger compartment 2 a in which a passenger (not shown) gets. In the passenger compartment 2a, a steering section 4, an acceleration operation section 5, a braking operation section 6, a shift operation section 7 and the like are provided in a state facing the driver's seat 2b as a passenger. The steering unit 4 is, for example, a steering wheel protruding from the dashboard 24, the acceleration operation unit 5 is, for example, an accelerator pedal positioned under the driver's feet, and the braking operation unit 6 is, for example, a driver's foot It is a brake pedal located under the foot, and the speed change operation unit 7 is, for example, a shift lever protruding from the center console. The steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the speed change operation unit 7 and the like are not limited to these.

また、車室2a内には、表示出力部としての表示装置8や、音声出力部としての音声出力装置9が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向すなわち左右方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。   In addition, a display device 8 as a display output unit and a sound output device 9 as a sound output unit are provided in the passenger compartment 2a. The display device 8 is, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display). The audio output device 9 is, for example, a speaker. The display device 8 is covered with a transparent operation input unit 10 such as a touch panel. The occupant can visually recognize an image displayed on the display screen of the display device 8 via the operation input unit 10. In addition, the occupant can execute an operation input by touching, pushing, or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. . The display device 8, the audio output device 9, the operation input unit 10, and the like are provided, for example, in the monitor device 11 that is located in the vehicle width direction of the dashboard 24, that is, the central portion in the left-right direction. The monitor device 11 can have an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button. Further, a sound output device (not shown) can be provided at another position in the passenger compartment 2a different from the monitor device 11, and sound is output from the sound output device 9 of the monitor device 11 and other sound output devices. be able to. Note that the monitor device 11 can be used also as, for example, a navigation system or an audio system.

また、車室2a内には、表示装置8とは別の表示装置12が設けられている。この表示装置12には、主として車両1の駐車支援に関する情報を示す画像が表示されうる。表示装置12で表示される情報量は、表示装置8で表示される情報量より少なくてもよい。表示装置12は、例えば、LCDや、OELD等である。なお、表示装置8に、表示装置12で表示される情報が表示されてもよい。   Further, a display device 12 different from the display device 8 is provided in the passenger compartment 2a. The display device 12 can display an image mainly showing information related to parking assistance of the vehicle 1. The amount of information displayed on the display device 12 may be smaller than the amount of information displayed on the display device 8. The display device 12 is, for example, an LCD or an OELD. Information displayed on the display device 12 may be displayed on the display device 8.

また、図1,2に例示されるように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。これら四つの車輪3は、いずれも転舵可能に構成されうる。図3に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(electronic control unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。   As illustrated in FIGS. 1 and 2, the vehicle 1 is, for example, a four-wheeled vehicle, and includes two left and right front wheels 3 </ b> F and two right and left rear wheels 3 </ b> R. All of these four wheels 3 can be configured to be steerable. As illustrated in FIG. 3, the vehicle 1 includes a steering system 13 that steers at least two wheels 3. The steering system 13 includes an actuator 13a and a torque sensor 13b. The steering system 13 is electrically controlled by an ECU 14 (electronic control unit) or the like to operate the actuator 13a. The steering system 13 is, for example, an electric power steering system, an SBW (steer by wire) system, or the like. The steering system 13 adds torque, that is, assist torque to the steering unit 4 by the actuator 13a to supplement the steering force, or steers the wheel 3 by the actuator 13a. In this case, the actuator 13a may steer one wheel 3 or may steer a plurality of wheels 3. Moreover, the torque sensor 13b detects the torque which a driver | operator gives to the steering part 4, for example.

また、図1,2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで動画データを出力することができる。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜190°の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている。よって、撮像部15は、車両1が移動可能な路面や車両1が駐車可能な領域を含む車体2の周辺を逐次撮影し、撮像画像データとして出力する。   As illustrated in FIGS. 1 and 2, the vehicle body 2 is provided with, for example, four imaging units 15 a to 15 d as the plurality of imaging units 15. The imaging unit 15 is a digital camera including an imaging element such as a charge coupled device (CCD) or a CMOS image sensor (CIS). The imaging unit 15 can output moving image data at a predetermined frame rate. The imaging unit 15 has a wide-angle lens or a fish-eye lens, respectively, and can capture a range of, for example, 140 ° to 190 ° in the horizontal direction. The optical axis of the imaging unit 15 is set obliquely downward. Therefore, the imaging unit 15 sequentially captures the periphery of the vehicle body 2 including the road surface on which the vehicle 1 is movable and the area where the vehicle 1 can be parked, and outputs the captured image data.

撮像部15aは、例えば、車体2の後側の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパー等に設けられている。撮像部15dは、例えば、車体2の左側、すなわち車幅方向の左側の端部2dに位置され、左側の突出部としてのドアミラー2gに設けられている。ECU14は、複数の撮像部15で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な鳥瞰図画像を生成したりすることができる。なお、鳥瞰図画像は、俯瞰画像や平面画像とも称されうる。   The imaging unit 15a is located, for example, at the rear end 2e of the vehicle body 2, and is provided on a wall portion below the rear trunk door 2h. The imaging unit 15b is located, for example, at the right end 2f of the vehicle body 2 and provided on the right door mirror 2g. The imaging unit 15c is located, for example, on the front side of the vehicle body 2, that is, on the end 2c on the front side in the vehicle longitudinal direction, and is provided on a front bumper or the like. The imaging unit 15d is located, for example, at the left end 2d of the vehicle body 2, that is, the left end 2d in the vehicle width direction, and is provided in the door mirror 2g as a left protruding portion. The ECU 14 performs arithmetic processing and image processing based on captured image data obtained by the plurality of imaging units 15 to generate an image with a wider viewing angle, or a virtual bird's-eye view image of the vehicle 1 viewed from above Can be generated. Note that the bird's-eye view image may also be referred to as a bird's-eye view image or a planar image.

また、ECU14は、撮像部15の画像から、車両1の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出(抽出)する。   Further, the ECU 14 identifies the lane markings and the like indicated on the road surface around the vehicle 1 from the image of the imaging unit 15, and detects (extracts) the parking lane indicated by the lane markings and the like.

また、図1に例示されるように、車体2には、複数の測距部16,17として、例えば四つの測距部16a〜16dと、八つの測距部17a〜17hとが設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ECU14は、測距部16,17の検出結果により、車両1の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部16,17は、物体を検出する検出部の一例である。なお、測距部17は、例えば、比較的近距離の物体の検出に用いられ、測距部16は、例えば、測距部17よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部17は、例えば、車両1の前方および後方の物体の検出に用いられ、測距部16は、車両1の側方の物体の検出に用いられうる。   As illustrated in FIG. 1, the vehicle body 2 is provided with, for example, four distance measuring sections 16 a to 16 d and eight distance measuring sections 17 a to 17 h as the plurality of distance measuring sections 16 and 17. Yes. The distance measuring units 16 and 17 are, for example, sonar that emits ultrasonic waves and captures the reflected waves. The sonar can also be referred to as a sonar sensor or an ultrasonic detector. The ECU 14 can measure the presence or absence of an object such as an obstacle located around the vehicle 1 and the distance to the object based on the detection results of the distance measuring units 16 and 17. That is, the distance measuring units 16 and 17 are examples of a detecting unit that detects an object. The distance measuring unit 17 can be used, for example, for detecting an object at a relatively short distance, and the distance measuring unit 16 can be used for detecting an object at a relatively long distance farther than the distance measuring unit 17, for example. The distance measuring unit 17 can be used, for example, for detecting an object in front of and behind the vehicle 1, and the distance measuring unit 16 can be used for detecting an object on the side of the vehicle 1.

また、図3に例示されるように、運転支援システム100では、ECU14や、モニタ装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16、測距部17、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。   As exemplified in FIG. 3, in the driving support system 100, the ECU 14, the monitor device 11, the steering system 13, the distance measuring units 16 and 17, the brake system 18, the steering angle sensor 19, and the accelerator sensor 20. The shift sensor 21, the wheel speed sensor 22, and the like are electrically connected via an in-vehicle network 23 as an electric communication line. The in-vehicle network 23 is configured as a CAN (controller area network), for example. The ECU 14 can control the steering system 13, the brake system 18, and the like by sending a control signal through the in-vehicle network 23. Further, the ECU 14 detects the torque sensor 13b, the brake sensor 18b, the rudder angle sensor 19, the distance measuring unit 16, the distance measuring unit 17, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and the like via the in-vehicle network 23. Results, operation signals from the operation input unit 10 and the like can be received.

ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8,12で表示される画像に関連した画像処理や、車両1の移動目標位置の決定、車両1の移動経路の演算、物体との干渉の有無の判断、車両1の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。   The ECU 14 includes, for example, a CPU 14a (central processing unit), a ROM 14b (read only memory), a RAM 14c (random access memory), a display control unit 14d, an audio control unit 14e, an SSD 14f (solid state drive, flash memory), and the like. ing. The CPU 14a, for example, performs image processing related to images displayed on the display devices 8 and 12, determination of a movement target position of the vehicle 1, calculation of a movement path of the vehicle 1, determination of presence / absence of interference with an object, vehicle 1 Various arithmetic processes and controls, such as automatic control and cancellation of automatic control, can be executed. The CPU 14a can read a program installed and stored in a non-volatile storage device such as the ROM 14b, and execute arithmetic processing according to the program. The RAM 14c temporarily stores various types of data used in computations by the CPU 14a. In addition, the display control unit 14 d mainly executes image processing using image data obtained by the imaging unit 15, synthesis of image data displayed on the display device 8, and the like among arithmetic processing in the ECU 14. In addition, the voice control unit 14 e mainly executes processing of voice data output from the voice output device 9 among the calculation processes in the ECU 14. The SSD 14f is a rewritable nonvolatile storage unit that can store data even when the ECU 14 is powered off. The CPU 14a, the ROM 14b, the RAM 14c, and the like can be integrated in the same package. Further, the ECU 14 may have a configuration in which another logical operation processor such as a DSP (digital signal processor) or a logic circuit is used instead of the CPU 14a. Further, an HDD (hard disk drive) may be provided instead of the SSD 14f, and the SSD 14f and the HDD may be provided separately from the ECU 14.

ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。   The brake system 18 includes, for example, an anti-lock brake system (ABS) that suppresses brake locking, an anti-slip device (ESC: electronic stability control) that suppresses side slip of the vehicle 1 during cornering, and enhances braking force ( Electric brake system that executes brake assist, BBW (brake by wire), etc. The brake system 18 applies a braking force to the wheels 3 and thus to the vehicle 1 via the actuator 18a. The brake system 18 can execute various controls by detecting brake lock, idle rotation of the wheels 3, signs of skidding, and the like from the difference in rotation between the left and right wheels 3. The brake sensor 18b is a sensor that detects the position of the movable part of the braking operation unit 6, for example. The brake sensor 18b can detect the position of a brake pedal as a movable part. The brake sensor 18b includes a displacement sensor.

舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。   The steering angle sensor 19 is, for example, a sensor that detects the steering amount of the steering unit 4 such as a steering wheel. The rudder angle sensor 19 is configured using, for example, a hall element. The ECU 14 obtains the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 during automatic steering, and the like from the steering angle sensor 19 and executes various controls. The rudder angle sensor 19 detects the rotation angle of the rotating part included in the steering unit 4. The rudder angle sensor 19 is an example of an angle sensor.

アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。   The accelerator sensor 20 is, for example, a sensor that detects the position of the movable part of the acceleration operation unit 5. The accelerator sensor 20 can detect the position of an accelerator pedal as a movable part. The accelerator sensor 20 includes a displacement sensor.

シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。   The shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation unit 7. The shift sensor 21 can detect the position of a lever, arm, button, or the like as a movable part. The shift sensor 21 may include a displacement sensor or may be configured as a switch.

車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果をブレーキシステム18を介して取得する。   The wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time. The wheel speed sensor 22 outputs a wheel speed pulse number indicating the detected rotation speed as a sensor value. The wheel speed sensor 22 may be configured using, for example, a hall element. The ECU 14 calculates the amount of movement of the vehicle 1 based on the sensor value acquired from the wheel speed sensor 22 and executes various controls. Note that the wheel speed sensor 22 may be provided in the brake system 18. In that case, the ECU 14 acquires the detection result of the wheel speed sensor 22 via the brake system 18.

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。   The configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are examples, and can be set (changed) in various ways.

次に、ECU14内に実現される周辺監視部140の構成について説明する。周辺監視部140は、図4に示すように、データ取得部141、鳥瞰図画像生成部142と、画像処理部143と、表示処理部144と、を備える。   Next, the configuration of the periphery monitoring unit 140 realized in the ECU 14 will be described. As shown in FIG. 4, the periphery monitoring unit 140 includes a data acquisition unit 141, a bird's eye view image generation unit 142, an image processing unit 143, and a display processing unit 144.

データ取得部141は、撮像部15から出力された撮像画像データ、操作入力部10及び操作部14g等の操作入力による信号のような種々の情報を取得する。   The data acquisition unit 141 acquires various types of information such as captured image data output from the imaging unit 15 and signals generated by operation inputs from the operation input unit 10 and the operation unit 14g.

鳥瞰図画像生成部142は、データ取得部141が取得した撮像画像データに基づいて、車両1周辺の上方の俯瞰視点から、車両1の周辺を表した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。本実施形態の鳥瞰図画像生成部142は、撮像画像データを取得する毎に鳥瞰図画像データの生成を行う。これにより、現在の状況を表した鳥瞰図画像データを表示できる。   The bird's-eye view image generation unit 142 generates bird's-eye view image data representing the periphery of the vehicle 1 from the overhead view point around the vehicle 1 based on the captured image data acquired by the data acquisition unit 141. Note that any method may be used as the method for generating the bird's-eye view image data from the captured image data, and for example, conversion may be performed using a mapping table. The bird's-eye view image generation unit 142 of the present embodiment generates bird's-eye view image data every time captured image data is acquired. Thereby, bird's-eye view image data representing the current situation can be displayed.

画像処理部143は、表示装置8や表示装置12に表示するための画像を生成する。   The image processing unit 143 generates an image to be displayed on the display device 8 or the display device 12.

図5は、本実施形態の画像処理部143が、表示装置8や表示装置12に表示するために生成する画像データを例示した図である。図5に示されるように、画像データ500は、第1の表示領域501と、第2の表示領域502と、第3の表示領域503と、を組み合わせて生成されている。   FIG. 5 is a diagram illustrating image data generated by the image processing unit 143 of the present embodiment for display on the display device 8 or the display device 12. As shown in FIG. 5, the image data 500 is generated by combining a first display area 501, a second display area 502, and a third display area 503.

第1の表示領域501は、鳥瞰図画像生成部142が生成した、俯瞰視点で車両1周辺を表した鳥瞰図画像データを表示するための表示領域とする。本実施形態の鳥瞰図画像データは、車両1の中心から、地面に対して垂直方向に所定距離だけ離れた位置に俯瞰視点を配置した例について説明する。なお、俯瞰視点は、本実施形態で配置した位置に制限するものではなく、実施態様に応じて適切な位置に配置されるものとする。   The first display area 501 is a display area for displaying the bird's-eye view image data representing the periphery of the vehicle 1 from the bird's-eye view generated by the bird's-eye view image generation unit 142. The bird's-eye view image data of the present embodiment will be described with respect to an example in which the bird's-eye view viewpoint is arranged at a position away from the center of the vehicle 1 by a predetermined distance in the direction perpendicular to the ground. Note that the overhead view viewpoint is not limited to the position arranged in the present embodiment, but is arranged at an appropriate position according to the embodiment.

第2の表示領域502は、撮像画像データに基づいた、車両1から所定の方向の視界を表示するための表示領域とする。所定の方向とは、運転者による操作や、車両1の状況に応じて、選択される方向であって、実施態様に応じて定められる方向とする。例えば、車両1が後進する場合には、所定の方向が後ろ方向となる。第2の表示領域502には、第1の表示領域501の鳥瞰図画像データと比べて、車両1から遠方の環境まで表示される。これにより、運転者は、当該方向に車両を進めても良いか確認できる。   The second display area 502 is a display area for displaying a field of view in a predetermined direction from the vehicle 1 based on the captured image data. The predetermined direction is a direction selected according to the operation by the driver or the situation of the vehicle 1, and is a direction determined according to the embodiment. For example, when the vehicle 1 moves backward, the predetermined direction is the backward direction. Compared to the bird's eye view image data of the first display area 501, the second display area 502 displays the environment far from the vehicle 1. Thereby, the driver can confirm whether the vehicle may be advanced in the direction.

第3の表示領域503は、第1の表示領域501に含まれた鳥瞰図画像の縮小画像に、第2の表示領域502に表されている、車両1から所定の方向の視界の範囲を示した画像511を重畳表示するための表示領域とする。鳥瞰図画像を縮小画像にする縮小率は、第1の表示領域501と第3の表示領域503との比率に応じて定められるものとする。   The third display area 503 shows the range of view in a predetermined direction from the vehicle 1 shown in the second display area 502 in the reduced image of the bird's eye view image included in the first display area 501. A display area for displaying the image 511 in a superimposed manner is used. The reduction ratio for converting the bird's eye view image into a reduced image is determined according to the ratio between the first display area 501 and the third display area 503.

また、所定の方向の視界の範囲を示した画像511は、所定の方向の視界の範囲を表した画像であればよく、例えば、当該範囲の輪郭を示した画像や、当該範囲を半透明で表すことで地面が視認できる画像であっても良い。   Further, the image 511 showing the field of view in the predetermined direction may be an image showing the field of view in the predetermined direction. For example, the image showing the outline of the range or the range being translucent It may be an image that allows the ground to be visually recognized.

本実施形態の画像処理部143は、鳥瞰図画像生成部142が生成した鳥瞰図画像データを第1の表示領域501に割り当て、撮像画像データに基づいた所定の方向の視界が表された撮像画像データを第2の表示領域502に割り当て、鳥瞰図画像データの縮小画像データ上に、所定の方向の視界の範囲を示した画像511を重畳して第3の表示領域503に割り当てた、画像データを生成する。   The image processing unit 143 according to the present embodiment assigns the bird's eye view image data generated by the bird's eye view image generation unit 142 to the first display area 501, and takes captured image data in which a field of view in a predetermined direction based on the captured image data is represented. The image data assigned to the second display area 502 and assigned to the third display area 503 is generated by superimposing the image 511 showing the field of view in a predetermined direction on the reduced image data of the bird's eye view image data. .

表示処理部144は、画像処理部143により生成された画像データを、表示装置8や表示装置12に表示する処理を行う。画像処理部143により生成された画像データの出力先は、運転者が参照可能な表示装置であればよく、運転者の操作に応じて、表示装置8や表示装置12に表示可能とする。   The display processing unit 144 performs processing for displaying the image data generated by the image processing unit 143 on the display device 8 or the display device 12. The output destination of the image data generated by the image processing unit 143 may be a display device that can be referred to by the driver, and can be displayed on the display device 8 or the display device 12 in accordance with the operation of the driver.

ところで、第2の表示領域502に表示されている視界の範囲を示した画像を、第1の表示領域501に割り当てられた鳥瞰図画像データに重畳することもできる。しかしながら、視界の範囲を示した画像を、第1の表示領域501に割り当てられた鳥瞰図画像データに重畳した場合に、鳥瞰図画像データの一部の領域が、視界の範囲を示した画像に遮られる。このため、運転者は、当該一部の領域の地面の状況を把握するのが難しくなる可能性がある。   By the way, an image showing the range of the field of view displayed in the second display area 502 can be superimposed on the bird's eye view image data assigned to the first display area 501. However, when an image showing the field of view is superimposed on the bird's eye view image data assigned to the first display area 501, a part of the bird's eye view image data is blocked by the image showing the field of view. . For this reason, it may be difficult for the driver to grasp the state of the ground in the partial area.

そこで、本実施形態では、地面が表された縮小画像データ(縮小された鳥瞰図画像データ)に、第2の表示領域502に割り当てられた視界の範囲を示した画像を重畳した。これにより、運転者は、第1の表示領域501に割り当てられた鳥瞰図画像データを参照することで、画像等に遮られることなく、周囲の状況を認識できると共に、第3の表示領域503を参照することで、運転者は、第2の表示領域502の範囲を直感的に認識することが可能となる。   Therefore, in the present embodiment, an image showing the field of view assigned to the second display area 502 is superimposed on the reduced image data (reduced bird's eye view image data) representing the ground. Accordingly, the driver can recognize the surrounding situation without being interrupted by the image or the like by referring to the bird's-eye view image data assigned to the first display area 501, and refer to the third display area 503. As a result, the driver can intuitively recognize the range of the second display area 502.

また、第3の表示領域503は、第1の表示領域501に表示した鳥瞰図画像データの縮小画像のため、車両の周囲の状況が表されている。そして、周囲の状況が示された縮小画像に、第2の表示領域502に表示されている視界の範囲を示す画像511を重畳することで、運転者は、当該視界の範囲と周囲の状況との対応関係を把握できる。   Further, the third display area 503 is a reduced image of the bird's eye view image data displayed in the first display area 501, and therefore the situation around the vehicle is represented. Then, by superimposing an image 511 indicating the range of the field of view displayed in the second display area 502 on the reduced image showing the surroundings, the driver can determine the range of the fields of view and the surroundings. Can understand the correspondence.

つまり、本実施形態では、第2の表示領域502に表示されている視界の範囲を示した画像を、第1の表示領域501に重畳されるのを抑止した上で、縮小画像データに、当該視界の範囲を示した画像を重畳しているので、鳥瞰図画像データによる車両1の周辺の地面の状況の認識と、当該視界の範囲及び車両1の周囲の地面の相対的な位置関係の認識と、の両立を実現できる。   In other words, in the present embodiment, the image showing the range of the field of view displayed in the second display area 502 is prevented from being superimposed on the first display area 501, and the reduced image data is Since the image showing the field of view is superimposed, recognition of the situation of the ground around the vehicle 1 from the bird's eye view image data and recognition of the relative positional relationship between the field of view and the ground around the vehicle 1 Can be realized.

(第2の実施形態)
第1の実施形態では、鳥瞰図画像データの俯瞰視点を、車両1の中心から、地面に対して垂直方向に所定の距離だけ離れた位置に配置した例について説明した。しかしながら、俯瞰視点を当該位置に配置する手法に制限するものではない。そこで、第2の実施形態では、俯瞰視点の位置を変更可能な場合について説明する。
(Second Embodiment)
In the first embodiment, the example in which the bird's-eye view viewpoint of the bird's-eye view image data is arranged at a position away from the center of the vehicle 1 by a predetermined distance in the direction perpendicular to the ground has been described. However, the method is not limited to the method of arranging the overhead view viewpoint at the position. Therefore, in the second embodiment, a case where the position of the overhead viewpoint can be changed will be described.

第2の実施形態の、ECU14内に実現される周辺監視部600の構成について説明する。周辺監視部600は、図6に示すように、データ取得部141、鳥瞰図画像生成部142と、画像処理部143と、表示処理部144と、操作受付部601と、を備える。なお、第1の実施形態と同様の構成は、同一の符号を割り当て、説明を省略する。   A configuration of the periphery monitoring unit 600 realized in the ECU 14 according to the second embodiment will be described. As shown in FIG. 6, the periphery monitoring unit 600 includes a data acquisition unit 141, a bird's eye view image generation unit 142, an image processing unit 143, a display processing unit 144, and an operation reception unit 601. Note that the same components as those in the first embodiment are assigned the same reference numerals, and descriptions thereof are omitted.

操作受付部601は、データ取得部141を介して、操作入力部10及び操作部14g等の操作入力による信号に基づいて、運転者が行った、俯瞰視点を変更する操作を受け付ける。   The operation accepting unit 601 accepts an operation for changing the overhead view performed by the driver based on signals from the operation inputs of the operation input unit 10 and the operation unit 14g via the data acquisition unit 141.

図7は、俯瞰視点の変更操作の概念を例示した図である。図7に示される例では、操作受付部601が受け付けた操作に基づいて、俯瞰視点701から、俯瞰視点702に変更された例とする。   FIG. 7 is a diagram illustrating the concept of the overhead view viewpoint changing operation. In the example illustrated in FIG. 7, it is assumed that the overhead viewpoint 701 is changed to the overhead viewpoint 702 based on the operation received by the operation reception unit 601.

そして、鳥瞰図画像生成部142は、操作に基づいて変更された俯瞰視点702からの鳥瞰図画像データを生成する。   Then, the bird's eye view image generation unit 142 generates bird's eye view image data from the bird's eye view point 702 changed based on the operation.

図8は、本実施形態の画像処理部143が、表示装置8や表示装置12に表示するために生成する画像データを例示した図である。図8に示されるように、画像データ500は、第1の表示領域801と、第2の表示領域802と、第3の表示領域803と、の組み合わせで生成されている。第1の表示領域801には、俯瞰視点702に基づいた鳥瞰図画像データが割り当てられている。   FIG. 8 is a diagram illustrating image data generated by the image processing unit 143 of this embodiment for display on the display device 8 or the display device 12. As shown in FIG. 8, the image data 500 is generated by a combination of a first display area 801, a second display area 802, and a third display area 803. Bird's eye view image data based on the overhead view viewpoint 702 is assigned to the first display area 801.

画像処理部143は、鳥瞰図画像生成部142が生成した鳥瞰図画像データを第1の表示領域801に割り当て、第2の表示領域802に表された視界の範囲を示した画像852が重畳された縮小画像データを第3の表示領域803に割り当てる。なお、鳥瞰図画像データ及び縮小画像データは、変更された俯瞰視点に基づいている。また、第2の表示領域802には、第1の実施形態と同様に、所定の方向の視界の範囲を表した撮像画像データが割り当てられる。   The image processing unit 143 assigns the bird's eye view image data generated by the bird's eye view image generation unit 142 to the first display area 801, and reduces the image 852 that represents the range of the field of view represented in the second display area 802. Image data is assigned to the third display area 803. The bird's eye view image data and the reduced image data are based on the changed bird's eye view. Similarly to the first embodiment, the second display area 802 is assigned captured image data representing the range of the field of view in a predetermined direction.

また、本実施形態においては、ECU14内の記憶部(例えばSSD14f)が車両の3次元形状モデルデータを記憶する。そして、画像処理部143は、記憶部に記憶された、当該車両の3次元形状モデルを、俯瞰視点702から車両の3次元形状モデルデータを参照した場合の画像を、鳥瞰図画像データに重畳する。   In the present embodiment, a storage unit (for example, SSD 14f) in the ECU 14 stores the three-dimensional shape model data of the vehicle. Then, the image processing unit 143 superimposes the image of the three-dimensional shape model of the vehicle stored in the storage unit when the three-dimensional shape model data of the vehicle is referred to from the bird's-eye viewpoint 702 on the bird's-eye view image data.

これにより、第1の表示領域801に、俯瞰視点702から参照した場合の車両850が表示される。同様に、第3の表示領域803に、俯瞰視点702から参照した場合の車両851が表示される。   Thereby, the vehicle 850 when viewed from the overhead viewpoint 702 is displayed in the first display area 801. Similarly, the vehicle 851 when viewed from the overhead view point 702 is displayed in the third display area 803.

これにより、表示処理部144は、操作受付部601が受け付けた操作に従って、俯瞰視点の変更が行われる毎に、第1の表示領域801に、変更された俯瞰視点で車両1周辺を表した鳥瞰図画像を表示し、第3の表示領域803に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、第2の表示領域802に表されている所定の方向の視界の範囲を示した画像852を重畳して表示する。   Accordingly, the display processing unit 144 is a bird's-eye view showing the periphery of the vehicle 1 in the first display area 801 in the first display region 801 every time the overhead view viewpoint is changed according to the operation received by the operation reception unit 601. An image is displayed, and in the third display area 803, a reduced image of the bird's eye view image with the changed overhead view viewpoint is displayed, and an image 852 showing the range of view in the predetermined direction shown in the second display area 802 is displayed. Superimposed display.

また、表示処理部144は、俯瞰視点の変更が行われる毎に、第1の表示領域801に、変更された俯瞰視点で車両1周辺を表した画像と共に、俯瞰視点から参照可能な車両1の形状を重畳して表示する。同様に、第3の表示領域803にも、変更された俯瞰視点による鳥瞰図画像の縮小画像に、当該俯瞰視点から参照可能な車両1の形状を重畳して表示される。このように本実施形態では、変更された俯瞰視点に基づいた車両1が表示される。   Further, every time the overhead view viewpoint is changed, the display processing unit 144 displays, in the first display area 801, the vehicle 1 that can be referred to from the overhead view viewpoint together with an image that represents the periphery of the vehicle 1 from the changed overhead view viewpoint. The shape is superimposed and displayed. Similarly, in the third display area 803, the shape of the vehicle 1 that can be referred to from the bird's-eye view is superimposed on the reduced image of the bird's-eye view image from the changed bird's-eye view. Thus, in this embodiment, the vehicle 1 based on the changed overhead view viewpoint is displayed.

従来から、撮像画像データを表示する際に、撮像範囲と車両との相対的な位置関係を示したアイコン表示で行われていた。しかしながら、アイコン表示では、車両の周囲の地面の状況を把握するのが難しい。そこで、本実施形態では、縮小画像を用いることとした。   Conventionally, when displaying captured image data, an icon display indicating the relative positional relationship between the imaging range and the vehicle has been used. However, in the icon display, it is difficult to grasp the situation of the ground around the vehicle. Therefore, in this embodiment, a reduced image is used.

ところで、縮小画像に車両のアイコンを重畳表示した上で、俯瞰視点を変更可能にすると、変更された俯瞰視点毎の車両のアイコンを用意する必要がある。   By the way, if the overhead view can be changed after the vehicle icon is superimposed on the reduced image, it is necessary to prepare a vehicle icon for each changed overhead view.

これに対して、本実施形態では、車両1の3次元形状モデルデータを記憶し、当該俯瞰視点に応じて車両1の3次元形状モデルデータの表示を行うこととした。これにより、俯瞰視点の変更に応じた縮小画像を表示できると共に、俯瞰視点に応じた車両の形状を表示できる。これにより、運転者は、周囲の状況を把握することが容易になる。   On the other hand, in the present embodiment, the three-dimensional shape model data of the vehicle 1 is stored, and the three-dimensional shape model data of the vehicle 1 is displayed according to the overhead viewpoint. Thereby, while being able to display the reduced image according to the change of an overhead view viewpoint, the shape of the vehicle according to the overhead view viewpoint can be displayed. As a result, the driver can easily grasp the surrounding situation.

上述した実施形態においては、車両の周辺を示した鳥瞰図画像を第1の表示領域に表示する共に、当該鳥瞰図画像を縮小した縮小画像を第3の表示領域に表示した上で、第3の表示領域の縮小画像に第2の表示領域に表示されている視界の範囲を示した画像を重畳している。これにより、鳥瞰図画像データによる車両の周囲の状況を表示すると共に、第2の表示領域に表示されている視界の範囲と車両の周囲状況との対応関係を把握できるため、ユーザの操舵負担を軽減できる。   In the above-described embodiment, the bird's-eye view image showing the periphery of the vehicle is displayed in the first display area, and a reduced image obtained by reducing the bird's-eye view image is displayed in the third display area. An image showing the field of view displayed in the second display area is superimposed on the reduced image of the area. As a result, the situation around the vehicle can be displayed based on the bird's eye view image data, and the correspondence between the field of view displayed in the second display area and the situation around the vehicle can be grasped. it can.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

1…車両、8,12…表示装置、14…ECU、15…撮像部、16,17…測距部、
100…運転支援システム、140,600…周辺監視部、141…データ取得部、142…鳥瞰図画像生成部、143…画像処理部、144…表示処理部、601…操作受付部。
DESCRIPTION OF SYMBOLS 1 ... Vehicle, 8, 12 ... Display apparatus, 14 ... ECU, 15 ... Imaging part, 16, 17 ... Distance measuring part,
DESCRIPTION OF SYMBOLS 100 ... Driving assistance system, 140,600 ... Perimeter monitoring part, 141 ... Data acquisition part, 142 ... Bird's-eye view image generation part, 143 ... Image processing part, 144 ... Display processing part, 601 ... Operation reception part.

Claims (3)

車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する取得部と、
前記撮像画像データに基づいて生成された、俯瞰視点で前記車両の周辺を表した鳥瞰図画像を含む第1の表示領域と、前記撮像画像データに基づいた、前記車両から第1の方向の視界を表した第2の表示領域と、前記第1の表示領域に含まれた鳥瞰図画像の縮小画像に、前記第2の表示領域に表されている前記第1の方向の視界の範囲を示した画像を重畳した第3の表示領域と、を表示する表示部と、
を備える車両の表示制御装置。
An acquisition unit that acquires captured image data output from an imaging unit that images the periphery of the vehicle provided in the vehicle;
A first display area including a bird's-eye view image representing the periphery of the vehicle from a bird's-eye view generated based on the captured image data, and a field of view in the first direction from the vehicle based on the captured image data. The image which showed the range of the field of view of the said 1st direction represented to the said 2nd display area in the reduced image of the 2nd display area represented and the bird's-eye view image contained in the said 1st display area A third display area on which is superimposed, a display unit for displaying,
A vehicle display control apparatus comprising:
前記表示部は、さらに、前記俯瞰視点の変更が行われる毎に、前記第1の表示領域に、変更された俯瞰視点で前記車両の周辺を表した鳥瞰図画像を表示し、前記第3の表示領域に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、前記第2の表示領域に表されている前記第1の方向の視界の範囲を示した画像を重畳して表示する、
請求項1に記載の車両の表示制御装置。
The display unit further displays a bird's-eye view image representing the periphery of the vehicle from the changed overhead view point in the first display area every time the overhead view point is changed, and the third display. An image showing the range of the field of view in the first direction represented in the second display area is superimposed and displayed on the reduced image of the bird's eye view image based on the changed bird's-eye view in the area.
The vehicle display control apparatus according to claim 1.
前記表示部は、さらに、前記俯瞰視点の変更が行われる毎に、前記第1の表示領域に、変更された俯瞰視点で前記車両の周辺を表した画像と共に、当該俯瞰視点から参照可能な車両の形状を重畳して表示し、前記第3の表示領域に、変更された俯瞰視点による鳥瞰図画像の縮小画像に、当該俯瞰視点から参照可能な車両の形状を重畳して表示する、
請求項2に記載の車両の表示制御装置。
The display unit further includes a vehicle that can be referred to from the overhead view point together with an image representing the periphery of the vehicle at the changed overhead view point in the first display area every time the overhead view point is changed. The shape of the vehicle that can be referred to from the overhead view is superimposed and displayed on the reduced image of the bird's-eye view image based on the changed overhead view in the third display area.
The vehicle display control device according to claim 2.
JP2015195111A 2015-09-30 2015-09-30 Display control device Pending JP2017069846A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015195111A JP2017069846A (en) 2015-09-30 2015-09-30 Display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015195111A JP2017069846A (en) 2015-09-30 2015-09-30 Display control device

Publications (1)

Publication Number Publication Date
JP2017069846A true JP2017069846A (en) 2017-04-06

Family

ID=58495320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015195111A Pending JP2017069846A (en) 2015-09-30 2015-09-30 Display control device

Country Status (1)

Country Link
JP (1) JP2017069846A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110877572A (en) * 2018-09-06 2020-03-13 爱信精机株式会社 Periphery monitoring device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235529A (en) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd Vehicle surroundings monitoring system and image display method
JP2011135253A (en) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd Image processor, image processing system and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235529A (en) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd Vehicle surroundings monitoring system and image display method
JP2011135253A (en) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd Image processor, image processing system and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110877572A (en) * 2018-09-06 2020-03-13 爱信精机株式会社 Periphery monitoring device

Similar Documents

Publication Publication Date Title
US9925919B2 (en) Parking assistance device
US9216765B2 (en) Parking assist apparatus, parking assist method and program thereof
JP5989729B2 (en) Delivery support device
JP6096156B2 (en) Parking assistance device
US10018473B2 (en) Vehicle position detecting device
JP7151293B2 (en) Vehicle peripheral display device
JP6006765B2 (en) Driving assistance device
JP2014069722A (en) Parking support system, parking support method, and program
JP6555056B2 (en) Perimeter monitoring device
JP2017030549A (en) Parking support device
JP2016060221A (en) Parking support device and parking support method
US10489950B2 (en) Display control device for displaying a captured image of a vehicle periphery
JP2014004930A (en) Parking support device, parking support method, and parking support program
JP7283514B2 (en) display controller
WO2018220915A1 (en) Periphery monitoring device
US20200140011A1 (en) Parking assistance apparatus
JP2014004931A (en) Parking support device, parking support method, and parking support program
JP2017069846A (en) Display control device
JP7130923B2 (en) display controller
CN109311423B (en) Driving support device
JP2019138655A (en) Traveling support device
JP2014000921A (en) Vehicle periphery monitoring device, vehicle periphery monitoring method and program
JP6601097B2 (en) Display control device
JP2018186387A (en) Display controller
JP2017211814A (en) Parking support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107