JP2017220110A

JP2017220110A - Three-dimensional information detection system

Info

Publication number: JP2017220110A
Application number: JP2016115503A
Authority: JP
Inventors: 孝之中所; Takayuki Nakadokoro; 渡邊　一矢; Kazuya Watanabe; 一矢渡邊; 欣司山本; Kinji Yamamoto
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2016-06-09
Filing date: 2016-06-09
Publication date: 2017-12-14

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional information detection system capable of detecting three-dimensional information outside of a vehicle with a simple configuration.SOLUTION: The three-dimensional information detection system includes: a control part 29 that controls a vehicle height adjustment mechanism 28 which adjusts height of vehicle; an imaging unit 16 disposed so as to pick up outside of the vehicle; and an adjacent monitoring ECU 14 that calculates a parallax between a first image, which is picked up by the imaging unit when the vehicle is adjusted to a first vehicle height by the vehicle height adjustment mechanism, and a second image, which is picked up by the imaging unit when the vehicle is adjusted to a second vehicle height different from the first vehicle height by the vehicle height adjustment mechanism, detects a piece of three-dimensional information outside the vehicle based on the calculated parallax.SELECTED DRAWING: Figure 3

Description

本発明の実施形態は、三次元情報検出装置に関する。 Embodiments described herein relate generally to a three-dimensional information detection apparatus.

車両に搭載されたステレオカメラ，単眼カメラ，ソナー，レーダを用いて、車両の周囲に存在する障害物や路面の窪み等の三次元情報を検出する技術がある。 There is a technique for detecting three-dimensional information such as obstacles and road surface depressions around a vehicle using a stereo camera, a monocular camera, a sonar, and a radar mounted on the vehicle.

特許第５１７２３１４号Japanese Patent No. 5172314 特開２００１−１８７５５３号公報JP 2001-187553 A 特開２００４−３２８３９９号公報JP 2004-328399 A

しかしながら、ステレオカメラ，ソナー，レーダを用いて三次元情報を検出する技術は、ステレオカメラ，ソナー，レーダが高価なため、車両に搭載することが難しい場合がある。また、単眼カメラを用いて三次元情報を検出する技術は、車両が移動している必要があり、車両が停車している状態においては、三次元情報を検出することができない。さらに、単眼カメラを用いて三次元情報を検出する技術は、予め記憶したテンプレートを用いて、当該単眼カメラの撮像により得られた撮像画像と、当該テンプレートとをパターンマッチングさせることにより、三次元情報を検出する。しかしながら、検出対象の三次元情報は、人，車，縁石，自転車など多々あり、パターンマッチング以外の方法で三次元情報を検出する技術が求められている。 However, the technology for detecting three-dimensional information using a stereo camera, sonar, and radar may be difficult to mount on a vehicle because the stereo camera, sonar, and radar are expensive. In addition, the technology for detecting three-dimensional information using a monocular camera requires that the vehicle is moving, and cannot detect three-dimensional information when the vehicle is stopped. Furthermore, the technology for detecting three-dimensional information using a monocular camera uses three-dimensional information by pattern-matching a captured image obtained by imaging of the monocular camera with the template using a template stored in advance. Is detected. However, there are many 3D information to be detected such as people, cars, curbs, and bicycles, and a technique for detecting 3D information by a method other than pattern matching is required.

実施形態の三次元情報検出装置は、一例として、車両の車高を調整する車高調整機構を制御する制御部と、車両の外部を撮像可能に設けられた撮像部と、車高調整機構によって車両が第１車高に調整された際に撮像部の撮像により得られた第１撮像画像と、車高調整機構によって車両が第１車高とは異なる第２車高に調整された際に撮像部の撮像により得られた第２撮像画像との視差を求め、当該求めた視差に基づいて、車両の外部に存在する三次元情報を検出する検出部と、を備える。よって、一例としては、より簡易な構成で車両の外部に存在する三次元情報を検出することができる。 The three-dimensional information detection apparatus of the embodiment includes, as an example, a control unit that controls a vehicle height adjustment mechanism that adjusts the vehicle height of the vehicle, an imaging unit that is capable of imaging the outside of the vehicle, and a vehicle height adjustment mechanism. When the vehicle is adjusted to the first vehicle height and when the vehicle is adjusted to a second vehicle height different from the first vehicle height by the first captured image obtained by imaging of the imaging unit and the vehicle height adjustment mechanism. A detection unit that obtains a parallax with the second captured image obtained by the imaging of the imaging unit and detects three-dimensional information existing outside the vehicle based on the obtained parallax. Therefore, as an example, three-dimensional information existing outside the vehicle can be detected with a simpler configuration.

また、三次元情報検出装置は、一例として、第２車高が、第１車高との差分が所定値以上の車高である。よって、一例として、三次元情報を検出可能な車高において撮像された撮像画像を用いて、車両の外部の三次元情報の検出が行われるので、車両の外部の三次元情報の検出精度を向上させることができる。 In the three-dimensional information detection apparatus, for example, the second vehicle height is a vehicle height that has a difference from the first vehicle height equal to or greater than a predetermined value. Therefore, as an example, since the detection of the three-dimensional information outside the vehicle is performed using the captured image picked up at the vehicle height capable of detecting the three-dimensional information, the detection accuracy of the three-dimensional information outside the vehicle is improved. Can be made.

また、三次元情報検出装置は、一例として、車両の俯瞰画像と、検出部により検出された三次元情報を識別可能とする識別情報とを含む画像を表示する表示部をさらに備える。よって、一例として、これにより、車両の乗員は、車両の外部に存在する三次元情報を容易に認識することができる。 Further, as an example, the three-dimensional information detection apparatus further includes a display unit that displays an image including a bird's-eye view image of the vehicle and identification information that can identify the three-dimensional information detected by the detection unit. Therefore, as an example, this allows the vehicle occupant to easily recognize the three-dimensional information existing outside the vehicle.

また、三次元情報検出装置は、一例として、制御部が、車両から乗員が降車する場合、車両を第１車高から当該第１車高より低い第２車高に調整し、または／かつ車両から乗員が乗車する場合、車両を第２車高から第１車高に調整する。よって、一例として、車両の外部の三次元情報を検出するために、車両の車高を意図的に調整することなく、車両の外部の三次元情報を検出することができる。 For example, in the three-dimensional information detection apparatus, when the occupant gets out of the vehicle, the control unit adjusts the vehicle from the first vehicle height to a second vehicle height lower than the first vehicle height, and / or the vehicle. When the occupant gets on, the vehicle is adjusted from the second vehicle height to the first vehicle height. Therefore, as an example, in order to detect the three-dimensional information outside the vehicle, the three-dimensional information outside the vehicle can be detected without intentionally adjusting the vehicle height.

また、三次元情報検出装置は、一例として、車高調整機構が、エアサスペンションである。よって、一例として、スプリングを有する車高調整機構と比較して、車両の車高を容易に調整可能となる。 In the three-dimensional information detection apparatus, for example, the vehicle height adjustment mechanism is an air suspension. Therefore, as an example, the vehicle height of the vehicle can be easily adjusted as compared with a vehicle height adjustment mechanism having a spring.

図１は、本実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。FIG. 1 is a perspective view showing an example of a state in which a part of a compartment of a vehicle according to the present embodiment is seen through. 図２は、本実施形態にかかる車両の一例が示された平面図（俯瞰図）である。FIG. 2 is a plan view (overhead view) showing an example of a vehicle according to the present embodiment. 図３は、本実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。FIG. 3 is a block diagram illustrating an example of a vehicle periphery monitoring system according to the present embodiment. 図４は、本実施形態にかかる周辺監視ＥＣＵの機能構成を示すブロック図である。FIG. 4 is a block diagram illustrating a functional configuration of the periphery monitoring ECU according to the present embodiment. 図５は、本実施形態にかかる車両による記憶部に対する撮像画像の保存処理の流れの一例を示すシーケンス図である。FIG. 5 is a sequence diagram illustrating an example of a flow of processing for storing a captured image in the storage unit by the vehicle according to the present embodiment. 図６は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of the flow of a solid object detection process performed by the vehicle according to the present embodiment. 図７は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。FIG. 7 is a flowchart illustrating an example of a flow of a three-dimensional object detection process by the vehicle according to the present embodiment. 図８は、本実施形態にかかる車両による立体物の検出結果の表示装置に対する表示例を示す図である。FIG. 8 is a diagram illustrating a display example on the display device of the detection result of the three-dimensional object by the vehicle according to the present embodiment. 図９は、本実施形態にかかる車両による立体物の検出結果の表示装置に対する表示例を示す図である。FIG. 9 is a diagram illustrating a display example on the display device of the detection result of the three-dimensional object by the vehicle according to the present embodiment.

以下、添付の図面を用いて、本実施形態にかかる三次元情報検出装置を適用した車両について説明する。 Hereinafter, a vehicle to which the three-dimensional information detection apparatus according to the present embodiment is applied will be described with reference to the accompanying drawings.

実施形態では、車両１は、例えば、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。 In the embodiment, the vehicle 1 may be, for example, an automobile (an internal combustion engine automobile) using an internal combustion engine (engine) as a drive source, or an automobile (electric vehicle, fuel cell automobile) using an electric motor (motor) as a drive source. Etc.), or an automobile (hybrid automobile) using both of them as drive sources. The vehicle 1 can be mounted with various transmissions, and various devices (systems, components, etc.) necessary for driving the internal combustion engine and the electric motor. In addition, the method, number, layout, and the like of the device related to driving of the wheels 3 in the vehicle 1 can be variously set.

図１に示されるように、車体２は、乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールである。加速操作部５は、運転者の足下に位置されたアクセルペダルである。制動操作部６は、運転者の足下に位置されたブレーキペダルである。変速操作部７は、センターコンソールから突出したシフトレバーである。 As shown in FIG. 1, the vehicle body 2 constitutes a passenger compartment 2 a in which passengers get on. In the passenger compartment 2a, a steering section 4, an acceleration operation section 5, a braking operation section 6, a speed change operation section 7 and the like are provided in a state facing the driver's seat 2b as an occupant. In the present embodiment, as an example, the steering unit 4 is a steering wheel protruding from a dashboard (instrument panel). The acceleration operation unit 5 is an accelerator pedal positioned below the driver's feet. The braking operation unit 6 is a brake pedal positioned below the driver's feet. The speed change operation unit 7 is a shift lever protruding from the center console.

また、車室２ａ内には、表示装置８、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置を、手指等で触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、押しボタン等の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に他の音声出力装置を設けて、モニタ装置１１の音声出力装置９に加え、当該他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。また、音声出力装置９の他に、ブザー２４（図３参照）等の音声出力部から、警報音等が出力されるように構成することができる。 A display device 8 and an audio output device 9 are provided in the passenger compartment 2a. The display device 8 is, for example, an LCD (liquid crystal display), an OELD (organic electroluminescent display), or the like. The audio output device 9 is a speaker as an example. In the present embodiment, as an example, the display device 8 is covered with a transparent operation input unit 10 (for example, a touch panel). An occupant or the like can visually recognize a video (image) displayed on the display screen of the display device 8 via the operation input unit 10. In addition, an occupant or the like executes an operation input (instruction input) by operating a position corresponding to an image (image) displayed on the display screen of the display device 8 by touching, pushing, or moving with a finger or the like. can do. In the present embodiment, as an example, the display device 8, the audio output device 9, the operation input unit 10, and the like are provided in the monitor device 11 that is located in the center of the dashboard in the vehicle width direction (left-right direction). Yes. The monitor device 11 can have an operation input unit such as a switch, a dial, a joystick, and a push button. Further, another sound output device is provided at another position in the passenger compartment 2a different from the monitor device 11, and the sound is output from the other sound output device in addition to the sound output device 9 of the monitor device 11. Can do. In the present embodiment, as an example, the monitor device 11 is also used as a navigation system or an audio system. However, a monitor device for a peripheral monitoring device may be provided separately from these systems. Further, in addition to the audio output device 9, an alarm sound or the like can be output from an audio output unit such as the buzzer 24 (see FIG. 3).

また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（言い換えると、転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、周辺監視ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ，１３ａを動作させる。前輪操舵システム１２および後輪操舵システム１３は、例えば、電動パワーステアリングシステム、ＳＢＷ（steer by wire）システム等である。前輪操舵システム１２および後輪操舵システム１３は、アクチュエータ１２ａ，１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ，１３ａは、一つの車輪３を操舵しても良いし、複数の車輪３を操舵しても良い。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵される。二つの後輪３Ｒは、互いに同相で略平行に転舵される。 As shown in FIGS. 1 and 2, in the present embodiment, as an example, the vehicle 1 is a four-wheeled vehicle (four-wheeled vehicle), and includes two left and right front wheels 3F and two left and right rear wheels 3R. Have. Furthermore, in the present embodiment, these four wheels 3 are configured to be steerable (in other words, capable of turning). Specifically, as shown in FIG. 3, the vehicle 1 includes a front wheel steering system 12 that steers the front wheels 3F and a rear wheel steering system 13 that steers the rear wheels 3R. The front wheel steering system 12 and the rear wheel steering system 13 are electrically controlled by a peripheral monitoring ECU 14 (electronic control unit) or the like to operate the actuators 12a and 13a. The front wheel steering system 12 and the rear wheel steering system 13 are, for example, an electric power steering system, an SBW (steer by wire) system, or the like. The front wheel steering system 12 and the rear wheel steering system 13 add torque (assist torque) to the steering unit 4 by the actuators 12a and 13a to supplement the steering force, or steer the corresponding wheel 3 (front wheel 3F or rear wheel 3R). (Automatic steering). The actuators 12a and 13a may steer one wheel 3 or may steer a plurality of wheels 3. In the present embodiment, as an example, the two front wheels 3F are steered substantially in parallel with each other in phase (the same phase, the same turning direction, and the same turning direction). The two rear wheels 3R are steered in parallel with each other in the same phase.

また、車両１は、図３に示すように、車両１の車高を調整する車高調整機構２８および当該車高調整機構２８による車両１の車高の調整を制御する車高調整ＥＣＵ２９を有する。本実施形態では、車高調整機構２８は、前輪３Ｆと車両１の車体との間に設置された前輪エアサスペンション２８ａ、および後輪３Ｒと車両１の車体との間に設置された後輪エアサスペンション２８ｂを有する。前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、空気ばねとして機能する。本実施形態では、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、空気が排出可能に設けられた空気室を有する。そして、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、空気室に対して、空気を給排する。その結果、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、前輪３Ｆと車両１の車体との間の距離、および後輪３Ｒと車両１の車体との間の距離を変更することで、車両１の車高を調整する。これにより、車高調整機構２８は、スプリングによって車両１の車高を調整する車高調整機構と比較して、車両１の車高を容易に調整可能となる。また、本実施形態では、車両１は、前輪エアサスペンション２８ａと車両１の車体フレームとの間、および後輪エアサスペンション２８ｂと車両１の車体フレームとの間に、車両１の車高を検出する車高センサ３０を有する。本実施形態では、前輪エアサスペンション２８ａと車両１の車体フレームとの間、および後輪エアサスペンション２８ｂと車両１の車体フレームとの間の両方に、車高センサ３０を設けているが、前輪エアサスペンション２８ａと車両１の車体フレームとの間、および後輪エアサスペンション２８ｂと車両１の車体フレームとの間のうち少なくとも一方に車高センサ３０が設けられていれば良い。 Further, as shown in FIG. 3, the vehicle 1 has a vehicle height adjustment mechanism 28 that adjusts the vehicle height of the vehicle 1 and a vehicle height adjustment ECU 29 that controls adjustment of the vehicle height of the vehicle 1 by the vehicle height adjustment mechanism 28. . In the present embodiment, the vehicle height adjusting mechanism 28 includes a front wheel air suspension 28 a installed between the front wheel 3 </ b> F and the vehicle body of the vehicle 1, and a rear wheel air installed between the rear wheel 3 </ b> R and the vehicle body of the vehicle 1. It has a suspension 28b. The front wheel air suspension 28a and the rear wheel air suspension 28b function as air springs. In the present embodiment, the front wheel air suspension 28a and the rear wheel air suspension 28b have air chambers provided so that air can be discharged. The front wheel air suspension 28a and the rear wheel air suspension 28b supply and discharge air to and from the air chamber. As a result, the front wheel air suspension 28 a and the rear wheel air suspension 28 b change the distance between the front wheel 3 </ b> F and the vehicle body of the vehicle 1 and the distance between the rear wheel 3 </ b> R and the vehicle body of the vehicle 1. Adjust the vehicle height. As a result, the vehicle height adjustment mechanism 28 can easily adjust the vehicle height of the vehicle 1 as compared with a vehicle height adjustment mechanism that adjusts the vehicle height of the vehicle 1 using a spring. In the present embodiment, the vehicle 1 detects the vehicle height of the vehicle 1 between the front wheel air suspension 28a and the vehicle body frame of the vehicle 1 and between the rear wheel air suspension 28b and the vehicle body frame of the vehicle 1. A vehicle height sensor 30 is provided. In the present embodiment, the vehicle height sensor 30 is provided both between the front wheel air suspension 28 a and the vehicle body frame of the vehicle 1 and between the rear wheel air suspension 28 b and the vehicle body frame of the vehicle 1. It is only necessary that the vehicle height sensor 30 is provided at least one of between the suspension 28 a and the vehicle body frame of the vehicle 1 and between the rear wheel air suspension 28 b and the vehicle body frame of the vehicle 1.

車高調整ＥＣＵ２９は、車高調整機構２８による車両１の車高の調整を制御する車高調整制御部として機能する。本実施形態では、車高調整ＥＣＵ２９は、一例として、ＣＰＵ（central processing unit）、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を有する。ＣＰＵは、車高調整機構２８を制御するための各種演算処理を実行する。ＲＯＭは、車高調整機構２８を制御するための各種プログラム等の各種情報を記憶する。具体的には、ＲＯＭは、車両１の運行状況を安定させる車高（以下、標準車高と言う）、標準車高より高い車高（以下、Ｈｉｇｈ車高と言う）、標準車高より低い車高（以下、Ｌｏｗ車高と言う）、および車両１の運転手が任意に設定した車高（以下、設定車高と言う）を示す車高データを記憶する。ＲＡＭは、ＲＯＭに記憶された各種プログラムに基づいてＣＰＵが各種演算処理を実行するために必要な演算データを一時的に記憶する。 The vehicle height adjustment ECU 29 functions as a vehicle height adjustment control unit that controls the adjustment of the vehicle height of the vehicle 1 by the vehicle height adjustment mechanism 28. In the present embodiment, the vehicle height adjustment ECU 29 includes, for example, a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and the like. The CPU executes various arithmetic processes for controlling the vehicle height adjustment mechanism 28. The ROM stores various information such as various programs for controlling the vehicle height adjusting mechanism 28. Specifically, the ROM is a vehicle height (hereinafter referred to as standard vehicle height) that stabilizes the operation status of the vehicle 1, a vehicle height that is higher than the standard vehicle height (hereinafter referred to as high vehicle height), and lower than the standard vehicle height. Vehicle height data indicating vehicle height (hereinafter referred to as “Low vehicle height”) and vehicle height arbitrarily set by the driver of the vehicle 1 (hereinafter referred to as “set vehicle height”) is stored. The RAM temporarily stores calculation data necessary for the CPU to execute various calculation processes based on various programs stored in the ROM.

車高調整ＥＣＵ２９には、車高調整機構２８、車高センサ３０、車高スイッチ３１、スマートユニット３２、バックドアカーテシスイッチ３３等が、入出力インタフェースを介して電気的に接続されている。車高センサ３０は、車両１の車高の検出結果を示す検出信号を車高調整ＥＣＵ２９に出力する。車高調整ＥＣＵ２９は、車高センサ３０から入力される検出信号に基づいて、車両１の車高を取得する。そして、車高調整ＥＣＵ２９は、取得した車両１の車高を、周辺監視ＥＣＵ１４に通知する。また、車高調整ＥＣＵ２９は、車高スイッチ３１、スマートユニット３２、およびバックドアカーテンスイッチ３３からの信号に基づいて、ＲＯＭに記憶される車高データが示す車高の中から、標準車高、Ｈｉｇｈ車高、Ｌｏｗ車高、設定車高等の車高を選択する。そして、車高調整ＥＣＵ２９は、選択した車高になるように、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂにおける空気室に対する給排動作を制御する。これにより、車高調整ＥＣＵ２９は、車両１の車高を、選択された車高に調整する。 A vehicle height adjustment mechanism 28, a vehicle height sensor 30, a vehicle height switch 31, a smart unit 32, a back door courtesy switch 33, and the like are electrically connected to the vehicle height adjustment ECU 29 via an input / output interface. The vehicle height sensor 30 outputs a detection signal indicating the vehicle height detection result of the vehicle 1 to the vehicle height adjustment ECU 29. The vehicle height adjustment ECU 29 acquires the vehicle height of the vehicle 1 based on the detection signal input from the vehicle height sensor 30. Then, the vehicle height adjustment ECU 29 notifies the surrounding monitoring ECU 14 of the acquired vehicle height of the vehicle 1. Further, the vehicle height adjustment ECU 29 selects a standard vehicle height from vehicle heights indicated by vehicle height data stored in the ROM based on signals from the vehicle height switch 31, the smart unit 32, and the back door curtain switch 33. A vehicle height such as a high vehicle height, a low vehicle height, or a set vehicle height is selected. Then, the vehicle height adjustment ECU 29 controls the supply / discharge operation for the air chambers in the front wheel air suspension 28a and the rear wheel air suspension 28b so as to achieve the selected vehicle height. Thereby, the vehicle height adjustment ECU 29 adjusts the vehicle height of the vehicle 1 to the selected vehicle height.

車高スイッチ３１は、車両１の運転席に設けられ、走行路面や車速等の車両１の走行状態等に応じて、標準車高、Ｈｉｇｈ車高、Ｌｏｗ車高、または設定車高を選択可能なスイッチである。車高スイッチ３１は、その操作により選択された車高を示す選択信号を、車高調整ＥＣＵ２９に出力する。車高調整ＥＣＵ２９は、ＲＯＭに記憶される車高データが示す車高のうち、車高スイッチ３１から入力された選択信号が示す車高と一致する車高になるように、車高調整機構２８を制御して、車両１の車高を調整する。 The vehicle height switch 31 is provided in the driver's seat of the vehicle 1 and can select a standard vehicle height, a high vehicle height, a low vehicle height, or a set vehicle height according to the traveling state of the vehicle 1 such as a traveling road surface or a vehicle speed. Switch. The vehicle height switch 31 outputs a selection signal indicating the vehicle height selected by the operation to the vehicle height adjustment ECU 29. The vehicle height adjusting ECU 29 adjusts the vehicle height adjusting mechanism 28 so that the vehicle height matches the vehicle height indicated by the selection signal input from the vehicle height switch 31 among the vehicle heights indicated by the vehicle height data stored in the ROM. To adjust the vehicle height of the vehicle 1.

スマートユニット３２は、予め設定された車高を示す選択信号、および車高の調整の開始または停止を示す操作信号を車高調整ＥＣＵ２９に出力する。また、スマートユニット３２は、ドアロックの施錠または解錠を示すドアロック信号を、ドアロックの施錠および解錠を制御する開閉体制御装置へ出力する。これにより、スマートユニット３２は、ドアロックの施錠および解錠を制御する。本実施形態では、車両１は、キー操作を行うことなく各種操作が可能なスマートエントリシステムを搭載している。スマートエントリシステムは、外部の携帯機器にＩＤ情報を記憶させ、外部の携帯機器に記憶されたＩＤ情報とスマートユニット３２に予め登録されたＩＤ情報とが一致した場合に、キー操作を行うことなく、スマートユニット３２に対して、車高の選択やドアロックの施錠または開錠を指示することが可能である。 The smart unit 32 outputs a selection signal indicating a preset vehicle height and an operation signal indicating the start or stop of adjustment of the vehicle height to the vehicle height adjustment ECU 29. Further, the smart unit 32 outputs a door lock signal indicating the locking or unlocking of the door lock to the opening / closing body control device that controls the locking and unlocking of the door lock. Thereby, the smart unit 32 controls locking and unlocking of the door lock. In the present embodiment, the vehicle 1 is equipped with a smart entry system that can perform various operations without performing key operations. The smart entry system stores ID information in an external portable device, and does not perform a key operation when the ID information stored in the external portable device matches the ID information registered in advance in the smart unit 32. It is possible to instruct the smart unit 32 to select the vehicle height and to lock or unlock the door lock.

バックドアカーテシスイッチ３３は、車両１が有するバックドアの開閉に応じて作動し、当該バックドアが開かれているか否かを示す開閉信号を車高調整ＥＣＵ２９に対して出力する。そして、車高調整ＥＣＵ２９は、バックドアカーテシスイッチ３３から入力された開閉信号が、バックドアが開かれていることを示す場合、車高調整機構２８を制御して、車両１の車高を設定車高に調整する。一方、車高調整ＥＣＵ２９は、バックドアカーテシスイッチ３３から入力された開閉信号が、バックドアが閉じていることを示す場合、車高調整機構２８を制御して、車両１の車高を標準車高に調整する。 The back door courtesy switch 33 operates in response to the opening / closing of the back door of the vehicle 1 and outputs an opening / closing signal indicating whether or not the back door is open to the vehicle height adjustment ECU 29. The vehicle height adjustment ECU 29 controls the vehicle height adjustment mechanism 28 to set the vehicle height of the vehicle 1 when the open / close signal input from the back door courtesy switch 33 indicates that the back door is opened. Adjust to high. On the other hand, when the opening / closing signal input from the back door courtesy switch 33 indicates that the back door is closed, the vehicle height adjustment ECU 29 controls the vehicle height adjustment mechanism 28 to set the vehicle height of the vehicle 1 to the standard vehicle height. Adjust to.

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。ここで、水平方向とは、重力方向（鉛直方向）に対して垂直な水平面に含まれている方向である。 In the present embodiment, as an example, as shown in FIG. 2, the vehicle 1 (the vehicle body 2) is provided with a plurality of (in the present embodiment, four as an example) imaging units 16 (16 a to 16 d). It has been. The imaging unit 16 is a digital camera including an imaging element such as a CCD (charge coupled device) or a CIS (CMOS image sensor). The imaging unit 16 can output a captured image (moving image data, frame data) at a predetermined frame rate. Each of the imaging units 16 includes a wide-angle lens, and can capture a range (viewing angle) of 140 ° to 220 ° in the horizontal direction. Further, the optical axis of the imaging unit 16 is set downward (obliquely downward). Therefore, the imaging unit 16 captures an external environment around the vehicle body 2 including a road surface on which the vehicle 1 can move. Here, the horizontal direction is a direction included in a horizontal plane perpendicular to the gravity direction (vertical direction).

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。 In the present embodiment, as an example, the imaging unit 16a is located at the end 2c (the end in a plan view) on the front side (the front side in the vehicle front-rear direction) of the vehicle body 2, and is provided on a front bumper or the like. The imaging unit 16b is positioned at the left end 2d (left side in the vehicle width direction) of the vehicle body 2, and is provided on the left door mirror 2g (projecting portion). The imaging unit 16c is located at an end 2e on the rear side (rear side in the vehicle front-rear direction) of the vehicle body 2, and is provided on a wall portion below the door 2h of the rear trunk. The imaging unit 16d is positioned on the right end (figure width direction) end 2f of the vehicle body 2 and is provided on the right door mirror 2g (projection). This embodiment does not limit the in-vehicle method of the camera, and may be installed so that image data in the front direction, image data in the left and right side directions, and image data in the rear direction can be acquired with respect to the vehicle.

周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた撮像画像に基づいて演算処理や画像処理を実行する。これにより、周辺監視ＥＣＵ１４は、運転者にとって適切な視野範囲の画像を生成したり、当該画像に対して車両１の進行方向の案内線等を重畳表示したり、車両１（車体２）を上方から見た仮想的な鳥瞰図画像（俯瞰画像）を生成したり、車両１の外部に存在する障害物や路面の窪み等の立体物（三次元情報）を検出したりする。即ち、撮像部１６は、運転者に見せるための車両１周囲の画像を撮像することに加えて、立体物の検出にも用いられる。 The periphery monitoring ECU 14 performs arithmetic processing and image processing based on the captured images obtained by the plurality of imaging units 16. As a result, the periphery monitoring ECU 14 generates an image with a visual field range appropriate for the driver, superimposes a guide line in the traveling direction of the vehicle 1 on the image, or moves the vehicle 1 (vehicle body 2) upward. A virtual bird's-eye view image (bird's-eye view image) viewed from the above is generated, or a three-dimensional object (three-dimensional information) such as an obstacle or a depression on the road surface existing outside the vehicle 1 is detected. That is, the imaging unit 16 is used to detect a three-dimensional object in addition to capturing an image around the vehicle 1 to be shown to the driver.

また、本実施形態では、一例として、図３に示されるように、周辺監視システム１００は、周辺監視ＥＣＵ１４、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６、車高調整ＥＵＣ２９等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、タイヤ角センサ１３ｂ（後輪３Ｒ用）、アクチュエータ１８ａ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、および操作入力部１０等の指示信号を受け取ることができる。 Further, in the present embodiment, as an example, as shown in FIG. 3, the periphery monitoring system 100 includes a periphery monitoring ECU 14, a monitor device 11, a front wheel steering system 12, a rear wheel steering system 13, a brake system 18, A steering angle sensor 19 (angle sensor), an accelerator sensor 20, a shift sensor 21, a wheel speed sensor 22, an acceleration sensor 26, a vehicle height adjustment EUC 29, and the like are electrically connected via an in-vehicle network 23 (electric communication line). Yes. The in-vehicle network 23 is configured as a CAN (controller area network) as an example. The peripheral monitoring ECU 14 can control the front wheel steering system 12, the rear wheel steering system 13, the brake system 18 and the like by sending a control signal through the in-vehicle network 23. Further, the periphery monitoring ECU 14 is connected to the torque sensor 12b, the tire angle sensor 13b (for the rear wheel 3R), the actuator 18a, the brake sensor 18b, the steering angle sensor 19 (for the front wheel 3F), the accelerator sensor 20, Detection results from the shift sensor 21, wheel speed sensor 22, acceleration sensor 26, and the like, and instruction signals from the operation input unit 10 and the like can be received.

周辺監視ＥＣＵ１４は、一例として、ＣＰＵ（central processing unit）１４ａ、ＲＯＭ（read only memory）１４ｂ、ＲＡＭ（random access memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（solid state drive、フラッシュメモリ）１４ｆ等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理、車両１の移動経路の演算、車両１の外部に存在する立体物の検出等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。 The peripheral monitoring ECU 14 includes, for example, a central processing unit (CPU) 14a, a read only memory (ROM) 14b, a random access memory (RAM) 14c, a display control unit 14d, a sound control unit 14e, an SSD (solid state drive), a flash memory. ) 14f and the like. For example, the CPU 14a executes various kinds of arithmetic processing such as image processing related to an image displayed on the display device 8, calculation of a moving path of the vehicle 1, and detection of a three-dimensional object existing outside the vehicle 1. The CPU 14a reads a program stored (installed) in a non-volatile storage device such as the ROM 14b, and executes arithmetic processing according to the program.

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた撮像画像を用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。 The RAM 14c temporarily stores various types of data used in computations by the CPU 14a. The display control unit 14d mainly performs image processing using the captured image obtained by the imaging unit 16 and arithmetic processing of image data displayed on the display device 8 (one example) among the arithmetic processing performed by the periphery monitoring ECU 14. And so on). In addition, the voice control unit 14 e mainly performs processing of voice data output from the voice output device 9 among the calculation processes in the periphery monitoring ECU 14. Further, the SSD 14f is a rewritable nonvolatile storage unit, and can store data even when the power of the periphery monitoring ECU 14 is turned off. The CPU 14a, ROM 14b, RAM 14c, etc. can be integrated in the same package. Further, the periphery monitoring ECU 14 may have a configuration in which another logical operation processor such as a DSP (digital signal processor) or a logic circuit is used instead of the CPU 14a. Further, an HDD (hard disk drive) may be provided in place of the SSD 14f, and the SSD 14f and the HDD may be provided separately from the periphery monitoring ECU 14.

図４は、本実施形態にかかる周辺監視ＥＣＵの機能構成を示すブロック図である。図４に示すように、周辺監視ＥＣＵ１４は、記憶部４００と、視差算出部４０１と、立体物検出部４０２と、を主に備えている。図４に示す、視差算出部４０１と、立体物検出部４０２は、周辺監視ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。 FIG. 4 is a block diagram illustrating a functional configuration of the periphery monitoring ECU according to the present embodiment. As shown in FIG. 4, the periphery monitoring ECU 14 mainly includes a storage unit 400, a parallax calculation unit 401, and a three-dimensional object detection unit 402. The parallax calculation unit 401 and the three-dimensional object detection unit 402 illustrated in FIG. 4 are realized by the CPU 14a included in the periphery monitoring ECU 14 executing a program stored in the ROM 14b. These configurations may be realized by hardware.

本実施形態では、周辺監視ＥＣＵ１４は、車高調整機構２８によって車両１が第１車高に調整された際に撮像部１６の撮像により得られた撮像画像と、車高調整機構２８によって車両１が当該第１車高とは異なる第２車高に調整された際に撮像部１６の撮像により得られた撮像画像との視差を求め、当該視差に基づいて、車両１の外部に存在する立体物（三次元情報）を検出する。これにより、ステレオカメラ，ソナー，レーダ等を用いて立体物の検出方法やパターンマッチングを用いた立体物の検出方法を用いることなく、車両１の外部に存在する立体物を検出することができるので、より簡易な構成で車両１の外部に存在する立体物を検出することができる。 In the present embodiment, the periphery monitoring ECU 14 uses the captured image obtained by the imaging unit 16 when the vehicle 1 is adjusted to the first vehicle height by the vehicle height adjustment mechanism 28, and the vehicle 1 by the vehicle height adjustment mechanism 28. Is determined to be a second vehicle height different from the first vehicle height, and a parallax with a captured image obtained by imaging of the imaging unit 16 is obtained, and a three-dimensional object existing outside the vehicle 1 based on the parallax. An object (three-dimensional information) is detected. As a result, a three-dimensional object existing outside the vehicle 1 can be detected without using a three-dimensional object detection method or a three-dimensional object detection method using pattern matching using a stereo camera, sonar, radar, or the like. Thus, a three-dimensional object existing outside the vehicle 1 can be detected with a simpler configuration.

記憶部４００は、ＲＡＭ１４ｃやＳＳＤ１４ｆ等の記憶媒体に確保される。記憶部４００は、撮像部１６の撮像により得られた撮像画像を記憶する。本実施形態では、記憶部４００は、車体２に設けられた４つの撮像部１６（１６ａ〜１６ｄ）それぞれから得られた撮像画像を、当該撮像部１６毎に記憶する。視差算出部４０１は、記憶部４００に記憶された撮像画像のうち、同一の撮像部１６の撮像により得られた複数の撮像画像の視差を算出するものとする。 The storage unit 400 is secured in a storage medium such as the RAM 14c or the SSD 14f. The storage unit 400 stores a captured image obtained by imaging by the imaging unit 16. In the present embodiment, the storage unit 400 stores captured images obtained from the four imaging units 16 (16 a to 16 d) provided in the vehicle body 2 for each imaging unit 16. The parallax calculation unit 401 calculates the parallax of a plurality of captured images obtained by imaging by the same imaging unit 16 among the captured images stored in the storage unit 400.

本実施形態では、視差算出部４０１が、車両１が停車している間に撮像部１６の撮像により得られた撮像画像の視差を求める例について説明するが、これに限定するものではなく、車両１が走行している間に撮像部１６の撮像により得られた撮像画像の視差を求めることも可能である。 In the present embodiment, an example in which the parallax calculation unit 401 obtains the parallax of a captured image obtained by imaging by the imaging unit 16 while the vehicle 1 is stopped is described, but the present invention is not limited to this. It is also possible to obtain the parallax of the captured image obtained by imaging by the imaging unit 16 while 1 is traveling.

立体物検出部４０２は、視差算出部４０１により求められた視差に基づいて、車両１の外部に存在する立体物を検出する。本実施形態では、立体物検出部４０２は、視差算出部４０１により求められた視差に基づいて、車両１と、検出した立体物との間の距離を算出する。 The three-dimensional object detection unit 402 detects a three-dimensional object existing outside the vehicle 1 based on the parallax obtained by the parallax calculation unit 401. In the present embodiment, the three-dimensional object detection unit 402 calculates the distance between the vehicle 1 and the detected three-dimensional object based on the parallax obtained by the parallax calculation unit 401.

例えば、車高調整ＥＣＵ２９は、車両１が停車して運転手等の乗員が降車する場合、運転手が車両１から降車し易くするために、車高調整機構２８を制御して、車両１の車高を、標準車高またはＨｉｇｈ車高から、Ｌｏｗ車高に調整する。そこで、視差算出部４０１は、車両１が停車して運転手が降車する場合に、車高センサ３０により標準車高またはＨｉｇｈ車高が検出された際に撮像部１６の撮像により得られた撮像画像と、車高センサ３０によりＬｏｗ車高が検出された際に撮像部１６の撮像により得られた撮像画像との視差を求める。次に、立体物検出部４０２は、当該視差に基づいて、車両１の外部に存在する立体物を検出する。そして、立体物検出部４０２は、車両１の乗員がドアを開ける前に、立体物の検出結果を表示装置８に表示する。これにより、車両１から乗員が降車する際に車両１の外部に立体物が存在する場合に、乗員によって開かれたドアが立体物に当ることを防止できる。また、車両１に運転手等の乗員が乗車する際の車高の調整時に撮像された撮像画像を用いて、車両１の外部の立体物を検出することで、車両１の外部の立体物を検出するために、車両１の車高を意図的に調整することなく、車両１の外部の立体物を検出することができる。本実施形態では、立体物検出部４０２は、車両１の外部の立体物（三次元形状）を三次元情報の一例として検出しているが、車両１から立体物までの距離等を三次元情報の一例として検出しても良い。 For example, the vehicle height adjustment ECU 29 controls the vehicle height adjustment mechanism 28 so that the driver can easily get out of the vehicle 1 when the vehicle 1 stops and an occupant such as the driver gets out of the vehicle 1. The vehicle height is adjusted from the standard vehicle height or the high vehicle height to the low vehicle height. Therefore, the parallax calculation unit 401 captures an image obtained by the imaging unit 16 when the vehicle height sensor 30 detects the standard vehicle height or the high vehicle height when the vehicle 1 stops and the driver gets off. The parallax between the image and a captured image obtained by imaging by the imaging unit 16 when the low vehicle height is detected by the vehicle height sensor 30 is obtained. Next, the three-dimensional object detection unit 402 detects a three-dimensional object existing outside the vehicle 1 based on the parallax. The three-dimensional object detection unit 402 displays the detection result of the three-dimensional object on the display device 8 before the passenger of the vehicle 1 opens the door. Thereby, when a passenger | crew disembarks from the vehicle 1, when the solid object exists in the exterior of the vehicle 1, it can prevent that the door opened by the passenger | crew hits a solid object. Further, by detecting a three-dimensional object outside the vehicle 1 by using a captured image that is picked up when the vehicle height is adjusted when a driver or the like rides on the vehicle 1, the three-dimensional object outside the vehicle 1 is detected. In order to detect, a three-dimensional object outside the vehicle 1 can be detected without intentionally adjusting the vehicle height of the vehicle 1. In the present embodiment, the three-dimensional object detection unit 402 detects a three-dimensional object (three-dimensional shape) outside the vehicle 1 as an example of three-dimensional information, but the three-dimensional information such as the distance from the vehicle 1 to the three-dimensional object is detected. You may detect as an example.

また、車高調整ＥＣＵ２９は、停車している車両１に運転手等の乗員が乗車する場合、車高調整機構２８を制御して、車両１の車高を、Ｌｏｗ車高から、Ｈｉｇｈ車高または標準車高に調整する。そこで、視差算出部４０１は、停車している車両１に運転手が乗車する場合に、車高センサ３０によりＬｏｗ車高が検出された際に撮像部１６の撮像により得られた撮像画像と、車高センサ３０により標準車高またはＨｉｇｈ車高が検出された際に撮像部１６の撮像により得られた撮像画像との視差を求める。次に、立体物検出部４０２は、当該視差に基づいて、車両１の外部に存在する立体物を検出する。そして、立体物検出部４０２は、車両１が走り始める前に、立体物の検出結果を表示装置８に表示する。これにより、車両１が走り始める際に車両１の外部に立体物が存在する場合に、車両１が立体物に接触することを防止できる。また、車両１に運転手等の乗員が降車する際の車高の調整時に撮像された撮像画像を用いて、車両１の外部の立体物を検出することで、車両１の外部の立体物を検出するために、車両１の車高を意図的に調整することなく、車両１の外部の立体物を検出することができる。 Further, the vehicle height adjustment ECU 29 controls the vehicle height adjustment mechanism 28 when an occupant such as a driver gets on the stopped vehicle 1 to change the vehicle height of the vehicle 1 from the low vehicle height to the high vehicle height. Or adjust to the standard height. Therefore, the parallax calculation unit 401, when a driver gets on the stopped vehicle 1, when the low vehicle height is detected by the vehicle height sensor 30, the captured image obtained by imaging of the imaging unit 16, When the vehicle height sensor 30 detects the standard vehicle height or the high vehicle height, the parallax with the captured image obtained by the imaging of the imaging unit 16 is obtained. Next, the three-dimensional object detection unit 402 detects a three-dimensional object existing outside the vehicle 1 based on the parallax. Then, the three-dimensional object detection unit 402 displays the detection result of the three-dimensional object on the display device 8 before the vehicle 1 starts to run. Thereby, when the three-dimensional object exists outside the vehicle 1 when the vehicle 1 starts running, the vehicle 1 can be prevented from coming into contact with the three-dimensional object. Further, by detecting a three-dimensional object outside the vehicle 1 by using a captured image that is picked up when the vehicle height is adjusted when a passenger such as a driver gets off the vehicle 1, the three-dimensional object outside the vehicle 1 is detected. In order to detect, a three-dimensional object outside the vehicle 1 can be detected without intentionally adjusting the vehicle height of the vehicle 1.

次に、本実施形態にかかる周辺監視ＥＣＵ１４による記憶部４００に対する撮像画像の保存処理について説明する。 Next, a process for storing a captured image in the storage unit 400 by the periphery monitoring ECU 14 according to the present embodiment will be described.

まず、車両１の運転手による、車両１の車高の調整の指示によらずに、撮像画像を保存する処理について説明する。周辺監視ＥＣＵ１４は、車両１が停車している間、車高調整ＥＣＵ２９から通知される車両１の車高（すなわち、車高センサ３０により検出された車高）と、当該車高が検出された際に撮像部１６の撮像により得られた撮像画像とを対応付けて記憶部４００に保存する。 First, a process for storing a captured image without depending on an instruction to adjust the vehicle height of the vehicle 1 by the driver of the vehicle 1 will be described. The surrounding monitoring ECU 14 detects the vehicle height of the vehicle 1 (that is, the vehicle height detected by the vehicle height sensor 30) notified from the vehicle height adjustment ECU 29 and the vehicle height while the vehicle 1 is stopped. At this time, the captured image obtained by the imaging of the imaging unit 16 is stored in the storage unit 400 in association with each other.

その後、視差算出部４０１は、車両１が停止している間に車高センサ３０により検出された車高間の差分が所定値以上となった場合に、記憶部４００に記憶された撮像画像のうち、所定値以上の差分を有する車高と対応付けて記憶された２つの撮像画像を読み出す。ここで、所定値は、予め設定された値であり、２つの撮像画像の視差に基づいて、立体物を検出可能な車高の差分である。これにより、立体物を検出可能な車高において撮像された撮像画像を用いて、車両１の外部の立体物の検出が行われるので、車両１の外部の立体物の検出精度を向上させることができる。そして、視差算出部４０１は、読み出した２つの撮像画像の視差を算出する。 Thereafter, when the difference between the vehicle heights detected by the vehicle height sensor 30 while the vehicle 1 is stopped becomes equal to or greater than a predetermined value, the parallax calculation unit 401 displays the captured image stored in the storage unit 400. Of these, two captured images stored in association with the vehicle height having a difference equal to or greater than a predetermined value are read out. Here, the predetermined value is a preset value, which is a difference in vehicle height at which a three-dimensional object can be detected based on the parallax between two captured images. Thereby, since the detection of the three-dimensional object outside the vehicle 1 is performed using the captured image captured at the vehicle height at which the three-dimensional object can be detected, the detection accuracy of the three-dimensional object outside the vehicle 1 can be improved. it can. Then, the parallax calculation unit 401 calculates the parallax between the two read captured images.

次に、図５を用いて、車両１の運転手による、車両１の車高の調整の指示に応じて、撮像画像を保存する処理について説明する。図５は、本実施形態にかかる車両による記憶部に対する撮像画像の保存処理の流れの一例を示すシーケンス図である。 Next, a process for storing a captured image in response to an instruction for adjusting the vehicle height of the vehicle 1 by the driver of the vehicle 1 will be described with reference to FIG. FIG. 5 is a sequence diagram illustrating an example of a flow of processing for storing a captured image in the storage unit by the vehicle according to the present embodiment.

車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号が入力されて、車両１の車高を調整する場合に、車両１の車高の調整に先立って、車両１の車高を調整することを示す制御開始情報を周辺監視ＥＣＵ１４に送信する（ステップＳ５０１）。周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御開始情報を受信した際に撮像部１６の撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ５０２）。次いで、周辺監視ＥＣＵ１４は、撮像画像の保存が完了したことを示す完了通知を、車高調整ＥＣＵ２９に送信する（ステップＳ５０３）。 When the vehicle height adjustment ECU 29 receives a selection signal from the vehicle height switch 31 and adjusts the vehicle height of the vehicle 1, the vehicle height adjustment ECU 29 adjusts the vehicle height of the vehicle 1 before adjusting the vehicle height of the vehicle 1. The control start information shown is transmitted to the periphery monitoring ECU 14 (step S501). The periphery monitoring ECU 14 stores the captured image obtained by the imaging of the imaging unit 16 when the control start information is received from the vehicle height adjustment ECU 29 in the storage unit 400 (step S502). Next, the periphery monitoring ECU 14 transmits a completion notification indicating that the storage of the captured image is completed to the vehicle height adjustment ECU 29 (step S503).

車高調整ＥＣＵ２９は、周辺監視ＥＣＵ１４から完了通知を受信すると、車高調整機構２８を制御して、車両１の車高を、車高スイッチ３１から入力された選択信号が示す車高に調整する（ステップＳ５０４）。車両１の車高の調整が完了すると、車高調整ＥＣＵ２９は、車両１の車高の調整が完了したことを示す制御完了情報を、周辺監視ＥＣＵ１４に送信する（ステップＳ５０５）。 When the vehicle height adjustment ECU 29 receives the completion notification from the periphery monitoring ECU 14, the vehicle height adjustment ECU 29 controls the vehicle height adjustment mechanism 28 to adjust the vehicle height of the vehicle 1 to the vehicle height indicated by the selection signal input from the vehicle height switch 31. (Step S504). When the adjustment of the vehicle height of the vehicle 1 is completed, the vehicle height adjustment ECU 29 transmits control completion information indicating that the adjustment of the vehicle height of the vehicle 1 is completed to the periphery monitoring ECU 14 (step S505).

周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御完了情報を受信した際に撮像部１６の撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ５０６）。その後、視差算出部４０１は、記憶部４００に記憶された２つの撮像画像を読み出す。そして、視差算出部４０１は、読み出した２つの撮像画像の視差を算出する。その後、立体物検出部４０２は、算出された視差に基づいて、車両１の外部に存在する立体物を検出する。 The periphery monitoring ECU 14 stores the captured image obtained by the imaging of the imaging unit 16 when the control completion information is received from the vehicle height adjustment ECU 29 in the storage unit 400 (step S506). Thereafter, the parallax calculation unit 401 reads two captured images stored in the storage unit 400. Then, the parallax calculation unit 401 calculates the parallax between the two read captured images. Thereafter, the three-dimensional object detection unit 402 detects a three-dimensional object existing outside the vehicle 1 based on the calculated parallax.

次に、図６を用いて、停車している車両１に運転手が乗車する際に、車両１の外部に存在する立体物を検出する処理の流れの一例について説明する。図６は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。 Next, an example of the flow of processing for detecting a three-dimensional object existing outside the vehicle 1 when the driver gets on the stopped vehicle 1 will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of the flow of a solid object detection process performed by the vehicle according to the present embodiment.

以下の説明では、撮像部１６ｄの撮像により得られた複数の撮像画像を用いて、車両１の外部に存在する立体物を検出する例について説明するが、他の撮像部１６（撮像部１６ａ，１６ｂ，１６ｃ）の撮像により得られた複数の撮像画像を用いる場合も、同様にして、車両１の外部に存在する立体物を検出する。また、本実施形態では、複数の撮像部１６それぞれの撮像により得られた撮像画像を用いて、車両１の前方、左右、および後方に存在する立体物を検出する例について説明するが、車両１が撮像部１６（例えば、撮像部１６ｄ）を１つしか有しない場合には、当該撮像部１６の撮像により得られた撮像画像のみを用いて、車両１の外部に存在する立体物を検出する。 In the following description, an example in which a three-dimensional object existing outside the vehicle 1 is detected using a plurality of captured images obtained by imaging by the imaging unit 16d will be described. However, other imaging units 16 (imaging units 16a, 16a, Similarly, when using a plurality of captured images obtained by the imaging of 16b and 16c), a three-dimensional object existing outside the vehicle 1 is detected. In the present embodiment, an example in which three-dimensional objects existing in the front, left, right, and rear of the vehicle 1 are detected using captured images obtained by imaging the plurality of imaging units 16 will be described. 3 has only one image pickup unit 16 (for example, the image pickup unit 16d), a solid object existing outside the vehicle 1 is detected using only a captured image obtained by the image pickup of the image pickup unit 16. .

車両１の運転手が乗車しておらず、当該車両１のエンジンが停止している間、車高調整ＥＣＵ２９は、スマートユニット３２から、ドアロックの解錠を示すドアロック信号が開閉体制御装置へ出力され、ドアロックが解錠されるのを待つ。そして、ドアロックが解錠され（ステップＳ６０１）、かつ車両１のエンジンを稼働させるイグニッションがオンされると（ステップＳ６０２）、車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号（例えば、Ｈｉｇｈ車高または標準車高を示す選択信号）が入力されるのを待つ。車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号を受信すると（ステップＳ６０３）、車両１の車高の調整に先立って、制御開始情報を周辺監視ＥＣＵ１４に送信する。なお、撮像部１６の起動に時間がかかる場合には、ドアロックの解除時に撮像部１６の電源をオンしても良い。 While the driver of the vehicle 1 is not in the vehicle and the engine of the vehicle 1 is stopped, the vehicle height adjustment ECU 29 receives a door lock signal indicating the unlocking of the door lock from the smart unit 32. To wait until the door lock is unlocked. When the door lock is unlocked (step S601) and the ignition for operating the engine of the vehicle 1 is turned on (step S602), the vehicle height adjustment ECU 29 receives a selection signal (for example, a high vehicle) from the vehicle height switch 31. It waits for the input of a selection signal indicating high or standard vehicle height. When the vehicle height adjustment ECU 29 receives the selection signal from the vehicle height switch 31 (step S603), the vehicle height adjustment ECU 29 transmits control start information to the periphery monitoring ECU 14 prior to the adjustment of the vehicle height of the vehicle 1. If it takes time to start up the imaging unit 16, the imaging unit 16 may be turned on when the door lock is released.

周辺監視ＥＣＵ１４は、制御開始情報を受信した際に（すなわち、車両１の車高が調整される前に、例えば、車両１の車高がＬｏｗ車高に調整されている場合に）撮像部１６ｄの撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ６０４）。次いで、周辺監視ＥＣＵ１４は、完了通知を、車高調整ＥＣＵ２９に送信する。 When the periphery monitoring ECU 14 receives the control start information (that is, before the vehicle height of the vehicle 1 is adjusted, for example, when the vehicle height of the vehicle 1 is adjusted to the Low vehicle height), the imaging unit 16d. The captured image obtained by the imaging is stored in the storage unit 400 (step S604). Next, the periphery monitoring ECU 14 sends a completion notification to the vehicle height adjustment ECU 29.

車高調整ＥＣＵ２９は、周辺監視ＥＣＵ１４から完了通知を受信すると、車高調整機構２８を制御して、車両１の車高を、車高スイッチ３１から受信した選択信号が示す車高（例えば、Ｈｉｇｈ車高）に調整する（ステップＳ６０５）。その後、車高調整ＥＣＵ２９は、制御完了情報を周辺監視ＥＣＵ１４に送信する。 When the vehicle height adjustment ECU 29 receives the completion notification from the surrounding monitoring ECU 14, the vehicle height adjustment ECU 29 controls the vehicle height adjustment mechanism 28, and the vehicle height of the vehicle 1 is indicated by the selection signal received from the vehicle height switch 31 (for example, High The vehicle height is adjusted (step S605). Thereafter, the vehicle height adjustment ECU 29 transmits control completion information to the periphery monitoring ECU 14.

周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御完了情報を受信した際に（すなわち、車両１の車高を調整した後に、例えば、車両１の車高をＨｉｇｈ車高に調整した後に）撮像部１６の撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ６０６）。次いで、視差算出部４０１は、記憶部４００に記憶された２つの撮像画像の視差を算出する。さらに、立体物検出部４０２は、視差算出部４０１により算出された視差に基づいて、車両１の外部に存在する立体物を検出する（ステップＳ６０７）。車両１の外部に存在する立体物を検出した場合、立体物検出部４０２は、視差算出部４０１により算出された視差に基づいて、車両１から立体物までの距離も検出する。 The peripheral monitoring ECU 14 receives the control completion information from the vehicle height adjustment ECU 29 (that is, after adjusting the vehicle height of the vehicle 1, for example, after adjusting the vehicle height of the vehicle 1 to the high vehicle height), the imaging unit 16. The captured image obtained by the imaging is stored in the storage unit 400 (step S606). Next, the parallax calculation unit 401 calculates the parallax between the two captured images stored in the storage unit 400. Furthermore, the three-dimensional object detection unit 402 detects a three-dimensional object existing outside the vehicle 1 based on the parallax calculated by the parallax calculation unit 401 (step S607). When a three-dimensional object existing outside the vehicle 1 is detected, the three-dimensional object detection unit 402 also detects the distance from the vehicle 1 to the three-dimensional object based on the parallax calculated by the parallax calculation unit 401.

次に、立体物検出部４０２は、車両１の外部に存在する立体物の検出結果を表示装置８に表示する（ステップＳ６０８）。その後、立体物検出部４０２は、車両１が走行を開始し、車両１の車速が所定速度（例えば、５ｋｍ／ｈ）以上となると、表示装置８に対する立体物の検出結果の表示を終了させる（ステップＳ６０９）。 Next, the three-dimensional object detection unit 402 displays the detection result of the three-dimensional object existing outside the vehicle 1 on the display device 8 (step S608). Thereafter, the three-dimensional object detection unit 402 ends the display of the detection result of the three-dimensional object on the display device 8 when the vehicle 1 starts traveling and the vehicle speed of the vehicle 1 becomes equal to or higher than a predetermined speed (for example, 5 km / h) ( Step S609).

次に、図７を用いて、車両１が停車して運転手が降車する際に、車両１の外部に存在する立体物を検出する処理の流れの一例について説明する。図７は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。 Next, an example of a flow of processing for detecting a three-dimensional object existing outside the vehicle 1 when the vehicle 1 stops and the driver gets off will be described with reference to FIG. FIG. 7 is a flowchart illustrating an example of a flow of a three-dimensional object detection process by the vehicle according to the present embodiment.

車両１のエンジンが稼働している状態において当該車両１が停車し（ステップＳ７０１）かつ車両１のエンジンを稼働させるイグニッションがオフされると、車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号（例えば、Ｌｏｗ車高を示す選択信号）が入力されるのを待つ。本実施形態にかかる車両１は、エンジンを稼働させるイグニッションがオフされても、撮像部１６、周辺監視ＥＣＵ１４、モニタ装置１１、車高調整機構２８、車高調整ＥＣＵ２９、車高センサ３０等、車両１の外部に存在する立体物の検出に関わる構成への電源の供給は確保されているものとする。車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号を受信すると（ステップＳ７０２）、車両１の車高の調整に先立って、制御開始情報を周辺監視ＥＣＵ１４に送信する。 When the vehicle 1 stops in a state where the engine of the vehicle 1 is operating (step S701) and the ignition for operating the engine of the vehicle 1 is turned off, the vehicle height adjustment ECU 29 receives a selection signal ( For example, it waits for input of a selection signal indicating Low vehicle height. Even if the ignition for operating the engine is turned off, the vehicle 1 according to the present embodiment includes the imaging unit 16, the periphery monitoring ECU 14, the monitor device 11, the vehicle height adjusting mechanism 28, the vehicle height adjusting ECU 29, the vehicle height sensor 30, and the like. It is assumed that supply of power to a configuration related to detection of a three-dimensional object existing outside of 1 is secured. When the vehicle height adjustment ECU 29 receives the selection signal from the vehicle height switch 31 (step S702), the vehicle height adjustment ECU 29 transmits control start information to the surroundings monitoring ECU 14 prior to the adjustment of the vehicle height of the vehicle 1.

周辺監視ＥＣＵ１４は、制御開始情報を受信した際に（すなわち、車両１の車高が調整される前に、例えば、車両１の車高がＨｉｇｈ車高または標準車高に調整されている場合に）撮像部１６ｄの撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ７０３）。次いで、周辺監視ＥＣＵ１４は、完了通知を、車高調整ＥＣＵ２９に送信する。 When the periphery monitoring ECU 14 receives the control start information (that is, before the vehicle height of the vehicle 1 is adjusted, for example, when the vehicle height of the vehicle 1 is adjusted to a high vehicle height or a standard vehicle height). ) The captured image obtained by imaging by the imaging unit 16d is stored in the storage unit 400 (step S703). Next, the periphery monitoring ECU 14 sends a completion notification to the vehicle height adjustment ECU 29.

車高調整ＥＣＵ２９は、周辺監視ＥＣＵ１４から完了通知を受信すると、車高調整機構２８を制御して、車両１の車高を、車高スイッチ３１から受信した選択信号が示す車高（例えば、Ｌｏｗ車高）に調整する（ステップＳ７０４）。その後、車高調整ＥＣＵ２９は、制御完了情報を周辺監視ＥＣＵ１４に送信する。 When the vehicle height adjustment ECU 29 receives the completion notification from the periphery monitoring ECU 14, the vehicle height adjustment ECU 29 controls the vehicle height adjustment mechanism 28, and the vehicle height of the vehicle 1 is indicated by the selection signal received from the vehicle height switch 31 (for example, Low The vehicle height is adjusted (step S704). Thereafter, the vehicle height adjustment ECU 29 transmits control completion information to the periphery monitoring ECU 14.

周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御完了情報を受信した際に（すなわち、車両１の車高を調整した後に、例えば、車両１の車高をＬｏｗ車高に調整した後に）撮像部１６ｄの撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ７０５）。次いで、視差算出部４０１は、記憶部４００に記憶された２つの撮像画像の視差を算出する。さらに、立体物検出部４０２は、視差算出部４０１に算出された視差に基づいて、車両１の外部に存在する立体物を検出する（ステップＳ７０６）。車両１の外部に存在する立体物を検出した場合、立体物検出部４０２は、視差算出部４０１により算出された視差に基づいて、車両１から立体物までの距離も検出する。 The surrounding monitoring ECU 14 receives the control completion information from the vehicle height adjustment ECU 29 (that is, after adjusting the vehicle height of the vehicle 1, for example, after adjusting the vehicle height of the vehicle 1 to the Low vehicle height), the imaging unit 16d. The captured image obtained by the imaging is stored in the storage unit 400 (step S705). Next, the parallax calculation unit 401 calculates the parallax between the two captured images stored in the storage unit 400. Furthermore, the three-dimensional object detection unit 402 detects a three-dimensional object existing outside the vehicle 1 based on the parallax calculated by the parallax calculation unit 401 (step S706). When a three-dimensional object existing outside the vehicle 1 is detected, the three-dimensional object detection unit 402 also detects the distance from the vehicle 1 to the three-dimensional object based on the parallax calculated by the parallax calculation unit 401.

その後、立体物検出部４０２は、車両１から運転手が降車する前に、車両１の外部に存在する立体物の検出結果を表示装置８に表示する（ステップＳ７０７）。そして、立体物検出部４０２は、スマートユニット３２からドアロックの施錠を示すドアロック信号が開閉体制御装置へ出力され、ドアロックが施錠されるのを待つ。ドアロックが施錠され、運転手が車両１から降車すると、立体物検出部４０２は、表示装置８に対する立体物の検出結果の表示を終了させる（ステップＳ７０８）。 Thereafter, the three-dimensional object detection unit 402 displays the detection result of the three-dimensional object existing outside the vehicle 1 on the display device 8 before the driver gets off the vehicle 1 (step S707). Then, the three-dimensional object detection unit 402 outputs a door lock signal indicating that the door lock is locked from the smart unit 32, and waits for the door lock to be locked. When the door lock is locked and the driver gets out of the vehicle 1, the three-dimensional object detection unit 402 ends the display of the three-dimensional object detection result on the display device 8 (step S708).

図６および図７に示す、車両１の外部に存在する立体物の検出処理では、周辺監視ＥＣＵ１４は、車高スイッチ３１から入力される選択信号に応じて、車両１の車高が調整された場合に、車両１の外部に存在する立体物を検出する例について説明したが、これに限定するものではない。例えば、周辺監視ＥＣＵ１４は、車高スイッチ３１からの選択信号の入力によらずに、車高調整機構２８によって自動的に車両１の車高が調整された場合も、同様にして、車両１の外部に存在する立体物を検出することが可能である。 In the detection processing of the three-dimensional object existing outside the vehicle 1 shown in FIGS. 6 and 7, the surrounding monitoring ECU 14 adjusts the vehicle height of the vehicle 1 according to the selection signal input from the vehicle height switch 31. In this case, the example of detecting the three-dimensional object existing outside the vehicle 1 has been described, but the present invention is not limited to this. For example, the periphery monitoring ECU 14 is configured in the same manner even when the vehicle height of the vehicle 1 is automatically adjusted by the vehicle height adjustment mechanism 28 regardless of the selection signal input from the vehicle height switch 31. It is possible to detect a three-dimensional object existing outside.

図８および図９は、本実施形態にかかる車両による立体物の検出結果の表示装置に対する表示例を示す図である。本実施形態では、立体物検出部４０２は、複数の撮像部１６の撮像により得られた撮像画像を、車両１を上空から俯瞰したような俯瞰画像Ｇに変換する。そして、図８に示すように、立体物検出部４０２は、図８に示すように、俯瞰画像Ｇと、検出した立体物の位置を識別可能とする立体物情報Ａ（三次元情報。例えば、検出した立体物の位置を識別可能とする線）とを含む重畳画像Ｇ１を、表示制御部１４ｄを制御して、表示装置８に表示させる。これにより、車両１の乗員は、車両１の外部に存在する立体物を容易に認識することができる。 8 and 9 are diagrams illustrating examples of display on the display device of the detection result of the three-dimensional object by the vehicle according to the present embodiment. In the present embodiment, the three-dimensional object detection unit 402 converts captured images obtained by imaging by the plurality of imaging units 16 into an overhead image G that looks like the vehicle 1 is viewed from above. As shown in FIG. 8, the three-dimensional object detection unit 402, as shown in FIG. 8, the three-dimensional object information A (three-dimensional information; for example, enabling identification of the overhead image G and the position of the detected three-dimensional object. The display controller 8d is controlled to display the superimposed image G1 including the line that makes it possible to identify the position of the detected three-dimensional object on the display device 8. Thereby, the passenger | crew of the vehicle 1 can recognize the solid object which exists outside the vehicle 1 easily.

若しくは、図９に示すように、立体物検出部４０２は、撮像部１６（例えば、車体２の後側の端部２ｅに位置する撮像部１６ｃ）の撮像により得られた撮像画像ｇが含む立体物の画像оｇと、検出した立体物を識別可能とする立体物情報Ｂ（例えば、矩形の枠画像）とを含む重畳画像ｇ１を、表示装置８に表示させても良い。これにより、車両１の乗員は、車両１の外部に存在する立体物を容易に認識することができる。その際、立体物検出部４０２は、車両１と立体物との間の距離に応じて、検出した立体物の画像оｇに重畳する立体物情報Ｂの色を異ならせても良い。例えば、立体物検出部４０２は、車両１との間の距離が所定距離以下の立体物の画像оｇに重畳する立体物情報Ｂの色を赤色とする。一方、立体物検出部４０２は、車両１との間の距離が所定距離より長い立体物の画像оｇに重畳する立体物情報Ｂの色を黄色とする。 Alternatively, as illustrated in FIG. 9, the three-dimensional object detection unit 402 includes a three-dimensional image included in a captured image g obtained by imaging of the imaging unit 16 (for example, the imaging unit 16 c located at the rear end 2 e of the vehicle body 2). A superimposed image g1 including an object image оg and three-dimensional object information B (for example, a rectangular frame image) that enables the detected three-dimensional object to be identified may be displayed on the display device 8. Thereby, the passenger | crew of the vehicle 1 can recognize the solid object which exists outside the vehicle 1 easily. At that time, the three-dimensional object detection unit 402 may change the color of the three-dimensional object information B to be superimposed on the detected three-dimensional object image og according to the distance between the vehicle 1 and the three-dimensional object. For example, the three-dimensional object detection unit 402 sets the color of the three-dimensional object information B to be superimposed on the three-dimensional object image og whose distance from the vehicle 1 is a predetermined distance or less to red. On the other hand, the three-dimensional object detection unit 402 sets the color of the three-dimensional object information B superimposed on the three-dimensional object image og whose distance from the vehicle 1 is longer than a predetermined distance to yellow.

本実施形態では、立体物検出部４０２は、車両１と立体物との間の距離に応じて、立体物の画像оｇに重畳する立体物情報Ｂの色を異ならせているが、車両１と立体物との間の距離に応じて立体物情報Ｂの表示態様を異ならせるものであれば、これに限定するものではない。例えば、立体物検出部４０２は、車両１との間の距離が所定距離以下の立体物の画像оｇに重畳する立体物情報Ｂをハイライト表示とする。一方、立体物検出部４０２は、車両１との間の距離が所定距離より長い立体物の画像оｇに重畳する立体物情報Ｂをハイライト表示させない。若しくは、立体物検出部４０２は、車両１との間の距離が所定距離以下の立体物の画像оｇに重畳する立体物情報Ｂを点滅表示させる。一方、立体物検出部４０２は、車両１との間の距離が所定距離より長い立体物の画像оｇに重畳する立体物情報Ｂを点滅表示させない。 In the present embodiment, the three-dimensional object detection unit 402 changes the color of the three-dimensional object information B superimposed on the three-dimensional object image og according to the distance between the vehicle 1 and the three-dimensional object. The present invention is not limited to this as long as the display mode of the three-dimensional object information B is changed according to the distance to the three-dimensional object. For example, the three-dimensional object detection unit 402 highlights the three-dimensional object information B that is superimposed on the three-dimensional object image og whose distance from the vehicle 1 is a predetermined distance or less. On the other hand, the three-dimensional object detection unit 402 does not highlight the three-dimensional object information B that is superimposed on the three-dimensional object image og that is longer than the predetermined distance from the vehicle 1. Alternatively, the three-dimensional object detection unit 402 blinks and displays the three-dimensional object information B superimposed on the three-dimensional object image og whose distance from the vehicle 1 is a predetermined distance or less. On the other hand, the three-dimensional object detection unit 402 does not blink and display the three-dimensional object information B superimposed on the three-dimensional object image og whose distance from the vehicle 1 is longer than the predetermined distance.

このように、本実施形態にかかる車両１によれば、より簡易な構成で車両１の外部に存在する立体物を検出することができる。 Thus, according to the vehicle 1 according to the present embodiment, a three-dimensional object existing outside the vehicle 1 can be detected with a simpler configuration.

本実施形態では、エアサスペンションにより車両１の車高が調整された場合に撮像部１６の撮像により得られた撮像画像を用いて、車両１の外部の立体物を検出する例について説明したが、エアサスペンション以外の他の車高調整機構により車両１の車高が調整された場合も、同様にして、撮像部１６の撮像により得られた撮像画像を用いて、車両１の外部の立体物を検出可能である。例えば、周辺監視ＥＣＵ１４は、車高調整機構２８が、スプリングによって車高を調整する場合、車両１に乗員が乗車して当該乗員の重さにより車高がＬｏｗ車高である際に撮像部１６の撮像により得られた撮像画像と、車両１から乗員が降車して車高が標準車高またはＨｉｇｈ車高となった際に撮像部１６の撮像により得られた撮像画像とを用いて、車両１の外部の立体物を検出することも可能である。なお、この場合も、車両１には、車高を測定する車高センサ３０が設けられている。 In the present embodiment, the example in which the three-dimensional object outside the vehicle 1 is detected using the captured image obtained by the imaging of the imaging unit 16 when the vehicle height of the vehicle 1 is adjusted by the air suspension has been described. Similarly, when the vehicle height of the vehicle 1 is adjusted by a vehicle height adjustment mechanism other than the air suspension, a three-dimensional object outside the vehicle 1 is used by using a captured image obtained by imaging of the imaging unit 16 in the same manner. It can be detected. For example, when the vehicle height adjustment mechanism 28 adjusts the vehicle height with a spring, the surroundings monitoring ECU 14 captures the imaging unit 16 when the occupant gets on the vehicle 1 and the vehicle height is Low due to the weight of the occupant. And the captured image obtained by the imaging unit 16 when the occupant gets out of the vehicle 1 and the vehicle height becomes the standard vehicle height or the high vehicle height. It is also possible to detect one external solid object. Also in this case, the vehicle 1 is provided with a vehicle height sensor 30 for measuring the vehicle height.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１車両
８表示装置
１１モニタ装置
１４周辺監視ＥＣＵ
１４ａＣＰＵ
１４ｂＲＯＭ
１４ｃＲＡＭ
１４ｄ表示制御部
１４ｆＳＳＤ
１６撮像部
２８車高調整機構
２８ａ前輪エアサスペンション
２８ｂ後輪エアサスペンション
２９車高調整ＥＣＵ
３０車高センサ
３１車高スイッチ
３２スマートユニット
３３バックドアカーテシスイッチ
４００記憶部
４０１視差算出部
４０２立体物検出部 1 Vehicle 8 Display Device 11 Monitor Device 14 Perimeter Monitoring ECU
14a CPU
14b ROM
14c RAM
14d display control unit 14f SSD
16 Image pickup unit 28 Vehicle height adjustment mechanism 28a Front wheel air suspension 28b Rear wheel air suspension 29 Vehicle height adjustment ECU
30 vehicle height sensor 31 vehicle height switch 32 smart unit 33 back door courtesy switch 400 storage unit 401 parallax calculation unit 402 three-dimensional object detection unit

Claims

A control unit that controls a vehicle height adjustment mechanism that adjusts the vehicle height of the vehicle;
An imaging unit provided to be capable of imaging the outside of the vehicle;
The first captured image obtained by imaging of the imaging unit when the vehicle is adjusted to the first vehicle height by the vehicle height adjustment mechanism, and the vehicle height is the first vehicle height by the vehicle height adjustment mechanism. A parallax with a second captured image obtained by imaging of the imaging unit when adjusted to a different second vehicle height is obtained, and three-dimensional information existing outside the vehicle is detected based on the obtained parallax A detector to perform,
A three-dimensional information detection apparatus.

The three-dimensional information detection apparatus according to claim 1, wherein the second vehicle height is a vehicle height that is different from the first vehicle height by a predetermined value or more.

The three-dimensional information detection apparatus according to claim 1, further comprising a display unit that displays a screen including a bird's-eye view image of the vehicle and three-dimensional object information that enables the three-dimensional object detected by the detection unit to be identified. .

When the occupant gets off the vehicle, the control unit adjusts the vehicle from the first vehicle height to the second vehicle height lower than the first vehicle height, and / or when the occupant gets on the vehicle. The three-dimensional information detection apparatus according to any one of claims 1 to 3, wherein the vehicle is adjusted from the second vehicle height to the first vehicle height.

The three-dimensional information detection apparatus according to claim 4, wherein the vehicle height adjustment mechanism is an air suspension.