JP2008030705A - Display system for vehicle circumference image display system - Google Patents

Display system for vehicle circumference image display system Download PDF

Info

Publication number
JP2008030705A
JP2008030705A JP2006208555A JP2006208555A JP2008030705A JP 2008030705 A JP2008030705 A JP 2008030705A JP 2006208555 A JP2006208555 A JP 2006208555A JP 2006208555 A JP2006208555 A JP 2006208555A JP 2008030705 A JP2008030705 A JP 2008030705A
Authority
JP
Japan
Prior art keywords
vehicle
image
obstacle
image display
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006208555A
Other languages
Japanese (ja)
Other versions
JP4595902B2 (en
Inventor
Seiji Sakakibara
聖治 榊原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2006208555A priority Critical patent/JP4595902B2/en
Publication of JP2008030705A publication Critical patent/JP2008030705A/en
Application granted granted Critical
Publication of JP4595902B2 publication Critical patent/JP4595902B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display system for vehicle circumference image which can display an overhead view image including a vehicle and an obstacle at the time of detecting the obstacle. <P>SOLUTION: The display system for vehicle circumference image is configured so that when a parking operation of the vehicle 2 is judged to be under way, the overhead view image around the circumference of the vehicle 2 is generated from camera images taken by a rear camera 3, particularly in case that any obstacle is detected within a predetermined distance (not more than 150 cm, for example) from the vehicle 2 by clearance sonars 7-9, the trimmed overhead view image including the detected obstacle and the vehicle 2 is displayed on a liquid crystal display device 5. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、車両上方から車両周辺を俯瞰した俯瞰画像を表示する車両周辺画像表示システムに関し、特に、障害物が検出された場合に検出された障害物と車両とを含む俯瞰画像を表示する車両周辺画像表示システムに関するものである。   The present invention relates to a vehicle periphery image display system that displays an overhead view image of the vehicle periphery from above the vehicle, and in particular, a vehicle that displays an overhead image including the detected obstacle and the vehicle when the obstacle is detected. The present invention relates to a peripheral image display system.

近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する画像表示システムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、画像表示システムはこれらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うものである。
このような表示システムは、車両運転時に運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感なく一見して運転者が必要な情報を取得できる画像を取得できる画像を表示することが望ましい。 In recent years, with the spread of navigation systems, the number of vehicles equipped with an image display system that displays a situation around the vehicle on a display device in a vehicle compartment is increasing. The situation around the vehicle includes, for example, the position of other vehicles, the situation of obstacles, road markings such as the center line and stop line, etc., but the blind spots such as the rear of the vehicle and under the front bumper and corners are It is difficult for ordinary drivers to recognize. Accordingly, the image display system captures the surrounding situation in the blind spot with an imaging device such as a camera installed in the vehicle, and displays it on the display device when the vehicle is turned to the right, left, back, etc. Is to assist.
Such a display system is intended to reduce the burden on the driver when driving the vehicle. In view of the large amount of information that the driver needs to acquire during driving, the display system is excellent in visibility and without a sense of incongruity. Then, it is desirable to display an image from which the driver can acquire an image from which necessary information can be acquired.

そこで、従来より車両周辺をカメラによって撮像し、撮像した画像に基づいて車両上方から車両周辺を俯瞰した俯瞰画像を生成して表示を行う技術について知られている。例えば、特開２００３−１１５１００号公報では、駐車を行う際に駐車を行う自車周辺の俯瞰画像を表示するとともに、更に自車の移動に伴って自動的に俯瞰画像の表示範囲や縮尺を変更する画像表示システムについて記載されている。このような技術によれば、利用者は車両周辺の様子と共に車両と周辺にある地物や障害物との関係を、俯瞰画像より直感的に把握することができる。
特開２００３−１１５１００号公報（第３頁〜第５頁、図６） In view of this, there has been conventionally known a technique in which the periphery of a vehicle is imaged by a camera, and an overhead image in which the periphery of the vehicle is viewed from above is generated and displayed based on the captured image. For example, in Japanese Patent Laid-Open No. 2003-115100, an overhead image around the subject vehicle that is parked is displayed when parking, and the display range and scale of the overhead image are automatically changed as the subject vehicle moves. An image display system is described. According to such a technique, the user can intuitively grasp the relationship between the vehicle and the surrounding features and obstacles as well as the situation around the vehicle from the overhead image.
JP 2003-115100 A (page 3 to page 5, FIG. 6)

しかしながら、前記した特許文献１に記載された画像表示システムでは、特に縮尺が拡大された状況では、利用者は自車周囲の限られた範囲のみしか視認することができなかった。従って、自車の近傍に人や自転車等の障害物が接近したとしても運転者からは障害物の姿が確認できない為に、障害物と接触するまで又は極めて近い距離に接近するまで運転者が障害物の存在に気付かないことが多く、接触の可能性が高くなっていた。
一方で、縮尺を小さくして広範囲の俯瞰画像のみを表示することとすると、俯瞰画像から正確な自車の位置や方向が把握し難くなり、運転操作が困難となる。 However, in the image display system described in Patent Document 1 described above, the user can only visually recognize a limited range around the vehicle, particularly in a situation where the scale is enlarged. Therefore, even if an obstacle such as a person or a bicycle approaches the vehicle, the driver cannot confirm the appearance of the obstacle. Often, they were unaware of the presence of obstacles, increasing the likelihood of contact.
On the other hand, if the scale is reduced and only a wide bird's-eye view image is displayed, it is difficult to grasp the exact position and direction of the host vehicle from the bird's-eye view image, and driving operation becomes difficult.

本発明は前記従来における問題点を解消するためになされたものであり、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となり、利用者に正確な周辺環境を容易に把握させることを可能とした車両周辺画像表示システムを提供することを目的とする。   The present invention has been made to solve the above-described conventional problems, and it is possible to display an overhead image including an obstacle in an appropriate range in consideration of the obstacle located around the vehicle. An object of the present invention is to provide a vehicle peripheral image display system that allows a user to easily grasp an accurate peripheral environment.

前記目的を達成するため本願の請求項１に係る車両周辺画像表示システム（１）は、車両の周辺を撮像する撮像手段（３）と、前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段（４）と、画像表示手段（５）と、前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段（４）と、を有する車両周辺画像表示システムにおいて、車両周辺の障害物を検出する障害物検出手段（７〜９）を有し、前記表示制御手段は前記障害物検出手段によって障害物が検出された場合に、検出された障害物と車両とを含む前記俯瞰画像を前記画像表示手段に表示することを特徴とする。   In order to achieve the above object, a vehicle periphery image display system (1) according to claim 1 of the present application includes an image pickup means (3) for picking up an image of the periphery of the vehicle, and an upper part of the vehicle based on an image picked up by the image pickup means. A bird's-eye view image generation means (4) for generating a bird's-eye view image of the vehicle surroundings, an image display means (5), and a display control means for displaying the bird's-eye view image generated by the bird's-eye view image generation means on the image display means ( 4) and an obstacle detection means (7-9) for detecting an obstacle around the vehicle, and the display control means detects an obstacle by the obstacle detection means. In this case, the bird's-eye view image including the detected obstacle and the vehicle is displayed on the image display means.

また、請求項２に係る車両周辺画像表示システム（１）は、請求項１に記載の車両周辺画像表示システムにおいて、前記表示制御手段（４）は検出された障害物と車両とが前記画像表示手段（５）に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示することを特徴とする。   The vehicle periphery image display system (1) according to claim 2 is the vehicle periphery image display system according to claim 1, wherein the display control means (4) displays the detected obstacle and the vehicle as the image. The bird's-eye view image can be displayed on the means (5) and displayed in the narrowest range.

また、請求項３に係る車両周辺画像表示システム（１）は、請求項１又は請求項２に記載の車両周辺画像表示システムにおいて、駐車操作が行われたか否かを判定する駐車判定手段（４）を有し、前記表示制御手段（４）は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段（５）に対して俯瞰画像を表示することを特徴とする。   Further, the vehicle surrounding image display system (1) according to claim 3 is a parking determination means (4) for determining whether or not a parking operation is performed in the vehicle surrounding image display system according to claim 1 or 2. The display control means (4) displays an overhead image on the image display means (5) when it is determined that the parking operation is performed by the parking determination means.

また、請求項４に係る車両周辺画像表示システム（１）は、車両の周辺を撮像する撮像手段（３）と、前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段（４）と、画像表示手段（５）と、前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段（４）と、を有する車両周辺画像表示システムにおいて、駐車操作が行われたか否かを判定する駐車判定手段（４）と、車両が駐車を行う駐車スペースを検出する駐車スペース検出手段（４）と、車両が前記駐車スペースに進入したか否かを判定する進入判定手段（４）と、車両周辺の障害物を検出する障害物検出手段（７〜９）と、を有し、前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して第１の範囲の前記俯瞰画像を表示し、前記進入判定手段により車両が前記駐車スペースに進入したと判定された場合に前記第１の範囲より狭い第２の範囲の俯瞰画像を表示し、前記障害物検出手段により障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示することを特徴とする。
尚、「第２の範囲」と「第３の範囲」は同一の範囲であっても良い。 According to a fourth aspect of the present invention, there is provided a vehicle periphery image display system (1), an image pickup means (3) for picking up an image of the periphery of the vehicle, and an overhead view of the vehicle periphery from above the vehicle based on the image picked up by the image pickup means. An overhead image generation means (4) for generating an image; an image display means (5); and a display control means (4) for displaying the overhead image generated by the overhead image generation means on the image display means. In the vehicle peripheral image display system, a parking determination means (4) for determining whether or not a parking operation has been performed, a parking space detection means (4) for detecting a parking space where the vehicle is parked, and the vehicle is the parking space. An entry determination means (4) for determining whether or not the vehicle has entered the vehicle, and an obstacle detection means (7-9) for detecting an obstacle around the vehicle, wherein the display control means is controlled by the parking determination means. When it is determined that a vehicle operation has been performed, the overhead image of the first range is displayed on the image display means, and when the entry determination means determines that the vehicle has entered the parking space, An overhead image of a second range narrower than the first range is displayed, and an overhead image of a third range including the obstacle and the vehicle detected when the obstacle is detected by the obstacle detecting means is displayed. It is characterized by doing.
The “second range” and the “third range” may be the same range.

更に、請求項５に係る車両周辺画像表示システム（１）は、請求項４に記載の車両周辺画像表示システムにおいて、前記第３の範囲は検出された障害物と車両とが前記画像表示手段（５）に対して表示可能であって且つ最も狭い範囲であることを特徴とする。   Furthermore, the vehicle periphery image display system (1) according to claim 5 is the vehicle periphery image display system according to claim 4, wherein the third range includes the detected obstacle and the vehicle as the image display means ( It is possible to display for 5) and is in the narrowest range.

前記構成を有する請求項１の車両周辺画像表示システムでは、撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成し、障害物が検出された場合に、検出された障害物と車両とを含む俯瞰画像を画像表示手段に表示するので、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。   In the vehicle periphery image display system according to claim 1 having the above-described configuration, an overhead view image in which the periphery of the vehicle is viewed from above the vehicle is generated based on the image captured by the imaging unit, and is detected when an obstacle is detected. Since the overhead image including the obstacle and the vehicle is displayed on the image display means, it is possible to display the overhead image including the obstacle in an appropriate range in consideration of the obstacle located around the vehicle. . Therefore, the user can easily grasp the accurate surrounding environment.

また、請求項２の車両周辺画像表示システムでは、検出された障害物と車両とが画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。   In the vehicle periphery image display system according to claim 2, since the detected obstacle and the vehicle can be displayed on the image display means and the overhead image is displayed in the narrowest range, the enlarged overhead image is displayed. Therefore, it is possible to grasp the exact position and direction of the own vehicle and to check obstacles located around the vehicle.

また、請求項３の車両周辺画像表示システムでは、駐車操作が行われたと判定された場合に画像表示手段に対して俯瞰画像を表示するので、利用者にとって周囲環境の情報が特に必要な駐車操作時において、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することができる。従って、利用者は駐車操作を容易に行うことが可能となる。   Further, in the vehicle periphery image display system according to claim 3, when it is determined that the parking operation has been performed, the overhead image is displayed on the image display means, and therefore the parking operation that particularly requires information on the surrounding environment for the user. In consideration of obstacles located around the vehicle, an overhead image including the obstacles can be displayed in an appropriate range. Therefore, the user can easily perform the parking operation.

また、請求項４の車両周辺画像表示システムでは、撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成し、駐車操作が行われたと判定された場合に画像表示手段に対して第１の範囲の俯瞰画像を表示し、車両が駐車スペースに進入したと判定された場合に第１の範囲より狭い第２の範囲の俯瞰画像を表示し、障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示するので、現在の車両の状況に合わせた見易い範囲のみで俯瞰画像を表示することが可能となる。また、車両の周囲に障害物が位置する場合には、障害物を考慮した適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。   In the vehicle periphery image display system according to claim 4, an overhead view image in which the periphery of the vehicle is viewed from above the vehicle is generated based on the image captured by the imaging unit, and the image is displayed when it is determined that the parking operation is performed. An overhead image of the first range is displayed on the means, and when it is determined that the vehicle has entered the parking space, an overhead image of the second range narrower than the first range is displayed, and an obstacle is detected. Since the bird's-eye view image of the third range including the obstacle and the vehicle detected in this case is displayed, the bird's-eye view image can be displayed only in an easy-to-view range that matches the current vehicle situation. When an obstacle is located around the vehicle, it is possible to display an overhead image including the obstacle in an appropriate range in consideration of the obstacle. Therefore, the user can easily grasp the accurate surrounding environment.

更に、請求項５の車両周辺画像表示システムでは、検出された障害物と車両とが画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。   Furthermore, in the vehicle periphery image display system according to claim 5, since the detected obstacle and the vehicle can be displayed on the image display means and the overhead image is displayed in the narrowest range, the enlarged overhead image is displayed. Therefore, it is possible to grasp the exact position and direction of the own vehicle and to check obstacles located around the vehicle.

以下、本発明に係る車両周辺画像表示システムについて具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る車両周辺画像表示システム１の概略構成について図１及び図２を用いて説明する。図１は本実施形態に係る車両周辺画像表示システム１の概略構成図である。図２は本実施形態に係る車両周辺画像表示システム１の制御系を模式的に示すブロック図である。 DESCRIPTION OF EMBODIMENTS Hereinafter, a vehicle periphery image display system according to the present invention will be described in detail with reference to the drawings based on an embodiment that is embodied.
First, a schematic configuration of the vehicle periphery image display system 1 according to the present embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a schematic configuration diagram of a vehicle periphery image display system 1 according to the present embodiment. FIG. 2 is a block diagram schematically showing a control system of the vehicle periphery image display system 1 according to the present embodiment.

図１及び図２に示すように、本実施形態に係る車両周辺画像表示システム１は、車両２に対して設置された後方カメラ（撮像手段）３と、画像表示ＥＣＵ（俯瞰画像生成手段、表示制御手段、駐車判定手段、駐車スペース検出手段、進入判定手段）４と、液晶ディスプレイ（画像表示手段）５と、スピーカ６と、画像表示ＥＣＵ４に接続されたクリアランスソナー７〜９や車速センサ１０、ステアリングセンサ１１、ジャイロセンサ１２、シフトポジションセンサ１３等の各種センサで構成されている。   As shown in FIGS. 1 and 2, a vehicle surrounding image display system 1 according to this embodiment includes a rear camera (imaging unit) 3 installed on a vehicle 2 and an image display ECU (overhead image generation unit, display). Control means, parking determination means, parking space detection means, entry determination means) 4, liquid crystal display (image display means) 5, speaker 6, clearance sonar 7-9 connected to image display ECU 4, vehicle speed sensor 10, The sensor includes various sensors such as a steering sensor 11, a gyro sensor 12, and a shift position sensor 13.

後方カメラ３は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より４５度下方に向けて設置される。そして、後退時に車両２の進行方向となる車両後方を撮像し、その撮像された画像（図１０参照）は後述のように画像表示ＥＣＵ４によって車両２上方より車両２周辺を俯瞰した俯瞰画像（図１１参照）に変換されて液晶ディスプレイ５に表示される。   The rear camera 3 uses a solid-state image sensor such as a CCD, for example, and is installed near the upper center of the license plate mounted on the rear side of the vehicle 2 and installed with the line of sight 45 degrees below the horizontal. The Then, the rear of the vehicle, which is the traveling direction of the vehicle 2 when reversing, is imaged, and the captured image (see FIG. 10) is an overhead image (FIG. 11) and displayed on the liquid crystal display 5.

また、画像表示ＥＣＵ（エレクトロニック・コントロール・ユニット）４は、駐車操作が行われた際に後方カメラ３により撮像した画像から車両２上方より車両２周辺を俯瞰した俯瞰画像を生成する処理や、駐車スペースに進入した場合や障害物を検出した場合に液晶ディスプレイ５に表示する俯瞰画像のトリミング範囲を変更する処理や、後退時の車両２の予測進路を推定して、その軌跡を俯瞰画像に重畳して表示する処理等を行う電子制御ユニットである。尚、画像表示ＥＣＵ４はナビゲーション装置の制御に使用するＥＣＵと兼用してもよい。また、画像表示ＥＣＵ４の詳細な構成については後述する。   Further, the image display ECU (Electronic Control Unit) 4 generates a bird's-eye view of the vehicle 2 from above the vehicle 2 from the image captured by the rear camera 3 when the parking operation is performed, When entering the space or when an obstacle is detected, processing for changing the trimming range of the overhead view image displayed on the liquid crystal display 5 or estimating the predicted course of the vehicle 2 at the time of reversing and superimposing the locus on the overhead view image This is an electronic control unit that performs processing and the like for display. The image display ECU 4 may also be used as an ECU used for controlling the navigation device. The detailed configuration of the image display ECU 4 will be described later.

液晶ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、後退を行う時において車両２の周辺の俯瞰画像を表示する。尚、液晶ディスプレイ５はナビゲーション装置に使用するものと兼用してもよい。   The liquid crystal display 5 is provided on the center console or the panel surface in the room of the vehicle 2 and displays a bird's-eye view of the periphery of the vehicle 2 when reversing. Note that the liquid crystal display 5 may also be used for a navigation device.

また、スピーカ６は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、運転支援に関する案内音声や警告音等を出力する。   The speaker 6 is provided on the center console or the panel surface of the vehicle 2 and outputs guidance voices, warning sounds, and the like related to driving assistance.

また、クリアランスソナー７〜９は、車両２の後方バンパの左角、中央、右角の計３箇所にそれぞれ取り付けられており、音波送信部と音波受信部とから基本的に構成されている。そして、音波送信部から車両２の左右の斜め後方及び後方の３方向に対して超音波を放射するとともに対象物（具体的には駐車車両、自転車、歩行者等）によって反射された反射波を音波受信部で受信する。その結果、受信した反射波の強度や波長に基づいて車両２の周囲に位置する障害物までの距離を検出することが可能となる。   Further, the clearance sonars 7 to 9 are respectively attached to a total of three locations of the left corner, the center, and the right corner of the rear bumper of the vehicle 2, and are basically composed of a sound wave transmitting unit and a sound wave receiving unit. And the ultrasonic wave is radiated from the sound wave transmission unit to the left and right diagonal directions and the rear three directions of the vehicle 2 and the reflected wave reflected by the object (specifically, parked vehicle, bicycle, pedestrian, etc.) Received by the sound wave receiver. As a result, it is possible to detect the distance to the obstacle located around the vehicle 2 based on the intensity and wavelength of the received reflected wave.

また、車速センサ１０は、車両の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速を検出するセンサである。ステアリングセンサ１１は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出するセンサである。ジャイロセンサ１２は車両２の旋回角を検出するセンサである。また、シフトポジションセンサ１３は、シフトレバー（図示せず）に内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（２速）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。
その結果、画像表示ＥＣＵ４は車速センサ１０の出力信号に基づいて車両２の現在の車速を検出し、ステアリングセンサ１１の出力信号に基づいて車両２の舵角を検出する。また、ジャイロセンサ１２によって検出された旋回角を積分することにより、自車方位を検出する。更に、シフトポジションセンサ１３によって車両２の現在のシフト位置を検出する。 The vehicle speed sensor 10 is a sensor that generates a vehicle speed pulse in accordance with the rotation of the vehicle wheel and detects the travel distance and the vehicle speed of the vehicle. The steering sensor 11 is attached to the inside of the steering device, and is a sensor that detects a steering angle when the steering wheel is steered. The gyro sensor 12 is a sensor that detects the turning angle of the vehicle 2. The shift position sensor 13 is built in a shift lever (not shown), and the shift position is “P (parking)”, “N (neutral)”, “R (reverse)”, “D (drive)”, It is detected whether the position is “2 (second speed)” or “L (low)”.
As a result, the image display ECU 4 detects the current vehicle speed of the vehicle 2 based on the output signal of the vehicle speed sensor 10, and detects the steering angle of the vehicle 2 based on the output signal of the steering sensor 11. Further, the vehicle direction is detected by integrating the turning angle detected by the gyro sensor 12. Further, the shift position sensor 13 detects the current shift position of the vehicle 2.

次に、画像表示ＥＣＵ４の詳細について図２を用いて説明すると、画像表示ＥＣＵ４はＣＰＵ３１を核として構成されており、ＣＰＵ３１には記憶手段であるＲＯＭ３２及びＲＡＭ３３が接続されている。そして、ＲＯＭ３２には駐車操作時において後方カメラ３で撮像した画像から俯瞰画像を生成し、現在の状況に応じた適当な範囲で液晶ディスプレイ５に対して生成した俯瞰画像を表示する駐車画像表示制御処理プログラム（図３〜図８参照）、その他、液晶ディスプレイ５等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ３３はＣＰＵ３１で演算された各種データを一時的に記憶しておくメモリである。
更に、ＲＯＭ３２には、例えば車両２の車輪の半径、車幅、最小旋回半径、後方カメラ３の光軸方向（本実施形態では下方４５度）や車両２に対する後方カメラ３の設置位置等の各種パラメータについて記憶されている。そして、ＣＰＵ３１は後述するように記憶された各種パラメータ情報を用いることによって後方カメラ３で撮像された画像から後退時における車両２の予測進路の推定を行う。
また、ＲＡＭ３３には後述する各種のフラグ（“ＳＴＴ”、“ＦＬＧＭ”）や変数（“ＮＳＷ”、“ＳＴＲ”、“ΔＤＭ”、“Δｄ”、“Ｄｘ”）が格納される。更に、液晶ディスプレイ５に表示する表示画像等を一時的に格納する。尚、表示画像を格納するＶ−ＲＡＭをＲＡＭとは別に設けるようにしても良い。 Next, the details of the image display ECU 4 will be described with reference to FIG. 2. The image display ECU 4 is configured with the CPU 31 as a core, and a ROM 32 and a RAM 33 which are storage means are connected to the CPU 31. And the parking image display control which produces | generates a bird's-eye view image from the image imaged with the rear camera 3 at the time of parking operation in ROM32, and displays the produced bird's-eye view image with respect to the liquid crystal display 5 in the suitable range according to the present condition. A processing program (see FIGS. 3 to 8) and other various programs necessary for controlling the liquid crystal display 5 and the like are stored. The RAM 33 is a memory for temporarily storing various data calculated by the CPU 31.
Further, the ROM 32 has various types such as the wheel radius of the vehicle 2, the vehicle width, the minimum turning radius, the optical axis direction of the rear camera 3 (downward 45 degrees in the present embodiment), the installation position of the rear camera 3 with respect to the vehicle 2, and the like. Stored for parameters. Then, the CPU 31 estimates the predicted course of the vehicle 2 when reversing from the image captured by the rear camera 3 by using various parameter information stored as will be described later.
The RAM 33 stores various flags (“STT”, “FLGM”) and variables (“NSW”, “STR”, “ΔDM”, “Δd”, “Dx”) which will be described later. Further, a display image to be displayed on the liquid crystal display 5 is temporarily stored. A V-RAM for storing the display image may be provided separately from the RAM.

続いて、前記構成を有する本実施形態に係る車両周辺画像表示システム１の画像表示ＥＣＵ４が実行する駐車画像表示制御処理プログラムについて図３に基づき説明する。図３は本実施形態に係る車両周辺画像表示システム１における駐車画像表示制御処理プログラムのフローチャートである。ここで、駐車画像表示制御処理プログラムは、駐車操作時において後方カメラ３で撮像した画像から俯瞰画像を生成し、現在の状況に応じた適当な範囲で液晶ディスプレイ５に対して生成した俯瞰画像を表示する処理を行うプログラムである。尚、以下の図３乃至図８にフローチャートで示されるプログラムは画像表示ＥＣＵ４が備えているＲＯＭ３２やＲＡＭ３３に記憶されており、ＣＰＵ３１により所定間隔（例えば２００ｍｓ毎）で繰り返し実行される。   Next, a parking image display control processing program executed by the image display ECU 4 of the vehicle periphery image display system 1 according to this embodiment having the above-described configuration will be described with reference to FIG. FIG. 3 is a flowchart of a parking image display control processing program in the vehicle surrounding image display system 1 according to the present embodiment. Here, the parking image display control processing program generates an overhead image from an image captured by the rear camera 3 during the parking operation, and generates the overhead image generated for the liquid crystal display 5 in an appropriate range according to the current situation. It is a program that performs processing to display. 3 to 8 are stored in the ROM 32 and the RAM 33 provided in the image display ECU 4, and are repeatedly executed by the CPU 31 at predetermined intervals (for example, every 200 ms).

駐車画像表示制御処理プログラムでは、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は駐車操作が行われているか否かの判定に基づいて液晶ディスプレイ５の表示画面の切り替えを行う後述のシステム起動管理処理（図４）を行う。   In the parking image display control processing program, first in step (hereinafter abbreviated as S) 1, the CPU 31 switches the display screen of the liquid crystal display 5 based on the determination as to whether or not the parking operation is being performed. A start management process (FIG. 4) is performed.

次に、Ｓ２においてＣＰＵ３１は、クリアランスソナー７〜９や車速センサ１０、ステアリングセンサ１１等の各種センサからの信号の入力を行う後述の車両信号入力処理（図５）を行う。   Next, in S <b> 2, the CPU 31 performs vehicle signal input processing (FIG. 5) described later for inputting signals from various sensors such as the clearance sonars 7 to 9, the vehicle speed sensor 10, and the steering sensor 11.

続いて、Ｓ３においてＣＰＵ３１は、後方カメラ３で撮像した画像に基づいて自車の上方より自車周辺を俯瞰した俯瞰画像を生成する後述の画像合成処理（図７）を行う。   Subsequently, in S <b> 3, the CPU 31 performs an image composition process (FIG. 7) described later, which generates an overhead image in which the surroundings of the own vehicle are viewed from above the own vehicle based on the image captured by the rear camera 3.

そして、Ｓ４においてＣＰＵ３１は、前記Ｓ３で生成された俯瞰画像を現在の状況に応じた適当なトリミング範囲で液晶ディスプレイ５に対して表示する後述の画像表示処理（図８）を行う。尚、上記Ｓ４の処理が表示制御手段の処理に相当する。   In S4, the CPU 31 performs an image display process (FIG. 8) to be described later for displaying the overhead image generated in S3 on the liquid crystal display 5 within an appropriate trimming range according to the current situation. The process of S4 corresponds to the process of the display control unit.

次に、前記Ｓ１でＣＰＵ３１が実行するシステム起動管理処理のサブ処理プログラムについて図４に基づき説明する。図４は本実施形態に係るシステム起動管理処理のサブ処理プログラムのフローチャートである。   Next, a sub-processing program of the system activation management process executed by the CPU 31 in S1 will be described with reference to FIG. FIG. 4 is a flowchart of a sub-processing program for system activation management processing according to the present embodiment.

システム起動管理処理では、先ずＳ１１でＣＰＵ３１はシフトポジションセンサ１３からシフト位置を特定するシフトポジションセンサ信号“ＮＳＷ”を入力する。そして、Ｓ１２でＣＰＵ３１はＮＳＷ＝Ｒ（リバース）であるか否か、即ち、シフト位置を「Ｒ」として駐車操作を行っているか否かを判定する。尚、上記Ｓ１１の処理が駐車判定手段の処理に相当する。   In the system activation management process, first, in S11, the CPU 31 inputs a shift position sensor signal “NSW” for specifying the shift position from the shift position sensor 13. In S12, the CPU 31 determines whether or not NSW = R (reverse), that is, whether or not the parking operation is performed with the shift position set to “R”. The process of S11 corresponds to the process of the parking determination unit.

その結果、ＮＳＷ＝Ｒであると判定された場合（Ｓ１２：ＹＥＳ）には、更に車両周辺画像表示システム１が起動中であることを示すフラグ“ＳＴＴ”がＯＮとなっているか否かを判定する（Ｓ１３）。
そして、ＳＴＴ＝ＯＮであると判定された場合（Ｓ１３：ＹＥＳ）には、既に車両周辺画像表示システム１が起動中であるので、システム起動管理処理を終了し、Ｓ２の車両信号入力処理へと移行する。 As a result, when it is determined that NSW = R (S12: YES), it is further determined whether or not the flag “STT” indicating that the vehicle peripheral image display system 1 is being activated is ON. (S13).
If it is determined that STT = ON (S13: YES), since the vehicle peripheral image display system 1 has already been activated, the system activation management process is terminated, and the vehicle signal input process of S2 is started. Transition.

一方、ＳＴＴ＝ＯＦＦであると判定された場合（Ｓ１３：ＮＯ）には、現在の液晶ディスプレイ５に表示される表示画面を通常画面から駐車案内画面へと切り換える（Ｓ１４）。ここで、通常画面とは例えばナビゲーション装置による地図画像や経路情報等を表示した画面が該当する。また、駐車案内画面とは後述するように駐車を行う自車の上方から自車周辺を俯瞰した俯瞰画像（図１１〜図１６参照）を所定の範囲で表示した画面が該当する。   On the other hand, when it is determined that STT = OFF (S13: NO), the current display screen displayed on the liquid crystal display 5 is switched from the normal screen to the parking guidance screen (S14). Here, the normal screen corresponds to, for example, a screen displaying a map image, route information, and the like by a navigation device. In addition, the parking guidance screen corresponds to a screen displaying a bird's-eye view image (see FIGS. 11 to 16) in a predetermined range from above the own vehicle to be parked as described later.

次に、Ｓ１５ではＣＰＵ３１は、車両周辺画像表示システムを起動させたことに基づいてフラグ“ＳＴＴ”をＯＮする。更に、Ｓ１６では単位時間当りに車両がバックで進んだ距離を示す変数“ΔＤＭ”を初期化（０を代入）する。その後、Ｓ２の車両信号入力処理へと移行する。   Next, in S15, the CPU 31 turns on the flag “STT” based on the activation of the vehicle periphery image display system. Further, in S16, a variable “ΔDM” indicating the distance traveled by the vehicle per unit time is initialized (0 is substituted). Thereafter, the process proceeds to the vehicle signal input process of S2.

一方、前記Ｓ１２の判定処理において、ＮＳＷ≠Ｒであると判定された場合（Ｓ１２：ＮＯ）には、更にフラグ“ＳＴＴ”がＯＮとなっているか否かを判定する（Ｓ１７）。
そして、ＳＴＴ＝ＯＦＦであると判定された場合（Ｓ１７：ＮＯ）には、車両周辺画像表示システム１の起動を行うことなく処理を終了する。 On the other hand, if it is determined in the determination process of S12 that NSW ≠ R (S12: NO), it is further determined whether or not the flag “STT” is ON (S17).
And when it determines with STT = OFF (S17: NO), a process is complete | finished, without starting the vehicle periphery image display system 1. FIG.

一方、ＳＴＴ＝ＯＮであると判定された場合（Ｓ１７：ＹＥＳ）には、現在の液晶ディスプレイ５に表示される表示画面を駐車案内画面から通常画面へと切り換える（Ｓ１８）。次に、Ｓ１９ではＣＰＵ３１は、車両周辺画像表示システム１を終了させることに基づいてフラグ“ＳＴＴ”をＯＦＦとする。そして、Ｓ２０では各種変数（“ＮＳＷ”、“ＳＴＲ”、“ΔＤＭ”、“Δｄ”、“Ｄｘ”）を初期化する。   On the other hand, when it is determined that STT = ON (S17: YES), the current display screen displayed on the liquid crystal display 5 is switched from the parking guidance screen to the normal screen (S18). Next, in S <b> 19, the CPU 31 turns off the flag “STT” based on the termination of the vehicle surrounding image display system 1. In S20, various variables (“NSW”, “STR”, “ΔDM”, “Δd”, “Dx”) are initialized.

次に、前記Ｓ２でＣＰＵ３１が実行する車両信号入力処理のサブ処理プログラムについて図５に基づき説明する。図５は本実施形態に係る車両信号入力処理のサブ処理プログラムのフローチャートである。   Next, a sub-processing program for vehicle signal input processing executed by the CPU 31 in S2 will be described with reference to FIG. FIG. 5 is a flowchart of a sub-processing program for vehicle signal input processing according to this embodiment.

車両信号入力処理では、先ずＳ３１でＣＰＵ３１はステアリングセンサ１１からステアリングの舵角を特定するステアリングセンサ信号“ＳＴＲ”を入力する。そして、Ｓ３２でＣＰＵ３１は車速センサ１０から出力された車速パルス信号“Ｖｐ”をカウントし、単位時間当りに自車がバックで進んだ移動距離“Δｄ”を算出する。   In the vehicle signal input process, first, in S31, the CPU 31 inputs a steering sensor signal “STR” for specifying the steering angle of the steering from the steering sensor 11. Then, in S32, the CPU 31 counts the vehicle speed pulse signal “Vp” output from the vehicle speed sensor 10, and calculates the travel distance “Δd” that the host vehicle travels backward per unit time.

続いて、Ｓ３３でＣＰＵ３１は、システム起動以降に自車がバックで進んだトータルの距離“ΔＤＭ”に対して前記Ｓ３２に算出されたΔｄを加算することにより、ΔＤＭの値を更新する。その後、Ｓ３４では自車の周囲に位置する障害物を検出する後述のクリアランスソナー信号入力処理（図６）が行われ、画像合成処理（Ｓ３）へと移行する。   Subsequently, in S33, the CPU 31 updates the value of ΔDM by adding Δd calculated in S32 to the total distance “ΔDM” that the vehicle has traveled in the back after the system is started. Thereafter, in S34, a clearance sonar signal input process (FIG. 6) described later for detecting an obstacle located around the host vehicle is performed, and the process proceeds to an image composition process (S3).

次に、前記Ｓ３４でＣＰＵ３１が実行するクリアランスソナー信号入力処理のサブ処理プログラムについて図６に基づき説明する。図６は本実施形態に係るクリアランスソナー信号入力処理のサブ処理プログラムのフローチャートである。   Next, a sub processing program of clearance sonar signal input processing executed by the CPU 31 in S34 will be described with reference to FIG. FIG. 6 is a flowchart of a sub-processing program of clearance sonar signal input processing according to this embodiment.

クリアランスソナー信号入力処理では、先ずＳ４１でＣＰＵ３１はクリアランスソナー７〜９から障害物までの距離［ｃｍ］を特定するソナー信号“ＣＳＤｎ（ｎ＝１、２、３）”を入力する。ここで、図９に示すように本実施形態に係る車両周辺画像表示システム１では、クリアランスソナー７は車両２の左後方へと超音波を送出し、ソナー信号ＣＳＤ１を得る。また、クリアランスソナー８は車両２の後方へと超音波を送出し、ソナー信号ＣＳＤ２を得る。更に、クリアランスソナー９は車両２の右後方へと超音波を送出し、ソナー信号ＣＳＤ３を得る。   In the clearance sonar signal input process, first, in S41, the CPU 31 inputs a sonar signal “CSDn (n = 1, 2, 3)” for specifying the distance [cm] from the clearance sonar 7-9 to the obstacle. Here, as shown in FIG. 9, in the vehicle periphery image display system 1 according to the present embodiment, the clearance sonar 7 transmits an ultrasonic wave to the left rear of the vehicle 2 to obtain a sonar signal CSD1. Further, the clearance sonar 8 sends an ultrasonic wave to the rear of the vehicle 2 to obtain a sonar signal CSD2. Further, the clearance sonar 9 sends an ultrasonic wave to the right rear of the vehicle 2 to obtain a sonar signal CSD3.

そして、Ｓ４２でＣＰＵ３１は、前記Ｓ４１で入力されたソナー信号を１５０で割り、その値を超えない最大の整数に１を加えた値を“ＣＳＤｎＰ（クリアランスソナー７からの信号に基づく値がＣＳＤ１Ｐ、クリアランスソナー８からの信号に基づく値がＣＳＤ２Ｐ、クリアランスソナー９からの信号に基づく値がＣＳＤ３Ｐ）”として算出する。   In S42, the CPU 31 divides the sonar signal input in S41 by 150, and adds a value obtained by adding 1 to the maximum integer not exceeding the value “CSDnP (the value based on the signal from the clearance sonar 7 is CSD1P, The value based on the signal from the clearance sonar 8 is calculated as CSD2P, and the value based on the signal from the clearance sonar 9 is calculated as CSD3P) ".

そして、Ｓ４３でＣＰＵ３１は、前記Ｓ４２で算出されたＣＳＤｎＰについて、２＜ＣＳＤｎＰ≦３が成立するか否か、即ち、自車から検出した障害物までの距離が１５０ｃｍより遠く３００ｃｍ以下であるか否か判定される。その結果、２＜ＣＳＤｎＰ≦３が成立すると判定された場合（Ｓ４３：ＹＥＳ）には、障害物までの距離を示す障害物距離フラグ“ＤＡｎ”に「２」を代入する（Ｓ４４）。   Then, in S43, the CPU 31 determines whether 2 <CSDnP ≦ 3 holds for the CSDnP calculated in S42, that is, whether the distance from the vehicle to the detected obstacle is more than 150 cm and less than 300 cm. Is determined. As a result, when it is determined that 2 <CSDnP ≦ 3 is satisfied (S43: YES), “2” is substituted into the obstacle distance flag “DAn” indicating the distance to the obstacle (S44).

一方、前記Ｓ４２で算出されたＣＳＤｎＰについて、２＜ＣＳＤｎＰ≦３が成立しないと判定された場合（Ｓ４３：ＮＯ）には、更に、Ｓ４５において３＜ＣＳＤｎＰが成立するか否か、即ち、自車から検出した障害物までの距離が３００ｃｍより遠いか若しくは検出することができなかったかが判定される。その結果、３＜ＣＳＤｎＰが成立すると判定された場合（Ｓ４５：ＹＥＳ）には、障害物距離フラグである“ＤＡｎ”に「０」を代入する（Ｓ４６）。   On the other hand, if it is determined that 2 <CSDnP ≦ 3 is not satisfied for the CSDnP calculated in S42 (S43: NO), whether or not 3 <CSDnP is satisfied in S45, that is, the own vehicle It is determined whether the distance to the detected obstacle is more than 300 cm or cannot be detected. As a result, when it is determined that 3 <CSDnP is established (S45: YES), “0” is substituted for “DAn” which is an obstacle distance flag (S46).

それに対して、前記Ｓ４２で算出されたＣＳＤｎＰについて、３＜ＣＳＤｎＰも成立しないと判定された場合（Ｓ４５：ＮＯ）には、ＣＳＤｎＰ＝１が成立することとなる。即ち、自車から検出した障害物までの距離が１５０ｃｍより近いこととなり、障害物距離フラグである“ＤＡｎ”にＣＳＤｎＰの値（即ち「１」）を代入する（Ｓ４７）。   On the other hand, if it is determined that 3 <CSDnP does not hold for CSDnP calculated in S42 (S45: NO), CSDnP = 1 holds. That is, the distance from the vehicle to the detected obstacle is shorter than 150 cm, and the value of CSDnP (ie, “1”) is substituted into “DAn” that is the obstacle distance flag (S47).

その後、Ｓ４８ではｎ＝３であるか否か、即ち全てのクリアランスソナー７〜９について上記のＳ４１〜Ｓ４７の処理が行われたか否かが判定される。   Thereafter, in S48, it is determined whether or not n = 3, that is, whether or not the processing of S41 to S47 has been performed for all the clearance sonars 7 to 9.

その結果、ｎ≠３であると判定された場合（Ｓ４８：ＮＯ）にはｎの値に１を加算（Ｓ４９）した後にＳ４１へと戻り、残りのクリアランスソナー７〜９についてＤＡｎを特定する処理を行う。一方、ｎ＝３であると判定された場合（Ｓ４８：ＹＥＳ）にはＳ５０へと移行し、ｎの値を初期化する。その後、Ｓ３の画像合成処理へと移行する   As a result, when it is determined that n ≠ 3 (S48: NO), 1 is added to the value of n (S49), and then the process returns to S41 to specify DAn for the remaining clearance sonars 7-9. I do. On the other hand, when it is determined that n = 3 (S48: YES), the process proceeds to S50, and the value of n is initialized. Thereafter, the process proceeds to the image composition process of S3.

次に、前記Ｓ３でＣＰＵ３１が実行する画像合成処理のサブ処理プログラムについて図７に基づき説明する。図７は本実施形態に係る画像合成処理のサブ処理プログラムのフローチャートである。   Next, a sub-processing program of the image composition process executed by the CPU 31 in S3 will be described with reference to FIG. FIG. 7 is a flowchart of a sub-processing program for image composition processing according to this embodiment.

画像合成処理では、先ずＳ５１でＣＰＵ３１は後方カメラ３で撮像した自車の後方環境のカメラ画像を取得する。その後、Ｓ５２でＣＰＵ３１は前記Ｓ５１で取得したカメラ画像について画像外縁付近に発生する歪みを補正する歪み補正計算処理を行う。   In the image composition process, first, in S51, the CPU 31 obtains a camera image of the rear environment of the own vehicle captured by the rear camera 3. Thereafter, in S52, the CPU 31 performs a distortion correction calculation process for correcting distortion generated in the vicinity of the outer edge of the camera image acquired in S51.

続いて、Ｓ５３でＣＰＵ３１は、前記Ｓ５２で歪みを補正したカメラ画像に対して、所定の俯瞰変換処理を施すことにより、上方の視点から垂直下方に見下ろした俯瞰画像を現在画像ＩＭ−ｐｒとして生成する。尚、撮像した画像の視点変換を行う俯瞰変換処理は既に公知（例えば、特開平１０−２１１８４９号公報参照）の技術であるので、ここではその説明は省略する。   Subsequently, in S53, the CPU 31 performs a predetermined overhead conversion process on the camera image whose distortion has been corrected in S52, thereby generating an overhead image looking down vertically from the upper viewpoint as the current image IM-pr. To do. Note that the overhead conversion process for performing viewpoint conversion of the captured image is a known technique (see, for example, Japanese Patent Laid-Open No. 10-211849), and the description thereof is omitted here.

更に、Ｓ５４では前記Ｓ５３で生成した現在画像ＩＭ−ｐｒに対して、システムが起動してからのトータルの走行距離を特定する距離インデックスΔＤＭを添付し（Ｓ５４）、ΔＤＭが添付された現在画像ＩＭ−ｐｒをメモリ（例えば、ＲＡＭ３３）へ書き込む（Ｓ５５）。   Further, in S54, a distance index ΔDM for specifying the total travel distance since the system is started is attached to the current image IM-pr generated in S53 (S54), and the current image IM to which ΔDM is attached is attached. Write -pr to the memory (for example, RAM 33) (S55).

次に、Ｓ５６でＣＰＵ３１は現在位置に対して読み出すべき過去画像のインデックスＩＮＤを算出する。具体的には、システムが起動してからの走行距離ΔＤＭに対してＤｘ（現在位置に対して読み出すべき過去画像のインデックスを計算する為の定数（固定値））を引いた値をＩＮＤとして算出する。   Next, in S56, the CPU 31 calculates an index IND of the past image to be read with respect to the current position. Specifically, a value obtained by subtracting Dx (a constant (fixed value) for calculating an index of a past image to be read with respect to the current position) from the travel distance ΔDM after the system is started is calculated as IND. To do.

そして、Ｓ５７でＣＰＵ３１は前記Ｓ５６で算出されたＩＮＤの値に基づいて、該当する過去画像ＩＭ−ｉｎｄをメモリから読み出す。更に、Ｓ５８においてＣＰＵ３１は、前記Ｓ５７で読み出された過去画像ＩＭ−ｉｎｄを前記Ｓ３１で入力されたステアリングセンサ信号に基づいて回転変換する回転変換処理を行い、ＩＭ−ｒｏｔを生成する。具体的には、自車が旋回している場合に、その旋回角度に従って俯瞰画像を補正する処理である。   In S57, the CPU 31 reads out the corresponding past image IM-ind from the memory based on the IND value calculated in S56. Further, in S58, the CPU 31 performs a rotation conversion process for rotating and converting the past image IM-ind read out in S57 based on the steering sensor signal input in S31, thereby generating IM-rot. Specifically, when the host vehicle is turning, the overhead view image is corrected according to the turning angle.

続いて、Ｓ５９でＣＰＵ３１は、前記Ｓ５３で生成された現在画像ＩＭ−ｐｒと、Ｓ５８で生成された回転変換後の過去画像ＩＭ−ｒｏｔとを合成し、合成俯瞰画像ＩＭ−ｄｓｐを生成する。それによって、自車上方から自車周辺を撮像した俯瞰画像が生成される。
例えば、図１０は後方カメラ３によって撮像されたカメラ画像４０を示した図であり、図１１は図１０に示すカメラ画像４０を撮像した時点において自車の液晶ディスプレイ５に表示される俯瞰画像である駐車案内画面５０を示した図である。図１０及び図１１に示すように、カメラ画像４０において撮像されている他の駐車車両５２、５３及び駐車区画線５４〜５６は、自車両５１の上方から見下ろした場合に撮像される形状及び配置へと変換されて駐車案内画面５０に表示される。また、カメラ画像４０では撮像されない自車両５１の画像についても、上方から見下ろした形状で駐車案内画面５０の所定位置に表示される。尚、駐車案内画面５０において自車両５１が表示される位置は、駐車スペース５８へと進入する前は常に固定であり、自車両５１が後退するにつれて自車両５１の周囲の画像が変化した俯瞰画像に更新される。尚、上記Ｓ５２〜Ｓ５９の処理が俯瞰画像生成手段の処理に相当する。 Subsequently, in S59, the CPU 31 synthesizes the current image IM-pr generated in S53 and the rotationally converted past image IM-rot generated in S58 to generate a combined overhead image IM-dsp. Thereby, an overhead image obtained by imaging the periphery of the vehicle from above the vehicle is generated.
For example, FIG. 10 is a diagram illustrating a camera image 40 captured by the rear camera 3, and FIG. 11 is an overhead image displayed on the liquid crystal display 5 of the own vehicle when the camera image 40 illustrated in FIG. 10 is captured. It is the figure which showed a certain parking guidance screen. As shown in FIGS. 10 and 11, the other parked vehicles 52 and 53 and the parking lot lines 54 to 56 captured in the camera image 40 are captured and viewed when viewed from above the host vehicle 51. Is displayed on the parking guidance screen 50. The image of the host vehicle 51 that is not captured in the camera image 40 is also displayed at a predetermined position on the parking guidance screen 50 in a shape looking down from above. Note that the position where the host vehicle 51 is displayed on the parking guidance screen 50 is always fixed before entering the parking space 58, and an overhead view image in which the image around the host vehicle 51 changes as the host vehicle 51 moves backward. Updated to Note that the processing of S52 to S59 corresponds to the processing of the overhead image generation means.

次に、前記Ｓ４でＣＰＵ３１が実行する画像表示処理のサブ処理プログラムについて図８に基づき説明する。図８は本実施形態に係る画像表示処理のサブ処理プログラムのフローチャートである。   Next, a sub-processing program for image display processing executed by the CPU 31 in S4 will be described with reference to FIG. FIG. 8 is a flowchart of a sub-processing program for image display processing according to this embodiment.

画像表示処理では、先ずＳ６１でＣＰＵ３１は自車が駐車スペースに進入したことを示すフラグ“ＦＬＧＭ”がＯＮとなっているか否かを判定する。そして、“ＦＬＧＭ”がＯＮであると判定された場合（Ｓ６１：ＹＥＳ）には、Ｓ７２へと移行して後述するように自車周辺の範囲のみを拡大した俯瞰画像の表示を継続して行う。   In the image display process, first, in S61, the CPU 31 determines whether or not a flag “FLGM” indicating that the vehicle has entered the parking space is ON. If it is determined that “FLGM” is ON (S61: YES), the process proceeds to S72 and continues to display a bird's-eye view image in which only the range around the host vehicle is enlarged as described later. .

一方、“ＦＬＧＭ”がＯＦＦであると判定された場合（Ｓ６１：ＹＥＳ）には、前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐから駐車枠の左右の区画線を線分ＬＬ、ＬＲとして認識して抽出する（Ｓ６２）。具体的には、先ず、ＮＴＳＣのようなアナログ通信手段や、ｉ−ｌｉｎｋのようなデジタル通信手段を用いて合成俯瞰画像ＩＭ−ｄｓｐを入力し、ｊｐｅｇ、ｍｐｅｇ等のデジタル画像フォーマットに変換する。次に、駐車枠が一般に白線又は黄線であることを用いて、撮像画像中の駐車枠が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる駐車枠を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、駐車枠と他の路面との境界線を検出する。例えば、図１１に示す俯瞰画像からは駐車区画線５４、５５がそれぞれ線分ＬＬ、ＬＲとして抽出される。そして、抽出された線分ＬＬ、ＬＲによって、駐車スペース５８の範囲が特定され検出されることとなる。尚、上記Ｓ６２の処理が駐車スペース検出手段の処理に相当する。   On the other hand, if it is determined that “FLGM” is OFF (S61: YES), the left and right partition lines of the parking frame are recognized as line segments LL and LR from the composite overhead image IM-dsp generated in S59. To extract (S62). Specifically, first, the synthesized overhead image IM-dsp is input using analog communication means such as NTSC or digital communication means such as i-link, and converted into a digital image format such as jpeg or mpeg. Next, using the fact that the parking frame is generally a white line or a yellow line, luminance correction is performed based on the luminance difference between the road surface on which the parking frame is drawn in the captured image and the other road surface. After that, binarization processing to separate the target parking frame from the image, geometric processing to correct distortion, smoothing processing to remove image noise, etc., and detect the boundary line between the parking frame and other road surface To do. For example, parking partition lines 54 and 55 are extracted as line segments LL and LR from the overhead view image shown in FIG. Then, the range of the parking space 58 is specified and detected by the extracted line segments LL and LR. The process of S62 corresponds to the process of the parking space detection unit.

次に、Ｓ６３でＣＰＵ３１は前記Ｓ６２で抽出された駐車枠区画線の線分ＬＬ、ＬＲを直線近似処理することにより、画像表示座標系における式ＬＮＬ、ＬＮＲを算出する。   Next, in S63, the CPU 31 calculates formulas LNL and LNR in the image display coordinate system by performing a linear approximation process on the line segments LL and LR of the parking frame partition line extracted in S62.

続いて、Ｓ６４でＣＰＵ３１はステアリングセンサ信号ＳＴＲが「０」であるか否か、即ち、自車が旋回することなく直線状に後退しているか否か判定される。そして、ＳＴＲ≠０であると判定された場合（Ｓ６４：ＮＯ）、即ち、自車が旋回しつつ後退中である場合には、第１のトリミング範囲（第１の範囲）を設定する（Ｓ６５）。
そして、Ｓ６６でＣＰＵ３１は、前記Ｓ６６で設定された第１のトリミング範囲により前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐをトリミングし、更に、液晶ディスプレイ５に表示可能な表示範囲に合わせてトリミングした画像を拡大又は縮小変換して画像表示ＥＣＵ４の備えるＶ−ＲＡＭへと転送する（Ｓ６６）。そして、トリミングされた画像を液晶ディスプレイ５に表示する。その結果、図１１や図１２に示すように第１のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺の広範囲を俯瞰した俯瞰画像が液晶ディスプレイ５に表示されることとなる。尚、Ｖ−ＲＡＭはＲＡＭ３３と共用するようにしても良い。 Subsequently, in S64, the CPU 31 determines whether or not the steering sensor signal STR is “0”, that is, whether or not the host vehicle is receding linearly without turning. When it is determined that STR ≠ 0 (S64: NO), that is, when the host vehicle is turning while turning, the first trimming range (first range) is set (S65). ).
In S66, the CPU 31 trims the composite overhead image IM-dsp generated in S59 by the first trimming range set in S66, and further trims it according to the display range that can be displayed on the liquid crystal display 5. The enlarged image is enlarged or reduced and transferred to the V-RAM provided in the image display ECU 4 (S66). Then, the trimmed image is displayed on the liquid crystal display 5. As a result, as shown in FIG. 11 and FIG. 12, a bird's-eye view image overlooking a wide area around the host vehicle 51 from above the host vehicle 51 trimmed in the first trimming range is displayed on the liquid crystal display 5. The V-RAM may be shared with the RAM 33.

また、Ｓ６７ではステアリングセンサ信号ＳＴＲに基づいて車両の走行軌跡を予測する。そして、走行軌跡を示したガイド線５６、５７と駐車スペース５８を示すスペース線５９を画面上に描画することにより、俯瞰画像に重畳して表示する。   In S67, the travel locus of the vehicle is predicted based on the steering sensor signal STR. Then, the guide lines 56 and 57 indicating the travel trajectory and the space line 59 indicating the parking space 58 are drawn on the screen so as to be superimposed on the overhead image.

一方、前記Ｓ６４でＳＴＲ＝０であると判定された場合（Ｓ６４：ＹＥＳ）、即ち、直線状に後退していると判定された場合には、続いて、ＬＮＬとＬＮＲの端点の座標ＬＮＬｅとＬＮＲｅを算出する（Ｓ６８）。   On the other hand, if it is determined in S64 that STR = 0 (S64: YES), that is, if it is determined that it is receding linearly, then the coordinates LNLe of the end points of LNL and LNR are LNRe is calculated (S68).

その後、Ｓ６９では、自車の後端を含む直線Ｙｓ（図１１、図１２参照）のＹ座標よりＬＮＬとＬＮＲの端点の座標ＬＮＬｅとＬＮＲｅのいずれかのＹ座標が大きいか否か、即ち、自車が駐車区画線の線分ＬＬ、ＬＲで区画された駐車スペース５８へと進入したか否かが判定される。尚、上記Ｓ６９の処理が進入判定手段の処理に相当する。   Thereafter, in S69, whether the Y coordinate of any of the LNL and LNR end points LNLe and LNRe is greater than the Y coordinate of the straight line Ys including the rear end of the own vehicle (see FIGS. 11 and 12), that is, It is determined whether or not the own vehicle has entered the parking space 58 partitioned by the line segments LL and LR of the parking lot line. The process of S69 corresponds to the process of the entry determination unit.

その結果、座標ＬＮＬｅとＬＮＲｅのＹ座標がいずれもＹｓより小さいと判定された場合（Ｓ６９：ＮＯ）には、駐車スペースへと進入していないと判定され、Ｓ６５へと移行し、継続して第１のトリミング範囲でトリミングされた俯瞰画像の表示が行われる。   As a result, when it is determined that both the Y coordinates of the coordinates LNLe and LNRe are smaller than Ys (S69: NO), it is determined that the vehicle has not entered the parking space, and the process proceeds to S65 and continues. The overhead image trimmed in the first trimming range is displayed.

それに対して、座標ＬＮＬｅとＬＮＲｅのいずれかのＹ座標がＹｓより大きいと判定された場合（Ｓ６９：ＹＥＳ）にはＳ７０へと移行し、自車が駐車スペース５８に進入したことを示すフラグ“ＦＬＧＭ”がＯＮとなっているか否かを判定する。そして、“ＦＬＧＭ”がＯＦＦであると判定された場合（Ｓ７０：ＮＯ）には、ＦＬＧＭをＯＮする（Ｓ７１）。一方、既に“ＦＬＧＭ”がＯＮであると判定された場合（Ｓ７０：ＹＥＳ）には、Ｓ７１へと移行する。   On the other hand, if it is determined that one of the coordinates LNLe and LNRe is greater than Ys (S69: YES), the process proceeds to S70, where a flag “indicating that the vehicle has entered the parking space 58” It is determined whether or not “FLGM” is ON. If it is determined that “FLGM” is OFF (S70: NO), FLGM is turned ON (S71). On the other hand, if it is already determined that “FLGM” is ON (S70: YES), the process proceeds to S71.

Ｓ７２ではＣＰＵ３１は、第２のトリミング範囲（第２の範囲）を設定する。尚、第２のトリミング範囲は第１のトリミング範囲より狭い範囲となっている。   In S72, the CPU 31 sets a second trimming range (second range). Note that the second trimming range is narrower than the first trimming range.

続いて、Ｓ７３では中央に配置されたクリアランスソナー８のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ２”が「１」であるか否か、即ち、自車後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ２＝１であると判定された場合（Ｓ７３：ＹＥＳ）には、自車後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ２”を「ＯＮ」とする。一方、ＤＡ２≠１であると判定された場合（Ｓ７３：ＮＯ）には、Ｓ７５へと移行する。   Subsequently, in S73, whether or not the obstacle distance flag “DA2” specified in S44, S46, S47 is “1” based on the sonar signal of the clearance sonar 8 arranged at the center, that is, the own vehicle. It is determined whether an obstacle has been detected within 150 cm behind. If it is determined that DA2 = 1 (S73: YES), an obstacle detection flag “FLGDA2” indicating that an obstacle has been detected within 150 cm behind the host vehicle is set to “ON”. On the other hand, when it is determined that DA2 ≠ 1 (S73: NO), the process proceeds to S75.

Ｓ７５では左方に配置されたクリアランスソナー７のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ１”が「１」であるか否か、即ち、自車左後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ１＝１であると判定された場合（Ｓ７５：ＹＥＳ）には、自車左後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ１”を「ＯＮ」とする。一方、ＤＡ１≠１であると判定された場合（Ｓ７５：ＮＯ）には、Ｓ７７へと移行する。   In S75, whether or not the obstacle distance flag “DA1” specified in S44, S46, S47 is “1” based on the sonar signal of the clearance sonar 7 arranged on the left side, that is, the vehicle's left rear It is determined whether an obstacle is detected within 150 cm. If it is determined that DA1 = 1 (S75: YES), an obstacle detection flag “FLGDA1” indicating that an obstacle has been detected within 150 cm on the left rear side of the host vehicle is set to “ON”. On the other hand, when it is determined that DA1 ≠ 1 (S75: NO), the process proceeds to S77.

更に、Ｓ７７では右方に配置されたクリアランスソナー９のソナー信号に基づいて前記Ｓ４４、Ｓ４６、Ｓ４７で特定された障害物距離フラグ“ＤＡ３”が「１」であるか否か、即ち、自車右後方の１５０ｃｍ以内に障害物を検出したか否かが判定される。そして、ＤＡ３＝１であると判定された場合（Ｓ７７：ＹＥＳ）には、自車右後方の１５０ｃｍ以内に障害物を検出したことを示す障害物検出フラグ“ＦＬＧＤＡ３”を「ＯＮ」とする。一方、ＤＡ３≠１であると判定された場合（Ｓ７７：ＮＯ）には、Ｓ７９へと移行する。   Furthermore, in S77, whether or not the obstacle distance flag “DA3” specified in S44, S46, S47 is “1” based on the sonar signal of the clearance sonar 9 arranged on the right side, that is, the own vehicle. It is determined whether an obstacle has been detected within 150 cm on the right rear. If it is determined that DA3 = 1 (S77: YES), the obstacle detection flag “FLGDA3” indicating that an obstacle has been detected within 150 cm on the right rear side of the host vehicle is set to “ON”. On the other hand, if it is determined that DA3 ≠ 1 (S77: NO), the process proceeds to S79.

そして、Ｓ７９では前記Ｓ７２で設定された第２のトリミング範囲を“ＦＬＧＤＡ１〜３”の設定に基づいて拡張した第３のトリミング範囲（第３の範囲）を新たに設定する（Ｓ７９）。具体的には、“ＦＬＧＤＡ１”がＯＮに設定されている場合には左後方に１、５ｍ拡張し、“ＦＬＧＤＡ２”がＯＮに設定されている場合には後方に１、５ｍ拡張し、“ＦＬＧＤＡ３”がＯＮに設定されている場合には右後方に１、５ｍ拡張した第３のトリミング範囲を設定する（Ｓ８０）。尚、複数のフラグがＯＮに設定されている場合には、第２のトリミング範囲をＯＮに設定されている各フラグに対応する複数方向にそれぞれ拡張した第３のトリミング範囲を設定する。一方、ＤＡ２≠１であると判定された場合（Ｓ７３：ＮＯ）には、Ｓ７５へと移行する。   In S79, a third trimming range (third range) obtained by expanding the second trimming range set in S72 based on the setting of “FLGDA1 to 3” is newly set (S79). Specifically, when “FLGDA1” is set to ON, it is extended by 1 to 5 m to the left rear, and when “FLGDA2” is set to ON, it is extended by 1 to 5 m to the rear and “FLGDA3” If "" is set to ON, a third trimming range extended by 1 to 5 m is set to the right rear (S80). If a plurality of flags are set to ON, a third trimming range is set by extending the second trimming range in a plurality of directions corresponding to the flags set to ON. On the other hand, when it is determined that DA2 ≠ 1 (S73: NO), the process proceeds to S75.

次に、Ｓ８０でＣＰＵ３１は前記Ｓ７２で設定された第２のトリミング範囲、若しくは前記Ｓ７９で第３のトリミング範囲が設定されていた場合には第３のトリミング範囲により前記Ｓ５９で生成された合成俯瞰画像ＩＭ−ｄｓｐをトリミングし、更に、液晶ディスプレイ５に表示可能な表示範囲に合わせてトリミングした画像を拡大又は縮小変換して画像表示ＥＣＵ４の備えるＶ−ＲＡＭへと転送する。そして、トリミングされた画像を液晶ディスプレイ５に表示する。   Next, in S80, the CPU 31 determines whether the second trimming range set in S72 or, if the third trimming range is set in S79, the combined overhead generated in S59 by the third trimming range. The image IM-dsp is trimmed, and the trimmed image is enlarged or reduced in accordance with the display range that can be displayed on the liquid crystal display 5 and transferred to the V-RAM included in the image display ECU 4. Then, the trimmed image is displayed on the liquid crystal display 5.

その結果、クリアランスソナー７〜９でいずれも１５０ｃｍ以内で障害物が検出されなかった場合には、図１３に示す第２のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６０が液晶ディスプレイ５に表示されることとなる。ここで、図１３に示すように駐車案内画面６０では自車両５１が最も大きくなるような範囲で表示され、その結果、自車両５１とその周囲の極狭い範囲のみが表示される。   As a result, when no obstacle is detected within 150 cm by any of the clearance sonars 7 to 9, the periphery of the own vehicle is looked down from above the own vehicle 51 trimmed in the second trimming range shown in FIG. A parking guidance screen 60 based on the overhead image is displayed on the liquid crystal display 5. Here, as shown in FIG. 13, the parking guidance screen 60 is displayed in a range where the own vehicle 51 is the largest, and as a result, only the own vehicle 51 and the extremely narrow range around it are displayed.

また、クリアランスソナー７で１５０ｃｍ以内に障害物が検出された場合には、図１４に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６１が液晶ディスプレイ５に表示されることとなる。ここで、図１４に示すように駐車案内画面６１では自車両５１と検出された障害物（図１４では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は左後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。   Further, when an obstacle is detected within 150 cm by the clearance sonar 7, parking guidance based on an overhead image obtained by looking down on the periphery of the own vehicle 51 from above the own vehicle 51 trimmed in the third trimming range shown in FIG. The screen 61 is displayed on the liquid crystal display 5. Here, as shown in FIG. 14, the parking guidance screen 61 displays the bird's-eye view image in the narrowest range that includes the host vehicle 51 and the detected obstacle (the bicycle 65 in FIG. 14) and can be displayed on the liquid crystal display 5. The Note that the third trimming range becomes wider than the second trimming range as the range is expanded by 1.5 m to the left rear.

また、クリアランスソナー８で１５０ｃｍ以内に障害物が検出された場合には、図１５に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６２が液晶ディスプレイ５に表示されることとなる。ここで、図１５に示すように駐車案内画面６２では自車両５１と検出された障害物（図１５では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。   Further, when an obstacle is detected within 150 cm by the clearance sonar 8, parking guidance based on a bird's-eye view of the surroundings of the own vehicle 51 from above the own vehicle 51 trimmed in the third trimming range shown in FIG. The screen 62 is displayed on the liquid crystal display 5. Here, as shown in FIG. 15, the parking guidance screen 62 displays the bird's-eye view image in the narrowest range that includes the host vehicle 51 and the detected obstacle (bicycle 65 in FIG. 15) and can be displayed on the liquid crystal display 5. The Note that the third trimming range becomes wider than the second trimming range as the range is expanded by 1.5 m backward.

更に、クリアランスソナー９で１５０ｃｍ以内に障害物が検出された場合には、図１６に示す第３のトリミング範囲でトリミングされた自車両５１の上方から自車両周辺を俯瞰した俯瞰画像に基づく駐車案内画面６３が液晶ディスプレイ５に表示されることとなる。ここで、図１６に示すように駐車案内画面６３では自車両５１と検出された障害物（図１６では自転車６５）を含み、且つ液晶ディスプレイ５に表示可能な最も狭い範囲により俯瞰画像が表示される。尚、第３のトリミング範囲は右後方に１．５ｍだけ範囲が拡大されたことに伴って、第２のトリミング範囲よりも範囲が広くなる。   Further, when an obstacle is detected within 150 cm by the clearance sonar 9, parking guidance based on an overhead view image of the surroundings of the own vehicle 51 from above the own vehicle 51 trimmed in the third trimming range shown in FIG. The screen 63 is displayed on the liquid crystal display 5. Here, as shown in FIG. 16, the parking guidance screen 63 displays the bird's-eye view image in the narrowest range that includes the host vehicle 51 and the detected obstacle (the bicycle 65 in FIG. 16) and can be displayed on the liquid crystal display 5. The Note that the third trimming range becomes wider than the second trimming range as the range is expanded by 1.5 m to the right rear.

以上詳細に説明した通り、本実施形態に係る車両周辺画像表示システム１では車両２において駐車操作が行われていると判定された場合（Ｓ１２：ＹＥＳ）に、後方カメラ３で撮像したカメラ画像から車両２の上方から車両周辺を俯瞰した俯瞰画像を生成し（Ｓ５２〜Ｓ５９）、特にクリアランスソナー７〜９によって車両２の所定距離内（本実施形態では１５０ｃｍ以内）に障害物を検出した場合には、検出された障害物と車両２とを含む第３のトリミング範囲でトリミングした俯瞰画像を液晶ディスプレイ５に表示するので、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することが可能となる。従って、利用者に正確な周辺環境を容易に把握させることができる。
また、障害物が検出された場合には、検出された障害物と車両２とが液晶ディスプレイ５に対して表示可能であって且つ最も狭いトリミング範囲で俯瞰画像を表示するので、拡大された俯瞰画像から正確な自車の位置や方向が把握することができるとともに、車両の周囲に位置する障害物を確認することが可能となる。
また、駐車操作が行われたと判定された場合に液晶ディスプレイ５に対して俯瞰画像を表示するので、利用者にとって周囲環境の情報が特に必要な駐車操作時において、車両周囲に位置する障害物を考慮して、適切な範囲により障害物を含めた俯瞰画像を表示することができる。従って、利用者は駐車操作を容易に行うことが可能となる。
また、車両２が駐車スペースに進入する前は、車両２の周囲を広範囲に表示した第１のトリミング範囲に基づく俯瞰画像（図１１、図１２参照）を駐車案内画面５０として表示し、車両２が駐車スペースへと進入した際には第１のトリミング範囲より狭い第２のトリミング範囲に基づく俯瞰画像（図１３参照）を駐車案内画面６０として表示し、更に、クリアランスソナー７〜９によって車両２の所定距離内（本実施形態では１５０ｃｍ以内）に障害物を検出した場合には、第２のトリミング範囲より広い第３のトリミング範囲によって俯瞰画像（図１４〜図１６参照）を駐車案内画面６２〜６４として表示するので、現在の車両の状況に合わせた見易い範囲で俯瞰画像を表示することが可能となる。 As described in detail above, in the vehicle periphery image display system 1 according to the present embodiment, when it is determined that the parking operation is performed in the vehicle 2 (S12: YES), from the camera image captured by the rear camera 3. A bird's-eye view image of the vehicle surroundings is generated from above the vehicle 2 (S52 to S59), and in particular, when an obstacle is detected within a predetermined distance of the vehicle 2 (within 150 cm in this embodiment) by the clearance sonar 7-9. Displays the overhead image trimmed in the third trimming range including the detected obstacle and the vehicle 2 on the liquid crystal display 5, so that the obstacle located in the appropriate range in consideration of the obstacle located around the vehicle. It is possible to display a bird's-eye view image including Therefore, the user can easily grasp the accurate surrounding environment.
When an obstacle is detected, the detected obstacle and the vehicle 2 can be displayed on the liquid crystal display 5 and the overhead image is displayed in the narrowest trimming range. The correct position and direction of the vehicle can be grasped from the image, and obstacles located around the vehicle can be confirmed.
In addition, since it is possible to display an overhead image on the liquid crystal display 5 when it is determined that the parking operation has been performed, an obstacle positioned around the vehicle is displayed at the time of the parking operation that particularly requires information on the surrounding environment for the user. In consideration, an overhead image including an obstacle can be displayed in an appropriate range. Therefore, the user can easily perform the parking operation.
Before the vehicle 2 enters the parking space, an overhead image (see FIGS. 11 and 12) based on the first trimming range in which the periphery of the vehicle 2 is displayed in a wide range is displayed as the parking guidance screen 50. When the vehicle enters the parking space, a bird's-eye view image (see FIG. 13) based on the second trimming range narrower than the first trimming range is displayed as the parking guidance screen 60, and further, the vehicle 2 by the clearance sonar 7-9. When the obstacle is detected within a predetermined distance (within 150 cm in the present embodiment), the overhead image (see FIGS. 14 to 16) is displayed in the parking guidance screen 62 by the third trimming range wider than the second trimming range. Since it is displayed as .about.64, it is possible to display a bird's-eye view image in an easy-to-view range that matches the current vehicle conditions.

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではクリアランスソナー７〜９によって車両２の後方に障害物が検出された場合に、車両と障害物を含む第３のトリミング範囲でトリミングした俯瞰画像を表示することとしているが、クリアランスソナーを車両の前方や側方に新たに配置することによって、車両２の前方や側方に障害物が検出された場合にも、車両と障害物を含む第３のトリミング範囲でトリミングした俯瞰画像を表示するようにしても良い。また、障害物の検出手段はクリアランスソナーに限られること無く、例えばカメラで撮像した画像に基づいて障害物を検出するようにしても良い。 Note that the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the scope of the present invention.
For example, in the present embodiment, when an obstacle is detected behind the vehicle 2 by the clearance sonars 7 to 9, an overhead image trimmed in the third trimming range including the vehicle and the obstacle is displayed. By arranging the clearance sonar in front or side of the vehicle, even when an obstacle is detected in front or side of the vehicle 2, an overhead view is trimmed in the third trimming range including the vehicle and the obstacle. An image may be displayed. Further, the obstacle detection means is not limited to the clearance sonar, and for example, an obstacle may be detected based on an image captured by a camera.

また、第２のトリミング範囲と第３のトリミング範囲とは同一の範囲であっても良い。その際には、ディスプレイの表示領域を変更することのみによって、検出された障害物を新たに表示するようにする。   Further, the second trimming range and the third trimming range may be the same range. In that case, the detected obstacle is newly displayed only by changing the display area of the display.

また、本実施形態ではクリアランスソナー７〜９によって車両２の後方に障害物が検出された場合に、車両と障害物とを同一の表示ウィンドウで表示することとしているが、障害物の俯瞰画像は車両を表示するウィンドウと別のウィンドウで表示するようにしても良い。   Moreover, in this embodiment, when an obstacle is detected behind the vehicle 2 by the clearance sonars 7 to 9, the vehicle and the obstacle are displayed in the same display window. You may make it display on the window different from the window which displays a vehicle.

また、駐車操作が開始された場合に、液晶ディスプレイ５の左半分に対してはナビゲーション装置による自車周囲の地図画面を表示し、右側半分に対してのみに駐車案内画面５０、６０（図１１〜図１３）を表示するようにしても良い。そして、特に車両２の後方に障害物が検出された場合には、地図画面を消去し、車両２と障害物を含む駐車案内画面６２〜６４（図１４〜図１６）の表示領域を拡大して表示するようにしても良い。   When the parking operation is started, a map screen around the vehicle by the navigation device is displayed on the left half of the liquid crystal display 5, and the parking guidance screens 50 and 60 are displayed only on the right half (FIG. 11). To FIG. 13) may be displayed. When an obstacle is detected behind the vehicle 2, the map screen is deleted, and the display area of the parking guidance screens 62 to 64 (FIGS. 14 to 16) including the vehicle 2 and the obstacle is enlarged. May be displayed.

本実施形態に係る車両周辺画像表示システムの概略構成図である。It is a schematic block diagram of the vehicle periphery image display system which concerns on this embodiment. 本実施形態に係る車両周辺画像表示システムの制御系を模式的に示すブロック図である。It is a block diagram which shows typically the control system of the vehicle periphery image display system which concerns on this embodiment. 本実施形態に係る駐車画像表示制御処理プログラムのフローチャートである。It is a flowchart of the parking image display control processing program which concerns on this embodiment. 本実施形態に係るシステム起動管理処理のサブ処理プログラムのフローチャートである。It is a flowchart of the sub process program of the system starting management process which concerns on this embodiment. 本実施形態に係る車両信号入力処理のサブ処理プログラムのフローチャートである。It is a flowchart of the sub process program of the vehicle signal input process which concerns on this embodiment. 本実施形態に係るクリアランスソナー信号入力処理のサブ処理プログラムのフローチャートである。It is a flowchart of the sub process program of the clearance sonar signal input process which concerns on this embodiment. 本実施形態に係る画像合成処理のサブ処理プログラムのフローチャートである。It is a flowchart of the sub-processing program of the image composition processing according to the present embodiment. 本実施形態に係る画像表示処理のサブ処理プログラムのフローチャートである。It is a flowchart of the sub-processing program of the image display process which concerns on this embodiment. 車両の障害物の検出方向を示した模式図である。It is the schematic diagram which showed the detection direction of the obstruction of a vehicle. 後方カメラによって撮像されたカメラ画像を示した図である。It is the figure which showed the camera image imaged with the back camera. 図１０に示すカメラ画像を撮像した時点において自車の液晶ディスプレイに表示される俯瞰画像を示した図である。It is the figure which showed the bird's-eye view image displayed on the liquid crystal display of the own vehicle at the time of imaging the camera image shown in FIG. 液晶ディスプレイに表示される第１のトリミング範囲に基づく俯瞰画像を示した図である。It is the figure which showed the bird's-eye view image based on the 1st trimming range displayed on a liquid crystal display. 液晶ディスプレイに表示される第２のトリミング範囲に基づく俯瞰画像を示した図である。It is the figure which showed the bird's-eye view image based on the 2nd trimming range displayed on a liquid crystal display. 車両の左後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。It is the figure which showed the bird's-eye view image based on the 3rd trimming range displayed on a liquid crystal display, when an obstruction is detected in the left back of a vehicle. 車両の後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。It is the figure which showed the bird's-eye view image based on the 3rd trimming range displayed on a liquid crystal display, when an obstruction is detected behind the vehicle. 車両の右後方に障害物が検出された場合に、液晶ディスプレイに表示される第３のトリミング範囲に基づく俯瞰画像を示した図である。It is the figure which showed the bird's-eye view image based on the 3rd trimming range displayed on a liquid crystal display, when an obstruction is detected in the right rear of a vehicle.

符号の説明Explanation of symbols

１ 車両周辺画像表示システム
２ 車両
３ 後方カメラ
４ 画像表示ＥＣＵ
５ 液晶ディスプレイ
７〜９ クリアランスソナー
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ DESCRIPTION OF SYMBOLS 1 Vehicle periphery image display system 2 Vehicle 3 Rear camera 4 Image display ECU
5 Liquid crystal display 7-9 Clearance sonar 31 CPU
32 ROM
33 RAM

Claims (5)

車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
画像表示手段と、
前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段と、を有する車両周辺画像表示システムにおいて、
車両周辺の障害物を検出する障害物検出手段を有し、
前記表示制御手段は前記障害物検出手段によって障害物が検出された場合に、検出された障害物と車両とを含む前記俯瞰画像を前記画像表示手段に表示することを特徴とする車両周辺画像表示システム。 Imaging means for imaging the periphery of the vehicle;
An overhead image generation means for generating an overhead image that overlooks the periphery of the vehicle from above the vehicle based on the image captured by the imaging means;
Image display means;
A vehicle surrounding image display system comprising: a display control unit that displays the overhead image generated by the overhead image generation unit on the image display unit;
Having obstacle detection means for detecting obstacles around the vehicle,
The display control means displays, when the obstacle is detected by the obstacle detection means, the overhead image including the detected obstacle and the vehicle on the image display means. system. 前記表示制御手段は検出された障害物と車両とが前記画像表示手段に対して表示可能であって且つ最も狭い範囲で俯瞰画像を表示することを特徴とする請求項１に記載の車両周辺画像表示システム。   2. The vehicle surrounding image according to claim 1, wherein the display control unit is capable of displaying the detected obstacle and the vehicle on the image display unit and displays an overhead image in the narrowest range. Display system. 駐車操作が行われたか否かを判定する駐車判定手段を有し、
前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して俯瞰画像を表示することを特徴とする請求項１又は請求項２に記載の車両周辺画像表示システム。 Having a parking determination means for determining whether or not a parking operation has been performed;
3. The vehicle periphery according to claim 1, wherein the display control unit displays an overhead image on the image display unit when it is determined that the parking operation is performed by the parking determination unit. Image display system. 車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて車両上方より車両周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
画像表示手段と、
前記俯瞰画像生成手段によって生成された俯瞰画像を前記画像表示手段に表示する表示制御手段と、を有する車両周辺画像表示システムにおいて、
駐車操作が行われたか否かを判定する駐車判定手段と、
車両が駐車を行う駐車スペースを検出する駐車スペース検出手段と、
車両が前記駐車スペースに進入したか否かを判定する進入判定手段と、
車両周辺の障害物を検出する障害物検出手段と、を有し、
前記表示制御手段は前記駐車判定手段により駐車操作が行われたと判定された場合に前記画像表示手段に対して第１の範囲の前記俯瞰画像を表示し、前記進入判定手段により車両が前記駐車スペースに進入したと判定された場合に前記第１の範囲より狭い第２の範囲の俯瞰画像を表示し、前記障害物検出手段により障害物が検出された場合に検出された障害物と車両とを含む第３の範囲の俯瞰画像を表示することを特徴とする車両周辺画像表示システム。 Imaging means for imaging the periphery of the vehicle;
An overhead image generation means for generating an overhead image that overlooks the periphery of the vehicle from above the vehicle based on the image captured by the imaging means;
Image display means;
A vehicle surrounding image display system comprising: a display control unit that displays the overhead image generated by the overhead image generation unit on the image display unit;
Parking determination means for determining whether or not a parking operation has been performed;
Parking space detecting means for detecting a parking space where the vehicle parks;
Entry determination means for determining whether a vehicle has entered the parking space;
Obstacle detection means for detecting obstacles around the vehicle,
The display control means displays the overhead image in a first range on the image display means when it is determined that the parking operation is performed by the parking determination means, and the entry determination means displays the vehicle in the parking space. When it is determined that the vehicle has entered, an overhead image of a second range narrower than the first range is displayed, and the obstacle and vehicle detected when the obstacle is detected by the obstacle detection means. A vehicle periphery image display system for displaying a bird's-eye view image of a third range including the above. 前記第３の範囲は検出された障害物と車両とが前記画像表示手段に対して表示可能であって且つ最も狭い範囲であることを特徴とする請求項４に記載の車両周辺画像表示システム。   5. The vehicle periphery image display system according to claim 4, wherein the third range is the narrowest range in which the detected obstacle and the vehicle can be displayed on the image display means.
JP2006208555A 2006-07-31 2006-07-31 Vehicle periphery image display system and vehicle periphery image display method Expired - Fee Related JP4595902B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006208555A JP4595902B2 (en) 2006-07-31 2006-07-31 Vehicle periphery image display system and vehicle periphery image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006208555A JP4595902B2 (en) 2006-07-31 2006-07-31 Vehicle periphery image display system and vehicle periphery image display method

Publications (2)

Publication Number Publication Date
JP2008030705A true JP2008030705A (en) 2008-02-14
JP4595902B2 JP4595902B2 (en) 2010-12-08

Family

ID=39120562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006208555A Expired - Fee Related JP4595902B2 (en) 2006-07-31 2006-07-31 Vehicle periphery image display system and vehicle periphery image display method

Country Status (1)

Country Link
JP (1) JP4595902B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101984A (en) * 2007-10-01 2009-05-14 Nissan Motor Co Ltd Parking assistance device and method
JP2011034273A (en) * 2009-07-31 2011-02-17 Fujitsu Ltd Driving support system, driving support device, driving support method, and driving support program
WO2012043184A1 (en) * 2010-09-28 2012-04-05 アイシン精機株式会社 Parking assistance device
JP2012222397A (en) * 2011-04-04 2012-11-12 Denso Corp On-vehicle rear-image processing device
US8446268B2 (en) 2009-04-14 2013-05-21 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
KR101558586B1 (en) 2009-06-15 2015-10-07 현대자동차일본기술연구소 Device and method for display image around a vehicle
GB2540527A (en) * 2014-12-17 2017-01-25 Continental Automotive Systems Perspective shifting parking camera system
JP2019116220A (en) * 2017-12-27 2019-07-18 株式会社東海理化電機製作所 Vehicular visible device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63293282A (en) * 1987-05-27 1988-11-30 株式会社　エムパイヤエアポ−トサ−ビス Vehicle positioning apparatus
JP2001101591A (en) * 1999-10-04 2001-04-13 Yazaki Corp Instruction device in vehicle guiding device and computer readable recording medium storing instruction program therefor
JP2002029345A (en) * 2000-07-14 2002-01-29 Mitsubishi Motors Corp Device for supporting parking
JP2004064150A (en) * 2002-07-24 2004-02-26 Sumitomo Electric Ind Ltd Image conversion system and image processor
JP2004304416A (en) * 2003-03-31 2004-10-28 Mazda Motor Corp Monitor apparatus for vehicle
JP2005012465A (en) * 2003-06-18 2005-01-13 Denso Corp Peripheral displaying device for vehicle
JP2005343417A (en) * 2004-06-07 2005-12-15 Auto Network Gijutsu Kenkyusho:Kk Parking assisting device
JP2006027556A (en) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd Periphery monitor for vehicle
JP2006182084A (en) * 2004-12-27 2006-07-13 Equos Research Co Ltd Vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63293282A (en) * 1987-05-27 1988-11-30 株式会社　エムパイヤエアポ−トサ−ビス Vehicle positioning apparatus
JP2001101591A (en) * 1999-10-04 2001-04-13 Yazaki Corp Instruction device in vehicle guiding device and computer readable recording medium storing instruction program therefor
JP2002029345A (en) * 2000-07-14 2002-01-29 Mitsubishi Motors Corp Device for supporting parking
JP2004064150A (en) * 2002-07-24 2004-02-26 Sumitomo Electric Ind Ltd Image conversion system and image processor
JP2004304416A (en) * 2003-03-31 2004-10-28 Mazda Motor Corp Monitor apparatus for vehicle
JP2005012465A (en) * 2003-06-18 2005-01-13 Denso Corp Peripheral displaying device for vehicle
JP2005343417A (en) * 2004-06-07 2005-12-15 Auto Network Gijutsu Kenkyusho:Kk Parking assisting device
JP2006027556A (en) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd Periphery monitor for vehicle
JP2006182084A (en) * 2004-12-27 2006-07-13 Equos Research Co Ltd Vehicle

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101984A (en) * 2007-10-01 2009-05-14 Nissan Motor Co Ltd Parking assistance device and method
US8446268B2 (en) 2009-04-14 2013-05-21 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
KR101558586B1 (en) 2009-06-15 2015-10-07 현대자동차일본기술연구소 Device and method for display image around a vehicle
JP2011034273A (en) * 2009-07-31 2011-02-17 Fujitsu Ltd Driving support system, driving support device, driving support method, and driving support program
WO2012043184A1 (en) * 2010-09-28 2012-04-05 アイシン精機株式会社 Parking assistance device
JP2012222397A (en) * 2011-04-04 2012-11-12 Denso Corp On-vehicle rear-image processing device
GB2540527A (en) * 2014-12-17 2017-01-25 Continental Automotive Systems Perspective shifting parking camera system
JP2019116220A (en) * 2017-12-27 2019-07-18 株式会社東海理化電機製作所 Vehicular visible device

Also Published As

Publication number Publication date
JP4595902B2 (en) 2010-12-08

Similar Documents

Publication Publication Date Title
EP3650285B1 (en) Parking assistance method and parking assistance device
JP4595902B2 (en) Vehicle periphery image display system and vehicle periphery image display method
US7363130B2 (en) Parking assist systems, methods, and programs
JP4432930B2 (en) Parking assistance device and parking assistance method
JP5454934B2 (en) Driving assistance device
JP4985250B2 (en) Parking assistance device
JP5549235B2 (en) Driving assistance device
JP4844323B2 (en) Parking assistance device and parking assistance method
JP4904997B2 (en) Parking support method and parking support device
JP4696691B2 (en) Parking support method and parking support device
WO2013088613A1 (en) Drive assistance device
JP2007221200A (en) Vehicle periphery monitoring system
JP5516988B2 (en) Parking assistance device
JP2008285083A (en) Parking support device
JP7426174B2 (en) Vehicle surrounding image display system and vehicle surrounding image display method
JP2012076551A (en) Parking support device, parking support method, and parking support system
WO2010134240A1 (en) Parking assistance device, parking assistance method, and parking assistance program
JP2007124097A (en) Apparatus for visually recognizing surrounding of vehicle
JP5092330B2 (en) Parking assistance device and parking assistance method
JP5556077B2 (en) Driving support device
JP2009253460A (en) Parking support system
JP2009071659A (en) Parking assistance system
JP4957589B2 (en) Obstacle warning device, obstacle warning method, and computer program
JP2012023505A (en) Driving support device
JP5518407B2 (en) Obstacle detection device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141001

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees