JP2007168560A - Parking support apparatus - Google Patents

Parking support apparatus Download PDF

Info

Publication number
JP2007168560A
JP2007168560A JP2005367658A JP2005367658A JP2007168560A JP 2007168560 A JP2007168560 A JP 2007168560A JP 2005367658 A JP2005367658 A JP 2005367658A JP 2005367658 A JP2005367658 A JP 2005367658A JP 2007168560 A JP2007168560 A JP 2007168560A
Authority
JP
Japan
Prior art keywords
parking
image
vehicle
display
parking frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005367658A
Other languages
Japanese (ja)
Inventor
Hiroaki Shimizu
宏昭 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005367658A priority Critical patent/JP2007168560A/en
Publication of JP2007168560A publication Critical patent/JP2007168560A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a parking support apparatus which can park a vehicle within a parking frame even if the whole of the parking frame is not shown on a display image. <P>SOLUTION: The parking frame lines showing a parking position of the vehicle are recognized from a bird's eye view image (S116). An angle made by the side straight lines of the parking frame lines and the front and rear direction of the vehicle is calculated based on the recognized parking frame lines (S118). A direction for turning a steering wheel is determined as the parking support information for parking the vehicle within the parking frame line is determined from the calculated angle (S120). The direction for turning the steering wheel is shown on the display image (S124). <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車両に搭載されたカメラにて車両後方を撮像した画像を表示して駐車支援を行う駐車支援装置に関する。   The present invention relates to a parking assistance device that provides parking assistance by displaying an image of the rear of a vehicle captured by a camera mounted on the vehicle.

従来、この種の装置として、車両の後方を撮像する車載カメラによって車両後方を撮像し、この車両後方画像を、鉛直方向から地上面を見下ろした鳥瞰画像に変換してモニタ上に表示させるものがある(例えば、特許文献1参照)。   Conventionally, as this type of device, there is an apparatus that captures the rear of a vehicle with an in-vehicle camera that captures the rear of the vehicle, converts the rear image of the vehicle into a bird's-eye view image looking down on the ground surface from the vertical direction, and displays the image on a monitor. Yes (see, for example, Patent Document 1).

また、更に、車両が後退するに従って車載カメラの視野から外れる車両に近い領域を過去の画像から抽出し、この視野外となる領域の画像を鳥瞰画像にマッチングをとって合成した合成画像をモニタ上に表示させるものがある(例えば、特許文献2参照)。
特許第3663801号広報 特許3677458号公報
Furthermore, a region close to the vehicle that deviates from the field of view of the in-vehicle camera as the vehicle moves backward is extracted from the past image, and a synthesized image obtained by matching the image of the region outside the field of view with the bird's-eye image is synthesized on the monitor. (For example, see Patent Document 2).
Patent No. 3663801 Japanese Patent No. 3677458

上記した特許文献2に示した装置による駐車支援の表示例を図16に示す。図中右側は鳥瞰画像に変換された画像、図中左側の画像は車載カメラの撮像画像である。運転者は、図中右側に示す鳥瞰画像で駐車枠全体と自車両の位置関係を確認しながら駐車操作を行うことができるようになっている。また、図中左側の撮像画像から車両後方の様子を確認することもできるようになっている。   A display example of parking assistance by the apparatus shown in Patent Document 2 is shown in FIG. The right side in the figure is an image converted into a bird's-eye view image, and the left side image in the figure is a captured image of the in-vehicle camera. The driver can perform a parking operation while confirming the positional relationship between the entire parking frame and the host vehicle in the bird's-eye view image shown on the right side in the figure. In addition, the state behind the vehicle can be confirmed from the captured image on the left side in the figure.

図16に示したように、車載ディスプレイの表示画面は横長となっているため、駐車枠全体が含まれるように縦長の鳥瞰画像を車載ディスプレイに表示させようとした場合、鳥瞰画像を縮小して表示させる必要がある。   As shown in FIG. 16, the display screen of the in-vehicle display is horizontally long. Therefore, when attempting to display a vertically long bird's-eye image on the in-vehicle display so that the entire parking frame is included, the bird's-eye image is reduced. Need to be displayed.

しかし、このように駐車枠全体を含む鳥瞰画像を縮小して車載ディスプレイに表示すると視認性が良くない。発明者の実験によれば、図16に示したような表示よりも、鳥瞰表示の画像をある大きさまで拡大して表示した方が、視認性が向上し、駐車操作の操作性が向上することが確認された。   However, when the bird's-eye view image including the entire parking frame is reduced and displayed on the vehicle-mounted display, the visibility is not good. According to the inventor's experiment, the visibility is improved and the operability of the parking operation is improved when the bird's eye view image is enlarged to a certain size and displayed rather than the display as shown in FIG. Was confirmed.

しかし、鳥瞰表示の画像を拡大表示すると、駐車枠の一部と自車両の位置関係しか認識することができなくなってしまう。このため、例えば、表示画面に表示される車両後方が駐車枠に収まっていても、表示画面に表示されない車両の右先端部や左先端部が駐車枠からはみ出してしまうといった状況が考えられる。   However, if the bird's eye view image is enlarged and displayed, only the positional relationship between a part of the parking frame and the host vehicle can be recognized. For this reason, for example, even if the rear side of the vehicle displayed on the display screen is within the parking frame, a situation where the right tip portion or the left tip portion of the vehicle not displayed on the display screen protrudes from the parking frame is conceivable.

本発明はこのような問題に鑑みたもので、表示画面に駐車枠全体を表示しなくても、車両を駐車枠内に駐車できるようにすることを目的とする。   The present invention has been made in view of such a problem, and an object thereof is to enable a vehicle to be parked in a parking frame without displaying the entire parking frame on a display screen.

上記目的を達成するため、本発明の第1の特徴は、車両に搭載されたカメラにて車両後方を撮像した画像を鉛直方向から地上面を見下ろした鳥瞰画像に変換し、この鳥瞰画像に基づいて前記駐車位置側方の駐車枠線を認識し、この認識した駐車位置側方の駐車枠線を用いて車両を駐車枠内に駐車させるための駐車支援情報を生成し、生成した駐車支援情報を表示手段に表示させることである。   In order to achieve the above object, the first feature of the present invention is that an image obtained by imaging the rear of the vehicle with a camera mounted on the vehicle is converted into a bird's-eye view image looking down on the ground surface from the vertical direction. Recognizing the parking frame line on the side of the parking position, generating parking support information for parking the vehicle in the parking frame using the recognized parking frame line on the side of the parking position, and generating the parking support information Is displayed on the display means.

このように、鳥瞰画像に基づいて駐車位置側方の駐車枠線を認識し、この認識した駐車位置側方の駐車枠線から車両を駐車枠内に駐車させるための駐車支援情報を生成し、この駐車支援情報を表示手段に表示させるので、表示画面に駐車枠全体が表示されなくても、駐車支援情報に従って駐車操作することにより車両を駐車枠内に駐車することができる。   Thus, based on the bird's-eye view image, the parking frame line on the side of the parking position is recognized, and parking assistance information for parking the vehicle in the parking frame from the recognized parking frame line on the side of the parking position is generated. Since this parking support information is displayed on the display means, even if the entire parking frame is not displayed on the display screen, the vehicle can be parked in the parking frame by performing the parking operation according to the parking support information.

また、本発明の第2の特徴は、認識した駐車位置側方の駐車枠線と車両の前後方向のなす角度を検出し、検出した角度に基づいて車両を駐車枠内に駐車するための旋回方向を決定し、決定した旋回方向に基づいてハンドル操作の回転すべき方向を鳥瞰画像とともに表示手段に表示させることである。   Further, the second feature of the present invention is to detect an angle between the recognized parking frame line on the side of the parking position and the front-rear direction of the vehicle, and turn for parking the vehicle in the parking frame based on the detected angle. The direction is determined, and the direction in which the steering wheel operation should be rotated is displayed on the display unit together with the bird's-eye view image based on the determined turning direction.

このように、ハンドル操作の回転すべき方向が鳥瞰画像とともに表示手段に表示されるので、表示画面に駐車枠全体が表示されなくても、表示手段に表示されるハンドル操作の回転すべき方向に従って駐車操作することにより車両を駐車枠内に駐車することができる。   Thus, since the direction in which the steering wheel operation should be rotated is displayed on the display unit together with the bird's-eye view image, even if the entire parking frame is not displayed on the display screen, the direction in which the steering wheel operation is to be rotated is displayed. By performing the parking operation, the vehicle can be parked in the parking frame.

この場合、矢印を用いてハンドル操作の回転すべき方向を表示手段に表示することができ、また、アイコンを用いてハンドル操作の回転すべき方向を表示手段に表示することもできる。   In this case, the direction in which the steering wheel operation should be rotated can be displayed on the display means using an arrow, and the direction in which the steering wheel operation should be rotated can be displayed on the display means using an icon.

また、本発明の第3の特徴は、認識した駐車位置側方の駐車枠線を車両の後方へ延長する延長線を生成し、生成した延長線を鳥瞰画像とともに表示手段に表示させることである。   The third feature of the present invention is to generate an extension line extending the recognized parking position side parking frame line to the rear of the vehicle and display the generated extension line together with the bird's-eye view image on the display means. .

このように、駐車位置側方の駐車枠線を車両の後方へ延長する延長線を鳥瞰画像とともに表示手段に表示させるので、表示画面に駐車枠全体が表示されなくても、表示手段に表示される延長線を視認しながら駐車操作することにより車両を駐車枠内に駐車することができる。   Thus, since the extension line that extends the parking frame line on the side of the parking position to the rear of the vehicle is displayed on the display unit together with the bird's-eye view image, even if the entire parking frame is not displayed on the display screen, it is displayed on the display unit. The vehicle can be parked in the parking frame by performing the parking operation while visually recognizing the extended line.

また、本発明の第4の特徴は、車両全体と駐車枠全体が含まれる全体画像を予め設定された倍率で縮小した縮小画像を生成し、全体画像を拡大した拡大画像に縮小画像生成手段によって生成された縮小画像を重ねて表示手段に表示させることである。   Further, the fourth feature of the present invention is that a reduced image obtained by reducing an entire image including the entire vehicle and the entire parking frame at a preset magnification is generated, and an enlarged image obtained by enlarging the entire image is reduced by the reduced image generating means. The generated reduced images are superimposed and displayed on the display means.

このように、全体画像を拡大した拡大画像に縮小画像生成手段によって生成された縮小画像を重ねて表示手段に表示させるので、表示画面に駐車枠全体が表示されなくても、駐車支援情報に従って駐車操作することにより車両を駐車枠内に駐車することができる。   In this way, since the reduced image generated by the reduced image generating means is superimposed on the enlarged image obtained by enlarging the entire image and displayed on the display means, parking is performed according to the parking assistance information even if the entire parking frame is not displayed on the display screen. By operating, the vehicle can be parked in the parking frame.

(第1実施形態)
本発明の第1実施形態に係る駐車支援装置の構成を図1に示す。図に示すように、本駐車支援装置は、車両10の後部の中央部に、斜め下方を俯瞰して撮影するように配置された撮影手段としての車載カメラ(例えば、CCDカメラ)1と、ダッシュボードに配置された表示手段としての車載ディスプレイ(例えば、カラー液晶ディスプレイ)3と、マイクロコンピュータを主要部として構成され、車載カメラ1での撮影により得られた撮影画像データに基づいて、実際の表示に使用する表示画像データを生成するデータ処理部5とを備えている。なお、本駐車支援装置の車載カメラ1は、車両10の前後方向が撮影画像の上下方向となり、車両10の後方が撮影画像の下側となるように取り付けられている。
(First embodiment)
The structure of the parking assistance apparatus which concerns on 1st Embodiment of this invention is shown in FIG. As shown in the figure, the parking assist device includes an in-vehicle camera (for example, a CCD camera) 1 as a photographing means arranged at a central portion of the rear portion of the vehicle 10 so as to photograph an obliquely downward view, and a dash. An in-vehicle display (for example, a color liquid crystal display) 3 as a display means disposed on the board and a microcomputer as main parts, and actual display based on captured image data obtained by imaging with the in-vehicle camera 1 And a data processing unit 5 for generating display image data to be used. In addition, the vehicle-mounted camera 1 of this parking assistance apparatus is attached so that the front-rear direction of the vehicle 10 is the vertical direction of the captured image and the rear of the vehicle 10 is the lower side of the captured image.

また、データ処理部5には、車両の向きを示す信号を出力するジャイロセンサ、車両の速度に応じた信号を出力する車輪速センサ、シフトレバーのシフト位置に応じた信号を出力するシフト位置検出スイッチ(いずれも図示せず)から各種信号が入力される。   The data processing unit 5 includes a gyro sensor that outputs a signal indicating the direction of the vehicle, a wheel speed sensor that outputs a signal corresponding to the speed of the vehicle, and a shift position detection that outputs a signal corresponding to the shift position of the shift lever. Various signals are input from a switch (both not shown).

また、データ処理部5は、図示しない画像メモリを有している。この画像メモリへ画像の描画に応じて画像メモリから画像データが車載ディスプレイ3に出力される。   The data processing unit 5 has an image memory (not shown). Image data is output from the image memory to the in-vehicle display 3 in accordance with the drawing of the image to the image memory.

また、本実施形態における車載ディスプレイ3は、7インチ、16:9のワイドタイプのものが用いられている。本駐車支援装置は、図2に示す領域の鳥瞰画像を車載ディスプレイ3に全画面表示するようにしている。この表示領域は、発明者の実験によって視認性が良好で駐車操作が最も容易であると確認されたものである。   The in-vehicle display 3 in the present embodiment is a 7-inch, 16: 9 wide type. The parking assist apparatus displays the bird's-eye view image of the area shown in FIG. This display area has been confirmed by the inventor's experiment as having good visibility and the easiest parking operation.

なお、図中の境界線Aより下側の領域は、後述する特許文献1に示した装置と同様の処理によって座標変換された鳥瞰画像で、境界線Aよりも上側の領域は、特許文献2に示した装置と同様の処理によって生成された車載カメラ1の視野外領域の合成画像である。また、自車位置Fは、鳥瞰画像中の自車両の固定位置に対応させて真上からの視点による車両10の平面画像データが常時固定位置に表示された画像である。また、境界線Aの上側と下側とでは背景色が異なるため、境界線Aは線として表示される。   In addition, the area | region below the boundary line A in a figure is the bird's-eye view image coordinate-transformed by the process similar to the apparatus shown in patent document 1 mentioned later, and the area | region above the boundary line A is patent document 2 4 is a composite image of the out-of-view area of the in-vehicle camera 1 generated by the same processing as the apparatus shown in FIG. The own vehicle position F is an image in which the planar image data of the vehicle 10 from the viewpoint from directly above is displayed at the fixed position in correspondence with the fixed position of the own vehicle in the bird's-eye view image. Since the background color is different between the upper side and the lower side of the boundary line A, the boundary line A is displayed as a line.

また、後退の開始時には、境界線Aよりも下側の鳥瞰画像のみが表示されており、車両の後退により車載カメラ1の視野外領域が広がるにつれて、図2に示したように境界線Aよりも上側の視野外領域の合成画像が次第に拡大して表示される。   Further, at the start of the backward movement, only the bird's-eye view image below the boundary line A is displayed. As the region outside the field of view of the in-vehicle camera 1 expands due to the backward movement of the vehicle, as shown in FIG. Also, the combined image of the upper out-of-view area is gradually enlarged and displayed.

次に、図3を参照して、データ処理部5の処理について説明する。データ処理部5は、イグニッションスイッチがオンしてバッテリから電源が供給されると、図3に示す処理を開始する。   Next, processing of the data processing unit 5 will be described with reference to FIG. When the ignition switch is turned on and power is supplied from the battery, the data processing unit 5 starts the process shown in FIG.

まず、シフトレバーが、後退走行を示すリバース(REV)位置に設定されているか否かを判定する(S100)。このシフト位置は、シフト位置検出スイッチ(図示せず)からの信号により検出することができる。   First, it is determined whether or not the shift lever is set to a reverse (REV) position indicating reverse travel (S100). This shift position can be detected by a signal from a shift position detection switch (not shown).

シフトレバーがリバース位置になければ、S100の判定を繰り返す。また、シフトレバーがリバース位置にあれば、車載カメラ1から撮影画像データを取り込んで、斜め後方から地上面を見下ろした撮影画像データに対して座標変換を行うことにより、鉛直方向から地上面を見下ろした鳥瞰図画像を表す変換画像データを生成する(S102)。また、鳥瞰画像中の自車両の固定位置に対応させて事前に用意された真上からの視点による車両10の平面画像データを常時固定位置に表示させるように合成する処理も行う。   If the shift lever is not in the reverse position, the determination in S100 is repeated. Also, if the shift lever is in the reverse position, the photographed image data is taken from the in-vehicle camera 1, and coordinate conversion is performed on the photographed image data looking down on the ground surface from behind, thereby looking down on the ground surface from the vertical direction. Converted image data representing a bird's eye view image is generated (S102). In addition, a process of combining the plane image data of the vehicle 10 with the viewpoint from directly above prepared in advance corresponding to the fixed position of the own vehicle in the bird's-eye view image so as to be always displayed at the fixed position is also performed.

なお、車載カメラ1からの撮影画像を変換画像データに変換する処理および真上からの視点による車両10の平面画像データを常時固定位置に表示させるように合成する処理は、背景技術の特許文献1に示した特許公報などに詳述されているので、ここではその説明を省略する。   A process for converting a captured image from the in-vehicle camera 1 into converted image data and a process for synthesizing the planar image data of the vehicle 10 from a viewpoint from directly above so as to be always displayed at a fixed position are disclosed in Patent Document 1 of Background Art. Is described in detail in the patent gazette shown in FIG.

次に、先のS102にて生成された変換画像データと、車載ディスプレイ3に表示中の周辺画像データとを比較して、車両10の後退により車載カメラ1の視野外となる車両に近い領域を過去の画像から抽出し、この視野外となる領域の画像を鳥瞰画像にマッチングをとって合成した合成画像を画像メモリに描画する(S104)。   Next, the converted image data generated in the previous S102 is compared with the peripheral image data being displayed on the in-vehicle display 3, and an area close to the vehicle that is outside the field of view of the in-vehicle camera 1 due to the backward movement of the vehicle 10 is determined. A composite image extracted from the past image and synthesized by matching the image of the region outside the field of view with the bird's-eye view image is drawn in the image memory (S104).

この車載カメラ1の視野から外れた付加領域を変換画像にマッチングをとって視野外領域を合成する処理についても、背景技術の特許文献2に示した特許公報などに詳述されているので、ここではその説明を省略する。なお、S102に示した処理では、車両が後退して駐車枠に収まる頃には駐車枠全体の画像は車載カメラ1の視野から外れてしまうが、このS104の処理により、車両の後退時の画像(過去画像)から駐車枠全体の全体画像が合成されるため、車両が後退して駐車枠に収まりきってしまった場合でも、駐車枠全体を含む鳥瞰画像を表示することが可能となる。   The processing for synthesizing the out-of-view area by matching the added area outside the field of view of the in-vehicle camera 1 with the converted image is also described in detail in the patent publication shown in Patent Document 2 of the background art. Then, the explanation is omitted. In the process shown in S102, the image of the entire parking frame is out of the field of view of the in-vehicle camera 1 when the vehicle moves backward and fits in the parking frame. Since the entire image of the entire parking frame is synthesized from the (past image), it is possible to display a bird's-eye view image including the entire parking frame even when the vehicle moves backward and fits in the parking frame.

S104によって画像メモリに合成画像が描画されると、図4に示す画像が車載ディスプレイ3に表示される。車両10の後方の鳥瞰画像に視野外領域の画像と真上からの視点による車両10の平面画像が合成された合成画像が拡大して表示される。図中の境界線Aより下側の領域は、S102の処理によって座標変換された鳥瞰画像で、境界線Aよりも上側の領域は、S104の処理によって生成された車載カメラ1の視野外領域の合成画像である。   When the composite image is drawn in the image memory in S104, the image shown in FIG. A composite image obtained by combining the image of the out-of-view area and the planar image of the vehicle 10 from the viewpoint from directly above the bird's-eye view image behind the vehicle 10 is enlarged and displayed. The area below the boundary line A in the figure is a bird's-eye view image that has undergone coordinate conversion by the process of S102, and the area above the boundary line A is an out-of-view area of the in-vehicle camera 1 generated by the process of S104. It is a composite image.

次に、ジャイロセンサおよび車輪速センサより入力される各信号に基づいて車両移動量を算出する(S106)。具体的には、ジャイロセンサから入力される車両10の向きを示す信号から車両10の回転半径を算出し、この回転半径と車輪速センサから入力される車両10の速度に応じた信号から車両移動量を算出する。なお、ステアリング操作により車両10が旋回しながら後退する場合、車輪の移動軌跡は円弧状となるため、このように車両10の向きと速度を示す信号に基づいて移動軌跡に沿った車両移動量を算出するようにしている。   Next, a vehicle movement amount is calculated based on each signal input from the gyro sensor and the wheel speed sensor (S106). Specifically, the turning radius of the vehicle 10 is calculated from the signal indicating the direction of the vehicle 10 input from the gyro sensor, and the vehicle moves from the signal according to the turning radius and the speed of the vehicle 10 input from the wheel speed sensor. Calculate the amount. In addition, when the vehicle 10 moves backward while turning by the steering operation, the movement locus of the wheel becomes an arc shape, and thus the vehicle movement amount along the movement locus is calculated based on the signal indicating the direction and speed of the vehicle 10 in this way. I am trying to calculate.

次に、算出した車両移動量が予め設定された基準距離(例えば、10センチメートル)以上か否かを判定する(S108)。ここでは、シフトレバーがリバース位置にされた地点を基準として車両移動量を算出する。   Next, it is determined whether or not the calculated vehicle movement amount is equal to or greater than a preset reference distance (for example, 10 centimeters) (S108). Here, the amount of vehicle movement is calculated based on the point where the shift lever is in the reverse position.

車両10が後方へ移動し、車両移動量が基準距離に満たない場合、S108の判定はNOとなり、S100〜S106の処理を繰り返す。したがって、車載ディスプレイ3に表示される画像は、常に最新のものに更新される。   When the vehicle 10 moves rearward and the amount of vehicle movement is less than the reference distance, the determination in S108 is NO and the processes in S100 to S106 are repeated. Therefore, the image displayed on the in-vehicle display 3 is always updated to the latest one.

また、車両移動量が基準距離以上になると、S108の判定はYESとなり、次に、駐車枠が決定済みであるか否かを判定する(S110)。なお、駐車枠の決定については、後のS116のステップで行われるため、ここでは、駐車枠が決定済みでないものとして説明する。   If the amount of vehicle movement is greater than or equal to the reference distance, the determination in S108 is YES, and then it is determined whether or not the parking frame has been determined (S110). In addition, since determination of a parking frame is performed by the step of subsequent S116, it demonstrates here that a parking frame has not been determined.

次に、駐車位置側方の直線を検出する直線検出処理を行う(S112)。具体的には、S102、S104によって生成されたカラーの合成画像データを図5の左側に示すようにモノクロ画像化し、水平方向に一次微分する処理を画像の上から下へ繰り返し行い、図5の右側に示すように駐車位置を示す駐車枠線の駐車位置側方の直線のエッジを検出する。なお、一次微分によるエッジ検出は、例えば、Sobelフィルタを用いた画像処理により実施することができる。そして、この検出された複数のエッジ(点の集合)からハフ変換等を用いて直線を検出する。本実施形態では、図6に示すように、自車両10を基準として予め設定された検出エリアBに限定して、自車両10に対する平行度が±20度までの直線Cを検出する。なお、この直線Cの検出は、車載ディスプレイ3の表示領域Dの範囲内だけでなく、画像メモリへの描画範囲に対して行われる。   Next, a straight line detection process for detecting a straight line on the side of the parking position is performed (S112). Specifically, the color composite image data generated in S102 and S104 is converted into a monochrome image as shown on the left side of FIG. 5, and the process of first-order differentiation in the horizontal direction is repeated from the top to the bottom of the image, as shown in FIG. As shown on the right side, a straight edge on the side of the parking position of the parking frame line indicating the parking position is detected. Note that edge detection by primary differentiation can be performed, for example, by image processing using a Sobel filter. Then, a straight line is detected from the detected plurality of edges (a set of points) using Hough transform or the like. In the present embodiment, as shown in FIG. 6, a straight line C with a parallelism up to ± 20 degrees is detected only in the detection area B set in advance with the own vehicle 10 as a reference. The detection of the straight line C is performed not only in the range of the display area D of the in-vehicle display 3 but also in the drawing range in the image memory.

なお、本実施形態では、水平方向対してのみ直線のエッジ検出を行うことで、データ処理部5の処理負荷を低減するとともに効率的に直線の検出を行うようにしている。また、図6の検出エリアBに限定して直線Cを検出することにより、データ処理部5の処理負荷を低減するとともに効率的に直線の検出を行うようにしている。   In the present embodiment, straight line detection is performed only in the horizontal direction, thereby reducing the processing load on the data processing unit 5 and efficiently detecting straight lines. Further, by detecting the straight line C only in the detection area B of FIG. 6, the processing load of the data processing unit 5 is reduced and the straight line is efficiently detected.

次に、直線検出処理により直線が連続して所定回数(例えば、5回)以上検出されたか否かを判定する(S114)。   Next, it is determined whether or not a straight line is continuously detected a predetermined number of times (for example, five times) or more by the straight line detection process (S114).

ここで、直線が連続して所定回数以上検出されていない場合、S114の判定はNOとなり、S100〜S112の処理を繰り返す。なお、先のS106において、シフトレバーがリバース位置にされた地点を基準として車両移動量を算出するものとして説明したが、S108において車両移動量が基準距離以上であると判定された場合、その地点を基準として車両移動量を算出し直す。このように、車両10が基準距離移動する毎に、基準地点を変更しながら車両移動量を算出する。したがって、車両10が基準距離(例えば、10センチメートル)移動する毎にS112の直線検出処理が実施される。   Here, when the straight line is not continuously detected for a predetermined number of times or more, the determination in S114 is NO and the processes in S100 to S112 are repeated. In addition, although it demonstrated as what calculates vehicle movement amount on the basis of the point where the shift lever was made into the reverse position in previous S106, when it determines with vehicle movement amount being more than a reference distance in S108, the point Recalculate the amount of vehicle movement with reference to. Thus, every time the vehicle 10 moves the reference distance, the vehicle movement amount is calculated while changing the reference point. Therefore, every time the vehicle 10 moves a reference distance (for example, 10 centimeters), the straight line detection process of S112 is performed.

また、直線が連続して所定回数検出された場合、S114の判定はYESとなり、次に、駐車枠決定処理を実施する(S116)。具体的には、検出された所定回数分の直線の平均値を駐車位置側方の駐車枠線として決定するとともに駐車枠線が決定したことを示す情報を内部メモリに記憶する。   Moreover, when a straight line is continuously detected a predetermined number of times, the determination in S114 is YES, and then a parking frame determination process is performed (S116). Specifically, the detected average value of the predetermined number of straight lines is determined as a parking frame line on the side of the parking position, and information indicating that the parking frame line has been determined is stored in the internal memory.

このように、直線が連続して所定回数以上検出されたか否かを判定することにより、駐車枠線の検出ミスを低減するようにしている。   In this way, by detecting whether or not a straight line has been continuously detected a predetermined number of times or more, detection errors of the parking frame line are reduced.

次に、駐車位置側方の直線と車両の前後方向のなす角θを算出する(S118)。図7に示すように、車載ディスプレイ3の表示画像の上下方向が車両10の前後方向となる。したがって、車載ディスプレイ3の表示画像の上下方向とS116にて決定された駐車位置側方の駐車枠線Lとのなす角θを算出して、車両10の前後方向と駐車位置側方の直線とのなす角θとする。   Next, the angle θ formed by the straight line on the side of the parking position and the front-rear direction of the vehicle is calculated (S118). As shown in FIG. 7, the vertical direction of the display image on the in-vehicle display 3 is the front-rear direction of the vehicle 10. Therefore, an angle θ formed by the vertical direction of the display image on the in-vehicle display 3 and the parking frame side line L determined in S116 is calculated, and the longitudinal direction of the vehicle 10 and the straight line on the side of the parking position are calculated. The angle θ formed by

次に、ステアリングの旋回すべき方向を決定する(S120)。具体的には、車両10が後方へ移動したときに、S118において算出した車両の前後方向と駐車位置側方の駐車枠線とのなす角θが0度に近づくようなステアリングの旋回方向をハンドル操作の回転すべき方向として決定する。図7に示す例では、ステアリングを左に旋回したときに、なす角θが0度に近づくため、ステアリングの旋回すべき方向を「左」に決定する。   Next, the direction in which the steering should turn is determined (S120). Specifically, when the vehicle 10 moves rearward, the steering turning direction in which the angle θ formed by the vehicle front-rear direction calculated in S118 and the parking frame line on the side of the parking position approaches 0 degrees is handled. Determine the direction in which the operation should rotate. In the example shown in FIG. 7, when the steering wheel is turned to the left, the angle θ formed approaches 0 degrees, so the direction in which the steering wheel should turn is determined to be “left”.

次に、駐車位置側方の直線と車両のなす角θが予め設定された所定角度(例えば、1度)以内か否かを判定する(S122)。   Next, it is determined whether or not the angle θ formed by the straight line on the side of the parking position and the vehicle is within a predetermined angle (for example, 1 degree) set in advance (S122).

ここで、駐車位置側方の直線と車両のなす角θが予め設定された所定角度(例えば、1度)よりも大きい場合、S122の判定はNOとなり、次に、先のS122で決定したハンドル操作の回転すべき方向を案内する(S124)。具体的には、図8に示すように、ハンドル操作の回転すべき方向が「左」の場合には、車載ディスプレイ3の表示画像に「左」を示す矢印Yを重ねて表示させるとともに、「ステアリングを左に回してください。」といった音声案内を行う。反対に、ハンドル操作の回転すべき方向が「右」の場合には、車載ディスプレイ3の表示画像に「右」を示す矢印を重ねて表示させるとともに、「ステアリングを右に回してください。」といった音声案内を行い、S100へ戻る。   Here, when the angle θ formed by the straight line on the side of the parking position and the vehicle is larger than a predetermined angle (for example, 1 degree) set in advance, the determination in S122 is NO, and then the steering wheel determined in the previous S122 The direction to rotate the operation is guided (S124). Specifically, as shown in FIG. 8, when the direction in which the steering wheel operation is to be rotated is “left”, an arrow Y indicating “left” is superimposed on the display image of the in-vehicle display 3 and “ "Turn the steering wheel to the left." On the other hand, when the direction in which the steering wheel operation should be rotated is “right”, an arrow indicating “right” is superimposed on the display image of the in-vehicle display 3 and “turn the steering to the right”. Voice guidance is performed and the process returns to S100.

また、駐車位置側方の直線と車両のなす角θが予め設定された所定角度(例えば、1度)以内の場合、S122の判定はYESとなり、S100へ戻る。   When the angle θ formed by the straight line on the side of the parking position and the vehicle is within a predetermined angle (for example, 1 degree) set in advance, the determination in S122 is YES and the process returns to S100.

また、先のS110の判定では、駐車枠が決定済みでないものとして説明したが、一度、S116の駐車枠決定処理によって駐車枠が決定されると、次回から、S110の判定はYESとなり、次に、決定した駐車枠側方の駐車枠線と車両10との相対位置を算出する処理を行う(S126)。   Further, in the previous determination of S110, it has been described that the parking frame has not been determined, but once the parking frame is determined by the parking frame determination process of S116, the determination of S110 will be YES from the next time, and then Then, a process of calculating the relative position between the determined parking frame line on the side of the parking frame and the vehicle 10 is performed (S126).

図8に、車両10の旋回に伴って駐車位置左側方の駐車枠線が相対的に移動する様子を模式的に示す。この処理では、まず、ステアリングセンサからの信号に基づいてハンドル角ρを求め、このハンドル角ρに予め定められた定数Kを乗算することによってタイヤ角θを算出し、次に、前輪W1、W2の車軸と車両10の車両中心線方向とが交わる交点Mにおいて、前輪W1、W2の向きと直交する方向、すなわち車両10の後ろ方向に対してタイヤ角θとなる方向へ延長する延長線を生成し、この延長線と後輪W3、W4の車軸を延長した延長線の交わる車両回転中心Oを求める。車両10の旋回(回転)に伴い、駐車枠線は、この車両回転中心Oを中心として回転移動する。また、駐車枠線の移動量は、車両10の回転角θ’によって決まる。すなわち、車両回転中心Oを原点(0、0)、車両10の回転角をθ’とすると、駐車枠線上の座標(X、Y)の回転後の座標(X’、Y’)は、(X’、Y’)=(X・cosθ’+Y・sinθ’、−X・sinθ’+Y・cosθ)で表される。このように、駐車位置側方の駐車枠線と車両10との相対位置を算出して、車両10と駐車位置側方の駐車枠線の相対位置を補正する。このように、車両10と駐車位置側方の駐車枠線を補正することにより、駐車位置側方の駐車枠線の位置を更新し、S118へ進む。   FIG. 8 schematically shows how the parking frame line on the left side of the parking position relatively moves as the vehicle 10 turns. In this process, first, a steering wheel angle ρ is obtained based on a signal from the steering sensor, and a tire angle θ is calculated by multiplying the steering wheel angle ρ by a predetermined constant K. Next, the front wheels W1, W2 are calculated. An extension line extending in a direction perpendicular to the direction of the front wheels W1, W2, that is, in the direction of the tire angle θ with respect to the rear direction of the vehicle 10, is generated at an intersection M where the axle of the vehicle intersects with the vehicle center line direction of the vehicle 10 Then, the vehicle rotation center O at which the extension line and the extension line obtained by extending the axles of the rear wheels W3 and W4 intersect is obtained. As the vehicle 10 turns (rotates), the parking frame line rotates about the vehicle rotation center O. Further, the amount of movement of the parking frame line is determined by the rotation angle θ ′ of the vehicle 10. That is, when the vehicle rotation center O is the origin (0, 0) and the rotation angle of the vehicle 10 is θ ′, the coordinates (X ′, Y ′) after rotation of the coordinates (X, Y) on the parking frame line are ( X ′, Y ′) = (X · cos θ ′ + Y · sin θ ′, −X · sin θ ′ + Y · cos θ). In this way, the relative position between the parking frame line on the side of the parking position and the vehicle 10 is calculated, and the relative position between the parking frame line on the side of the vehicle 10 and the parking position is corrected. Thus, by correcting the parking frame line on the side of the vehicle 10 and the parking position, the position of the parking frame line on the side of the parking position is updated, and the process proceeds to S118.

また、図示しないが、S124においてハンドル操作の回転すべき方向を案内した後に、シフトレバーがリバース位置から他の位置(例えば、ドライブ位置)にされたことを判定すると、画像メモリへの描画データおよび内部メモリに記憶された駐車枠線が決定したことを示す情報を消去してS100の判定を繰り返す。   Although not shown, when it is determined that the shift lever has been moved from the reverse position to another position (for example, the drive position) after guiding the direction in which the steering wheel operation should be rotated in S124, drawing data to the image memory and The information indicating that the parking frame line stored in the internal memory is determined is deleted, and the determination in S100 is repeated.

上記した構成によれば、鳥瞰画像から車両の駐車位置を示す駐車枠線が認識され、この認識した駐車枠線から車両を駐車枠内に駐車させるための駐車支援情報としてハンドル操作の回転すべき方向が決定され、このハンドル操作の回転すべき方向が表示画面に表示されるので、表示画面に駐車枠全体が表示されなくても、駐車支援情報に従って駐車操作することにより車両を駐車枠内に駐車することができる。   According to the above configuration, the parking frame line indicating the parking position of the vehicle is recognized from the bird's-eye view image, and the steering wheel operation should be rotated as parking assistance information for parking the vehicle in the parking frame from the recognized parking frame line. Since the direction is determined and the direction in which this steering wheel operation is to be rotated is displayed on the display screen, even if the entire parking frame is not displayed on the display screen, the vehicle is placed in the parking frame by performing the parking operation according to the parking assistance information. You can park.

なお、本実施形態では、S124において矢印を用いてステアリングの旋回すべき方向を車載ディスプレイ3に表示させる例を示したが、図10に示すように、ハンドルアイコンIを用いてハンドル操作の回転すべき方向を示すようにしてもよい。   In the present embodiment, an example is shown in which the direction in which the steering is to be turned is displayed on the in-vehicle display 3 using an arrow in S124. However, as shown in FIG. You may make it show a power direction.

(第2実施形態)
第1実施形態では、駐車支援情報としてハンドル操作の回転すべき方向を表示画面に表示させる例を示したが、本実施形態では、駐車支援情報として駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線を表示画面に表示させるようにしている。
(Second Embodiment)
In the first embodiment, an example in which the direction in which the steering wheel operation should be rotated is displayed on the display screen as the parking support information is shown. However, in this embodiment, the parking frame line on the side of the parking position is used as the parking support information. An extension line that extends to is displayed on the display screen.

以下に示す実施形態に係る駐車支援装置の構成は、図1に示した第1実施形態のものと同じであり、データ処理部5の処理が異なる。本実施形態では、図3に示したS118〜S124に代えて、図11に示す処理を行う。   The structure of the parking assistance apparatus according to the embodiment shown below is the same as that of the first embodiment shown in FIG. 1, and the processing of the data processing unit 5 is different. In the present embodiment, the process shown in FIG. 11 is performed instead of S118 to S124 shown in FIG.

S116の駐車枠決定処理によって駐車枠線が決定されると、次に、駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線を生成する(S218)。具体的には、図12に示すように、両側の駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線Eを示す画像を生成する。なお、延長線Eを視認しやすくするため、延長線Eの色を駐車枠や道路の色と異なる色(例えば、青)として生成する。   When the parking frame line is determined by the parking frame determination process of S116, next, an extension line that extends the parking frame line on the side of the parking position to the rear of the parking position is generated (S218). Specifically, as shown in FIG. 12, an image is generated that shows an extension line E that extends the parking frame lines on both sides of the parking position to the rear of the parking position. In addition, in order to make the extension line E easy to visually recognize, the color of the extension line E is generated as a color (for example, blue) different from the color of the parking frame or the road.

次に、生成された延長線Eを車両後方の画像に重ねて描画し(S220)、S100へ戻る。なお、車載ディスプレイ3には、図12に示したように、両側の駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線Eが車両後方の画像に重ねて表示される。   Next, the generated extension line E is drawn on the image behind the vehicle (S220), and the process returns to S100. In addition, as shown in FIG. 12, the in-vehicle display 3 displays an extension line E that extends the parking frame lines on both sides of the parking position side to the rear of the parking position so as to overlap the image of the rear of the vehicle.

上記した構成によれば、駐車枠線の駐車位置側方の直線を駐車位置後方へ延長する延長線を生成し、この延長線が鳥瞰画像とともに表示手段に表示されるので、表示画面に駐車枠全体が表示されなくても、車載ディスプレイ3に表示される延長線を視認しながら駐車操作することにより車両を駐車枠内に駐車することができる。   According to the above-described configuration, an extension line that extends a straight line on the side of the parking position of the parking frame line to the rear of the parking position is generated, and the extension line is displayed on the display unit together with the bird's-eye view image. Even if the whole is not displayed, the vehicle can be parked in the parking frame by performing a parking operation while visually recognizing the extension line displayed on the in-vehicle display 3.

(第3実施形態)
第1、第2実施形態では、駐車支援情報としてハンドル操作の回転すべき方向や駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線を表示画面に表示させて駐車操作を案内する例を示したが、本実施形態では、車両全体と駐車枠全体が含まれる全体画像を縮小した縮小画像を、全体画像を拡大した拡大画像に重ねてポップアップ表示するようにしている。
(Third embodiment)
In the first and second embodiments, the parking operation information is guided by displaying on the display screen an extension line extending the parking frame line on the side of the parking position and the parking frame side to the parking position as parking assistance information. Although an example has been shown, in the present embodiment, a reduced image obtained by reducing the entire image including the entire vehicle and the entire parking frame is displayed in a pop-up manner on the enlarged image obtained by enlarging the entire image.

本実施形態では、図3に示したS118〜S124に代えて、図13に示す処理を行う。   In the present embodiment, the process shown in FIG. 13 is performed instead of S118 to S124 shown in FIG.

S116の駐車枠決定処理によって駐車枠線が決定されると、次に、S102、S104によって生成された車両全体と駐車枠全体が含まれる全体画像を予め設定された倍率で縮小した縮小画像を生成する(S318)。   Once the parking frame line is determined by the parking frame determination process in S116, next, a reduced image is generated by reducing the entire image generated in S102 and S104 and the entire image including the entire parking frame at a preset magnification. (S318).

次に、車両全体と駐車枠全体が含まれる全体画像を予め設定された倍率で拡大された拡大画像に、S318にて生成された縮小画像Sを重ねて描画し(S320)、S100へ戻る。なお、車載ディスプレイ3には、図14に示すように、車両全体と駐車枠全体が含まれる全体画像の拡大画像に、車両全体と駐車枠全体が含まれる全体画像を予め設定された倍率で縮小した縮小画像Sが重ねて表示される。   Next, the entire image including the entire vehicle and the entire parking frame is drawn by superimposing the reduced image S generated in S318 on the enlarged image enlarged at a preset magnification (S320), and the process returns to S100. As shown in FIG. 14, the in-vehicle display 3 reduces the entire image including the entire vehicle and the entire parking frame at a preset magnification to the enlarged image of the entire image including the entire vehicle and the entire parking frame. The reduced images S thus displayed are displayed in an overlapping manner.

上記した構成によれば、車両全体と駐車枠全体が含まれる全体画像を予め設定された倍率で縮小した縮小画像が全体画像を拡大した拡大画像に重ねて表示されるので、表示画面に駐車枠全体が表示されなくても、表示手段に表示される縮小画像を視認しながら駐車操作することにより車両を駐車枠内に駐車することができる。   According to the above configuration, the reduced image obtained by reducing the entire image including the entire vehicle and the entire parking frame at a preset magnification is displayed so as to overlap the enlarged image obtained by enlarging the entire image. Even if the entirety is not displayed, the vehicle can be parked in the parking frame by performing the parking operation while visually recognizing the reduced image displayed on the display means.

(その他の実施形態)
第1、第2実施形態では、車両全体と駐車枠全体が含まれる全体画像の拡大画像に、駐車支援情報としてのハンドル操作の回転すべき方向を示す矢印Y、アイコンI、駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線Eを重ねて表示する例を示したが、図15に示すように、駐車枠全体を含む範囲を鳥瞰表示した画像だけでなく、例えば、車載カメラの撮像画像のような鳥瞰表示画像以外の画像を同時に表示する場合においても、ハンドル操作の回転すべき方向を示す矢印Y、アイコンI、駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線Eを重ねて表示するようにしてもよい。
(Other embodiments)
In the first and second embodiments, the enlarged image of the entire image including the entire vehicle and the entire parking frame has an arrow Y indicating the direction in which the steering wheel operation should be rotated as parking support information, an icon I, a side of the parking position. Although an example in which the extension line E that extends the parking frame line to the rear of the parking position is displayed in an overlapping manner, as shown in FIG. Even when an image other than the bird's eye view image such as the captured image is simultaneously displayed, the arrow Y indicating the direction in which the steering wheel operation should be rotated, the icon I, and the parking frame on the side of the parking position are extended to the rear of the parking position. The extension line E may be displayed in an overlapping manner.

また、上記実施形態では、S112において、S102、S104で生成された合成画像データから駐車位置側方の駐車枠線を検出する例を示したが、例えば、S112に示した鳥瞰図画像データのみから駐車位置側方の駐車枠線を検出するようにしてもよい。   Moreover, in the said embodiment, although the example which detects the parking frame line of a parking position side from the synthesized image data produced | generated by S102 and S104 was shown in S112, for example, it parks only from the bird's-eye view image data shown in S112. You may make it detect the parking frame line of a position side.

また、上記実施形態では、鳥瞰画像の上下方向を車両の前後方向として、車両と駐車位置側方の駐車枠線とのなす角θを求めた場合の例を示したが、このような方法に限定されることなく、他の方法で車両と駐車位置側方の駐車枠線とのなす角θを求めるようにしてもよい。   In the above embodiment, an example in which the angle θ formed by the vehicle and the parking frame line on the side of the parking position is obtained with the vertical direction of the bird's-eye view image as the front-rear direction of the vehicle. Without being limited, the angle θ formed by the vehicle and the parking frame line on the side of the parking position may be obtained by other methods.

なお、図3、9、11に示したフローチャートの各ステップの処理は、それぞれの機能を実現する手段として把握されるものであり、データ処理部5としては、上記した実施形態に示すようなソフトウェアによって構成されるものに限らず、ハードウェアにより構成されていてもよい。   The processing of each step in the flowcharts shown in FIGS. 3, 9, and 11 is grasped as a means for realizing each function, and the data processing unit 5 includes software as shown in the above-described embodiment. It may be comprised not only by what is comprised by but by hardware.

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、車載カメラ1が撮像手段に相当し、S102が画像変換手段に相当し、車載ディスプレイ3が表示手段に相当し、S112が直線検出手段に相当し、S116が駐車枠線認識手段に相当し、S118、S120、S128、S318が駐車支援情報生成手段に相当し、S124、S220、S320が表示制御手段に相当し、S118が角度検出手段に相当し、S120が旋回方向決定手段に相当し、S124が旋回方向表示制御手段に相当し、S128が延長線生成手段に相当し、S220が延長線表示制御手段に相当し、S318が縮小画像生成手段に相当し、S320が縮小画像表示制御手段に相当し、S104が合成画像生成手段に相当する。   The correspondence relationship between the configuration of the above embodiment and the configuration of the claims will be described. The in-vehicle camera 1 corresponds to an imaging unit, S102 corresponds to an image conversion unit, and the in-vehicle display 3 corresponds to a display unit. S112 corresponds to the straight line detection means, S116 corresponds to the parking frame line recognition means, S118, S120, S128, and S318 correspond to the parking support information generation means, and S124, S220, and S320 correspond to the display control means. , S118 corresponds to the angle detection means, S120 corresponds to the turning direction determination means, S124 corresponds to the turning direction display control means, S128 corresponds to the extension line generation means, and S220 corresponds to the extension line display control means. S318 corresponds to the reduced image generation means, S320 corresponds to the reduced image display control means, and S104 corresponds to the composite image generation means. .

本発明の第1実施形態に係る駐車支援装置の構成を示す図である。It is a figure which shows the structure of the parking assistance apparatus which concerns on 1st Embodiment of this invention. 本駐車支援装置の車載ディスプレイへの表示を説明するための図である。It is a figure for demonstrating the display to the vehicle-mounted display of this parking assistance apparatus. 本発明の第1実施形態に係る駐車支援装置のデータ処理部の処理を示す図である。It is a figure which shows the process of the data processing part of the parking assistance apparatus which concerns on 1st Embodiment of this invention. 本駐車支援装置の車載ディスプレイの表示例を示す図である。It is a figure which shows the example of a display of the vehicle-mounted display of this parking assistance apparatus. 直線検出処理のエッジ検出について説明するための図である。It is a figure for demonstrating the edge detection of a straight line detection process. 直線検出処理について説明するための図である。It is a figure for demonstrating a straight line detection process. 駐車位置側方の直線と車両のなす角θの算出方法を説明するための図である。It is a figure for demonstrating the calculation method of angle (theta) which the straight line of a parking position side and a vehicle make. 車両の移動に伴って駐車位置側方の駐車枠線が相対的に移動する様子を模式的に示した図である。It is the figure which showed typically a mode that the parking frame line of a parking position side moved relatively with the movement of a vehicle. 矢印を用いてハンドル操作の回転すべき方向が表示された場合の表示例である。It is an example of a display when the direction which should rotate handle operation is displayed using an arrow. アイコンを用いてハンドル操作の回転すべき方向が表示された場合の表示例である。It is an example of a display when the direction which should rotate handle operation using an icon is displayed. 本発明の第2実施形態に係る駐車支援装置のデータ処理部の処理を示す図である。It is a figure which shows the process of the data processing part of the parking assistance apparatus which concerns on 2nd Embodiment of this invention. 駐車位置側方の駐車枠線を駐車位置後方へ延長する延長線が表示された場合の表示例である。It is a display example when the extension line which extends the parking frame line of a parking position side to a parking position back is displayed. 本発明の第3実施形態に係る駐車支援装置のデータ処理部の処理を示す図である。It is a figure which shows the process of the data processing part of the parking assistance apparatus which concerns on 3rd Embodiment of this invention. 全体画像の拡大画像に全体画像の縮小画像が重ねて表示された場合の表示例である。It is a display example when the reduced image of the whole image is displayed so as to overlap the enlarged image of the whole image. 変形例について説明するための図である。It is a figure for demonstrating a modification. 課題を説明するための図である。It is a figure for demonstrating a subject.

符号の説明Explanation of symbols

1…車載カメラ、3…車載ディスプレイ、5…データ処理部、10…車両。   DESCRIPTION OF SYMBOLS 1 ... Car-mounted camera, 3 ... Car-mounted display, 5 ... Data processing part, 10 ... Vehicle.

Claims (6)

車両に搭載されたカメラにて車両後方を撮像する撮像手段と、
前記撮像手段によって撮像された画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換する画像変換手段と、
前記画像変換手段によって変換された前記鳥瞰画像を表示する表示手段と、
前記画像変換手段によって変換された前記鳥瞰画像から駐車位置側方の直線を検出する直線検出手段と、
前記直線検出手段によって検出された前記駐車位置側方の直線に基づいて前記駐車位置側方の駐車枠線を認識する駐車枠線認識手段と、
前記駐車枠線認識手段によって認識された前記駐車位置側方の駐車枠線を用いて前記車両を駐車枠内に駐車させるための駐車支援情報を生成する駐車支援情報生成手段と、
前記駐車支援情報生成手段によって生成された前記駐車支援情報を前記表示手段に表示させる表示制御手段と、を備えたことを特徴とする駐車支援装置。
Imaging means for imaging the rear of the vehicle with a camera mounted on the vehicle;
Image conversion means for converting the image captured by the imaging means into a bird's-eye view representing a bird's-eye view looking down on the ground surface from the vertical direction;
Display means for displaying the bird's-eye view image converted by the image conversion means;
A straight line detecting means for detecting a straight line on the side of the parking position from the bird's eye image converted by the image converting means;
Parking frame line recognition means for recognizing the parking frame line on the side of the parking position based on the straight line on the side of the parking position detected by the straight line detection means;
Parking assistance information generating means for generating parking assistance information for parking the vehicle in a parking frame using the parking frame line on the side of the parking position recognized by the parking frame line recognition means;
And a display control means for displaying the parking support information generated by the parking support information generating means on the display means.
前記駐車支援情報生成手段は、前記駐車枠線認識手段によって認識された前記駐車位置側方の駐車枠線と前記車両の前後方向のなす角度を検出する角度検出手段と、
前記角度検出手段によって検出された前記角度に基づいて前記車両を前記駐車枠内に駐車するための旋回方向を決定する旋回方向決定手段と、を備え、
前記表示制御手段は、前記旋回方向決定手段によって決定された前記旋回方向に基づいてハンドル操作の回転方向を前記鳥瞰画像とともに前記表示手段に表示させる旋回方向表示制御手段を備えたことを特徴とする請求項1に記載の駐車支援装置。
The parking support information generating means includes an angle detecting means for detecting an angle formed by a parking frame line on the side of the parking position recognized by the parking frame line recognizing means and a front-rear direction of the vehicle;
A turning direction determining means for determining a turning direction for parking the vehicle in the parking frame based on the angle detected by the angle detecting means,
The display control means includes a turning direction display control means for causing the display means to display a rotation direction of a handle operation together with the bird's-eye view image based on the turning direction determined by the turning direction determination means. The parking assistance device according to claim 1.
前記旋回方向表示制御手段は、矢印を用いて前記ハンドル操作の回転方向を前記表示手段に表示させることを特徴とする請求項2に記載の駐車支援装置。 The parking assist device according to claim 2, wherein the turning direction display control means causes the display means to display the rotation direction of the steering wheel operation using an arrow. 前記旋回方向表示制御手段は、アイコンを用いて前記ハンドル操作の回転方向を前記表示手段に表示させることを特徴とする請求項2に記載の駐車支援装置。 The parking assist apparatus according to claim 2, wherein the turning direction display control means causes the display means to display the rotation direction of the steering wheel operation using an icon. 前記駐車支援情報生成手段は、前記駐車枠線認識手段によって認識された前記駐車位置側方の駐車枠線を前記駐車位置後方へ延長する延長線を生成する延長線生成手段を備え、
前記表示制御手段は、前記延長線生成手段によって生成された前記延長線を前記鳥瞰画像とともに前記表示手段に表示させる延長線表示制御手段を備えたことを特徴とする請求項1または2に記載の車両周辺画像表示装置。
The parking support information generating means includes an extension line generating means for generating an extension line that extends the parking frame line on the side of the parking position recognized by the parking frame line recognition means to the rear of the parking position,
3. The display control means according to claim 1, wherein the display control means includes extension line display control means for causing the display means to display the extension line generated by the extension line generation means together with the bird's-eye view image. Vehicle periphery image display device.
車両に搭載されたカメラにて車両後方を撮像する撮像手段と、
前記撮像手段によって撮像された画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換する画像変換手段と、
前記画像変換手段によって変換された前記鳥瞰画像を表示する表示手段と、
前記画像変換手段は、車両全体と駐車枠全体が含まれる全体画像を前記鳥瞰画像に変換するもので、
前記画像変換手段によって前記全体画像が前記鳥瞰画像に変換された画像を、予め設定された倍率で拡大した拡大画像を前記表示手段に表示させる表示制御手段と、
前記駐車支援情報生成手段は、前記車両全体と駐車枠全体が含まれる全体画像を予め設定された倍率で縮小した縮小画像を生成する縮小画像生成手段と、を備え、
前記表示制御手段は、前記全体画像を拡大した拡大画像に前記縮小画像生成手段によって生成された前記縮小画像を重ねて前記表示手段に表示させる縮小画像表示制御手段を備えたことを特徴とする駐車支援装置。
Imaging means for imaging the rear of the vehicle with a camera mounted on the vehicle;
Image conversion means for converting the image captured by the imaging means into a bird's-eye view representing a bird's-eye view looking down on the ground surface from the vertical direction;
Display means for displaying the bird's-eye view image converted by the image conversion means;
The image conversion means converts the entire image including the entire vehicle and the entire parking frame into the bird's-eye view image,
Display control means for causing the display means to display an enlarged image obtained by enlarging the image obtained by converting the whole image into the bird's-eye view image by the image conversion means at a preset magnification;
The parking support information generating means includes reduced image generating means for generating a reduced image obtained by reducing the entire image including the entire vehicle and the entire parking frame at a preset magnification.
The parking control means, wherein the display control means includes a reduced image display control means for displaying the reduced image generated by the reduced image generating means on the enlarged image obtained by magnifying the whole image and displaying the reduced image on the display means. Support device.
JP2005367658A 2005-12-21 2005-12-21 Parking support apparatus Pending JP2007168560A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005367658A JP2007168560A (en) 2005-12-21 2005-12-21 Parking support apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005367658A JP2007168560A (en) 2005-12-21 2005-12-21 Parking support apparatus

Publications (1)

Publication Number Publication Date
JP2007168560A true JP2007168560A (en) 2007-07-05

Family

ID=38295717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005367658A Pending JP2007168560A (en) 2005-12-21 2005-12-21 Parking support apparatus

Country Status (1)

Country Link
JP (1) JP2007168560A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044654A1 (en) * 2007-10-01 2009-04-09 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
JP2010165299A (en) * 2009-01-19 2010-07-29 Clarion Co Ltd White line detector
JP2010234878A (en) * 2009-03-30 2010-10-21 Aisin Aw Co Ltd Power receiving guide device, power receiving guide method and power receiving guide program
JP2011016514A (en) * 2009-06-09 2011-01-27 Denso Corp Parking aid system
JP2011217460A (en) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd Charge supporter for vehicles, method of supporting charge to vehicles, and computer program
WO2012073392A1 (en) * 2010-11-29 2012-06-07 パナソニック株式会社 Driving-assistance display device
WO2012073391A1 (en) * 2010-11-29 2012-06-07 パナソニック株式会社 Driving-assistance display device
US8855850B2 (en) 2007-10-01 2014-10-07 Nissan Motor Co., Ltd. Parking assistant and parking assisting method
JP2015142362A (en) * 2014-01-30 2015-08-03 株式会社富士通ゼネラル Image processing apparatus, driving support device, navigation system and camera apparatus
CN113296672A (en) * 2021-05-20 2021-08-24 前海七剑科技(深圳)有限公司 Interface display method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006621A (en) * 2001-06-20 2003-01-10 Denso Corp Vehicle periphery image processor and recording medium
JP2003104149A (en) * 2001-09-27 2003-04-09 Equos Research Co Ltd Parking support device
JP2004254219A (en) * 2003-02-21 2004-09-09 Denso Corp Vehicular surrounding image processing apparatus and program, and recording medium
JP2005335444A (en) * 2004-05-25 2005-12-08 Clarion Co Ltd Auxiliary information presenting device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006621A (en) * 2001-06-20 2003-01-10 Denso Corp Vehicle periphery image processor and recording medium
JP2003104149A (en) * 2001-09-27 2003-04-09 Equos Research Co Ltd Parking support device
JP2004254219A (en) * 2003-02-21 2004-09-09 Denso Corp Vehicular surrounding image processing apparatus and program, and recording medium
JP2005335444A (en) * 2004-05-25 2005-12-08 Clarion Co Ltd Auxiliary information presenting device

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101816175A (en) * 2007-10-01 2010-08-25 日产自动车株式会社 Parking assistance device and parking assistance method
US8988250B2 (en) 2007-10-01 2015-03-24 Nissan Motor Co., Ltd. Parking assistant and parking assisting method
US8855850B2 (en) 2007-10-01 2014-10-07 Nissan Motor Co., Ltd. Parking assistant and parking assisting method
WO2009044654A1 (en) * 2007-10-01 2009-04-09 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
CN101816175B (en) * 2007-10-01 2014-03-12 日产自动车株式会社 Parking assistance device and parking assistance method
JP2010165299A (en) * 2009-01-19 2010-07-29 Clarion Co Ltd White line detector
JP2010234878A (en) * 2009-03-30 2010-10-21 Aisin Aw Co Ltd Power receiving guide device, power receiving guide method and power receiving guide program
JP2014058309A (en) * 2009-06-09 2014-04-03 Denso Corp Parking support system
JP2011016514A (en) * 2009-06-09 2011-01-27 Denso Corp Parking aid system
US8542129B2 (en) 2009-06-09 2013-09-24 Denso Corporation Parking aid system
JP2011217460A (en) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd Charge supporter for vehicles, method of supporting charge to vehicles, and computer program
JP2012116221A (en) * 2010-11-29 2012-06-21 Panasonic Corp Driving-assistance display device
US8848050B2 (en) 2010-11-29 2014-09-30 Panasonic Corporation Drive assist display apparatus
WO2012073391A1 (en) * 2010-11-29 2012-06-07 パナソニック株式会社 Driving-assistance display device
WO2012073392A1 (en) * 2010-11-29 2012-06-07 パナソニック株式会社 Driving-assistance display device
US9067538B2 (en) 2010-11-29 2015-06-30 Panasonic Intellectual Property Management Co., Ltd. Drive assist display apparatus
JP2015142362A (en) * 2014-01-30 2015-08-03 株式会社富士通ゼネラル Image processing apparatus, driving support device, navigation system and camera apparatus
CN113296672A (en) * 2021-05-20 2021-08-24 前海七剑科技(深圳)有限公司 Interface display method and system

Similar Documents

Publication Publication Date Title
US10676027B2 (en) Vehicle control apparatus and program
JP2007168560A (en) Parking support apparatus
EP2990265B1 (en) Vehicle control apparatus
JP5337878B2 (en) Driving assistance device
JP6507626B2 (en) Vehicle perimeter monitoring device
JP2010184607A (en) Vehicle periphery displaying device
JP2005112004A (en) Vehicle reversing motion assisting device and vehicle reversing motion assisting method
JP5471141B2 (en) Parking assistance device and parking assistance method
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
JP5549235B2 (en) Driving assistance device
JP5067169B2 (en) Vehicle parking assistance apparatus and image display method
JP2008279875A (en) Parking support device
JP2012076551A (en) Parking support device, parking support method, and parking support system
JP5556077B2 (en) Driving support device
JP2012073836A (en) Image display system, image processing apparatus, and image display method
JP5273068B2 (en) Vehicle periphery monitoring device
JP2008213647A (en) Parking assist method and parking assist system
JP6642307B2 (en) Perimeter monitoring device
JP2022023870A (en) Display control device
JP4650252B2 (en) Parking assistance device
JP7293722B2 (en) Driving support device
JP2012046124A (en) Image display system, image processing device and image display method
JP2007088577A (en) Vehicle surrounding image processing system
JP5651491B2 (en) Image display system, image display apparatus, and image display method
JP2009118133A (en) Method and apparatus for displaying rear view of vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100706