JP2007118922A - Vehicular reverse operation assisting device - Google Patents

Vehicular reverse operation assisting device Download PDF

Info

Publication number
JP2007118922A
JP2007118922A JP2006049064A JP2006049064A JP2007118922A JP 2007118922 A JP2007118922 A JP 2007118922A JP 2006049064 A JP2006049064 A JP 2006049064A JP 2006049064 A JP2006049064 A JP 2006049064A JP 2007118922 A JP2007118922 A JP 2007118922A
Authority
JP
Japan
Prior art keywords
vehicle
backward
display
control unit
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006049064A
Other languages
Japanese (ja)
Inventor
Hisahiro Kamimura
尚弘 上村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2006049064A priority Critical patent/JP2007118922A/en
Priority to PCT/JP2006/312315 priority patent/WO2007037049A1/en
Publication of JP2007118922A publication Critical patent/JP2007118922A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18036Reversing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a reverse operation assisting device of a vehicle with which an operator can obtain the state of the vehicle incident to reverse operation easily, in addition to the reverse direction of the vehicle. <P>SOLUTION: The reverse operation assisting device of a vehicle 1 comprises an imaging means 2 for picking up the image in the rear of the vehicle, a means 4 for displaying a video image picked up by the imaging means, a means 6 for detecting the steering angle of a steering wheel, a reverse track calculating means 5 for calculating the reverse prediction tracks at the right and left rear end points of the vehicle based on the steering angle thus detected, a means 5 for calculating outline information of the vehicle when it has reversed by a predetermined distance based on the tangential directions of the reverse prediction tracks thus calculated by the reverse track calculating means and the overall length data of the vehicle, and a display control means 3 for displaying on a display means 4 the reverse prediction tracks calculated for the video image picked up by the imaging means 2 and the outline of the vehicle that are superposed. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、運転者がディスプレイに表示された車両後方映像を参考にして車両を後退させることを支援する車両後退運転支援装置に関する。   The present invention relates to a vehicle reverse driving support device that assists a driver to move a vehicle backward with reference to a vehicle rear image displayed on a display.

一般に、運転者が自動車(車両)を後退させる操作(運転)は、車両を前進させる場合に比べて困難であることが多い。特に、駐車スペースに自動車を後退させて停車させる場合には、停車スペース用の停車枠を運転席から視認しづらいこと、ハンドル(ステアリング)を操作してもハンドルの操作に応じて変化する車両状態を直感的に判断することが難しいこと等が原因となり、後退運転操作が困難なものとなっていた。   In general, an operation (driving) in which the driver moves the automobile (vehicle) backward is often more difficult than when the vehicle moves forward. In particular, when a car is moved backwards in a parking space and stopped, it is difficult to see the stop frame for the parking space from the driver's seat, and the vehicle state changes depending on the operation of the steering wheel even if the steering wheel (steering) is operated Due to the fact that it is difficult to judge intuitively, it is difficult to perform reverse operation.

一方で今日では、車両後方を撮影するカメラを車両に設置し、運転席周辺に設置されるディスプレイに車両後方の映像を表示することによって、車両後方の視認性を高める後方視認用カメラ装置が多く車両に設置されている。さらに、ディスプレイに表示される車両後方の映像に対して、車両後退時の車両後輪予測軌跡を重畳表示させることによって、車両の後退方向を把握しやすくした装置も提案されている(例えば、特許文献1参照)。このような装置を用いることによって、運転者は車両の後退方向を把握しやすくなるため、従来に比べて後退運転操作を容易に行うことができる。
特開2004−203365号公報(第4−8頁、第6図、第7図)
On the other hand, today, there are many rear-view camera devices that improve the visibility of the rear of the vehicle by installing a camera that captures the rear of the vehicle in the vehicle and displaying the image of the rear of the vehicle on a display installed around the driver's seat. It is installed in the vehicle. Furthermore, a device has also been proposed that makes it easy to grasp the backward direction of the vehicle by superimposing and displaying the vehicle rear wheel predicted trajectory when the vehicle is moving backward on the video behind the vehicle displayed on the display (for example, patents). Reference 1). By using such a device, it becomes easier for the driver to grasp the backward direction of the vehicle, so that the backward driving operation can be performed more easily than in the past.
Japanese Unexamined Patent Publication No. 2004-203365 (pages 4-8, FIGS. 6 and 7)

しかしながら、車両後方の映像に対して車両後退時の車両後輪予測軌跡を重畳表示させる方法は、車両の後退方向を把握することは容易であるが、後退時の車両の位置・姿勢がどのような状態となるかが分かり難く、結果的に駐車スペースの停車枠に対して平行に車両を駐車することが困難であるという問題があった。   However, the method of superimposing and displaying the predicted vehicle rear wheel trajectory when the vehicle moves backward on the image behind the vehicle makes it easy to grasp the vehicle's backward direction, but what is the position / posture of the vehicle when moving backward? As a result, there is a problem that it is difficult to park the vehicle parallel to the parking frame of the parking space.

一方で、車両後退時の車両状態を把握しやすいように、車両後方の撮影画像を俯瞰画像に変換し、自車両と周囲の様子とをディスプレイに表示する技術(俯瞰画像技術、例えば特開平3−99952号公報、特開平9−171348号公報、特開2001−114048号公報、特開2001−116567号公報参照)も考えられているが、俯瞰画像の性質から車両の遠い部分を表示することが困難であり、また、技術的に立体物の俯瞰画像処理や俯瞰画像端部等における画像の継ぎ目処理等、表示方法・表示技術にまだ課題が残されていて、必ずしも最良の方法とはいい難い点があった。   On the other hand, in order to make it easier to grasp the vehicle state when the vehicle is moving backward, a technique for converting a captured image of the rear of the vehicle into a bird's-eye view image and displaying the vehicle and the surroundings on a display (overhead image technology, for example, -99952, JP-A-9-171348, JP-A-2001-1114048, and JP-A-2001-116567) are also considered, but the distant part of the vehicle is displayed due to the nature of the overhead view image. In addition, there are still problems in display methods and display technologies, such as overhead image processing of three-dimensional objects and image seam processing at the edge of overhead image, etc., and it is not necessarily the best method There was a difficult point.

本発明は上記問題に鑑みてなされたものであり、車両後退運転操作において、車両の後退方向に加えて、後退動作に伴う車両の状態を運転者が容易に把握することが可能な車両後退運転支援装置を提供することを課題とする。   The present invention has been made in view of the above problems, and in a vehicle reverse operation, the vehicle reverse operation allows the driver to easily grasp the state of the vehicle accompanying the reverse operation in addition to the vehicle reverse direction. It is an object to provide a support device.

上記課題を解決するために、本発明に係る車両後退運転支援装置は、車両後方を撮像する撮像手段と、該撮像手段により撮像された映像を表示する表示手段と、ハンドルの操舵角を検出する操舵角検出手段と、該操舵角検出手段により検出された操舵角に基づいて車両の左右後端点における後退予測軌跡を算出する後退軌跡算出手段と、前記車両が所定距離後方に後退したときの車両の輪郭情報を、前記後退軌跡算出手段により算出された前記後退予測軌跡の接線方向と前記車両の全長データとに基づいて算出する車両状態算出手段と、前記撮像手段により撮像された映像に対して、前記後退軌跡算出手段により算出された後退予測軌跡と前記車両状態算出手段により算出された車両の輪郭とを重畳描画させて、前記表示手段に表示させる表示制御手段とを備えることを特徴とする。   In order to solve the above-described problem, a vehicle reverse driving assist device according to the present invention detects an imaging means for imaging the rear of a vehicle, a display means for displaying an image captured by the imaging means, and a steering angle of a steering wheel. Steering angle detection means, backward trajectory calculation means for calculating a backward prediction trajectory at the left and right rear end points of the vehicle based on the steering angle detected by the steering angle detection means, and a vehicle when the vehicle has moved backward a predetermined distance Vehicle state calculating means for calculating the contour information of the vehicle based on the tangent direction of the predicted backward trajectory calculated by the backward trajectory calculating means and the total length data of the vehicle, and for the video imaged by the imaging means A table that is displayed by superimposing the reverse predicted trajectory calculated by the reverse trajectory calculating means and the contour of the vehicle calculated by the vehicle state calculating means on the display means. And a controlling unit.

また、車両後退運転支援装置は、前記車両の走行距離を検出する走行距離検出手段を備え、前記後退軌跡算出手段は、前記走行距離検出手段により検出された走行距離に応じて前記後退予測軌跡を算出し、前記車両状態算出手段は、前記走行距離検出手段により検出された走行距離に応じて前記所定距離を変更して前記輪郭情報を算出し、前記表示制御手段は、前記走行距離に応じて算出された前記後退予測軌跡と前記車両の輪郭とを前記撮像手段により撮像された映像に対して重畳描画するものであってもよい。   Further, the vehicle backward driving support device includes travel distance detection means for detecting the travel distance of the vehicle, and the backward trajectory calculation means determines the predicted backward trajectory according to the travel distance detected by the travel distance detection means. The vehicle state calculation means calculates the contour information by changing the predetermined distance according to the travel distance detected by the travel distance detection means, and the display control means responds to the travel distance. The calculated backward predicted trajectory and the contour of the vehicle may be superimposed and drawn on the video imaged by the imaging means.

さらに、前記後退軌跡算出手段は、前記後退予測軌跡が破線又は鎖線として前記表示手段に表示され、前記破線又は前記鎖線の実線部が前記走行距離検出手段により検出された走行距離に応じて前記後退予測軌跡の長さ方向へ移動表示されるように前記後退予測軌跡を算出するものであってもよい。   Further, the backward trajectory calculation means displays the backward prediction trajectory on the display means as a broken line or a chain line, and the solid line portion of the broken line or the chain line indicates the backward movement according to the travel distance detected by the travel distance detection means. The backward predicted trajectory may be calculated so as to be moved and displayed in the length direction of the predicted trajectory.

また、前記表示制御手段は、前記車両が前記所定距離だけ後退するまで、前記ハンドルの操舵角を維持し続ける旨の表示を前記表示手段に表示させるものであってもよい。   Further, the display control means may display on the display means that the steering angle of the steering wheel is maintained until the vehicle moves backward by the predetermined distance.

さらに、前記表示制御手段は、前記車両が前記所定距離だけ後退した場合に、前記ハンドルを中立位置に戻す旨の表示を前記表示手段に表示させるものであってもよい。   Further, the display control means may cause the display means to display a display for returning the steering wheel to the neutral position when the vehicle moves backward by the predetermined distance.

また、運転者に対して出力音を出力することにより注意を促す音声出力手段を備え、該音声出力手段が、前記車両が前記所定距離だけ後退するまで、前記ハンドルの操舵角を維持し続ける旨の出力音を出力するものでもよい。さらに、音声出力手段が、前記車両が前記所定距離だけ後退した場合に、前記ハンドルを中立位置に戻す旨の出力音を出力するものであってもよい。   In addition, voice output means for alerting the driver by outputting an output sound is provided, and the voice output means keeps the steering angle of the steering wheel until the vehicle moves backward by the predetermined distance. The output sound may be output. Further, the sound output means may output an output sound for returning the handle to the neutral position when the vehicle moves backward by the predetermined distance.

上記発明によれば、後退軌跡算出手段により算出された後退予測軌跡と車両状態算出手段により算出された車両の輪郭とを、撮像手段により撮像された映像に重畳描画させて表示手段に表示させるため、現実に撮像された車両後方の映像に対して車両の状態、具体的には車両の位置・姿勢(方向)を照らし合わせることができる。このため、現実に存在する視点に基づいて、車両状態を判断することができ、俯瞰画像技術を用いて現実に存在しない視点に基づいて車両状態を判断するよりもより現実に近い状況で運転者が後退運転を行うことができる。   According to the above invention, the predicted backward trajectory calculated by the backward trajectory calculating means and the contour of the vehicle calculated by the vehicle state calculating means are superimposed on the video imaged by the imaging means and displayed on the display means. In addition, the state of the vehicle, specifically, the position / posture (direction) of the vehicle can be collated with an image of the rear of the vehicle actually captured. For this reason, it is possible to determine the vehicle state based on the viewpoint that actually exists, and the driver in a situation that is closer to reality than to determine the vehicle state based on the viewpoint that does not actually exist using the overhead view image technology. Can perform reverse operation.

また、車両を停車させたい位置に車両の輪郭を合わせ、そのときのハンドルの操舵角を維持したまま後退すれば所定の停車位置に車両を停車させることができる。   In addition, the vehicle can be stopped at a predetermined stop position by adjusting the contour of the vehicle to a position where the vehicle is to be stopped and moving backward while maintaining the steering angle of the steering wheel.

さらに、予め車両の輪郭によって停車位置に停車される車両状態を把握することができるため、停車位置における車両の大きさを把握しやすくなり、車両の大きさから停車可能なスペースが確保されているか否かの判断を容易に行うことが可能となる。   Furthermore, since it is possible to grasp in advance the state of the vehicle that is stopped at the stop position based on the contour of the vehicle, it is easy to grasp the size of the vehicle at the stop position, and whether the stop space is secured from the size of the vehicle. It is possible to easily determine whether or not.

また、走行距離検出手段により検出された走行距離に応じて後退予測軌跡と輪郭情報とを算出して撮像手段により撮像された映像に重畳描画するため、車両の走行距離に応じてリアルタイムに後退予測軌跡と車両輪郭とを車両後方映像に表示させることができる。このため運転者は、ハンドル操作により変化する車両状態を容易に把握できるようになり、後退運転の困難性を緩和することが可能となる。   In addition, the backward prediction trajectory and the contour information are calculated according to the travel distance detected by the travel distance detecting means and are superimposed on the image captured by the imaging means, so that the reverse prediction is performed in real time according to the travel distance of the vehicle. The trajectory and the vehicle contour can be displayed on the vehicle rear image. For this reason, the driver can easily grasp the vehicle state that is changed by the steering operation, and can ease the difficulty of the backward driving.

ハンドルの変化による後退予測軌跡の動きに対応する車両状態の変化を視覚的に運転者に認識させることによって、車両全体の状態を視認した上で対応するハンドル操作を行うことができるようになるため、俯瞰画像を用いた後方運転支援技術のような高度な技術を用いることなく、同様の操作感覚を運転者に与えることが可能となる。   By visually recognizing the change in the vehicle state corresponding to the movement of the predicted backward trajectory due to the change in the steering wheel, the corresponding steering wheel operation can be performed after visually confirming the state of the entire vehicle. Thus, it is possible to give the driver the same operational feeling without using advanced technology such as a backward driving support technology using an overhead image.

さらに、後退予測軌跡を示す破線又は鎖線は、実線部が前記走行距離検出手段により検出された走行距離に応じて前記後退予測軌跡の長さ方向へ移動表示されるようにして算出されるため、車両の後退により変化する車両後方映像に対して実線部の表示位置が車両後方画像の所定場所に貼り付けられたようして表示される。このため、運転者は、車両の後退映像と破線の表示状態とに違和感を感じることなく後退運転を行うことができる。   Further, since the broken line or the chain line indicating the predicted backward trajectory is calculated so that the solid line portion is moved and displayed in the length direction of the predicted backward trajectory according to the travel distance detected by the travel distance detecting unit, The display position of the solid line portion is displayed as being pasted at a predetermined position in the vehicle rear image with respect to the vehicle rear image that changes as the vehicle moves backward. For this reason, the driver can perform the reverse operation without feeling uncomfortable between the reverse image of the vehicle and the display state of the broken line.

また、車両が所定距離だけ後退するまで、表示制御手段によってハンドルの操舵角を維持し続ける旨の表示が表示手段に表示されたり、音声出力手段によって出力音が出力されたりするので、運転者は車両が所定距離だけ後退したか否かを画面表示および音声案内によって簡単に判断することができる。   Further, the display control means displays on the display means that the steering angle of the steering wheel is maintained until the vehicle moves backward by a predetermined distance, or the sound output means outputs an output sound. Whether or not the vehicle has moved backward by a predetermined distance can be easily determined by screen display and voice guidance.

さらに、車両が所定距離だけ後退するまで、ハンドルの操舵角を維持し続ける旨の表示または出力音により案内がなされるため、運転者はハンドル操作を行うことなく車両後退操作のみに集中して後退運転を行うことができる。   Furthermore, since guidance is given by an indication or output sound that the steering angle of the steering wheel is maintained until the vehicle moves backward by a predetermined distance, the driver concentrates only on the vehicle backward operation without operating the steering wheel. You can drive.

また、車両が所定距離だけ後退した場合、つまり車両が停車枠に水平な状態となるまで後退した場合には、表示制御手段によってハンドルを中立位置に戻す旨の表示が表示手段に表示されたり、音声出力手段によって出力音が出力されたりするので、運転者は車両が所定距離だけ後退し終わったことを容易に判断することができる。さらに、運転者は、その後、車両の後退操作を行うことなくハンドルを中立位置に戻すことだけに専念すればよいことを容易に知ることができる。   In addition, when the vehicle retreats by a predetermined distance, that is, when the vehicle retreats until it is in a horizontal state with respect to the stop frame, an indication that the handle is returned to the neutral position by the display control means is displayed on the display means, Since the output sound is output by the sound output means, the driver can easily determine that the vehicle has moved backward by a predetermined distance. Further, the driver can easily know that it is only necessary to concentrate on returning the steering wheel to the neutral position without performing the backward operation of the vehicle.

以下、本発明に係る車両後退運転支援装置を、図面を用いて詳細に説明する。   Hereinafter, a vehicle reverse driving support apparatus according to the present invention will be described in detail with reference to the drawings.

図1は、実施例1に係る車両後退運転支援装置の概略構成を示したブロック図である。車両後退運転支援装置1は、カメラ(撮像手段)2と、表示制御部(表示制御手段)3と、ディスプレイ(表示手段)4と、制御部(後退軌跡算出手段、車両状態算出手段)5と、ハンドル操舵角検出部(操舵角検出手段)6と、走行距離検出部(走行距離検出手段)7と、リバース検出部8と、操作ボタン9とを備えている。   FIG. 1 is a block diagram illustrating a schematic configuration of the vehicle reverse driving support device according to the first embodiment. The vehicle backward driving support device 1 includes a camera (imaging means) 2, a display control section (display control means) 3, a display (display means) 4, and a control section (reverse locus calculation means, vehicle state calculation means) 5 , A steering wheel angle detector (steer angle detector) 6, a travel distance detector (travel distance detector) 7, a reverse detector 8, and an operation button 9 are provided.

カメラ1は、車両後部であって車両後方(特に車両下部)を撮像することが可能な位置に設置されている。カメラ2は、広角レンズを備えたカメラ本体部2aと、カメラ本体部2aの駆動制御を行うカメラ駆動部2bとを備えている。カメラ本体部2aは、広角レンズを用いることによって車両後方を一定の視野角度で撮像することが可能となっている。カメラ本体2aにより撮像された車両後方の映像は、カメラ駆動部2bを介して表示制御部3に伝達される。   The camera 1 is installed at a position at the rear of the vehicle where the rear of the vehicle (particularly the lower part of the vehicle) can be imaged. The camera 2 includes a camera main body 2a having a wide-angle lens and a camera driving unit 2b that performs drive control of the camera main body 2a. The camera body 2a can capture the rear of the vehicle at a constant viewing angle by using a wide-angle lens. The video behind the vehicle imaged by the camera body 2a is transmitted to the display control unit 3 via the camera driving unit 2b.

表示制御部3、制御部5により描画処理が行われた後退予測軌跡と車両の輪郭との描画データを、カメラ2により撮像された車両後方映像に重畳表示してディスプレイ4に出力する。なお、制御部5による描画処理に関しては後述する。   Drawing data of the predicted backward trajectory and the contour of the vehicle that have been subjected to the drawing process by the display control unit 3 and the control unit 5 are superimposed on the vehicle rear image captured by the camera 2 and output to the display 4. The drawing process by the control unit 5 will be described later.

ディスプレイ4は、車両のインストルメントパネル上部に載置されたり、インストルメントパネルのカーオーディオ設置スペースにビルトインされたりすることによって、運転者が視認しやすい場所に設置される。なお、ディスプレイ4は、車両後方の映像を表示するためだけに設置してもよいし、カーナビゲーションシステムの地図情報表示用のディスプレイと兼用するものであってもよい。   The display 4 is installed in a place where it is easy for the driver to visually recognize it by being placed on the upper part of the instrument panel of the vehicle or by being built in the car audio installation space of the instrument panel. The display 4 may be installed only for displaying a video behind the vehicle, or may be used as a display for displaying map information of a car navigation system.

ハンドル操舵角検出部6は、ハンドル(ステアリング)が所定角度回転するたびに出力されるパルス信号を検出することによってハンドルの操舵角を検出し、検出された操舵角情報を制御部5に出力する。   The steering wheel steering angle detector 6 detects a steering angle of the steering wheel by detecting a pulse signal that is output every time the steering wheel (steering) rotates by a predetermined angle, and outputs the detected steering angle information to the controller 5. .

走行距離検出部7は、車輪の回転に応じて出力されるパルス信号を検出することによって車両の走行距離を検出し、検出された走行距離情報を制御部5に出力する。   The travel distance detection unit 7 detects the travel distance of the vehicle by detecting a pulse signal output according to the rotation of the wheel, and outputs the detected travel distance information to the control unit 5.

リバース検出部8は、シフトレバーがリバース位置に操作されたか否かの検出を行い、リバース位置に操作された場合には、制御部5に対してリバース操作情報を出力する。   The reverse detection unit 8 detects whether or not the shift lever has been operated to the reverse position, and outputs reverse operation information to the control unit 5 when operated to the reverse position.

操作ボタン9は、運転者が後退運転操作時に押下(ON)しやすい場所に設置されており、例えばハンドル、非常点滅表示灯(ハザード)用スイッチ近傍、オーディオ操作パネル等に設置される。また、必ずしも物理的なスイッチでなくてもよく、ディスプレイ4がタッチパネル等の場合には、ディスプレイ4のタッチパネルを操作ボタンとして使用してもよい。   The operation button 9 is installed at a place where the driver can easily press down (ON) during the reverse driving operation, and is installed, for example, in the vicinity of a handle, an emergency blinking indicator (hazard) switch, an audio operation panel, or the like. Moreover, it is not necessarily a physical switch, and when the display 4 is a touch panel or the like, the touch panel of the display 4 may be used as an operation button.

運転者は、ディスプレイ4に表示された車両後方映像の停車枠内に、後述する車両の輪郭LAが車両の停車に適した状態となって重畳表示されたときに操作ボタンをONにする。   The driver turns on the operation button when an outline LA of the vehicle, which will be described later, is displayed in a state suitable for stopping the vehicle in a stop frame of the vehicle rear image displayed on the display 4.

制御部5は、後退軌跡算出手段として車両の左右後端点における後退予測軌跡を算出する機能と、車両状態算出手段として後退時の車両の輪郭情報を算出する機能とを備えている。   The control unit 5 has a function of calculating a predicted backward trajectory at the left and right rear end points of the vehicle as a backward trajectory calculating means, and a function of calculating vehicle contour information at the time of reverse as a vehicle state calculating means.

制御部5は、ハンドル操舵角検出部6により検出されたハンドルの操舵角に応じて、車両の左右後端部における後退予測軌跡(曲線状態)を算出する。後退予測軌跡の算出方法は、ハンドルの操舵角を維持した状態で車両を後退させた場合に車両後端点が通過するポイントを経時的に算出して軌跡として求める一般的な方法を用いるものとする。ただし、後退予測軌跡を算出する方法は、他にも様々な方法が提案されており、他の方法を用いて算出を行ってもよい。   The control unit 5 calculates a predicted backward trajectory (curved state) at the left and right rear ends of the vehicle according to the steering angle of the steering wheel detected by the steering wheel steering angle detector 6. As a method for calculating a predicted backward trajectory, a general method is used in which, when the vehicle is moved backward with the steering angle of the steering wheel maintained, a point through which the vehicle rear end point passes is calculated as a trajectory. . However, various other methods have been proposed as a method for calculating the backward prediction locus, and the calculation may be performed using other methods.

制御部5は、この後退予測軌跡を一定の間隔で算出し直すことによって、ハンドル操作および車両の後退状態に応じて変化する後退予測軌跡をリアルタイムに出力できるようにする。また、制御部5は、後退予測軌跡が破線としてディスプレイ4に表示されるように、後退予測軌跡の軌跡位置を算出すると共に、破線の実線部の表示位置をカメラ2により撮像された車両後方映像の所定場所に貼り付けられたように表示させるため、破線の実線部が走行距離検出部7により検出された走行距離に応じて後退予測軌跡の長さ方向へ移動表示されるように後退予測軌跡(破線表示状態)を算出する。なお、後退予測軌跡は必ずしも破線である必要はなく、鎖線であってもよい。   The control unit 5 re-calculates the predicted backward trajectory at regular intervals so that the predicted backward trajectory that changes according to the steering operation and the reverse state of the vehicle can be output in real time. In addition, the control unit 5 calculates the trajectory position of the backward predicted trajectory so that the predicted backward trajectory is displayed on the display 4 as a broken line, and the vehicle rear image obtained by capturing the display position of the solid line portion of the broken line by the camera 2. In order to display as pasted at a predetermined place, the backward solid line portion of the broken line is moved and displayed in the length direction of the backward prediction locus according to the travel distance detected by the travel distance detection unit 7. (Dashed line display state) is calculated. Note that the predicted backward trajectory is not necessarily a broken line, and may be a chain line.

なお、後退予測軌跡は、制御部5がハンドルの操舵角に基づき直接演算処理を行って算出してもよく、また予めハンドルの操舵角とその操舵角に対応する後退予測軌跡を記憶しておくことにより、対応する後退予測軌跡を記憶手段等から読み出して求めることによって算出してもよい。   Note that the predicted backward trajectory may be calculated by the controller 5 directly performing a calculation process based on the steering angle of the steering wheel, and the steering angle of the steering wheel and the predicted backward trajectory corresponding to the steering angle are stored in advance. Accordingly, the corresponding backward predicted trajectory may be calculated by reading it from the storage means or the like.

また、制御部5は、車両が所定距離後退したときの車両状態を運転者が把握しやすくするため、算出された後退予測軌跡に基づいて所定の距離だけ後方に車両を後退させときに車両がどのような状態となっているかを算出する。具体的には、図2、図3に示すように、後退予測軌跡la、lbにおいて所定距離だけ離れた地点、例えば4メートル後方の地点P1、P2において、後退予測軌跡la、lbの接線方向に沿って車両の全長に対応する長さの車両側部輪郭線L1、L2を求め、この車両側部輪郭線L1、L2の二辺に基づいて車両前後部輪郭線L3、L4を求めることによって車両輪郭(予測車両状態)LAを求める。この車両輪郭LAは、運転者が視認しやすいように実線で示すものとするが、必ずしも実線に限定されるものではなく、破線、鎖線等であってもよい。   Further, the control unit 5 makes it easier for the driver to grasp the vehicle state when the vehicle has moved backward by a predetermined distance, when the vehicle is moved backward by a predetermined distance on the basis of the calculated backward predicted locus. Calculate what the state is. Specifically, as shown in FIG. 2 and FIG. 3, at a point separated by a predetermined distance in the backward predicted trajectories la and lb, for example, at points P1 and P2 4 meters behind, in the tangential direction of the predicted backward trajectories la and lb. The vehicle side contour lines L1 and L2 having a length corresponding to the entire length of the vehicle are obtained along with the vehicle front and rear contour lines L3 and L4 based on the two sides of the vehicle side contour lines L1 and L2. The contour (predicted vehicle state) LA is obtained. The vehicle contour LA is indicated by a solid line so that the driver can easily recognize it, but is not necessarily limited to a solid line, and may be a broken line, a chain line, or the like.

さらに制御部5は、操作ボタンがONされたときを基準として、車両位置と算出されたP1、P2点の位置との関係を記憶し、走行距離検出部7の走行距離に応じて車両がP1,P2点に近接・離反したことを判断する。そして、制御部5は、一定の間隔で車両輪郭LAを算出し直すことによって、ハンドル操作および車両の後退状態に応じて変化する車両輪郭LAをリアルタイムに出力できるようにする。   Further, the control unit 5 stores the relationship between the vehicle position and the calculated positions of P1 and P2 with reference to the time when the operation button is turned on, and the vehicle moves to P1 according to the travel distance of the travel distance detection unit 7. , P2 is determined to be close to or away from point P2. Then, the control unit 5 re-calculates the vehicle contour LA at regular intervals, so that the vehicle contour LA that changes according to the steering operation and the reverse state of the vehicle can be output in real time.

制御部5は、求められた後退予測軌跡la、lbと車両輪郭LAとに基づいてカメラ2により撮像された映像に重畳するための描画データを作成する。この場合制御部5は、カメラ2の視点とレンズの歪みを考慮して描画データを作成する。制御部5は、作成された描画データを表示制御部3に送出し、送出された描画データは、カメラ2により撮像された映像に重畳されてディスプレイ4に表示される。   The control unit 5 creates drawing data to be superimposed on the video imaged by the camera 2 based on the calculated backward predicted trajectories la and lb and the vehicle contour LA. In this case, the control unit 5 creates drawing data in consideration of the viewpoint of the camera 2 and lens distortion. The control unit 5 sends the created drawing data to the display control unit 3, and the sent drawing data is displayed on the display 4 superimposed on the video imaged by the camera 2.

次に、制御部5による車両後退運転支援処理を、図5に示すフローチャートを用いて説明する。   Next, the vehicle reverse driving support processing by the control unit 5 will be described using the flowchart shown in FIG.

まず、制御部5は、リバース検出部8よりシフトレバーがリバース位置に操作されているか否かの判断を行う(ステップS1)。リバース位置に操作されていないと判断した場合、制御部5は、再度シフトレバーの操作位置検出を行う。リバース位置に操作されていると判断した場合、制御部5は、ハンドル操舵角検出部6よりハンドルの操舵角情報を取得し、走行距離検出部7より走行距離情報を取得する(ステップS2)。   First, the control unit 5 determines whether or not the shift lever is operated to the reverse position from the reverse detection unit 8 (step S1). When it is determined that the reverse position is not operated, the control unit 5 detects the operation position of the shift lever again. If it is determined that the vehicle is operated to the reverse position, the control unit 5 acquires the steering angle information of the steering wheel from the steering wheel steering angle detection unit 6, and acquires the traveling distance information from the traveling distance detection unit 7 (step S2).

制御部5は、ハンドルの操舵角情報に基づいて後退予測軌跡la、lbの湾曲状態を求めるとともに共に、走行距離情報に応じて後退予測軌跡la、lbの破線の表示状態を求めることによって、後退予測軌跡の算出を行う。さらに制御部5は、後退予測軌跡la、lbにおける所定距離後方、本実施形態においては4m後方に位置するP1点、P2点を算出し、このP1点、P2点を起点として後退予測軌跡が描画されるように後退予測軌跡の算出を行う(ステップS3)。さらに、制御部5は、このP1点、P2点における車両輪郭LAの算出を行う(ステップS4)。   The control unit 5 calculates the curved state of the predicted backward trajectories la and lb based on the steering angle information of the steering wheel and calculates the backward state of the predicted backward trajectories la and lb according to the travel distance information. Calculate the predicted trajectory. Further, the control unit 5 calculates P1 and P2 points located a predetermined distance behind the predicted backward trajectories la and lb, 4m backward in this embodiment, and draws the backward predicted trajectory starting from these P1 and P2 points. Thus, the backward predicted trajectory is calculated (step S3). Further, the control unit 5 calculates the vehicle contour LA at the points P1 and P2 (step S4).

制御部5は、算出された後退予測軌跡la、lbおよび車両輪郭LAに基づいて描画データを作成し(ステップS5)、表示制御部3に描画データを送出する(ステップS6)。表示制御部3では、制御部5より受け取った描画データをカメラ2により撮像された画像に重畳表示させて、図2に示すようにディスプレイ4に表示させる。図2では、画面右上部分、現実の車両位置より4m以上遠方に停車枠10が示されている。   The control unit 5 creates drawing data based on the calculated predicted backward trajectories la and lb and the vehicle contour LA (step S5), and sends the drawing data to the display control unit 3 (step S6). The display control unit 3 superimposes the drawing data received from the control unit 5 on the image captured by the camera 2 and displays it on the display 4 as shown in FIG. In FIG. 2, the stop frame 10 is shown in the upper right part of the screen, 4 m or more away from the actual vehicle position.

その後、制御部5は、操作ボタン9がONされたか否かの判断を行う(ステップS7)。操作ボタン9がONされていない場合、制御部5は、再度ステップS1〜S6の処理を繰り返す。この処理の繰り返しにより、ハンドル操作および車両の後退状態に応じて後退予測軌跡la、lbと車両の輪郭LAとがリアルタイムにディスプレイ4に表示される。特に、後退予測軌跡が破線として表示され、破線の実線部の表示位置が車両後方映像に貼り付けられるようにして重畳表示される。   Thereafter, the control unit 5 determines whether or not the operation button 9 is turned on (step S7). When the operation button 9 is not turned on, the control unit 5 repeats the processes of steps S1 to S6 again. By repeating this process, the predicted backward trajectories la and lb and the vehicle contour LA are displayed on the display 4 in real time according to the steering operation and the reverse state of the vehicle. In particular, the backward prediction trajectory is displayed as a broken line, and the display position of the solid line portion of the broken line is superimposed and displayed so as to be pasted on the vehicle rear image.

操作ボタンがONされた場合、制御部5は、車両位置に対するP1点、P2点を記憶する(ステップS8、図3)。図3は、駐車枠10内に車両の輪郭LAが車両の停車に適した状態となって表示された様子を示しており、運転者は、このような状態となったときに操作ボタン9をONする。   When the operation button is turned on, the control unit 5 stores the points P1 and P2 with respect to the vehicle position (step S8, FIG. 3). FIG. 3 shows a state in which the contour LA of the vehicle is displayed in the parking frame 10 in a state suitable for stopping the vehicle, and the driver presses the operation button 9 when such a state is reached. Turn on.

ステップS8におけるP1点、P2点の記憶により、操作ボタンがONされた直後の車両位置を基準として後述する後退予測軌跡la、lbおよび車両輪郭LAの算出処理(ステップS9〜ステップS15)を行う。   Based on the storage of the points P1 and P2 in step S8, calculation processing (steps S9 to S15) of the predicted backward trajectories la and lb and the vehicle contour LA, which will be described later, is performed based on the vehicle position immediately after the operation button is turned on.

具体的に、制御部5は、ハンドル操舵角検出部6よりハンドルの操舵角情報を取得すると共に、走行距離検出部7より車両の走行距離情報を取得する。さらに制御部5は記録されたP1点、P2点の読み出しを行う(ステップS9)。   Specifically, the control unit 5 acquires the steering angle information of the steering wheel from the steering wheel steering angle detection unit 6, and acquires the traveling distance information of the vehicle from the traveling distance detection unit 7. Further, the control unit 5 reads the recorded points P1 and P2 (step S9).

制御部5は、ハンドルの操舵角情報に基づいて後退予測軌跡の算出を行う(ステップS10)。このとき制御部5は、読み出されたP1点、P2点と車両位置との関係から、走行距離情報により車両が移動した距離を考慮して車両位置の変化を判断し、その車両位置に好適な後退予測軌跡の算出を行う。   The controller 5 calculates a predicted backward trajectory based on the steering angle information of the steering wheel (step S10). At this time, the control unit 5 determines a change in the vehicle position from the relationship between the read points P1 and P2 and the vehicle position, considering the distance traveled by the vehicle based on the travel distance information, and is suitable for the vehicle position. Calculate the predicted backward trajectory.

具体的にステップS10における処理とステップS3における処理とを比較すると、ステップS3における後退予測軌跡演算処理においては、後退予測軌跡la、lbに従って実際の車両位置から4m離れた位置にP1点、P2点が位置し、車両が後退してもP1点、P2点は4m離れた位置として算出される。これに対して、ステップS10における後退予測軌跡演算では、読み出されたP1点、P2点と車両位置との関係(操作ボタンがONされた直後においてはP1、P2点と車両位置までの距離が4m)から、走行距離情報により求められた走行距離Xmを除いた位置(4m−Xmの位置)をP1点、P2点として判断し、このP1点、P2点から現実の車両の左右後端点までの後退予測軌跡を算出する(ステップS10)。   Specifically, when the process in step S10 and the process in step S3 are compared, in the predicted backward trajectory calculation process in step S3, points P1 and P2 are located at positions 4 m away from the actual vehicle position according to the predicted backward trajectory la and lb. Even if the vehicle moves backward, the points P1 and P2 are calculated as 4 m away. On the other hand, in the backward prediction trajectory calculation in step S10, the relationship between the read points P1 and P2 and the vehicle position (the distance between the points P1 and P2 and the vehicle position immediately after the operation button is turned on). 4m), the position (4m-Xm position) excluding the travel distance Xm obtained from the travel distance information is determined as P1 point and P2 point, and from this P1 point and P2 point to the left and right rear end points of the actual vehicle Is calculated (step S10).

その後、制御部5は、走行距離に応じて車両が移動した位置を考慮して算出されたP1点、P2点に基づいて車両輪郭LAの算出を行う(ステップS11)。   Thereafter, the control unit 5 calculates the vehicle contour LA based on the points P1 and P2 calculated in consideration of the position where the vehicle has moved according to the travel distance (step S11).

このように、ステップS10およびステップS11において、自車両と車両の走行距離を考慮して求められるP1点、P2点との位置関係に基づいて後退予測軌跡la、lbと車両輪郭LAとを算出するため、ステップ9〜ステップ15に示す処理を繰り返すことによって、後退予測軌跡la、lbのP1点、P2点と車両輪郭LAとが徐々に自車両に近づくようにして、後退予測軌跡および車両輪郭をディスプレイ4に表示させることが可能となる。   As described above, in steps S10 and S11, the predicted backward trajectories la and lb and the vehicle contour LA are calculated based on the positional relationship between the points P1 and P2 obtained in consideration of the travel distance between the host vehicle and the vehicle. Therefore, by repeating the processing shown in Step 9 to Step 15, the predicted backward trajectory and the vehicle contour are set such that the points P1 and P2 of the backward predicted trajectories la and lb and the vehicle contour LA gradually approach the host vehicle. It can be displayed on the display 4.

図4は、車両が所定距離後退して停車スペースに近づいた状態において算出された後退予測軌跡la、lbと車両輪郭LAとを示している。車両が後退(走行)することによって、P1点、P2点は操作スイッチがONされた直後(図3参照)よりも車両に近づいている。このため制御部5は、記憶した車両とP1点、P2点との距離から後退予測軌跡la、lbに沿って走行距離情報の走行距離情報だけ後退した車両位置を基準として後退予測軌跡la、lbおよび車両輪郭LAを算出する(図4参照)。   FIG. 4 shows the predicted backward trajectories la and lb and the vehicle contour LA calculated in a state in which the vehicle retreats a predetermined distance and approaches the stop space. As the vehicle moves backward (runs), the points P1 and P2 are closer to the vehicle than immediately after the operation switch is turned on (see FIG. 3). For this reason, the control unit 5 uses the distance between the stored vehicle and the P1 point and the P2 point as the reference for the vehicle position that has moved backward along the predicted travel distance information of the travel distance information along the predicted backward travel path la, lb. Then, the vehicle contour LA is calculated (see FIG. 4).

その後、制御部5は算出された後退予測軌跡la,lbおよび車両輪郭LAに基づいて描画データを作成し(ステップS12)、表示制御部3に描画データを送出する(ステップS13)。表示制御部3では、制御部5より受け取った描画データをカメラ2により撮像された画像に重畳表示させて、図4に示すようにディスプレイ4に表示させる。   Thereafter, the control unit 5 creates drawing data based on the calculated backward predicted trajectories la and lb and the vehicle contour LA (step S12), and sends the drawing data to the display control unit 3 (step S13). The display control unit 3 superimposes the drawing data received from the control unit 5 on the image captured by the camera 2 and displays it on the display 4 as shown in FIG.

そして、制御部5は、新たに算出されたP1点、P2点を記憶する(ステップS14)。   Then, the control unit 5 stores the newly calculated points P1 and P2 (step S14).

その後、制御部5はシフトレバーがリバース位置に操作されたか否かの判断を行う(ステップS15)。シフトレバーがリバース位置以外のポジションに操作されたと判断した場合、制御部5は、車両後退運転支援処理を終了し、リバース位置に操作されたままであると判断した場合には、ステップS14で記憶されたP1点、P2点が基準となって、再度上述した処理(ステップS9〜S14)が繰り返し実行される。   Thereafter, the control unit 5 determines whether or not the shift lever has been operated to the reverse position (step S15). If it is determined that the shift lever has been operated to a position other than the reverse position, the control unit 5 ends the vehicle reverse driving support process, and if it is determined that the shift lever has been operated to the reverse position, it is stored in step S14. The above-described processing (steps S9 to S14) is repeatedly executed again using the points P1 and P2 as a reference.

このように制御部5が、車両の走行距離に応じてリアルタイムに後退予測軌跡la、lbと車両の輪郭(車両状態)LAとを車両後方映像に重畳表示させるため、運転者がハンドル操作により変化する車両状態を容易に把握できるようになり、後退運転の困難性を緩和することが可能となる。後退予測軌跡の動きに対応する車両状態の変化を視覚的に運転者に認識させることによって、車両全体の状態を視認した上で対応するハンドル操作を行うことできるようになるため、俯瞰画像を用いた後方運転支援技術のような高度な技術を用いることなく、同様の操作感覚を運転者に与えることが可能となる。   In this way, the control unit 5 superimposes and displays the backward prediction trajectories la and lb and the vehicle outline (vehicle state) LA in real time according to the travel distance of the vehicle. It becomes possible to easily grasp the state of the vehicle to be operated, and it becomes possible to alleviate the difficulty of reverse operation. By visually recognizing changes in the vehicle state corresponding to the movement of the predicted backward trajectory, the driver can perform the corresponding steering operation after visually confirming the state of the entire vehicle. It is possible to give the driver a similar operational feeling without using advanced technology such as the backward driving support technology.

さらに、現実に撮像された車両後方の映像に対して車両の状態、具体的には車両の位置・姿勢(方向)を照らし合わせることができるので、現実に存在する視点に基づいて、車両状態を判断することができ、俯瞰画像技術を用いて現実に存在しない視点に基づいて車両状態を判断する場合に比べてより現実に近い状況で運転者が後退運転を行うことができる。   Furthermore, since the vehicle state, specifically the position / orientation (direction) of the vehicle, can be collated with the rear image of the vehicle actually captured, the vehicle state can be determined based on the viewpoint that exists in reality. This makes it possible to determine the vehicle state based on a viewpoint that does not actually exist using the overhead image technology, and the driver can perform the reverse drive in a situation closer to reality.

また、実施例1に係る車両後退運転支援装置を用いることによって、運転者は、車両を停車させたい位置に車両の輪郭を合わせた後に操作ボタン9をONにし、そのときのハンドルの操舵角を維持したまま後退すれば車両を停車させたい位置に確実に停車させることができる。   Further, by using the vehicle backward driving support device according to the first embodiment, the driver turns on the operation button 9 after matching the contour of the vehicle to the position where the vehicle is to be stopped, and sets the steering angle of the steering wheel at that time. If the vehicle moves backward while maintaining, the vehicle can be surely stopped at the position where the vehicle is to be stopped.

さらに、予め車両の輪郭によって停車位置に停車される車両状態を把握することができるため、停車位置における車両の大きさを把握しやすくなり、車両を停車することが可能なスペースが確保されているか否かの判断を容易に行うことが可能となる。   Furthermore, since it is possible to grasp the state of the vehicle that is stopped at the stop position based on the outline of the vehicle in advance, it is easy to grasp the size of the vehicle at the stop position, and whether a space that can stop the vehicle is secured. It is possible to easily determine whether or not.

また、後退予測軌跡を示す破線は、実線部の表示位置が車両後方画像の所定場所に貼り付けられたようして表示されるため、車両の後退映像と破線の表示状態とに違和感を感じることなく後退運転を行うことができる。   In addition, since the broken line indicating the predicted backward trajectory is displayed as if the display position of the solid line portion is pasted at a predetermined position in the vehicle rear image, the user feels uncomfortable between the reverse image of the vehicle and the display state of the broken line. Reverse operation can be performed without any problems.

さらに、従来より一般的に用いられている後退運転支援装置の後退予測軌跡のように、車両が停車希望位置にきちんと移動された後であっても後退予測線がディスプレイ4に表示され続けてしまうことを回避することができる。このため、例えば車両を停車させた位置の後方が壁等の立体物であっても、その立体物の映像に後退予測軌跡が重畳表示されるという滑稽な画像がディスプレイ表示に表示されなくなり、運転者が車両後退操作において画面表示に違和感を感じることなく後退運転を行うことが可能となる。   Further, the predicted reverse line continues to be displayed on the display 4 even after the vehicle has been properly moved to the desired stop position, as in the predicted reverse trajectory of the reverse driving assistance device that is generally used conventionally. You can avoid that. For this reason, for example, even if the rear of the position where the vehicle is stopped is a three-dimensional object such as a wall, a humorous image in which the predicted backward trajectory is superimposed on the image of the three-dimensional object is not displayed on the display, and driving It becomes possible for a person to perform a reverse operation without feeling uncomfortable on the screen display in the vehicle reverse operation.

次に実施例2に係る車両後退運転支援装置について説明する。なお、実施例2において実施例1で既に説明した構成と同一の構成部分については同一符号を附すものとし、実施例2における詳細な説明は省略する。   Next, a vehicle reverse driving support device according to a second embodiment will be described. In the second embodiment, the same components as those already described in the first embodiment are denoted by the same reference numerals, and detailed description in the second embodiment is omitted.

図7は、実施例2に係る車両後退運転支援装置20の概略構成を示したブロック図である。車両後退運転支援装置1は、カメラ(撮像手段)2と、表示制御部(表示制御手段)3と、ディスプレイ(表示手段)4と、制御部(後退軌跡算出手段、車両状態算出手段)5と、ハンドル操舵角検出部(操舵角検出手段)6と、走行距離検出部(走行距離検出手段)7と、リバース検出部8と、操作ボタン9と、音声制御部(音声出力手段)21と、スピーカー(音声出力手段)22とを備えている。   FIG. 7 is a block diagram illustrating a schematic configuration of the vehicle backward driving support device 20 according to the second embodiment. The vehicle backward driving support device 1 includes a camera (imaging means) 2, a display control section (display control means) 3, a display (display means) 4, and a control section (reverse locus calculation means, vehicle state calculation means) 5 , Steering wheel steering angle detector (steering angle detector) 6, travel distance detector (travel distance detector) 7, reverse detector 8, operation button 9, voice controller (voice output means) 21, And a speaker (audio output means) 22.

音声制御部21は、予め数種類の音声情報を記憶している。本実施例においては、少なくもと、ハンドルの操舵角を維持し続ける旨を運転者に知らせるための音声情報として、「ハンドルをそのままにして下さい」という女性の声の情報が記憶されており、また、ハンドルの操舵を戻して、ハンドルを中立位置にする旨を運転者に知らせるための音声情報として、「ハンドルを中立位置にして下さい」という女性の声の情報が記憶されている。   The voice control unit 21 stores several types of voice information in advance. In the present embodiment, at least, as voice information for notifying the driver that the steering angle of the steering wheel is to be maintained, information of a female voice “Please leave the steering wheel as it is” is stored. Further, as voice information for notifying the driver that the steering wheel is returned to the neutral position, information of a female voice “Please set the steering wheel in the neutral position” is stored.

なお、記憶される音声情報は、女性の声だけに限定されるものではなく、男性の声であってもよく、さらに、音声ではなく、メロディー音や、ブザー音やBEEP音のように運転者が音の違いによりその状態を判断可能な電子音等であってもよい。   Note that the stored voice information is not limited to female voices but may be male voices. Further, the voice information is not voice but a driver like a melody sound, buzzer sound or BEEP sound. May be an electronic sound or the like whose state can be determined by the difference in sound.

スピーカー22は、音声制御部21により出力される音声情報に基づいて、音声(出力音)を出力する。スピーカー22は、運転者が運転操作時にその音声を聴取可能な位置に設置される。なお、スピーカー22は、音声出力専用のスピーカーを車室内に設置してもよいし、カーナビゲーションシステムの音声ガイダンスに利用されるスピーカーや、音楽を出力するため車室内に配設される音響用スピーカーを利用してもよい。   The speaker 22 outputs sound (output sound) based on the sound information output by the sound control unit 21. The speaker 22 is installed at a position where the driver can hear the sound during the driving operation. Note that the speaker 22 may be a dedicated speaker for voice output in the vehicle interior, a speaker used for voice guidance of a car navigation system, or an acoustic speaker disposed in the vehicle interior for outputting music. May be used.

表示制御部3は、必要とされる情報を運転者が容易に理解できるように、複数のアイコン情報(画像情報)を記憶している。本実施例においては、少なくとも、ハンドルの操舵角を維持し続けるようにとの情報を運転者に知らせるためのアイコン情報と、ハンドルを中立位置に戻すようにとの情報を運転者に知らせるためのアイコン情報とが記憶されている。表示制御部3は、制御部5からの制御信号に応じてアイコン情報をカメラに撮影された映像に重畳させてディスプレイ4に表示させる。   The display control unit 3 stores a plurality of icon information (image information) so that the driver can easily understand the required information. In this embodiment, at least icon information for notifying the driver of information for maintaining the steering angle of the steering wheel and information for returning the steering wheel to the neutral position are provided for the driver. Icon information is stored. The display control unit 3 causes the display 4 to display the icon information superimposed on the video imaged by the camera in response to a control signal from the control unit 5.

制御部5は、走行距離検出部7により求められた走行距離Xに基づいて、車両が所定距離、本実施例では4mだけ車両後方に後退したかを判断する。制御部5は、後退中であるが車両がまだ4m後退していないと判断した場合に、ハンドルの操舵角を維持し続ける旨の音声情報を出力させる制御信号を、音声制御部21に送出する。さらに、制御部5は、ハンドルの操舵角を維持し続ける旨のアイコン情報を重畳させる制御信号を、表示制御部3に送出する。   Based on the travel distance X obtained by the travel distance detector 7, the controller 5 determines whether the vehicle has moved backward by a predetermined distance, in this embodiment, 4 m. When it is determined that the vehicle is moving backward, but the vehicle has not moved backward by 4 m, the control unit 5 sends a control signal to the audio control unit 21 to output audio information indicating that the steering angle of the steering wheel is maintained. . Further, the control unit 5 sends a control signal for superimposing icon information indicating that the steering angle of the steering wheel is maintained to the display control unit 3.

また、制御部5は、車両が4m後退し終わったものと判断した場合に、ハンドルを中立位置に戻す旨の音声情報を出力させる制御信号を、音声制御部21に送出するとともに、ハンドルを中立位置に戻す旨のアイコン情報を重畳させる制御信号を、表示制御部3に送出する。   Further, when the control unit 5 determines that the vehicle has finished moving backward by 4 m, the control unit 5 sends a control signal for outputting sound information for returning the handle to the neutral position to the sound control unit 21 and also sets the handle to the neutral position. A control signal for superimposing icon information for returning to the position is sent to the display control unit 3.

さらに、制御部5は、ハンドル操舵角検出部6により求められるハンドルの操舵角に基づいてハンドルが正位置に戻されているか否かの判断を行い、ハンドルが正位置に戻った場合には、スピーカーへの音声情報出力を停止させる旨の制御信号を音声制御部21に送出するとともに、アイコン情報の重畳を終了する旨の制御信号を表示制御部3に送出する。   Further, the control unit 5 determines whether or not the handle is returned to the normal position based on the steering angle of the handle obtained by the handle steering angle detection unit 6, and when the handle returns to the normal position, A control signal for stopping output of sound information to the speaker is sent to the sound control unit 21, and a control signal for finishing superimposition of icon information is sent to the display control unit 3.

次に、制御部5による車両後退運転支援処理を、図8に示すフローチャートを用いて説明する。   Next, the vehicle reverse driving support processing by the control unit 5 will be described using the flowchart shown in FIG.

まず、制御部5は、リバース検出部8よりシフトレバーがリバース位置に操作されているか否かの判断を行う(ステップS20)。リバース位置に操作されていないと判断した場合、制御部5は、再度シフトレバーの操作位置検出を行う。   First, the control unit 5 determines whether or not the shift lever is operated to the reverse position from the reverse detection unit 8 (step S20). When it is determined that the reverse position is not operated, the control unit 5 detects the operation position of the shift lever again.

リバース位置に操作されていると判断した場合(ステップS20でYesの場合)、制御部5は、ハンドル操舵角検出部6よりハンドルの操舵角情報を取得し、走行距離検出部7より走行距離情報を取得する(ステップS21)。   When it is determined that the vehicle is operated to the reverse position (Yes in step S20), the control unit 5 acquires the steering angle information of the steering wheel from the steering wheel steering angle detection unit 6, and the traveling distance information from the traveling distance detection unit 7. Is acquired (step S21).

そして、制御部5は、ハンドルの操舵角情報に基づいて後退予測軌跡la、lbの湾曲状態を求めるとともに共に、走行距離情報に応じて後退予測軌跡la、lbの破線の表示状態を求めることによって、後退予測軌跡の算出を行う。さらに制御部5は、後退予測軌跡la、lbにおける所定距離後方、本実施形態においては4m後方に位置するP1点、P2点を算出し、このP1点、P2点を起点として後退予測軌跡が描画されるように後退予測軌跡の算出を行う(ステップS22)。さらに、制御部5は、このP1点、P2点における車両輪郭LAの算出を行う(ステップS23)。   Then, the control unit 5 obtains the curved states of the predicted backward trajectories la and lb based on the steering angle information of the steering wheel and obtains the broken line display states of the predicted backward trajectories la and lb according to the travel distance information. The backward prediction trajectory is calculated. Further, the control unit 5 calculates P1 and P2 points located a predetermined distance behind the predicted backward trajectories la and lb, 4m backward in this embodiment, and draws the backward predicted trajectory starting from these P1 and P2 points. Thus, the backward predicted locus is calculated (step S22). Further, the control unit 5 calculates the vehicle contour LA at the points P1 and P2 (step S23).

制御部5は、算出された後退予測軌跡la、lbおよび車両輪郭LAに基づいて描画データを作成し(ステップS24)、表示制御部3に描画データを送出する(ステップS25)。表示制御部3では、制御部5より受け取った描画データをカメラ2により撮像された画像に重畳表示させて、図2に示すようにディスプレイ4に表示させる。図2では、画面右上部分、現実の車両位置より4m以上遠方に停車枠10が示されている。   The control unit 5 creates drawing data based on the calculated backward predicted trajectories la and lb and the vehicle contour LA (step S24), and sends the drawing data to the display control unit 3 (step S25). The display control unit 3 superimposes the drawing data received from the control unit 5 on the image captured by the camera 2 and displays it on the display 4 as shown in FIG. In FIG. 2, the stop frame 10 is shown in the upper right part of the screen, 4 m or more away from the actual vehicle position.

その後、制御部5は、操作ボタン9がONされたか否かの判断を行う(ステップS26)。操作ボタン9がONされていない場合(ステップS26でNOの場合)、制御部5は、再度ステップS20〜S25の処理を繰り返す。この処理の繰り返しにより、ハンドル操作および車両の後退状態に応じて後退予測軌跡la、lbと車両の輪郭LAとがリアルタイムにディスプレイ4に表示される。特に、後退予測軌跡が破線として表示され、破線の実線部の表示位置が車両後方映像に貼り付けられるようにして重畳表示される。   Thereafter, the control unit 5 determines whether or not the operation button 9 is turned on (step S26). When the operation button 9 is not turned on (NO in step S26), the control unit 5 repeats the processes of steps S20 to S25 again. By repeating this process, the predicted backward trajectories la and lb and the vehicle contour LA are displayed on the display 4 in real time according to the steering operation and the reverse state of the vehicle. In particular, the backward prediction trajectory is displayed as a broken line, and the display position of the solid line portion of the broken line is superimposed and displayed so as to be pasted on the vehicle rear image.

なお、実施例2においては、後述するように音声またはアイコン表示によってハンドルを中立位置に戻す旨の支持がなされるので、車両を停車枠10に対して平行となるように誘導することができる。このため運転者は、図3に示すように車両輪郭LAが停車枠10に完全に収まるように表示された場合に操作ボタン9をONする必要はなく、図9に示すように、車両側部輪郭線L1、L2と停車枠10の側部ラインとが平行となる状態で操作ボタン9をONにすれば足りる。   In the second embodiment, as will be described later, since the support for returning the steering wheel to the neutral position is provided by voice or icon display, the vehicle can be guided to be parallel to the stop frame 10. Therefore, the driver does not need to turn on the operation button 9 when the vehicle contour LA is displayed so as to completely fit in the stop frame 10 as shown in FIG. It is sufficient to turn on the operation button 9 in a state where the contour lines L1 and L2 and the side line of the stop frame 10 are parallel.

操作ボタンがONされた場合、制御部5は、車両位置に対するP1点、P2点を記憶する(ステップS27)。   When the operation button is turned on, the control unit 5 stores P1 and P2 points with respect to the vehicle position (step S27).

ステップS8におけるP1点、P2点の記憶により、操作ボタンがONされた直後の車両位置を基準として後述する後退予測軌跡la、lbおよび車両輪郭LAの算出処理(ステップS28〜ステップS42)を行う。   Based on the storage of the points P1 and P2 in step S8, calculation processing (steps S28 to S42) of the predicted backward trajectories la and lb and the vehicle contour LA, which will be described later, is performed based on the vehicle position immediately after the operation button is turned on.

具体的に、制御部5は、ハンドル操舵角検出部6よりハンドルの操舵角情報を取得すると共に、走行距離検出部7より車両の走行距離情報を取得する。さらに制御部5は記録されたP1点、P2点の読み出しを行う(ステップS28)。   Specifically, the control unit 5 acquires the steering angle information of the steering wheel from the steering wheel steering angle detection unit 6, and acquires the traveling distance information of the vehicle from the traveling distance detection unit 7. Further, the controller 5 reads the recorded points P1 and P2 (step S28).

制御部5は、ハンドルの操舵角情報に基づいて後退予測軌跡の算出を行う(ステップS29)。このとき制御部5は、読み出されたP1点、P2点と車両位置との関係から、走行距離情報により車両が移動した距離を考慮して車両位置の変化を判断し、その車両位置に好適な後退予測軌跡の算出を行う。   The controller 5 calculates a predicted backward trajectory based on the steering angle information of the steering wheel (step S29). At this time, the control unit 5 determines a change in the vehicle position from the relationship between the read points P1 and P2 and the vehicle position, considering the distance traveled by the vehicle based on the travel distance information, and is suitable for the vehicle position. Calculate the predicted backward trajectory.

その後、制御部5は、走行距離に応じて車両が移動した位置を考慮して算出されたP1点、P2点に基づいて、車両輪郭LAの算出を行う(ステップS30)。   Thereafter, the control unit 5 calculates the vehicle contour LA based on the points P1 and P2 calculated in consideration of the position where the vehicle has moved according to the travel distance (step S30).

その後、制御部5は算出された後退予測軌跡la,lbおよび車両輪郭LAに基づいて描画データを作成し(ステップS31)、表示制御部3に描画データを送出する(ステップS32)。   Thereafter, the control unit 5 creates drawing data based on the calculated backward predicted trajectories la and lb and the vehicle contour LA (step S31), and sends the drawing data to the display control unit 3 (step S32).

さらに、制御部5は、走行距離検出部7より取得した車両の走行距離情報に基づいて、車両がどれだけ後退したかを判断する(ステップS33)。車両の後退距離がまだ4m未満であると判断した場合(ステップS33でYESの場合)、制御部5は、ハンドルの操舵角を維持し続ける旨の音声情報を出力させる制御信号を、音声制御部21に送出し(ステップS34)、ハンドルの操舵角を維持し続ける旨のアイコン情報を重畳させる制御信号を表示制御部3に送出する(ステップS35)。   Further, the control unit 5 determines how much the vehicle has moved back based on the vehicle travel distance information acquired from the travel distance detection unit 7 (step S33). When it is determined that the reverse distance of the vehicle is still less than 4 m (in the case of YES at step S33), the control unit 5 outputs a control signal for outputting sound information indicating that the steering angle of the steering wheel is maintained, to the sound control unit. 21 (step S34), and a control signal for superimposing icon information for maintaining the steering angle of the steering wheel is sent to the display control unit 3 (step S35).

表示制御部3では、図9に示すように、ステップS35において制御部5より送出された制御信号に基づくアイコン情報27と、ステップ32において制御部5より送出された描画データとを、カメラ2により撮像された画像に重畳表示させて、ディスプレイ4に表示させる。   In the display control unit 3, as shown in FIG. 9, the camera 2 displays icon information 27 based on the control signal sent from the control unit 5 in step S <b> 35 and drawing data sent from the control unit 5 in step 32. The image is superimposed on the captured image and displayed on the display 4.

車両の後退距離が4mに達したと判断した場合(ステップS33でNOの場合)、制御部5は、ハンドル操舵角検出部6より取得したハンドルの操舵角情報に基づいて、ハンドルが中立位置に戻っているか否かの判断を行う(ステップS36)。   When it is determined that the reverse distance of the vehicle has reached 4 m (in the case of NO at step S33), the control unit 5 determines that the steering wheel is at the neutral position based on the steering angle information of the steering wheel obtained from the steering wheel steering angle detection unit 6. It is determined whether or not it has returned (step S36).

ハンドルが中立位置に戻っていないと判断した場合(ステップS36でNOの場合)、制御部5は、ハンドルを中立位置に戻す旨の音声情報を出力させる制御信号を、音声制御部21に送出する(ステップS37)。さらに制御部5は、ハンドルを中立位置に戻す旨のアイコン情報を重畳させる制御信号を表示制御部3に送出する(ステップS38)。   If it is determined that the handle has not returned to the neutral position (NO in step S36), the control unit 5 sends a control signal for outputting audio information indicating that the handle is returned to the neutral position to the audio control unit 21. (Step S37). Further, the control unit 5 sends a control signal for superimposing icon information for returning the handle to the neutral position to the display control unit 3 (step S38).

表示制御部3では、図10に示すようにステップS28において制御部5より送出された制御信号に基づくアイコン情報28と、ステップ32において制御部5より送出された描画データとを、カメラ2により撮像された画像に重畳表示させて、ディスプレイ4に表示させる。   In the display control unit 3, as shown in FIG. 10, the camera 2 captures the icon information 28 based on the control signal sent from the control unit 5 in step S <b> 28 and the drawing data sent from the control unit 5 in step 32. The image is superimposed on the displayed image and displayed on the display 4.

一方で、ハンドルが中立位置に戻っていると判断した場合(ステップS36でYESの場合)、制御部5は、スピーカー22への音声情報出力を停止させる制御信号を音声制御部21に送出するとともに(ステップS39)、アイコン情報の重畳を終了する旨の制御信号を表示制御部3に送出する(ステップS40)。   On the other hand, when it is determined that the steering wheel has returned to the neutral position (YES in step S36), the control unit 5 sends a control signal for stopping the audio information output to the speaker 22 to the audio control unit 21. (Step S39), a control signal to end the superimposition of the icon information is sent to the display control unit 3 (Step S40).

表示制御部3では、ステップ32において制御部5より送出された描画データのみをカメラ2により撮像された画像に重畳表示させてディスプレイ4に表示させる。   In the display control unit 3, only the drawing data sent from the control unit 5 in step 32 is superimposed on the image captured by the camera 2 and displayed on the display 4.

そして、制御部5は、新たに算出されたP1点、P2点を記憶する(ステップS41)。   Then, the control unit 5 stores the newly calculated points P1 and P2 (step S41).

その後、制御部5はシフトレバーがリバース位置に操作されたか否かの判断を行う(ステップS42)。シフトレバーがリバース位置以外のポジションに操作されたと判断した場合、制御部5は、車両後退運転支援処理を終了し、リバース位置に操作されたままであると判断した場合には、ステップS41で記憶されたP1点、P2点が基準となって、再度上述した処理(ステップS28〜S41)が繰り返し実行される。   Thereafter, the control unit 5 determines whether or not the shift lever has been operated to the reverse position (step S42). When it is determined that the shift lever has been operated to a position other than the reverse position, the control unit 5 ends the vehicle reverse driving support process, and when it is determined that the shift lever has been operated to the reverse position, it is stored in step S41. The above-described processing (steps S28 to S41) is repeatedly executed with the points P1 and P2 as the reference.

このように、実施例2に係る車両後退運転支援装置20では、車両を停車させたい位置に車両輪郭LAを合わせた後に運転者が操作ボタン9をONにし、そのときのハンドルの操舵角を維持したまま後退すれば車両を停車させたい位置に確実に停車させることができる。   As described above, in the vehicle backward driving support device 20 according to the second embodiment, the driver turns on the operation button 9 after the vehicle contour LA is aligned with the position where the vehicle is to be stopped, and maintains the steering angle of the steering wheel at that time. If the vehicle is moved backwards, the vehicle can be surely stopped at the position where the vehicle is to be stopped.

この運転操作において、車両後退時であって4mの後退が完了していない場合、つまり車両が停車枠10に水平な状態となるまで後退動作が完了していない場合には、ディスプレイ4に対して図9に示すように「ハンドルそのまま」を示すアイコン画像27が表示され、さらにスピーカー22より「ハンドルをそのままにして下さい」という女性の音声が出力されるので、運転者は車両が4m後退したか否かを画面表示および音声案内によって簡単に判断することができる。   In this driving operation, when the vehicle is moving backward and the backward movement of 4 m is not completed, that is, when the backward movement is not completed until the vehicle is in a horizontal state with respect to the stop frame 10, As shown in FIG. 9, an icon image 27 indicating “the steering wheel is left” is displayed, and further, a female voice of “please leave the steering wheel” is output from the speaker 22. It can be easily determined by screen display and voice guidance.

さらに、車両が4m後退し終わるまで、ハンドルをそのままにする旨の画面表示と音声案内がなされるため、運転者はハンドル操作を行うことなく車両後退操作のみに集中して運転を行うことができる。   Furthermore, since the screen display and voice guidance for leaving the steering wheel is made until the vehicle finishes moving backward by 4 m, the driver can concentrate on the vehicle backward operation without operating the steering wheel. .

また、車両が4m後退し終わった場合、つまり車両が停車枠10に水平な状態となるまで後退した場合には、ディスプレイ4に対して図10に示すように「中立に」と示されたアイコン画像28が表示され、さらにスピーカー22より「ハンドルを中立位置にして下さい」という女性の音声が出力されるので、運転者は車両が4メートル後退し終わったことを容易に判断することができ、さらに、その後に車両の後退操作を行うことなくハンドルを中立位置に戻せばよいことを容易に知ることができる。   Further, when the vehicle has moved backward by 4 m, that is, when the vehicle has moved backward until it is in a horizontal state with respect to the stop frame 10, an icon “neutral” is displayed on the display 4 as shown in FIG. 10. Since the image 28 is displayed and a female voice saying “Please set the steering wheel in the neutral position” is output from the speaker 22, the driver can easily determine that the vehicle has finished moving backward by 4 meters, Further, it can be easily known that the steering wheel can be returned to the neutral position without performing the backward operation of the vehicle thereafter.

さらに、ハンドルが中立位置に戻された場合には、スピーカー22からの音声案内が終了するとともに、「中立に」と示されたアイコン画像28がディスプレイ4の画面より消えることとなるので、運転者はハンドルが中立位置に戻ったことを容易に知ることができる。このため、運転者は、ディスプレイ4に表示される車両後方画像を参考にしてそのまま車両を後退させれば車両を停車枠10に平行に後退させることができることとなり、簡単に車両を停車枠10内に停車させることが可能となる。   Furthermore, when the steering wheel is returned to the neutral position, the voice guidance from the speaker 22 is terminated, and the icon image 28 indicating “neutral” disappears from the screen of the display 4. Can easily know that the handle has returned to the neutral position. For this reason, if the driver moves the vehicle as it is with reference to the vehicle rear image displayed on the display 4, the driver can move the vehicle back in parallel to the stop frame 10. It is possible to stop at.

また、実施例2に係る車両後退運転支援装置20を用いることによって、実施例1において説明したことと同様に、制御部5が、車両の走行距離に応じてリアルタイムに後退予測軌跡la、lbと車両の輪郭(車両状態)LAとを車両後方映像に重畳表示させるため、運転者がハンドル操作により変化する車両状態を容易に把握できるようになり、後退運転の困難性を緩和することが可能となる。後退予測軌跡の動きに対応する車両状態の変化を視覚的に運転者に認識させることによって、車両全体の状態を視認した上で対応するハンドル操作を行うことできるようになるため、俯瞰画像を用いた後方運転支援技術のような高度な技術を用いることなく、同様の操作感覚を運転者に与えることが可能となる。   In addition, by using the vehicle reverse driving support device 20 according to the second embodiment, the control unit 5 can perform the reverse prediction trajectories la and lb in real time according to the travel distance of the vehicle, as described in the first embodiment. Since the vehicle outline (vehicle state) LA is superimposed on the vehicle rear image, the driver can easily grasp the vehicle state that changes due to the steering wheel operation, and the difficulty of reverse driving can be reduced. Become. By visually recognizing changes in the vehicle state corresponding to the movement of the predicted backward trajectory, the driver can perform the corresponding steering operation after visually confirming the state of the entire vehicle. It is possible to give the driver a similar operational feeling without using advanced technology such as the backward driving support technology.

さらに、現実に撮像された車両後方の映像に対して車両の状態、具体的には車両の位置・姿勢(方向)を照らし合わせることができるので、現実に存在する視点に基づいて、車両状態を判断することができ、俯瞰画像技術を用いて現実に存在しない視点に基づいて車両状態を判断する場合に比べてより現実に近い状況で運転者が後退運転を行うことができる。   Furthermore, since the vehicle state, specifically the position / orientation (direction) of the vehicle, can be collated with the rear image of the vehicle actually captured, the vehicle state can be determined based on the viewpoint that exists in reality. This makes it possible to determine the vehicle state based on a viewpoint that does not actually exist using the overhead image technology, and the driver can perform the reverse drive in a situation closer to reality.

さらに、予め車両の輪郭によって停車位置に停車される車両状態を把握することができるため、停車位置における車両の大きさを把握しやすくなり、車両を停車することが可能なスペースが確保されているか否かの判断を容易に行うことが可能となる。   Furthermore, since it is possible to grasp the state of the vehicle that is stopped at the stop position based on the outline of the vehicle in advance, it is easy to grasp the size of the vehicle at the stop position, and whether a space that can stop the vehicle is secured. It is possible to easily determine whether or not.

また、後退予測軌跡を示す破線は、実線部の表示位置が車両後方画像の所定場所に貼り付けられたようして表示されるため、車両の後退映像と破線の表示状態とに違和感を感じることなく後退運転を行うことができる。   In addition, since the broken line indicating the predicted backward trajectory is displayed as if the display position of the solid line portion is pasted at a predetermined position in the vehicle rear image, the user feels uncomfortable between the reverse image of the vehicle and the display state of the broken line. Reverse operation can be performed without any problems.

さらに、従来より一般的に用いられている後退運転支援装置の後退予測軌跡のように、車両が停車枠10にきちんと移動された後であっても後退予測線がディスプレイ4に表示され続けてしまうことを回避することができる。このため、例えば車両を停車させた位置の後方が壁等の立体物であっても、その立体物の映像に後退予測軌跡が重畳表示されるという滑稽な画像がディスプレイ表示に表示されてしまうことを防止することができ、運転者が車両後退操作において画面表示に違和感を感じることなく後退運転を行うことが可能となる。   Further, the predicted reverse line continues to be displayed on the display 4 even after the vehicle is properly moved to the stop frame 10 as in the predicted reverse trajectory of the reverse driving support device that has been generally used conventionally. You can avoid that. For this reason, for example, even if the rear of the position where the vehicle is stopped is a three-dimensional object such as a wall, a humorous image in which a backward predicted locus is superimposed on the image of the three-dimensional object is displayed on the display. This makes it possible to prevent the driver from feeling uncomfortable in the screen display during the vehicle reverse operation.

以上、本発明に係る車両後退運転支援装置について図面を用いて説明したが、本発明は上述した実施形態に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到しうることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although the vehicle reverse driving assistance apparatus which concerns on this invention was demonstrated using drawing, it cannot be overemphasized that this invention is not limited to embodiment mentioned above. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.

例えば、上述した実施形態では、操作ボタンがONされたときを基準として、制御部5が車両位置と算出された前記P1、P2点の位置との関係を記憶することとしたが、操作ボタン以外のアクション、例えば、運転者がシフトレバーをリバースに操作したときを基準としてP1点、P2点を記憶し、記憶されたP1点、P2点に基づいて、走行距離に応じた後退予測軌跡la、lbと車両輪郭LAとの算出を繰り返し実行するようにしてもよい。   For example, in the above-described embodiment, the control unit 5 stores the relationship between the vehicle position and the calculated positions of the P1 and P2 points based on when the operation button is turned on. Actions, for example, P1 point and P2 point are stored with reference to the time when the driver operates the shift lever in the reverse direction, and based on the stored P1 point and P2 point, the backward predicted trajectory la according to the travel distance, The calculation of lb and the vehicle contour LA may be repeatedly executed.

また、上述した実施形態では、操作ボタン9をONにした後にP1点およびP2点を記憶し、P1点およびP2点と自車両との位置を車両の走行距離より求めて後退予測軌跡la、lbと車両の輪郭LAとを算出し直す構成とした。しかしながら、車両を停車させたい位置に一度車両の輪郭LAを合わせ、そのときのハンドルの操舵角を維持したまま後退すれば所定の停車位置に車両を停車させることができるため、必ずしもP1点およびP2点を毎回記憶し、P1点およびP2点と自車両との位置変化を車両の走行距離によって求めて後退予測軌跡la、lbと車両の輪郭LAとを算出し直す必要はない。   In the above-described embodiment, the P1 point and the P2 point are stored after the operation button 9 is turned on, and the positions of the P1 point and the P2 point and the own vehicle are obtained from the travel distance of the vehicle, and the predicted backward trajectory la, lb And the vehicle contour LA are recalculated. However, once the vehicle contour LA is adjusted to the position where the vehicle is to be stopped and the vehicle is moved backward while maintaining the steering angle of the steering wheel at that time, the vehicle can be stopped at a predetermined stop position. It is not necessary to memorize the points every time, to calculate the position change between the points P1 and P2 and the own vehicle based on the travel distance of the vehicle, and to recalculate the backward predicted trajectories la and lb and the vehicle contour LA.

そこで、図6に示すフローチャートのように、制御部5が、シフトレバーがリバース位置に操作されたか否かの判断を行った後(ステップS1)、ハンドルの操舵角情報と走行距離情報とを取得して(ステップS2)、後退予測軌跡la、lbと車両軌跡LAとを算出(ステップS3、S4)し、描画データを作成し(ステップS5)、表示制御部3に描画データを送出する(ステップS6)処理を、シフトレバーがリバース位置以外のポジションに操作されるまで(ステップS15)繰り返し行うようにしてもよい。このように処理を行うことによってP1点およびP2点の記憶を行う必要がなくなると共に、制御部5が後退予測軌跡を算出する場合に自車両とP1点、P2点との距離を計算する必要がなくなるため、装置構成の簡略化と制御部5による処理負担の軽減を図ることが可能となる。   Therefore, as shown in the flowchart of FIG. 6, after the control unit 5 determines whether or not the shift lever is operated to the reverse position (step S <b> 1), the steering angle information and the travel distance information of the steering wheel are acquired. (Step S2), the backward predicted trajectories la and lb and the vehicle trajectory LA are calculated (Steps S3 and S4), drawing data is created (Step S5), and the drawing data is sent to the display control unit 3 (Step S2). S6) The process may be repeated until the shift lever is operated to a position other than the reverse position (step S15). By performing the processing in this manner, it is not necessary to store the P1 point and the P2 point, and it is necessary to calculate the distance between the own vehicle and the P1 point and the P2 point when the control unit 5 calculates the predicted backward trajectory. Accordingly, it is possible to simplify the apparatus configuration and reduce the processing load by the control unit 5.

また、操作ボタン9をONにした後に、運転者がハンドルを操作してしまった場合、ディスプレイ4に対して車両輪郭LAは、ハンドルを操作する前の操舵角情報に基づく輪郭を表示させ、後退予測軌跡1a、1bは、ハンドルを操作した後の操舵角状態に基づく軌跡を表示させるようにしてもよい。このように、後退予測軌跡1a、1bのみハンドルの操舵状態に応じて描画し直すことによって、後退予測軌跡のみ左右にずれることとなるので、運転者はハンドルが動いてしまったことを容易に判断することができる。   In addition, when the driver operates the steering wheel after turning on the operation button 9, the vehicle contour LA displays the contour based on the steering angle information before operating the steering wheel on the display 4, and moves backward. As the predicted trajectories 1a and 1b, trajectories based on the steering angle state after the steering wheel is operated may be displayed. Thus, by redrawing only the predicted backward trajectories 1a and 1b according to the steering state of the steering wheel, only the predicted backward trajectory will be shifted to the left and right, so the driver can easily determine that the steering wheel has moved. can do.

さらに、実施例2においては、車両が4m後退した場合に、ディスプレイ4に対して「中立に」と示されたアイコン画像28を表示させ、スピーカー22より「ハンドルを中立位置にして下さい」という音声案内を行うこととしたが、4m後退したと同時に、車両が4m停車して車両輪郭LAと実際の車両の停車位置とが一致したことを示すアイコン画像(例えば、「一致しました」との表示画像)や音声案内を行うようにしてもよい。このようなアイコン表示および音声案内を行うことのよって、運転者に現在の車両の状態がディスプレイ4に表示されていた車両輪郭LAの位置と一致したことを容易に認識させることが可能となる。   Further, in the second embodiment, when the vehicle moves backward by 4 m, an icon image 28 indicating “neutral” is displayed on the display 4, and a voice “Please set the handle to the neutral position” from the speaker 22 is displayed. An icon image (for example, “Matched” is displayed) indicating that the vehicle has stopped for 4 m and the vehicle contour LA has been matched with the actual vehicle stop position at the same time that the vehicle has moved backward by 4 m. Image) and voice guidance may be performed. By performing such icon display and voice guidance, it becomes possible for the driver to easily recognize that the current vehicle state matches the position of the vehicle contour LA displayed on the display 4.

また、実施例2において車両後退時に音声案内を行う場合について説明を行ったが、後退運転操作に慣れた運転者にとっては、音声案内を行わない方が好ましい場合もあり得る。このため、必要に応じて、音声案内の音量および音声案内回数等を低減させる構成としてもよく、さらに運転者によって、音声案内やアイコン表示の有無を設定できるようにしてもよい。また、ディスプレイ4に表示されるアイコンのデザイン表示も図9、図10に示すものに限定されるものではなく、他のデザインであってもよい。   Moreover, although the case where the voice guidance is performed when the vehicle is reversing in the second embodiment has been described, it may be preferable for the driver accustomed to the reverse driving operation not to perform the voice guidance. For this reason, it is good also as a structure which reduces the volume of voice guidance, the frequency | count of voice guidance, etc. as needed, and also may enable it to set the presence or absence of voice guidance and icon display by a driver | operator. Further, the design display of the icon displayed on the display 4 is not limited to that shown in FIGS. 9 and 10, and may be another design.

さらに、実施例2においてアイコン情報を表示制御部3が記憶することとしたが、アイコン情報は必ずしも表示制御部3が記憶しておく必要はなく、制御部5がアイコン情報を記憶し、必要に応じてアイコン情報を表示制御部3に送出する構成としてもよい。また、実施例2において音声情報を音声制御部21が記憶することとしたが、音声情報は必ずしも音声制御手段21が記憶しておく必要はなく、制御部5が音声情報を記憶し、必要に応じて音声情報を音声制御部21に送出する構成としてもよい。   Furthermore, in the second embodiment, the display control unit 3 stores the icon information. However, the display control unit 3 does not necessarily need to store the icon information, and the control unit 5 stores the icon information. Accordingly, the icon information may be sent to the display control unit 3. In the second embodiment, the voice control unit 21 stores the voice information. However, the voice information does not necessarily have to be stored by the voice control unit 21, and the control unit 5 stores the voice information. Accordingly, the voice information may be sent to the voice control unit 21.

また、本発明に係る車両後退運転支援装置は、車庫入れ駐車を行う場合のみでなく、縦列駐車を行う場合においても使用することが可能である。   Moreover, the vehicle reverse driving support device according to the present invention can be used not only when parking in a garage but also when performing parallel parking.

実施例1に係る車両後退運転支援装置の概略構成を示したブロック図である。1 is a block diagram illustrating a schematic configuration of a vehicle reverse driving support device according to a first embodiment. 実施例1において、シフトレバーをリバース位置に操作したときにディスプレイに表示される画像を示した図である。In Example 1, it is the figure which showed the image displayed on a display, when operating a shift lever to a reverse position. 実施例1において、操作ボタンをONしたときにディスプレイに表示される画像を示した図である。In Example 1, it is the figure which showed the image displayed on a display, when an operation button is turned ON. 実施例1において、操作ボタンをONした後であって車両を後退させたときにディスプレイに表示される画像を示した図である。In Example 1, it is the figure which showed the image displayed on a display, after turning on an operation button and reversing a vehicle. 実施例1における制御部による車両後退運転支援処理を示したフローチャートである。3 is a flowchart illustrating a vehicle reverse driving support process performed by a control unit according to the first embodiment. 制御部による車両後退運転支援処理を示した他のフローチャートである。It is the other flowchart which showed the vehicle reverse driving assistance process by a control part. 実施例2に係る車両後退運転支援装置の概略構成を示したブロック図である。It is the block diagram which showed schematic structure of the vehicle reverse driving assistance device which concerns on Example 2. FIG. 実施例2における制御部による車両後退運転支援処理を示したフローチャートである。10 is a flowchart illustrating a vehicle reverse driving support process by a control unit according to a second embodiment. 実施例2において、操作ボタンをONしたときにディスプレイに表示される画像を示した図である。In Example 2, it is the figure which showed the image displayed on a display, when an operation button is turned ON. 実施例2において、操作ボタンをONした後であって車両が4m後退したときにディスプレイに表示される画像を示した図である。In Example 2, it is the figure which showed the image displayed on a display, after turning on an operation button and a vehicle reverse | retreats 4m.

符号の説明Explanation of symbols

1、20 …車両後退運転支援装置
2 …カメラ(撮像手段)
2a …カメラ本体部
2b …カメラ駆動部
3 …表示制御部(表示制御手段)
4 …ディスプレイ(表示手段)
5 …制御部(後退軌跡算出手段、車両状態算出手段)
6 …ハンドル操舵角検出部(操舵角検出手段)
7 …走行距離検出部(走行距離検出手段)
8 …リバース検出部
9 …操作ボタン
10 …停車枠
21 …音声制御部(音声出力手段)
22 …スピーカー(音声出力手段)
27、28 …アイコン画像
LA …車両輪郭
la、lb …後退予測軌跡
DESCRIPTION OF SYMBOLS 1,20 ... Vehicle reverse driving assistance apparatus 2 ... Camera (imaging means)
2a ... camera body 2b ... camera drive 3 ... display controller (display control means)
4 ... Display (display means)
5: Control unit (reverse trajectory calculation means, vehicle state calculation means)
6 ... Steering wheel steering angle detector (steering angle detector)
7: Travel distance detector (travel distance detector)
8 ... Reverse detection unit 9 ... Operation button 10 ... Stop frame 21 ... Audio control unit (audio output means)
22 ... Speaker (Audio output means)
27, 28 ... Icon image LA ... Vehicle contour la, lb ... Backward prediction trajectory

Claims (7)

車両後方を撮像する撮像手段と、
該撮像手段により撮像された映像を表示する表示手段と、
ハンドルの操舵角を検出する操舵角検出手段と、
該操舵角検出手段により検出された操舵角に基づいて車両の左右後端点における後退予測軌跡を算出する後退軌跡算出手段と、
前記車両が所定距離後方に後退したときの車両の輪郭情報を、前記後退軌跡算出手段により算出された前記後退予測軌跡の接線方向と前記車両の全長データとに基づいて算出する車両状態算出手段と、
前記撮像手段により撮像された映像に対して、前記後退軌跡算出手段により算出された後退予測軌跡と前記車両状態算出手段により算出された車両の輪郭とを重畳描画させて、前記表示手段に表示させる表示制御手段と
を備えることを特徴とする車両後退運転支援装置。
Imaging means for imaging the rear of the vehicle;
Display means for displaying the video imaged by the imaging means;
Steering angle detection means for detecting the steering angle of the steering wheel;
A backward trajectory calculating means for calculating a predicted backward trajectory at the left and right rear end points of the vehicle based on the steering angle detected by the steering angle detecting means;
Vehicle state calculating means for calculating contour information of the vehicle when the vehicle moves backward a predetermined distance based on a tangent direction of the predicted backward trajectory calculated by the backward trajectory calculating means and total length data of the vehicle; ,
On the video imaged by the imaging means, the backward prediction trajectory calculated by the reverse trajectory calculation means and the outline of the vehicle calculated by the vehicle state calculation means are superimposed and displayed on the display means. A vehicle reverse driving support device comprising: a display control unit.
前記車両の走行距離を検出する走行距離検出手段を備え、
前記後退軌跡算出手段は、前記走行距離検出手段により検出された走行距離に応じて前記後退予測軌跡を算出し、
前記車両状態算出手段は、前記走行距離検出手段により検出された走行距離に応じて前記所定距離を変更して前記輪郭情報を算出し、
前記表示制御手段は、前記走行距離に応じて算出された前記後退予測軌跡と前記車両の輪郭とを前記撮像手段により撮像された映像に対して重畳描画する
ことを特徴とする請求項1に記載の車両後退運転支援装置。
A travel distance detecting means for detecting the travel distance of the vehicle;
The backward trajectory calculation means calculates the backward prediction trajectory according to the travel distance detected by the travel distance detection means,
The vehicle state calculation means calculates the contour information by changing the predetermined distance according to the travel distance detected by the travel distance detection means,
The display control means superimposes and draws the predicted backward trajectory calculated according to the travel distance and the outline of the vehicle on the image captured by the imaging means. Vehicle backward driving support device.
前記後退軌跡算出手段は、前記後退予測軌跡が破線又は鎖線として前記表示手段に表示され、前記破線又は前記鎖線の実線部が前記走行距離検出手段により検出された走行距離に応じて前記後退予測軌跡の長さ方向へ移動表示されるように前記後退予測軌跡を算出することを特徴とする請求項2に記載の車両後退運転支援装置。   The backward trajectory calculating means displays the backward predicted trajectory as a broken line or a chain line on the display means, and the solid line part of the broken line or the chain line corresponds to the backward predicted trajectory according to the travel distance detected by the travel distance detecting means. The vehicle backward driving support device according to claim 2, wherein the predicted backward traveling locus is calculated so as to be moved and displayed in a length direction of the vehicle. 前記表示制御手段は、前記車両が前記所定距離だけ後退するまで、前記ハンドルの操舵角を維持し続ける旨の表示を前記表示手段に表示させることを特徴とする請求項1または請求項3に記載の車両後退運転支援装置。   4. The display control unit according to claim 1, wherein the display control unit causes the display unit to display a display indicating that the steering angle of the steering wheel is maintained until the vehicle moves backward by the predetermined distance. Vehicle backward driving support device. 前記表示制御手段は、前記車両が前記所定距離だけ後退した場合に、前記ハンドルを中立位置に戻す旨の表示を前記表示手段に表示させることを特徴とする請求項1ないし請求項4のいずれか1項に記載の車両後退運転支援装置。   5. The display control unit according to claim 1, wherein the display unit displays a display to the effect that the handle is returned to the neutral position when the vehicle has moved back by the predetermined distance. The vehicle reverse driving support device according to claim 1. 運転者に対して出力音を出力することにより注意を促す音声出力手段を備え、
該音声出力手段は、前記車両が前記所定距離だけ後退するまで、前記ハンドルの操舵角を維持し続ける旨の出力音を出力すること
を特徴とする請求項1ないし請求項5のいずれか1項に記載の車両後退運転支援装置。
Provide voice output means to alert the driver by outputting an output sound,
6. The sound output means outputs an output sound indicating that the steering angle of the steering wheel is maintained until the vehicle moves backward by the predetermined distance. The vehicle reverse driving support device described in 1.
運転者に対して出力音を出力することにより注意を促す音声出力手段を備え、
該音声出力手段は、前記車両が前記所定距離だけ後退した場合に、前記ハンドルを中立位置に戻す旨の出力音を出力すること
を特徴とする請求項1ないし請求項5のいずれか1項に記載の車両後退運転支援装置。
Provide voice output means to alert the driver by outputting an output sound,
The sound output means outputs an output sound for returning the handle to a neutral position when the vehicle moves backward by the predetermined distance. The vehicle reverse driving assist device according to the description.
JP2006049064A 2005-09-27 2006-02-24 Vehicular reverse operation assisting device Pending JP2007118922A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006049064A JP2007118922A (en) 2005-09-27 2006-02-24 Vehicular reverse operation assisting device
PCT/JP2006/312315 WO2007037049A1 (en) 2005-09-27 2006-06-20 Reverse operation assisting device of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005279847 2005-09-27
JP2006049064A JP2007118922A (en) 2005-09-27 2006-02-24 Vehicular reverse operation assisting device

Publications (1)

Publication Number Publication Date
JP2007118922A true JP2007118922A (en) 2007-05-17

Family

ID=37899485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006049064A Pending JP2007118922A (en) 2005-09-27 2006-02-24 Vehicular reverse operation assisting device

Country Status (2)

Country Link
JP (1) JP2007118922A (en)
WO (1) WO2007037049A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009154654A (en) * 2007-12-26 2009-07-16 Nissan Motor Co Ltd Vehicular parking assistance device and image display method
JP2010034645A (en) * 2008-07-25 2010-02-12 Nissan Motor Co Ltd Parking assistance apparatus, and parking assistance method
JP2011148369A (en) * 2010-01-20 2011-08-04 Denso Corp Driving support device
JP2011245970A (en) * 2010-05-26 2011-12-08 Aisin Seiki Co Ltd Parking assist apparatus
JP2012030796A (en) * 2011-11-14 2012-02-16 Nissan Motor Co Ltd Vehicle parking assistance system and image display method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572379A (en) * 2010-12-21 2012-07-11 同致电子科技(厦门)有限公司 Dynamic trajectory rear camera displaying accessory system and method
CN112272282B (en) * 2020-09-15 2022-08-12 武汉凡鱼科技有限公司 Method, device and equipment for generating backing auxiliary line and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6414700A (en) * 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
JPH11157404A (en) * 1997-11-26 1999-06-15 Toyota Motor Corp Parking support device
JP2002036991A (en) * 2000-07-27 2002-02-06 Honda Motor Co Ltd Parking support device
JP2003072495A (en) * 2001-09-06 2003-03-12 Yazaki Corp Parking support device and parking support method
JP2003104149A (en) * 2001-09-27 2003-04-09 Equos Research Co Ltd Parking support device
JP2004203365A (en) * 2002-11-01 2004-07-22 Yazaki Corp Parking supporting device
JP2005186758A (en) * 2003-12-25 2005-07-14 Equos Research Co Ltd Parking assist device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3498582B2 (en) * 1998-08-26 2004-02-16 トヨタ自動車株式会社 Parking assistance device
JP2002362270A (en) * 2001-06-11 2002-12-18 Matsushita Electric Ind Co Ltd Driving support device
JP2003246248A (en) * 2002-02-21 2003-09-02 Mitsubishi Motors Corp Parking-support apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6414700A (en) * 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
JPH11157404A (en) * 1997-11-26 1999-06-15 Toyota Motor Corp Parking support device
JP2002036991A (en) * 2000-07-27 2002-02-06 Honda Motor Co Ltd Parking support device
JP2003072495A (en) * 2001-09-06 2003-03-12 Yazaki Corp Parking support device and parking support method
JP2003104149A (en) * 2001-09-27 2003-04-09 Equos Research Co Ltd Parking support device
JP2004203365A (en) * 2002-11-01 2004-07-22 Yazaki Corp Parking supporting device
JP2005186758A (en) * 2003-12-25 2005-07-14 Equos Research Co Ltd Parking assist device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009154654A (en) * 2007-12-26 2009-07-16 Nissan Motor Co Ltd Vehicular parking assistance device and image display method
US8498770B2 (en) 2007-12-26 2013-07-30 Nissan Motor Co., Ltd. Vehicle parking assist system and method
JP2010034645A (en) * 2008-07-25 2010-02-12 Nissan Motor Co Ltd Parking assistance apparatus, and parking assistance method
JP4661917B2 (en) * 2008-07-25 2011-03-30 日産自動車株式会社 Parking assistance device and parking assistance method
US8319614B2 (en) 2008-07-25 2012-11-27 Nissan Motor Co., Ltd. Parking assistance apparatus and parking assistance method
JP2011148369A (en) * 2010-01-20 2011-08-04 Denso Corp Driving support device
JP2011245970A (en) * 2010-05-26 2011-12-08 Aisin Seiki Co Ltd Parking assist apparatus
JP2012030796A (en) * 2011-11-14 2012-02-16 Nissan Motor Co Ltd Vehicle parking assistance system and image display method

Also Published As

Publication number Publication date
WO2007037049A1 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
JP5187369B2 (en) Reverse parking assist device for vehicle and program for reverse parking assist device
US6587760B2 (en) Motor vehicle parking support unit and method thereof
JP5182137B2 (en) Vehicle periphery display device
JP2003104149A (en) Parking support device
US20020198634A1 (en) Parking assisting device
JP2007116377A (en) Parking assist method and parking assist apparatus
JP5380926B2 (en) Parking assistance device and parking assistance method
JP2007118922A (en) Vehicular reverse operation assisting device
JP5914114B2 (en) Parking assistance device and parking assistance method
JP5446139B2 (en) Parking assistance device and parking assistance method
JP2013176024A (en) Image processing apparatus, image processing method, and image display system
JP5380994B2 (en) Parking assistance device and parking assistance method
JP2007090939A (en) Parking support device
JP2009083680A (en) Parking assistance device and parking assistance method
JP5067169B2 (en) Vehicle parking assistance apparatus and image display method
JP2008037320A (en) Parking assistant device, parking assistant method and parking assistant program
JP4769631B2 (en) Vehicle driving support device and vehicle driving support method
JP4967604B2 (en) Parking assistance system
JP2007091047A (en) Vehicle parking assisting device
KR20150062277A (en) Apparatus and Method for Assisting Parking
JP4977482B2 (en) Image providing apparatus, vehicle, and image providing method
JP2005343417A (en) Parking assisting device
JP2007091046A (en) Vehicle parking assisting device
CN107791950B (en) Auxiliary device for delivery
JP5075674B2 (en) Parking assistance device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090512