JP2009251860A - Parking support device - Google Patents

Parking support device Download PDF

Info

Publication number
JP2009251860A
JP2009251860A JP2008098019A JP2008098019A JP2009251860A JP 2009251860 A JP2009251860 A JP 2009251860A JP 2008098019 A JP2008098019 A JP 2008098019A JP 2008098019 A JP2008098019 A JP 2008098019A JP 2009251860 A JP2009251860 A JP 2009251860A
Authority
JP
Japan
Prior art keywords
parking
duration
parking area
integration
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008098019A
Other languages
Japanese (ja)
Other versions
JP4952637B2 (en
Inventor
Shigeyasu Uozumi
重康 魚住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008098019A priority Critical patent/JP4952637B2/en
Publication of JP2009251860A publication Critical patent/JP2009251860A/en
Application granted granted Critical
Publication of JP4952637B2 publication Critical patent/JP4952637B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a parking support device for precisely estimating a parking area intended by a driver. <P>SOLUTION: A parking support device is provided with: an imaging means for imaging a driver; a direction detection means for detecting the direction of at least one of the directions of the face and the direction of the line of sight of the driver; a non-linear state detection means for detecting such a non-linear state that a steering angle is larger than a prescribed value; a duration integration means for integrating a duration in which the driver visually observes a parking area for each parking area; and a parking support means for determining the parking area whose duration is the longest or the parking area whose duration exceeds a prescribed time as a target parking area, and for supporting parking to the target parking area. The duration integration means stops or resets integration processing of the duration when the non-linear state is detected by the non-linear state detection means. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、駐車を支援する駐車支援装置に関する。   The present invention relates to a parking support apparatus that supports parking.

従来から、運転者の顔の向き及び/又は視線の向きに関する向き情報に基づいて、運転者が駐車を意図する駐車空間を推定し、推定した駐車空間に基づいて、駐車開始位置へと至る前進段階での支援や、目標駐車位置の設定段階での支援を行う駐車支援装置が知られている(例えば、特許文献1参照)。
特開2007−253819号公報
Conventionally, the driver estimates the parking space intended for parking based on the orientation information regarding the driver's face orientation and / or gaze direction, and advances to the parking start position based on the estimated parking space. A parking assistance device that performs assistance at a stage and assistance at a stage of setting a target parking position is known (see, for example, Patent Document 1).
JP 2007-253819 A

ところで、運転者の顔の向き及び/又は視線の向きは、上記の特許文献1に記載されるように、運転者の意図する駐車エリアを推定するための有用な情報である。しかしながら、運転者は、一般的に、意図する駐車エリアを常時目視しているわけではないので、どのタイミングで検出された顔の向き及び/又は視線の向きを推定に用いるかを適切に決定することが、推定精度を高める上で肝要となる。   Incidentally, the direction of the driver's face and / or the direction of the line of sight is useful information for estimating a parking area intended by the driver, as described in Patent Document 1 above. However, since the driver generally does not always look at the intended parking area, the driver appropriately determines at which timing the detected face direction and / or gaze direction is used for estimation. This is important for improving the estimation accuracy.

そこで、本発明は、適切な条件で選別された顔の向き及び/又は視線の向き情報を用いることで、運転者の意図する駐車エリアを精度良く推定することができる駐車支援装置の提供を目的とする。   Therefore, the present invention aims to provide a parking assistance device that can accurately estimate a parking area intended by a driver by using face orientation and / or gaze orientation information selected under appropriate conditions. And

上記目的を達成するため、第1の発明は、駐車を支援する駐車支援装置において、
運転者を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、運転者の顔の向き及び視線の向きの少なくともいずれか一方の向きを検出する向き検出手段と、
ステアリングの操舵角の検出結果に基づいて操舵角が所定値より大きい非直進状態を検出する非直進状態検出手段と、
前記向き検出手段の検出結果に基づいて、駐車エリアを運転者が目視する継続時間を駐車エリア毎に積算する継続時間積算手段と、
前記継続時間積算手段の積算結果に基づいて、継続時間が最も長い駐車エリア又は継続時間が所定時間を超えた駐車エリアを、目標駐車エリアと決定して、該目標駐車エリアに対する駐車を支援する駐車支援手段とを備え、
前記継続時間積算手段は、前記非直進状態検出手段により非直進状態が検出された場合に、前記継続時間の積算処理を停止又はリセットすることを特徴とする。
In order to achieve the above object, a first invention provides a parking assistance device for assisting parking,
Imaging means for imaging the driver;
A direction detection unit that performs image processing on a captured image of the imaging unit and detects at least one of the direction of the driver's face and the direction of the line of sight;
Non-straight running state detection means for detecting a non-straight running state in which the steering angle is greater than a predetermined value based on the detection result of the steering angle of the steering;
Based on the detection result of the orientation detection means, duration integration means for integrating the duration for which the driver visually observes the parking area for each parking area;
Parking that assists parking in the target parking area by determining a parking area having the longest duration or a parking area having a duration exceeding a predetermined time based on the integration result of the duration integration means as a target parking area With support means,
The duration integration unit stops or resets the duration integration process when the non-straight running state is detected by the non-straight running state detection unit.

第2の発明は、第1の発明に係る駐車支援装置において、
車速の検出結果に基づいて車速が所定値より大きい非低速状態を検出する非低速状態検出手段を更に備え、
前記継続時間積算手段は、前記非低速状態検出手段により非低速状態が検出された場合にも、前記継続時間の積算処理を停止又はリセットすることを特徴とする。
2nd invention is the parking assistance apparatus which concerns on 1st invention,
A non-low speed state detecting means for detecting a non-low speed state in which the vehicle speed is greater than a predetermined value based on the detection result of the vehicle speed;
The duration integration unit stops or resets the duration integration process even when a non-low-speed state is detected by the non-low-speed state detection unit.

第3の発明は、第1又は2の発明に係る駐車支援装置において、
所定時間以上の停車状態を検出する停車状態検出手段を更に備え、
前記継続時間積算手段は、前記停車状態検出手段により前記停車状態が検出された場合にも、前記継続時間の積算処理を停止又はリセットすることを特徴とする。
3rd invention is the parking assistance apparatus which concerns on 1st or 2nd invention,
The vehicle further comprises stop state detection means for detecting a stop state for a predetermined time or more,
The duration integration unit stops or resets the integration process of the duration even when the stop state is detected by the stop state detection unit.

第4の発明は、駐車を支援する駐車支援装置において、
運転者を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、運転者の顔の向き及び視線の向きの少なくともいずれか一方の向きを検出する向き検出手段と、
ステアリングの操舵角の検出結果に基づいて操舵角が所定値より大きい非直進状態、車速の検出結果に基づいて車速が所定値より大きい非低速状態、及び、所定時間以上の停車状態のうちの少なくともいずれか1つの状態を検出する所定状態検出手段と、
前記向き検出手段の検出結果に基づいて、駐車エリアを運転者が目視する継続時間を駐車エリア毎に積算する継続時間積算手段と、
前記継続時間積算手段の積算結果に基づいて、継続時間が最も長い駐車エリア又は継続時間が所定時間を超えた駐車エリアを、目標駐車エリアと決定して、該目標駐車エリアに対する駐車を支援する駐車支援手段とを備え、
前記継続時間積算手段は、前記所定状態検出手段により前記少なくともいずれか1つの状態が検出された場合に、前記継続時間の積算処理を停止又はリセットすることを特徴とする。
4th invention is the parking assistance apparatus which assists parking,
Imaging means for imaging the driver;
A direction detection unit that performs image processing on a captured image of the imaging unit and detects at least one of the direction of the driver's face and the direction of the line of sight;
At least one of a non-straight traveling state in which the steering angle is greater than a predetermined value based on the detection result of the steering angle of the steering wheel, a non-low speed state in which the vehicle speed is greater than the predetermined value based on the detection result of the vehicle speed, Predetermined state detecting means for detecting any one state;
Based on the detection result of the orientation detection means, duration integration means for integrating the duration for which the driver visually observes the parking area for each parking area;
Parking that assists parking in the target parking area by determining a parking area having the longest duration or a parking area having a duration exceeding a predetermined time based on the integration result of the duration integration means as a target parking area With support means,
The duration integration unit stops or resets the integration process of the duration when the at least one state is detected by the predetermined state detection unit.

第5の発明は、駐車を支援する駐車支援装置において、
運転者を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、運転者の顔の向き及び視線の向きの少なくともいずれか一方の向きを検出する向き検出手段と、
ステアリングの操舵角の検出結果に基づいて操舵角が所定値以下の直進状態を検出する直進状態検出手段と、
前記向き検出手段の検出結果のうちの、前記直進状態検出手段により検出された直進状態における前記向き検出手段の検出結果のみを用いて、駐車エリアを運転者が目視する継続時間を駐車エリア毎に積算する継続時間積算手段と、
前記継続時間積算手段の積算結果に基づいて、継続時間が最も長い駐車エリア又は継続時間が所定時間を超えた駐車エリアを、目標駐車エリアと決定して、該目標駐車エリアに対する駐車を支援する駐車支援手段とを備えることを特徴とする。
5th invention is the parking assistance apparatus which assists parking,
Imaging means for imaging the driver;
A direction detection unit that performs image processing on a captured image of the imaging unit and detects at least one of the direction of the driver's face and the direction of the line of sight;
A straight traveling state detection means for detecting a straight traveling state in which the steering angle is equal to or less than a predetermined value based on the detection result of the steering angle of the steering;
Of the detection results of the direction detection means, the duration for which the driver visually observes the parking area is determined for each parking area using only the detection result of the direction detection means in the straight traveling state detected by the straight traveling state detection means. A duration integration means for integrating;
Parking that assists parking in the target parking area by determining a parking area having the longest duration or a parking area having a duration exceeding a predetermined time based on the integration result of the duration integration means as a target parking area And a support means.

第6の発明は、第5の発明に係る駐車支援装置において、
車速の検出結果に基づいて車速が所定値以下の低速状態を検出する低速状態検出手段を更に備え、
前記継続時間積算手段は、前記向き検出手段の検出結果のうちの、前記直進状態検出手段及び前記低速状態検出手段により検出された直進状態且つ低速状態における向き検出手段の検出結果のみを用いて、前記継続時間を積算することを特徴とする。
6th invention is the parking assistance apparatus which concerns on 5th invention,
A low speed state detecting means for detecting a low speed state in which the vehicle speed is equal to or lower than a predetermined value based on a detection result of the vehicle speed;
The duration integration means uses only the detection result of the direction detection means in the straight traveling state and the low speed state detected by the straight traveling state detection means and the low speed state detection means among the detection results of the direction detection means, The duration time is integrated.

第7の発明は、第5又は6の発明に係る駐車支援装置において、
所定時間以上の停車状態を検出する停車状態検出手段を更に備え、
前記継続時間積算手段は、前記停車状態検出手段により前記停車状態が検出された場合に、前記継続時間の積算処理を停止又はリセットすることを特徴とする。
7th invention is the parking assistance apparatus which concerns on 5th or 6th invention,
The vehicle further comprises stop state detection means for detecting a stop state for a predetermined time or more,
The duration integration unit stops or resets the duration integration process when the stop state is detected by the stop state detection unit.

第8の発明は、第1〜7のうちのいずれかの発明に係る駐車支援装置において、
前記駐車支援手段は、前記目標駐車エリア付近に車両が接近した場合に、ハザードランプを自動点灯させることを特徴とする。
The eighth invention is the parking assist device according to any one of the first to seventh inventions,
The parking assist means automatically turns on a hazard lamp when a vehicle approaches the target parking area.

第9の発明は、第8の発明に係る駐車支援装置において、
前記駐車支援手段は、前記目標駐車エリア付近に車両が接近し、且つ、後続車両が検出された場合に、ハザードランプを自動点灯させることを特徴とする。
A ninth invention is the parking assist apparatus according to the eighth invention,
The parking assist means automatically turns on a hazard lamp when a vehicle approaches the target parking area and a subsequent vehicle is detected.

本発明によれば、運転者の意図する駐車エリアを精度良く推定することができる駐車支援装置が得られる。   ADVANTAGE OF THE INVENTION According to this invention, the parking assistance apparatus which can estimate the parking area which a driver | operator intends accurately is obtained.

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図1は、本発明による駐車支援装置10の基本構成を示すシステム構成図である。図1に示す如く、駐車支援装置10は、電子制御ユニット12(以下、「駐車支援ECU12」と称す)を中心に構成されている。駐車支援ECU12は、図示しないバスを介して互いに接続されたCPU、ROM、及びRAM等からなるマイクロコンピュータとして構成されている。ROMには、CPUが実行するプログラムやデータが格納されている。   FIG. 1 is a system configuration diagram showing a basic configuration of a parking assistance apparatus 10 according to the present invention. As shown in FIG. 1, the parking assistance device 10 is configured around an electronic control unit 12 (hereinafter referred to as “parking assistance ECU 12”). Parking assistance ECU12 is comprised as a microcomputer which consists of CPU, ROM, RAM, etc. which were mutually connected via the bus | bath which is not shown in figure. The ROM stores programs and data executed by the CPU.

駐車支援ECU12には、CAN(Controller Area Network)や高速通信バス等の適切なバスを介して、ステアリングホイール(図示せず)の舵角を検出する舵角センサ16、及び、車両の速度を検出する車速センサ18が接続されている。車速センサ18は、各輪に配設され、車輪速に応じた周期でパルス信号を発生する車輪速センサであってよい。   The parking assist ECU 12 detects a steering angle sensor 16 that detects a steering angle of a steering wheel (not shown) and a vehicle speed via an appropriate bus such as a CAN (Controller Area Network) or a high-speed communication bus. A vehicle speed sensor 18 is connected. The vehicle speed sensor 18 may be a wheel speed sensor that is disposed on each wheel and generates a pulse signal at a cycle according to the wheel speed.

駐車支援ECU12には、顔向き監視カメラ74が接続される。顔向き監視カメラ74は、例えばカラー又は赤外線感応CCD(charge-coupled device)センサアレイを備えるカメラである。例えば運転者の前面(例えば顔部を前方から)を捕捉可能なように、車両の適切な箇所に設けられる。例えば、顔向き監視カメラ74は、車両のバックミラーや、インストルメントパネルのダッシュボードやステアリングコラム等の適切な箇所に設置される。顔向き監視カメラ74は、リアルタイムに運転者の画像を取得し、所定のフレーム周期(例えば30fps)のストリーム形式で駐車支援ECU12に供給するものであってよい。   A face orientation monitoring camera 74 is connected to the parking assist ECU 12. The face-facing monitoring camera 74 is, for example, a camera including a color or infrared-sensitive CCD (charge-coupled device) sensor array. For example, it is provided at an appropriate location of the vehicle so that the front surface of the driver (for example, the face portion from the front) can be captured. For example, the face-facing monitoring camera 74 is installed at an appropriate location such as a vehicle rearview mirror, a dashboard of an instrument panel, or a steering column. The face orientation monitoring camera 74 may acquire an image of the driver in real time and supply it to the parking assist ECU 12 in a stream format with a predetermined frame period (for example, 30 fps).

駐車支援ECU12には、前方LKA用カメラ20が接続される。前方LKA用カメラ20は、車両前方の所定角度領域における風景を撮影するように、車両前部の適切な箇所(例えばルームミラーの前側等)に搭載される。前方LKA用カメラ20は、顔向き監視カメラ74と同様、CCDやCMOS等を撮像素子に備えるカメラであってよい。前方LKA用カメラ20は、好ましくはレーンキープアシスト(LKA)で用いられる車線撮影用のカメラであるが、他のカメラであってもよい。前方LKA用カメラ20、リアルタイムに車両前方の環境画像を取得し、所定のフレーム周期(例えば30fps)のストリーム形式で駐車支援ECU12に供給するものであってよい。   The front LKA camera 20 is connected to the parking assist ECU 12. The front LKA camera 20 is mounted at an appropriate location (for example, the front side of a room mirror) at the front of the vehicle so as to capture a landscape in a predetermined angle region in front of the vehicle. The front LKA camera 20 may be a camera that includes a CCD, a CMOS, or the like in the imaging element, like the face orientation monitoring camera 74. The front LKA camera 20 is preferably a lane shooting camera used in Lane Keep Assist (LKA), but may be another camera. The front LKA camera 20 may acquire an environment image in front of the vehicle in real time and supply it to the parking assist ECU 12 in a stream format with a predetermined frame period (for example, 30 fps).

駐車支援ECU12には、その他、GPS受信機を含むナビゲーション装置32や、ハザードランプ22やスピーカ24が接続される。ハザードランプ22は、非常点滅灯であり、規定された場所に設置される。スピーカ24は、車室内の任意の場所に設けられてよい。   In addition, a navigation device 32 including a GPS receiver, a hazard lamp 22 and a speaker 24 are connected to the parking assist ECU 12. The hazard lamp 22 is an emergency flashing lamp and is installed at a specified location. The speaker 24 may be provided at any place in the vehicle interior.

次に、図2、図4及び図7のフローチャート及び図3、図5及び図6の説明図を参照して、本実施例の駐車支援ECU12により実現される主要処理の一例を説明する。   Next, an example of main processing realized by the parking assistance ECU 12 of the present embodiment will be described with reference to the flowcharts of FIGS. 2, 4, and 7 and the explanatory diagrams of FIGS. 3, 5, and 6.

図2は、本実施例の駐車支援ECU12により実現される駐車エリア候補決定処理の一例を示すフローチャートである。   FIG. 2 is a flowchart illustrating an example of a parking area candidate determination process realized by the parking assist ECU 12 according to the present embodiment.

ステップ100では、ナビゲーション装置32からの駐車場エリア情報(地図情報)が取得される。   In step 100, parking area information (map information) from the navigation device 32 is acquired.

ステップ102では、ナビゲーション装置32からの駐車場エリア情報及び自車位置情報に基づいて、現在の自車位置が地図データに規定された駐車場エリア内であるか否かが判定される。現在の自車位置が駐車場エリア内である場合には、ステップ104に進み、現在の自車位置が駐車場エリア外である場合には、ステップ100に戻る。   In step 102, based on the parking area information and the own vehicle position information from the navigation device 32, it is determined whether or not the current own vehicle position is within the parking area defined in the map data. If the current vehicle position is within the parking area, the process proceeds to step 104. If the current vehicle position is outside the parking area, the process returns to step 100.

ステップ104では、前方LKA用カメラ20の撮像画像が画像処理され、車両前方の駐車空きエリアの検出処理が実行される。駐車空きエリアの検出方法は、多種多様であり任意の適切な方法が採用されてもよい。例えば、駐車枠線(白線)を画像認識し、駐車枠線で囲まれたエリアに、障害物を表すエッジが存在しない場合には、当該エリアが駐車空きエリアとして検出されてもよい。また、駐車空きエリアの検出は、超音波センサを用いて実現されてもよい。また、駐車空きエリアの検出は、複数の駐車空きエリアの検出を伴ってよい。   In step 104, the captured image of the front LKA camera 20 is subjected to image processing, and a parking empty area detection process in front of the vehicle is executed. There are various parking space detection methods, and any appropriate method may be adopted. For example, if a parking frame line (white line) is image-recognized and there is no edge representing an obstacle in the area surrounded by the parking frame line, the area may be detected as a parking empty area. Moreover, the detection of a parking empty area may be implement | achieved using an ultrasonic sensor. Moreover, the detection of a parking vacant area may be accompanied by the detection of a plurality of parking vacant areas.

ステップ106では、上記ステップ104の処理の結果(前回周期以前の結果を含む)、車両前方に駐車空きエリアが検出されたか否かが判定される。駐車空きエリアが検出された場合には、ステップ108に進み、駐車空きエリアが検出されない場合には、ステップ104に戻る。   In step 106, it is determined whether or not a parking empty area is detected in front of the vehicle as a result of the processing in step 104 (including the result before the previous cycle). If a parking empty area is detected, the process proceeds to step 108. If a parking empty area is not detected, the process returns to step 104.

ステップ108では、検出された駐車空きエリアが駐車エリア候補B1,B2,B3,...,Bnとして決定され、駐車エリア候補を表す情報が生成される。この駐車エリア候補情報は、例えば検出された駐車空きエリアの位置情報に関連付けて生成されてよい。図3は、駐車場エリア内の状況の一例を示す平面図である。図3に示す例では、駐車エリア候補B1,B2,B3,B4が決定される。ステップ108の処理が終了すると、後述の図4の処理に進む。   In step 108, the detected parking vacant areas are designated as parking area candidates B1, B2, B3,. . . , Bn, and information representing parking area candidates is generated. This parking area candidate information may be generated in association with the position information of the detected parking empty area, for example. FIG. 3 is a plan view showing an example of a situation in the parking lot area. In the example shown in FIG. 3, parking area candidates B1, B2, B3, and B4 are determined. When the process of step 108 is completed, the process proceeds to the process of FIG.

図4は、本実施例の駐車支援ECU12により実現される目視方向評価処理の一例を示すフローチャートである。   FIG. 4 is a flowchart illustrating an example of the visual direction evaluation process realized by the parking assist ECU 12 of the present embodiment.

ステップ110では、リセット条件が成立したか否かが判定される。リセット条件は、以下の条件(1)乃至(3)のいずれかが成立した場合に、成立する。即ち、リセット条件は、OR条件として以下の条件(1)乃至(3)が用いられる。
条件(1)舵角センサ16の検出結果に基づいて、操舵角が所定値X[deg]より大きい非直進状態が検出されること。所定値Xは、略直進状態における操舵角の取りうる範囲の最大値に対応し、適合値であるが、例えば10度であってよい。
条件(2)車速センサ18の検出結果に基づいて、車速が所定値V1[km/h]より大きい非低速状態が検出されること。所定値V1は、低速状態における車速の取りうる範囲の最大値に対応し、適合値であるが、例えば10[km/h]であってよい。
条件(3)所定時間Ta[sec]以上の停車状態が検出されること。所定時間Taは、一瞬の停止が排除されるような適合値であるが、例えば3[sec]であってよい。尚、停車状態は、車速センサ18の検出結果に基づいて、車速が所定値V2(例えば、2[km/h])より小さい場合に検出されてもよい。
In step 110, it is determined whether a reset condition is satisfied. The reset condition is satisfied when any of the following conditions (1) to (3) is satisfied. That is, as the reset condition, the following conditions (1) to (3) are used as the OR condition.
Condition (1) Based on the detection result of the steering angle sensor 16, a non-straight running state in which the steering angle is greater than the predetermined value X [deg] is detected. The predetermined value X corresponds to the maximum value of the range that can be taken by the steering angle in the substantially straight traveling state, and is a suitable value, but may be, for example, 10 degrees.
Condition (2) Based on the detection result of the vehicle speed sensor 18, a non-low speed state in which the vehicle speed is greater than the predetermined value V1 [km / h] is detected. The predetermined value V1 corresponds to the maximum value of the range that the vehicle speed can take in the low speed state, and is a conforming value, but may be, for example, 10 [km / h].
Condition (3) A stop state of a predetermined time Ta [sec] or more is detected. The predetermined time Ta is a suitable value that eliminates an instantaneous stop, but may be 3 [sec], for example. The stop state may be detected when the vehicle speed is smaller than a predetermined value V2 (for example, 2 [km / h]) based on the detection result of the vehicle speed sensor 18.

本ステップ110において、リセット条件が成立した場合、即ち上記条件(1)乃至(3)のいずれかが成立した場合には、ステップ112に進み、リセット条件が成立しない場合、即ち上記条件(1)乃至(3)のいずれも成立しない場合には、ステップ114に進む。   In step 110, if the reset condition is satisfied, that is, if any of the conditions (1) to (3) is satisfied, the process proceeds to step 112, and if the reset condition is not satisfied, that is, the condition (1) If none of (3) to (3) is established, the process proceeds to step 114.

ステップ112では、現在積算中の顔向きの継続時間A1,A2,A3,...,An(初期値ゼロ)がリセットされ、図2のステップ104に戻る。即ち、顔向きの継続時間A1,A2,A3,...,Anが全てゼロにリセットされ、図2のステップ104以降の処理が再び最初から繰り返される。顔向きの継続時間A1,A2,A3,...,Anの詳細については、後述する。代替実施例では、本ステップ119において、現在積算中の顔向きの継続時間A1,A2,A3,...,Anをリセットせず保持した上で、今回周期の処理を終了して図2のステップ104に戻ることとしてもよい。即ち、現在積算中の顔向きの継続時間A1,A2,A3,...,Anの現在値を維持し、今回周期の積算を行わずに図2のステップ104に戻ることとしてもよい。   In step 112, durations A1, A2, A3,. . . , An (initial value zero) is reset, and the process returns to step 104 in FIG. That is, durations A1, A2, A3,. . . , An are all reset to zero, and the processing after step 104 in FIG. 2 is repeated again from the beginning. Face durations A1, A2, A3,. . . , An will be described later in detail. In an alternative embodiment, in this step 119, durations A1, A2, A3,. . . , An may be held without being reset, and the processing of the current cycle may be terminated and the process may return to step 104 in FIG. That is, the durations A1, A2, A3,. . . , An may be maintained, and the process may return to step 104 in FIG. 2 without performing integration of the current cycle.

ステップ114では、顔向き監視カメラ74の撮像画像に基づいて、運転者の顔向きが画像認識される。即ち、顔向き監視カメラ74により取得された画像に対する画像処理により、運転者の顔の向きが認識され、運転者の顔の向きに関する情報が生成される。例えば先ず、顔向き監視カメラ74により取得された画像から、顔の代表的なポイント(特徴点)を抽出する。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive Appearance Model(AAM)をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム(例えばSobelのエッジ検出アルゴリズム)を適用して、顔と顔の特徴の境界を抽出する。次いで、上述の如く抽出されるエッジ及び特徴点を用いて、図5に示すように、顔のパーツが分離され、顔のパーツの形状を抽出する。尚、図5は、顔の一部のみを代表して示しており、顔の眉と目の部分がパーツとして抽出された画像を示している。次いで、抽出した顔のパーツの位置又は向きと、予め記憶しておいた各姿勢における同パーツの位置又は向きとのマッチング度合いを比較することにより、現在の姿勢(顔の向き)を検出する。顔の向きは、例えば正規の姿勢であるときの顔の正面方向を基準とした水平面内の回転角度で表されてよい。   In step 114, the driver's face orientation is recognized based on the captured image of the face orientation monitoring camera 74. That is, by the image processing on the image acquired by the face orientation monitoring camera 74, the driver's face orientation is recognized, and information regarding the driver's face orientation is generated. For example, first, representative points (feature points) of the face are extracted from the image acquired by the face orientation monitoring camera 74. This feature extraction method may be any appropriate method, and for example, a technique based on Active Appearance Model (AAM) may be used. An appropriate edge detection algorithm (eg, Sobel's edge detection algorithm) is then applied to extract the boundary between the face and facial features. Next, using the edges and feature points extracted as described above, the facial parts are separated as shown in FIG. 5, and the shape of the facial parts is extracted. FIG. 5 shows only a part of the face as a representative, and shows an image in which the eyebrows and eyes are extracted as parts. Next, the current posture (face orientation) is detected by comparing the degree of matching between the position or orientation of the extracted facial part and the position or orientation of the same part stored in advance. The orientation of the face may be represented by, for example, a rotation angle in a horizontal plane with respect to the front direction of the face when in a normal posture.

尚、画像認識処理による顔向きの検出方法は、多種多様でありえ、本発明は、上述したものに限定されることは無い。例えば、顔のパーツとして眼球の輪郭線を抽出し、目の輪郭内における眼球の位置に基づいて、運転者の視線の向きを検出してもよい。運転者の視線の向き及び運転者の顔の向きは、それぞれ、運転者の意図を推定する上で有効なパラメータであるので、それぞれを単独で用いることも、それらを組み合わせて用いることも可能である。以下では、運転者の顔の向きを用いた駐車支援について説明するが、顔の向きに代えて又は加えて、運転者の視線の向きを用いることも可能である。   Note that there are various face orientation detection methods by image recognition processing, and the present invention is not limited to the above-described one. For example, the outline of the eyeball may be extracted as a facial part, and the direction of the driver's line of sight may be detected based on the position of the eyeball in the outline of the eye. The driver's gaze direction and driver's face direction are parameters that are effective in estimating the driver's intention, so they can be used alone or in combination. is there. Hereinafter, parking assistance using the direction of the driver's face will be described. However, instead of or in addition to the face direction, the direction of the driver's line of sight can also be used.

ステップ116では、上記ステップ114の検出結果に基づいて、顔の向きの継続分布から左右のどちらかのエリア方向が選択される。左方向への顔の向きの継続時間が、右方向への顔の向きの継続時間よりも長い場合には、左側のエリア方向が選択され、右方向への顔の向きの継続時間が、左方向への顔の向きの継続時間よりも長い場合には、右側のエリア方向が選択される。尚、本ステップ116の処理は、顔向きの継続分布を評価するために、所定時間に亘ったステップ114の検出結果(例えば今回周期を含む今回周期以前の所定周期分の検出結果)が用いられる。   In step 116, either the left or right area direction is selected from the continuous distribution of face orientations based on the detection result in step 114. If the duration of the face orientation to the left is longer than the duration of the face orientation to the right, the left area direction is selected and the duration of the face orientation to the right is If it is longer than the duration of the face orientation in the direction, the right area direction is selected. Note that the processing of step 116 uses the detection result of step 114 over a predetermined time (for example, the detection result for a predetermined period before the current period including the current period) in order to evaluate the continuous distribution in the face direction. .

ステップ118では、選択されたエリア方向における顔向き継続時間の積算処理が実行される。例えば、上記ステップ116で右側のエリア方向が選択された場合には、右側方向の約90度分の角度範囲を細分化した各角度範囲a1,a2,a3,...,anに関して、それぞれの顔向きの継続時間A1,A2,A3,...,Anが更新される。例えば、今回周期で検出された顔向きが角度範囲a1内である場合には、角度範囲a1に係る継続時間A1が所定時間(1周期分の時間)積算される。各角度範囲a1,a2,a3,...,anは、上述の如く検出された駐車エリア候補に関連付けて決定される。即ち、各角度範囲a1,a2,a3,...,anは、一定ではなく、車両の移動に伴って変化する車両位置と駐車エリア候補の位置関係に応じて変化される。従って、顔向きの継続時間A1,A2,A3,...,Anは、駐車エリア候補B1,B2,B3,...,Bnに対する顔向き継続時間に対応する。図6に示す例では、駐車エリア候補B1,B2,B3に関連付けられた各角度範囲a1,a2,a3が示されている。   In step 118, the process of integrating the face orientation duration in the selected area direction is executed. For example, when the right area direction is selected in step 116, the angle ranges a1, a2, a3,. . . , An, the durations A1, A2, A3,. . . , An are updated. For example, when the face orientation detected in the current cycle is within the angle range a1, the duration A1 related to the angle range a1 is integrated for a predetermined time (a time corresponding to one cycle). Each angle range a1, a2, a3,. . . , An are determined in association with the parking area candidates detected as described above. That is, each angular range a1, a2, a3,. . . , An are not constant, and change according to the positional relationship between the vehicle position and the parking area candidate that change as the vehicle moves. Accordingly, the durations A1, A2, A3,. . . , An are parking area candidates B1, B2, B3,. . . , Bn corresponding to the face orientation duration time. In the example shown in FIG. 6, each angle range a1, a2, a3 linked | related with parking area candidate B1, B2, B3 is shown.

尚、本ステップ118において、顔向きの継続時間の積算値は、各角度範囲に向けられた顔向きが検出された周期数や頻度等を用いて表現(評価)されてもよい。   In this step 118, the integrated value of the duration of the face direction may be expressed (evaluated) using the number of cycles, the frequency, or the like in which the face direction directed to each angle range is detected.

ステップ119では、上記ステップ118にて更新された顔向きの継続時間A1,A2,A3,...,Anの合計継続時間が所定時間を超えたか否かが判定される。所定時間は、運転者が駐車を意図する駐車エリアを目視する際の一般的な目視時間よりも長い時間であり、駐車を意図する駐車エリアを判別するのに有意な差が各顔向きの継続時間A1,A2,A3,...,An間に現れるような時間に対応する。合計継続時間が所定時間を超えた場合には、後述の図7の処理に進み、合計継続時間が所定時間以下の場合には、図2のステップ104に戻り、合計継続時間が所定時間を超えるまで図2のステップ104以降の処理が繰り返される。   In step 119, the durations A1, A2, A3,. . . , An, it is determined whether the total duration has exceeded a predetermined time. The predetermined time is longer than the general viewing time when the driver visually observes the parking area intended for parking, and there is a significant difference in continuation for each face to determine the parking area intended for parking. Time A1, A2, A3,. . . , An corresponds to the time that appears between An. When the total duration exceeds the predetermined time, the process proceeds to the process of FIG. 7 described later. When the total duration is equal to or shorter than the predetermined time, the process returns to step 104 of FIG. 2 and the total duration exceeds the predetermined time. The processes after step 104 in FIG.

図7は、本実施例の駐車支援ECU12により実現される目標駐車エリア決定処理及び駐車支援処理の一例を示すフローチャートである。図7に示す処理ルーチンは、上述の如く駐車エリア候補及び顔向き継続時間が決定・算出された場合に起動される。   FIG. 7 is a flowchart illustrating an example of the target parking area determination process and the parking support process realized by the parking support ECU 12 of the present embodiment. The processing routine shown in FIG. 7 is started when the parking area candidate and the face direction duration time are determined and calculated as described above.

ステップ120では、駐車エリア候補と顔向き継続時間とのマッチングが評価される。即ち、駐車エリア候補のうち、運転者の顔が向けられていた駐車エリア候補が存在するか否かが判定される。このとき、好ましくは、顔向き継続時間が併せて考慮される。即ち、駐車エリア候補のうち、所定時間Tk以上の顔向き継続時間が算出された駐車エリア候補が存在するか否かが判定される。所定時間Tkは、運転者が駐車を意図する駐車エリアを目視する際の一般的な目視時間に対応し、適合値であるが、例えば3秒であってよい。運転者の顔が向けられていた駐車エリア候補が存在する場合には、当該駐車エリア候補が目標駐車エリアとして決定され、ステップ126に進む。尚、運転者の顔が向けられていた駐車エリア候補が複数存在する場合には、顔向き継続時間が最も長い(優先順位の最も高い)駐車エリア候補が目標駐車エリアとして決定され、ステップ126に進む。他方、駐車エリア候補と顔向き継続時間とがマッチングしない場合には(例えば、所定時間Tk以上の継続時間で運転者の顔が向けられていた駐車エリア候補が存在しない場合には)、運転者が駐車する駐車エリアを決め兼ねていると判定して、ステップ122に進む。   In step 120, matching between the parking area candidate and the face direction duration is evaluated. That is, it is determined whether there is a parking area candidate to which the driver's face is directed among the parking area candidates. At this time, preferably, the face orientation duration time is also considered. That is, among the parking area candidates, it is determined whether or not there is a parking area candidate for which the face direction duration time equal to or longer than the predetermined time Tk is calculated. The predetermined time Tk corresponds to a general viewing time when the driver visually observes a parking area intended for parking, and is a suitable value, but may be, for example, 3 seconds. When there is a parking area candidate to which the driver's face is directed, the parking area candidate is determined as the target parking area, and the process proceeds to step 126. If there are a plurality of parking area candidates to which the driver's face is directed, the parking area candidate with the longest face direction continuation time (highest priority) is determined as the target parking area. move on. On the other hand, when the parking area candidate does not match the face duration time (for example, when there is no parking area candidate where the driver's face is directed for a duration time equal to or longer than the predetermined time Tk), the driver Determines that it has also decided the parking area for parking, and proceeds to step 122.

ステップ122では、例えばスピーカ24を介して、現在の自車位置に近い駐車空きエリアを音声により案内する。尚、音声案内に代えて若しくは加えて、ディスプレイ(図示せず)を介して映像案内が実行されてもよい。   In step 122, for example, an empty parking area close to the current vehicle position is guided by voice via the speaker 24, for example. Note that video guidance may be executed via a display (not shown) instead of or in addition to voice guidance.

ステップ124では、運転者の操作を受けて、ハザードランプ22を点灯させる。即ち、運転者がハザードスイッチをオンにした場合には、後方車両に駐車の意図を伝えるためのハザードランプ22が点灯される。或いは、自車が案内した駐車エリアに接近した際に、ハザードランプ22を自動的に点灯させることとしてもよい。   In step 124, the hazard lamp 22 is turned on in response to the driver's operation. That is, when the driver turns on the hazard switch, the hazard lamp 22 for informing the rear vehicle of the parking intention is turned on. Alternatively, the hazard lamp 22 may be automatically turned on when approaching a parking area guided by the own vehicle.

ステップ126では、マッチングした駐車エリア候補(即ち目標駐車エリア)に対して車両が誘導される。この車両の誘導は、スピーカ24を介して音声案内により実現されてもよいし、ディスプレイ(図示せず)を介して映像案内により実現されてもよい。或いは、自動操舵システム等を用いた自動誘導制御により実現されてもよい。   In step 126, the vehicle is guided to the matching parking area candidate (that is, the target parking area). This vehicle guidance may be realized by voice guidance through the speaker 24 or may be realized by video guidance through a display (not shown). Alternatively, it may be realized by automatic guidance control using an automatic steering system or the like.

ステップ128では、自車の位置情報と目標駐車エリアの位置情報との関係に基づいて、自車が目標駐車エリアに接近した際に、駐車する意思表示としてハザードランプ22が自動的に点灯される。例えば、自車が目標駐車エリアの手前所定距離内(例えば1m)に到達した時点で、ハザードランプ22が自動点灯される。これにより、ユーザは、ハザードスイッチをオンすることが不要となる。尚、このハザードランプ22の自動点灯は、例えば後方監視カメラ又はレーダーにより後続車両が検出された場合にのみ実現されることとしてもよい。   In step 128, based on the relationship between the position information of the own vehicle and the position information of the target parking area, the hazard lamp 22 is automatically turned on as an intention to park when the vehicle approaches the target parking area. . For example, the hazard lamp 22 is automatically turned on when the vehicle reaches a predetermined distance (for example, 1 m) before the target parking area. This eliminates the need for the user to turn on the hazard switch. It should be noted that the automatic lighting of the hazard lamp 22 may be realized only when a subsequent vehicle is detected by, for example, a rear monitoring camera or a radar.

以上説明した本実施例の駐車支援装置10によれば、とりわけ、以下のような優れた効果が奏される。   According to the parking assistance apparatus 10 of the present embodiment described above, the following excellent effects are achieved, among others.

本実施例によれば、上述の如く、操舵角が所定値Xより大きい非直進状態が検出された場合に、顔向きの継続時間の算出処理がリセット又は停止されるので、非直進状態における顔向きを考慮せずに、運転者の意図する駐車エリアを推定することができる。ここで、運転者は、典型的には、直進しながら所望の駐車エリアを探索する傾向があり、非直進状態は、典型的には、運転者が駐車場内で意図する駐車エリアが見つからずに他の場所(区画)に移動する際に形成されたり、意図する駐車エリアが見つかり当該駐車エリアに適した駐車開始位置へと向かうべくハンドルを切り始める際に形成される。従って、本実施例によれば、かかる非直進状態における顔向きを考慮せずに、運転者の意図する駐車エリアを推定することで、運転者の意図する駐車エリアを精度良く推定することができる。   According to the present embodiment, as described above, when the non-straight running state in which the steering angle is greater than the predetermined value X is detected, the calculation processing of the duration of the face direction is reset or stopped, so the face in the non-straight running state The parking area intended by the driver can be estimated without considering the direction. Here, the driver typically tends to search for a desired parking area while going straight, and the non-straight driving state typically means that the driver does not find the intended parking area in the parking lot. It is formed when moving to another place (section), or when the intended parking area is found and the steering wheel is turned to reach the parking start position suitable for the parking area. Therefore, according to the present embodiment, it is possible to accurately estimate the parking area intended by the driver by estimating the parking area intended by the driver without considering the face orientation in the non-straight running state. .

また、本実施例によれば、上述の如く、車速が所定値V1より大きい非低速状態が検出された場合に、顔向きの継続時間の算出処理がリセット又は停止されるので、非低速状態における顔向きを考慮せずに、運転者の意図する駐車エリアを推定することができる。ここで、運転者は、典型的には、低速状態で所望の駐車エリアを探索する傾向があり、非低速状態は、典型的には、運転者が駐車場内で意図する駐車エリアが見つからずに他の場所(区画)に移動する際に形成される。従って、本実施例によれば、かかる非低速状態における顔向きを考慮せずに、運転者の意図する駐車エリアを推定することで、運転者の意図する駐車エリアを精度良く推定することができる。   In addition, according to the present embodiment, as described above, when the non-low speed state in which the vehicle speed is greater than the predetermined value V1 is detected, the calculation process for the duration of the face direction is reset or stopped. The parking area intended by the driver can be estimated without considering the face orientation. Here, the driver typically tends to search for the desired parking area at low speed, and the non-low speed condition typically results in the driver not finding the intended parking area in the parking lot. It is formed when moving to another location (section). Therefore, according to the present embodiment, it is possible to accurately estimate the parking area intended by the driver by estimating the parking area intended by the driver without considering the face orientation in the non-low speed state. .

また、本実施例によれば、上述の如く、所定時間Ta以上の停車状態が検出された場合に、顔向きの継続時間の算出処理がリセット又は停止されるので、所定時間Ta以上の停車状態における顔向きを考慮せずに、運転者の意図する駐車エリアを推定することができる。ここで、運転者は、典型的には、低速状態で所望の駐車エリアを探索する傾向があり、所定時間Ta以上の停車状態は、典型的には、運転者が駐車場内で意図する駐車エリアが見つからずにどこに駐車すべきか迷っている際に形成される。かかる場合には、運転者は典型的には辺りをあちこち見回す傾向にある。従って、本実施例によれば、かかる所定時間Ta以上の停車状態における顔向きを考慮せずに、運転者の意図する駐車エリアを推定することで、運転者の意図する駐車エリアを精度良く推定することができる。   Further, according to the present embodiment, as described above, when the stop state of the predetermined time Ta or more is detected, the calculation process of the face duration duration is reset or stopped, so the stop state of the predetermined time Ta or more The parking area intended by the driver can be estimated without taking into account the face orientation. Here, the driver typically has a tendency to search for a desired parking area in a low-speed state, and a stopped state of a predetermined time Ta or more typically indicates a parking area that the driver intends in the parking lot. It is formed when you are not sure where to park without being found. In such a case, the driver typically tends to look around. Therefore, according to the present embodiment, the parking area intended by the driver is accurately estimated by estimating the parking area intended by the driver without considering the face orientation in the stopped state for the predetermined time Ta or longer. can do.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述した実施例においては、ステップ120で否定判定された場合に、ステップ122に進むが、ステップ122以降の処理を省略して、図2のステップ104の処理に戻ることとしてもよい。この場合、ステップ119の処理も省略し、ステップ118の処理の後にステップ120の処理が実行されるようにしてもよい。   For example, in the embodiment described above, if a negative determination is made in step 120, the process proceeds to step 122. However, the process after step 122 may be omitted and the process may return to step 104 in FIG. In this case, the process of step 119 may also be omitted, and the process of step 120 may be executed after the process of step 118.

本発明による駐車支援装置10の基本構成を示すシステム構成図である。1 is a system configuration diagram showing a basic configuration of a parking assistance device 10 according to the present invention. 本実施例の駐車支援ECU12により実現される駐車エリア候補決定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the parking area candidate determination process implement | achieved by parking assistance ECU12 of a present Example. 駐車場エリア内の状況の一例を示平面図である。It is a top view which shows an example of the condition in a parking lot area. 本実施例の駐車支援ECU12により実現される目視方向評価処理の一例を示すフローチャートである。It is a flowchart which shows an example of the visual direction evaluation process implement | achieved by parking assistance ECU12 of a present Example. 目視方向の画像認識方法の説明図であり、顔の眉と目の部分がパーツとして抽出された画像を示す図である。It is explanatory drawing of the image recognition method of a viewing direction, and is a figure which shows the image from which the eyebrows and eyes of the face were extracted as parts. 駐車場エリア内の駐車エリア候補B1,B2,B3,B4と各角度範囲a1,a2,a3,a4との対応関係を示す平面図である。It is a top view which shows the correspondence of parking area candidate B1, B2, B3, B4 in a parking lot area, and each angle range a1, a2, a3, a4. 本実施例の駐車支援ECU12により実現される目標駐車エリア決定処理及び駐車支援処理の一例を示すフローチャートである。It is a flowchart which shows an example of the target parking area determination process and parking assistance process which are implement | achieved by parking assistance ECU12 of a present Example.

符号の説明Explanation of symbols

10 駐車支援装置
12 駐車支援ECU
16 舵角センサ
18 車速センサ
20 前方LKA用カメラ
22 ハザードランプ
24 スピーカ
32 ナビゲーション装置
74 顔向き監視カメラ
10 Parking assistance device 12 Parking assistance ECU
16 Steering angle sensor 18 Vehicle speed sensor 20 Front LKA camera 22 Hazard lamp 24 Speaker 32 Navigation device 74 Face orientation monitoring camera

Claims (9)

駐車を支援する駐車支援装置において、
運転者を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、運転者の顔の向き及び視線の向きの少なくともいずれか一方の向きを検出する向き検出手段と、
ステアリングの操舵角の検出結果に基づいて操舵角が所定値より大きい非直進状態を検出する非直進状態検出手段と、
前記向き検出手段の検出結果に基づいて、駐車エリアを運転者が目視する継続時間を駐車エリア毎に積算する継続時間積算手段と、
前記継続時間積算手段の積算結果に基づいて、継続時間が最も長い駐車エリア又は継続時間が所定時間を超えた駐車エリアを、目標駐車エリアと決定して、該目標駐車エリアに対する駐車を支援する駐車支援手段とを備え、
前記継続時間積算手段は、前記非直進状態検出手段により非直進状態が検出された場合に、前記継続時間の積算処理を停止又はリセットすることを特徴とする、駐車支援装置。
In a parking assistance device that supports parking,
Imaging means for imaging the driver;
A direction detection unit that performs image processing on a captured image of the imaging unit and detects at least one of the direction of the driver's face and the direction of the line of sight;
Non-straight running state detection means for detecting a non-straight running state in which the steering angle is greater than a predetermined value based on the detection result of the steering angle of the steering;
Based on the detection result of the orientation detection means, duration integration means for integrating the duration for which the driver visually observes the parking area for each parking area;
Parking that assists parking in the target parking area by determining a parking area having the longest duration or a parking area having a duration exceeding a predetermined time based on the integration result of the duration integration means as a target parking area With support means,
The parking assistance device according to claim 1, wherein the duration integration unit stops or resets the integration process of the duration when a non-straight running state is detected by the non-straight running state detection unit.
車速の検出結果に基づいて車速が所定値より大きい非低速状態を検出する非低速状態検出手段を更に備え、
前記継続時間積算手段は、前記非低速状態検出手段により非低速状態が検出された場合にも、前記継続時間の積算処理を停止又はリセットする、請求項1に記載の駐車支援装置。
A non-low speed state detecting means for detecting a non-low speed state in which the vehicle speed is greater than a predetermined value based on the detection result of the vehicle speed;
The parking assistance device according to claim 1, wherein the duration integration unit stops or resets the integration process of the duration even when a non-low speed state is detected by the non-low speed state detection unit.
所定時間以上の停車状態を検出する停車状態検出手段を更に備え、
前記継続時間積算手段は、前記停車状態検出手段により前記停車状態が検出された場合にも、前記継続時間の積算処理を停止又はリセットする、請求項1又は2に記載の駐車支援装置。
The vehicle further comprises stop state detection means for detecting a stop state for a predetermined time or more,
The parking assistance device according to claim 1 or 2, wherein the duration integration unit stops or resets the duration integration processing even when the stop state is detected by the stop state detection unit.
駐車を支援する駐車支援装置において、
運転者を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、運転者の顔の向き及び視線の向きの少なくともいずれか一方の向きを検出する向き検出手段と、
ステアリングの操舵角の検出結果に基づいて操舵角が所定値より大きい非直進状態、車速の検出結果に基づいて車速が所定値より大きい非低速状態、及び、所定時間以上の停車状態のうちの少なくともいずれか1つの状態を検出する所定状態検出手段と、
前記向き検出手段の検出結果に基づいて、駐車エリアを運転者が目視する継続時間を駐車エリア毎に積算する継続時間積算手段と、
前記継続時間積算手段の積算結果に基づいて、継続時間が最も長い駐車エリア又は継続時間が所定時間を超えた駐車エリアを、目標駐車エリアと決定して、該目標駐車エリアに対する駐車を支援する駐車支援手段とを備え、
前記継続時間積算手段は、前記所定状態検出手段により前記少なくともいずれか1つの状態が検出された場合に、前記継続時間の積算処理を停止又はリセットすることを特徴とする、駐車支援装置。
In a parking assistance device that supports parking,
Imaging means for imaging the driver;
A direction detection unit that performs image processing on a captured image of the imaging unit and detects at least one of the direction of the driver's face and the direction of the line of sight;
At least one of a non-straight traveling state in which the steering angle is greater than a predetermined value based on the detection result of the steering angle of the steering wheel, a non-low speed state in which the vehicle speed is greater than the predetermined value based on the detection result of the vehicle speed, Predetermined state detecting means for detecting any one state;
Based on the detection result of the orientation detection means, duration integration means for integrating the duration for which the driver visually observes the parking area for each parking area;
Parking that assists parking in the target parking area by determining a parking area having the longest duration or a parking area having a duration exceeding a predetermined time based on the integration result of the duration integration means as a target parking area With support means,
The parking assistance device, wherein the duration integration unit stops or resets the integration processing of the duration when the at least one state is detected by the predetermined state detection unit.
駐車を支援する駐車支援装置において、
運転者を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、運転者の顔の向き及び視線の向きの少なくともいずれか一方の向きを検出する向き検出手段と、
ステアリングの操舵角の検出結果に基づいて操舵角が所定値以下の直進状態を検出する直進状態検出手段と、
前記向き検出手段の検出結果のうちの、前記直進状態検出手段により検出された直進状態における前記向き検出手段の検出結果のみを用いて、駐車エリアを運転者が目視する継続時間を駐車エリア毎に積算する継続時間積算手段と、
前記継続時間積算手段の積算結果に基づいて、継続時間が最も長い駐車エリア又は継続時間が所定時間を超えた駐車エリアを、目標駐車エリアと決定して、該目標駐車エリアに対する駐車を支援する駐車支援手段とを備えることを特徴とする、駐車支援装置。
In a parking assistance device that supports parking,
Imaging means for imaging the driver;
A direction detection unit that performs image processing on a captured image of the imaging unit and detects at least one of the direction of the driver's face and the direction of the line of sight;
A straight traveling state detection means for detecting a straight traveling state in which the steering angle is equal to or less than a predetermined value based on the detection result of the steering angle of the steering;
Of the detection results of the direction detection means, the duration for which the driver visually observes the parking area is determined for each parking area using only the detection result of the direction detection means in the straight traveling state detected by the straight traveling state detection means. A duration integration means for integrating;
Parking that assists parking in the target parking area by determining a parking area having the longest duration or a parking area having a duration exceeding a predetermined time based on the integration result of the duration integration means as a target parking area A parking support device comprising a support means.
車速の検出結果に基づいて車速が所定値以下の低速状態を検出する低速状態検出手段を更に備え、
前記継続時間積算手段は、前記向き検出手段の検出結果のうちの、前記直進状態検出手段及び前記低速状態検出手段により検出された直進状態且つ低速状態における向き検出手段の検出結果のみを用いて、前記継続時間を積算する、請求項5に記載の駐車支援装置。
A low speed state detecting means for detecting a low speed state in which the vehicle speed is equal to or lower than a predetermined value based on a detection result of the vehicle speed;
The duration integration means uses only the detection result of the direction detection means in the straight traveling state and the low speed state detected by the straight traveling state detection means and the low speed state detection means among the detection results of the direction detection means, The parking assistance device according to claim 5, wherein the duration time is integrated.
所定時間以上の停車状態を検出する停車状態検出手段を更に備え、
前記継続時間積算手段は、前記停車状態検出手段により前記停車状態が検出された場合に、前記継続時間の積算処理を停止又はリセットする、請求項5又は6に記載の駐車支援装置。
The vehicle further comprises stop state detection means for detecting a stop state for a predetermined time or more,
The parking assistance device according to claim 5 or 6, wherein the duration integration unit stops or resets the integration process of the duration when the stop state is detected by the stop state detection unit.
前記駐車支援手段は、前記目標駐車エリア付近に車両が接近した場合に、ハザードランプを自動点灯させる、請求項1〜7のうちのいずれか1項に記載の駐車支援装置。   The parking support device according to any one of claims 1 to 7, wherein the parking support means automatically turns on a hazard lamp when a vehicle approaches the target parking area. 前記駐車支援手段は、前記目標駐車エリア付近に車両が接近し、且つ、後続車両が検出された場合に、ハザードランプを自動点灯させる、請求項8に記載の駐車支援装置。   The parking support device according to claim 8, wherein the parking support means automatically turns on a hazard lamp when a vehicle approaches the vicinity of the target parking area and a subsequent vehicle is detected.
JP2008098019A 2008-04-04 2008-04-04 Parking assistance device Expired - Fee Related JP4952637B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008098019A JP4952637B2 (en) 2008-04-04 2008-04-04 Parking assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008098019A JP4952637B2 (en) 2008-04-04 2008-04-04 Parking assistance device

Publications (2)

Publication Number Publication Date
JP2009251860A true JP2009251860A (en) 2009-10-29
JP4952637B2 JP4952637B2 (en) 2012-06-13

Family

ID=41312522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008098019A Expired - Fee Related JP4952637B2 (en) 2008-04-04 2008-04-04 Parking assistance device

Country Status (1)

Country Link
JP (1) JP4952637B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882380A (en) * 2010-06-07 2010-11-10 上海市城市建设设计研究院 Parking lot navigation system based on face feature identification technique and navigation method thereof
JP2013116698A (en) * 2011-12-05 2013-06-13 Denso Corp Control system
JP2014205479A (en) * 2013-04-15 2014-10-30 現代自動車株式会社 Apparatus and method for parking support
WO2015186294A1 (en) * 2014-06-02 2015-12-10 株式会社デンソー Vehicle-mounted image-processing device
US9330572B2 (en) 2012-06-26 2016-05-03 Toyota Jidosha Kabushiki Kaisha Vehicle warning device
JP2018190065A (en) * 2017-04-28 2018-11-29 ダイハツ工業株式会社 Parking support device
JP2019196075A (en) * 2018-05-09 2019-11-14 株式会社デンソーテン Parking frame detection device and parking frame detection method
KR20220038879A (en) * 2020-09-21 2022-03-29 엔에이치엔 주식회사 Method and system for deep learning-based parking management
DE102021205530A1 (en) 2021-05-31 2022-12-01 Volkswagen Aktiengesellschaft Method for assisting in parking a motor vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003205808A (en) * 2002-01-11 2003-07-22 Toyota Motor Corp Parking support device
JP2005062912A (en) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd Vehicles controller
WO2007058325A1 (en) * 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha Parking assisting device and parking assisting method
JP2007253819A (en) * 2006-03-23 2007-10-04 Toyota Motor Corp Parking backup device
JP2007331481A (en) * 2006-06-13 2007-12-27 Jtekt Corp Wheel steering device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003205808A (en) * 2002-01-11 2003-07-22 Toyota Motor Corp Parking support device
JP2005062912A (en) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd Vehicles controller
WO2007058325A1 (en) * 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha Parking assisting device and parking assisting method
JP2007253819A (en) * 2006-03-23 2007-10-04 Toyota Motor Corp Parking backup device
JP2007331481A (en) * 2006-06-13 2007-12-27 Jtekt Corp Wheel steering device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882380A (en) * 2010-06-07 2010-11-10 上海市城市建设设计研究院 Parking lot navigation system based on face feature identification technique and navigation method thereof
JP2013116698A (en) * 2011-12-05 2013-06-13 Denso Corp Control system
US9330572B2 (en) 2012-06-26 2016-05-03 Toyota Jidosha Kabushiki Kaisha Vehicle warning device
JP2014205479A (en) * 2013-04-15 2014-10-30 現代自動車株式会社 Apparatus and method for parking support
WO2015186294A1 (en) * 2014-06-02 2015-12-10 株式会社デンソー Vehicle-mounted image-processing device
JP2015227139A (en) * 2014-06-02 2015-12-17 株式会社日本自動車部品総合研究所 On-vehicle image processing apparatus
JP2018190065A (en) * 2017-04-28 2018-11-29 ダイハツ工業株式会社 Parking support device
JP7059459B2 (en) 2017-04-28 2022-04-26 ダイハツ工業株式会社 Parking support device
JP2019196075A (en) * 2018-05-09 2019-11-14 株式会社デンソーテン Parking frame detection device and parking frame detection method
KR20220038879A (en) * 2020-09-21 2022-03-29 엔에이치엔 주식회사 Method and system for deep learning-based parking management
KR102448710B1 (en) 2020-09-21 2022-09-29 엔에이치엔클라우드 주식회사 Method and system for deep learning-based parking management
DE102021205530A1 (en) 2021-05-31 2022-12-01 Volkswagen Aktiengesellschaft Method for assisting in parking a motor vehicle

Also Published As

Publication number Publication date
JP4952637B2 (en) 2012-06-13

Similar Documents

Publication Publication Date Title
JP4952637B2 (en) Parking assistance device
JP4432930B2 (en) Parking assistance device and parking assistance method
JP6801787B2 (en) Parking support method and parking support device
KR101498976B1 (en) Parking asistance system and parking asistance method for vehicle
JP4530060B2 (en) Parking support apparatus and method
JP4638370B2 (en) Lane departure prevention device
JP4412380B2 (en) Driving support device, driving support method, and computer program
JP4428390B2 (en) Parking assistance device and parking assistance method
EP2660104B1 (en) Apparatus and method for displaying a blind spot
JP4021344B2 (en) Vehicle driving support device
JP6350145B2 (en) Face orientation detection device and vehicle warning system
JP2008143430A (en) Parking support device
JP2017037473A (en) Steering support device
JP2001187553A (en) Parking support system
JP2008285083A (en) Parking support device
JP2008250904A (en) Traffic lane division line information detecting device, travel traffic lane maintaining device, and traffic lane division line recognizing method
JP2006290051A (en) Parking assisting device and parking assisting method
GB2554427B (en) Method and device for detecting a trailer
JP2009294753A (en) Image processor and image processing method
JP2008296639A (en) Parking support device
JP2007253819A (en) Parking backup device
JP4595902B2 (en) Vehicle periphery image display system and vehicle periphery image display method
JP2009251761A (en) Driving support system
KR101601500B1 (en) System and Method for assisting vehicle driving for using smartphone
JP2010012838A (en) Parking assisting device and parking assisting method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

R151 Written notification of patent or utility model registration

Ref document number: 4952637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees