JP2005309797A - Warning device for pedestrian - Google Patents

Warning device for pedestrian Download PDF

Info

Publication number
JP2005309797A
JP2005309797A JP2004126300A JP2004126300A JP2005309797A JP 2005309797 A JP2005309797 A JP 2005309797A JP 2004126300 A JP2004126300 A JP 2004126300A JP 2004126300 A JP2004126300 A JP 2004126300A JP 2005309797 A JP2005309797 A JP 2005309797A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
warning
pedestrian
lt
vehicle
up
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004126300A
Other languages
Japanese (ja)
Inventor
Machiko Hiramatsu
Kinya Iwamoto
Masayuki Kaneda
Haruo Matsuo
欣也 岩本
真知子 平松
治夫 松尾
雅之 金田
Original Assignee
Nissan Motor Co Ltd
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To surely detect a pedestrian in a blind spot to a driver by adequately picking up the image of the blind spot and issue a warning. <P>SOLUTION: A warning device for a pedestrian detects the present position and traveling state of a vehicle, changes an image pickup range around the vehicle in accordance with the present position and the traveling state, processes chronological picked-up images, and detects a pedestrian approaching the vehicle, and then issues a warning. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、自車が歩行者と接触する可能性がある場合に警報を発する装置に関する。 The present invention relates to a device for issuing an alarm when there is a possibility that the own vehicle is in contact with a pedestrian.

運転者の死角となる方向が転回角度に応じて変化しても、死角方向に自動的にカメラを向けて死角方向を撮像し、死角方向の映像を車室内のモニターに表示して死角範囲に存在する歩行者や自転車をモニター画面上で確認できるようにした車両用周囲監視装置が知られている(例えば、特許文献1参照)。 Also the direction the blind spot of the driver is changed in response to the turning angle, the blind spot direction captured automatically toward the camera in the blind spot direction, the blind spot by displaying the image of the blind spot direction in the vehicle interior monitor the vehicle surrounding monitoring apparatus which can verify pedestrians and bicycles existing on the monitor screen is known (e.g., see Patent Document 1).

この出願の発明に関連する先行技術文献としては次のものがある。 The prior art documents related to the invention of this application are the following.
特開平05−238314号公報 JP 05-238314 discloses

しかしながら、上述した従来の車両用周囲監視装置では、見通しの悪い死角範囲の映像をモニターに表示するだけの構成であるため、モニター画像を見忘れると死角範囲に存在する歩行者や自転車を確認できないという問題がある。 However, in conventional surroundings monitoring apparatus for a vehicle described above, since a configuration in which only displays an image of poor dead range of sight to the monitor, you can not verify the pedestrians and bicycles existing in the blind spot forget viewed monitor image there is a problem in that.

車両の現在位置と走行状態とを検出し、現在位置と走行状態とに応じて車両周囲の撮像範囲を変え、撮像した時系列画像を処理して車両に接近する歩行者を検出し警報する。 Detecting a running state and the current position of the vehicle, changing the imaging range around the vehicle in accordance with the current position and the running state, and processes the time-series images obtained by imaging an alarm detects pedestrians approaching the vehicle.

本発明によれば、車両の現在位置や走行状態に応じて運転者の死角範囲が変化しても、撮像範囲を的確に運転者の死角範囲とすることができ、死角範囲に存在する歩行者を確実に検出して警報することができる。 According to the present invention, even after changing the blind spot of the driver in accordance with the current position and the running condition of the vehicle, it is possible to accurately driver's blind spot area of ​​the imaging range, pedestrians existing in the blind spot can be alarm reliably detect.

見通しの悪い交差点を通過するときに、カメラの撮像画像を処理して歩行者を検知し、接触する可能性がある場合に警報を行うようにした一実施の形態を説明する。 When passing through a bad intersection of sight, by processing the image captured by the camera to detect pedestrians, illustrating an embodiment in which to perform an alarm if there is a possibility of contact.

図1は一実施の形態の構成を示す。 Figure 1 shows the configuration of an embodiment. カメラ201は車両の左右前端の下部に取り付けられ、モーター204により向き(撮影レンズの光軸の方向)が可変である。 The camera 201 is attached to a lower portion of the right and left front end of the vehicle, (the direction of the optical axis of the taking lens) orientation by a motor 204 is variable. 図1では車両の右前端下部に設置されるカメラ201とモーター204のみを示し、車両の左前端下部に設置されるカメラとモーターについては図示を省略する。 Figure 1 shows the in only the camera 201 and the motor 204 installed at the right front end lower portion of the vehicle, not shown for the camera and motors installed on the left front end lower portion of the vehicle. 画像処理装置202はカメラ201で撮像した画像を処理して歩行者や自転車、あるいは車両を検出する。 The image processing apparatus 202 pedestrians and cyclists by processing an image captured by the camera 201, or detects a vehicle. ナビゲーション装置206は衛星航法や自立航法により車両の現在位置を検出する。 The navigation device 206 detects the current position of the vehicle by satellite navigation and autonomous navigation. モーター制御装置205はナビゲーション装置206からの現在位置情報に基づいてモーター204を駆動制御し、カメラ201の向きを変えて撮像範囲を変更する。 Motor controller 205 drives and controls the motor 204 based on the current position information from the navigation device 206, to change the imaging range by changing the orientation of the camera 201.

車速センサー207は車速を検出し、ターンシグナルスイッチ208はターンシグナルレバー(不図示)の操作方向に応じて右折信号または左折信号を出力する。 Vehicle speed sensor 207 detects the vehicle speed, turn signal switch 208 outputs a right turn signal or left signal according to the operation direction of the turn signal lever (not shown). ブレーキスイッチ209は、ブレーキペダルの踏み込み状態またはハンドブレーキの作動状態を検出する。 Brake switch 209 detects the operation state of depression state or hand brake of the brake pedal. 駐停止車両確認スイッチ211は、車両前方の進路上に駐停車している車両の陰に歩行者や自転車が存在するか否かを確認する場合に操作するスイッチである。 Parked vehicle is stopped confirmation switch 211 is a switch operated when the pedestrian or the bicycle behind the vehicle which is parked in the path ahead of the vehicle to check whether there. 運転者は、進路前方に駐停車している車両の陰から歩行者や自転車が飛び出すような不安を感じたときにこの駐停止車両確認スイッチ211を操作し、駐停車車両の陰に存在する歩行者や自転車を確認することができる。 The driver operates the parked vehicle is stopped confirmation switch 211 when you feel such anxiety as pedestrian and bicycle from behind the vehicle that has been parked in the path forward pops out, exists in the shadow of the parked vehicle walking it is possible to confirm a person or a bicycle.

制御装置203は不図示のCPUやメモリなどから構成され、後述する制御プログラムを実行して車速センサー207、ターンシグナルスイッチ208およびブレーキスイッチ209から車両の走行状態を入力するとともに、駐停止車両確認スイッチ211から運転者の駐停車車両の陰に存在する歩行者の確認要求を入力し、モーター制御装置205によりカメラ201の撮像範囲を変更するとともに、画像処理装置202からのカメラ画像の処理結果に基づいて自車の進路上に接近する歩行者や自転車を検知し、歩行者や自転車と接触するおそれがある場合は警告装置210により運転者に警告する。 The controller 203 is composed of a CPU and memory (not shown), a vehicle speed sensor 207 by executing the control programs that will be described later, inputs the running state of the vehicle from the turn signal switch 208 and a brake switch 209, parked vehicle stops confirmation switch exists behind the parked vehicle driver from 211 enter the pedestrian confirmation request, while changing the imaging range of the camera 201 by the motor controller 205, based on the processing result of the camera image from the image processing apparatus 202 Te detects pedestrians and bicycles approaching on the vehicle of course, if there is a risk of contact with a pedestrian and bicycle to warn the driver by a warning device 210.

図2〜図3は一実施の形態の歩行者警報プログラムを示すフローチャートである。 Figures 2-3 are flowcharts illustrating a pedestrian warning program of the embodiment. これらのフローチャートにより、自車の進路上に接近する歩行者と接触する危険性を判定する動作を説明する。 These flowcharts will be described operation of determining the risk of contact with a pedestrian approaching on the vehicle of course. 制御装置203は車両のイグニッションスイッチ(不図示)がオンされている間、この歩行者警報プログラムを繰り返し実行する。 The controller 203 while the ignition switch of the vehicle (not shown) is turned on, to repeat this pedestrian warning program.

ステップ301において交差点への接近フラグがONか否かを確認する。 Proximity flag to intersection checks whether ON at step 301. このプログラムの実行開始直後の初期状態においては、交差点への接近フラグはOFF状態であり、ステップ314へ進む。 In the initial state of the execution immediately after starting the program, close flag to the intersection is in the OFF state, the process proceeds to step 314. ステップ314ではナビゲーション装置206により交差点に近づいているか否かを確認する。 The navigation device 206 in step 314 checks whether approaching the intersection. 交差点に近づいていないと判定された場合はステップ401へ進み、モーター制御装置205を制御してモーター204によりカメラ201の向きを車両の前方にする。 If it is determined not approaching the intersection proceeds to step 401, and controls the motor control unit 205 to the orientation of the camera 201 by the motor 204 to the front of the vehicle.

図4はカメラの取り付け位置を示し、図5はカメラの撮像範囲を示す。 Figure 4 shows the mounting position of the camera, Figure 5 shows the imaging range of the camera. カメラ201は車両の右前端下部に取り付けられ、モーター204により向きを変えて車両前方の領域A、車両側方の領域Bおよび車両後側方の領域Cを撮像することができる。 The camera 201 is attached to the right front end lower portion of the vehicle, the vehicle in front of the area A in different directions by the motor 204, the region C in the region B and the vehicle rear side of the vehicle side can be imaged. なお、車両の左前端下部に取り付けられるカメラについても同様に、車両の前方、側方、後側方をそれぞれ撮像することができる。 Incidentally, similarly Camera attached to the left front end lower portion of the vehicle, it can be imaged in front of the vehicle, lateral, posterolateral, respectively. 初期状態におけるカメラ201の向きは車両の前方である。 Orientation of the camera 201 in the initial state is ahead of the vehicle. なお、夜間における歩行者や他車両の検知を容易にするために、図6に示すようにカメラの近傍に近赤外ランプを設置してもよい。 In order to facilitate the detection of pedestrians and other vehicles at night, it may be installed near infrared lamp in the vicinity of the camera as shown in FIG.

ふたたび図3に戻って歩行者警報動作の説明を続ける。 Again continue the description of the pedestrian alarm operation back to FIG. 3. ステップ401でカメラ201の向きを車両前方にした後、ステップ402で前方駐停止車両認識スイッチ211がONしているか、つまり運転者が車両前方の進路上に駐停車している車両の陰に歩行者や自転車が存在するか否かの確認を要求しているかどうかを確認する。 After the orientation of the camera 201 to the vehicle front at step 401, whether the front parked vehicle stops recognition switch 211 in step 402 is turned ON, i.e. behind the vehicle in which the driver is parked in the path of the vehicle front pedestrian a person or a bicycle to confirm whether the request for confirmation of whether or not there. 車両前方の駐停車車両の陰の歩行者の有無の確認要求がある場合については詳細を後述する。 For if there is a confirmation request of the presence or absence of a pedestrian shade ahead of the vehicle parked vehicle is to be described in detail later. 車両前方の駐停車車両の陰の歩行者の有無の確認要求がない場合は図2のステップ301へ戻る。 If there is no confirmation request whether pedestrian shade ahead of the vehicle parked vehicle returns to step 301 of FIG.

図2のステップ314で自車が交差点に近づいていると判定された場合はステップ315へ進み、交差点への接近フラグをONにしてステップ301へ戻る。 Proceeds to step 315 if in step 314 the host vehicle of Figure 2 is determined to be approaching an intersection, and the proximity flag to intersection ON returns to step 301. ステップ301において交差点への接近フラグがONの場合はステップ302へ進み、ナビゲーション装置206からの現在位置情報に基づいて、交差点に近づいていると判定されて接近フラグをONにした交差点を通過したか否かを確認する。 Proximity flag to the intersection at the step 301 is the case of ON, the routine advances to a step 302, whether based on the current position information from the navigation device 206 and is determined to be approaching an intersection through the intersection in which the proximity flag ON to confirm whether or not. すでに交差点を通過してしまった場合は、交差点を通過するときに自車に接近する歩行者を検知して接触の可能性を判断する状況にはなかったものとしてステップ313へ進み、交差点への接近フラグをOFFにしてステップ301へ戻る。 Already when having passed through the intersection, the process proceeds to step 313 as did the situation by detecting a pedestrian approaching the vehicle to determine the possibility of contact as it passes through the intersection, to the intersection the proximity flag to OFF returns to step 301.

一方、交差点に近づいていると判定されて接近フラグをONした交差点をまだ通過していない場合はステップ303へ進み、車速が所定速度以下になったか否かを判定する。 On the other hand, if it is determined to be approaching an intersection not yet passed through the intersection that ON approach flag proceeds to step 303, determines whether or not the vehicle speed is equal to or less than a predetermined speed. 通常、交差点では徐行して通行するから、上記の所定速度には交差点を通過していると判定できる程度の速度を設定する。 Normally, the crossing from that traffic and slow speed, sets the rate that it can be determined that the predetermined speed of the is passed through the intersection. 車速が所定速度より高い場合はステップ301へ戻り、所定速度以下の場合はステップ304へ進む。 When the vehicle speed is higher than a predetermined speed returns to step 301, if less than the predetermined speed the process proceeds to step 304. ステップ304では交差点の中央付近にいるか否かを判定する。 In step 304 determines whether there near the center of the intersection. 交差点の中央付近にいると判定された場合は、図9に示すように自車が右折待ちの状態で停車している状態であるとする。 If it is determined that are in the vicinity of the center of the intersection, and a state in which the vehicle 9 is parked in the right turn waiting state. なお、図9にはT字路の交差点を示すが、十字路交差点などの場合においても同様な判定がなされる。 Although showing the intersection of the T-junction in Figure 9, it is made the same determination even when such crossroads intersection.

交差点の中央付近にいると判定された場合は、ステップ305で右折側のターンシグナルスイッチ208がONになっているか否かを確認する。 If it is determined that are in the vicinity of the center of the intersection, turn right side of the turn signal switch 208 in step 305 checks whether is ON. 右折側のターンシグナルスイッチ208がONになっていない場合はステップ301へ戻り、上述した処理を繰り返す。 If right turn side of the turn signal switch 208 has not been turned ON returns to step 301 to repeat the above processing. 右折側ターンシグナルスイッチ208がONになっている場合は、交差点の中央部で対向するすれ違い車両の間合いを見ながら右折待ちをしている状態であるとし、ステップ306でカメラ201の向きを右後側方にして図5および図9に示す領域Cを撮像する。 If right turn side turn signal switch 208 is ON, and a state in which the right turn waiting while watching Maai of passing vehicle which faces the central portion of the intersection, right after the orientation of the camera 201 in step 306 and laterally imaging a region C shown in FIGS. 5 and 9.

ステップ307においてカメラ201の撮像画像を処理して対向するすれ違い車両の検知を行う。 For sensing the passing vehicle which faces processing the image captured by the camera 201 in step 307. 続くステップ308においてすれ違い車両の検知状態が所定条件を満足しているか否かを判定する。 Detection state of passing vehicle at step 308 followed by a determines whether or not satisfies the predetermined condition. ここでは、所定条件として、運転者が右折の間合いを見ていると判断できる対向車のすれ違い頻度の判定基準値を予め設定しておき、対向車のすれ違い頻度が判定基準値以上の場合はすれ違い車両の検知状態が所定条件を満たすものとする。 Here, as the predetermined condition, if the driver determination reference value for passing frequencies of the oncoming vehicle that can be determined that the viewed right turn of Maai are set in advance, passing frequency of the oncoming vehicle or the determination reference value passing detection state of the vehicle is a predetermined condition is satisfied. このすれ違い車両の検知方法と判定方法については詳細を後述する。 Method for detecting and determining methods of passing vehicles will be described in detail later.

すれ違い車両の検知状態が所定条件を満たしている場合はステップ309へ進み、カメラ201の撮像画像を処理して車両の右後側方から右折先横断歩道へ接近する歩行者や自転車の検知を行う。 If passing detection status of the vehicle satisfies a predetermined condition proceeds to step 309, performs the detection of pedestrians and cyclists which processes the image captured by the camera 201 approaches the right turn crosswalk from the right rear side of the vehicle . この歩行者の検地方法については詳細を後述する。 For Kenchi method of the pedestrian will be described in detail later. ステップ310において右折先横断歩道へ接近する歩行者や自転車があるか否かを確認する。 Confirming whether there is a pedestrian or a bicycle that approaches the right turn crosswalk at step 310.

交差点に到達して車速が所定速度以下になり、交差点の中央付近まで進んで右折側のターンシグナルスイッチ208がONし、対向するすれ違い車両の検知状態が所定条件を満たしている場合において、右折先横断歩道へ接近する歩行者や自転車がいないと判定されたときは、交差点内で右折待ちをしているが、歩行者や自転車と接触する可能性はなく、対向車との間合いが許せば直ちに右折できる状況にある。 In the case where the vehicle speed reaches the intersection becomes equal to or less than a predetermined speed, and the turn signal switch 208 of willing turn right side to the vicinity of the center ON of an intersection, detecting the state of opposing the passing vehicle satisfies a predetermined condition, right turn when it is determined that a pedestrian or a bicycle that approaches the crosswalk not is has a turn waiting in the intersection, there is no possibility of contact with a pedestrian or a bicycle, immediately permitting Maai the oncoming vehicle It is in the right turn can situation. このような状況の場合はステップ301へ戻って上述した処理を繰り返す。 If this situation repeats the process described above returns to step 301.

一方、上述した右折待ち状況において、右折先横断歩道へ接近する歩行者や自転車があると判定されたときはステップ311へ進み、ブレーキスイッチ209がONからOFFになったか否か、すなわち運点者がブレーキペダルとハンドブレーキを解放したか否かを確認する。 Meanwhile, in turn waiting situation described above, when it is determined that there is a pedestrian or a bicycle that approaches the right turn crosswalk proceeds to step 311, whether the brake switch 209 is turned OFF from ON, i.e. luck point's but to confirm whether or not to release the brake pedal and hand brake. 運転者がブレーキペダルとハンドブレーキを解放した場合は右折開始の意志があると判断し、ステップ312で警告装置210により右折先の横断歩道上で歩行者や自転車と接触する可能性があることを警告する。 That the driver determines that if releasing the brake pedal and hand brake is willing to start a right turn, are likely to contact with a pedestrian and bicycle right turn cross on sidewalk by the warning device 210 at step 312 Warning.

なお、ブレーキペダルやハンドブレーキを解放する時点では、オートマチックトランスミッション車両でもクリーピングにより極低速で車両が動き始める直前の状態にあるので、ブレーキスイッチ209の状態で運転者の右折開始の意志を確認することによって、適切なタイミングで運転者に注意を促すことができる。 Incidentally, at the time of releasing the brake pedal and handbrake, since the state immediately before the vehicle starts to move at an extremely low speed by creeping in automatic transmission vehicles, check the right turn start intention of the driver in the state of the brake switch 209 by, it can warn the driver at an appropriate timing.

次に、信号機のない交差点における歩行者や自転車との出会い頭の接触を防止する処理を説明する。 Next, processing to prevent contact Crossing with a pedestrian or a bicycle in no traffic intersection. 図2のステップ304において車速が所定速度以下になった地点が交差点の中央付近でないと判定された場合はステップ316へ進み、ナビゲーション装置206からの情報に基づいて通過中の交差点が無信号交差点か否かを確認する。 Point the vehicle speed becomes below a predetermined speed advances to step 316 if it is determined that it is not near the center of the intersection at the step 304 in FIG. 2, or the intersection of the passing based on information from the navigation device 206 is no signal intersection to confirm whether or not. 無信号交差点でない場合はステップ301へ戻り、上述した処理を繰り返す。 If not no signal intersection returns to step 301 to repeat the above processing. 無信号交差点の場合はステップ317へ進み、車両左右前端のカメラ201の向きをそれぞれ車両の左右側方に向けて図5および図14に示すように車両側方の領域Bを撮像する。 If no signal intersection proceeds to step 317, imaging the region B of the vehicle side to indicate the orientation of the vehicle right and left front end of the camera 201 in FIGS. 5 and 14 toward the left and right sides of the vehicle respectively.

ステップ318ではカメラ201の撮像画像を処理して交差する道路上の歩行者を検知する。 In step 318 detects the pedestrians on the road crossing by processing the image captured by the camera 201. ステップ310で交差する道路上に歩行者がいると判定され、続くステップ311でブレーキスイッチ209がONからOFFになったと判定された場合は、ステップ312で警告を行う。 Pedestrians on the road crossing at step 310 is determined to have, if the brake switch 209 is determined to from ON to OFF in the following step 311, an alarm in step 312.

次に、車両前方に駐停車している車両の陰になっている歩行者や自転車を検知する方法を説明する。 Next, a method for detecting a pedestrian or a bicycle that is behind the vehicle which is parked in front of the vehicle. 図3のステップ301〜314において自車が交差点近くにいないと判定された場合は図4のステップ401へ進み、左右前端部のカメラ201の向きを車両前方に向ける。 If the vehicle in step 301 to 314 in FIG. 3 is determined to not near intersections the process proceeds to step 401 in FIG. 4, directs the direction of the left and right front portions of the camera 201 in front of the vehicle. 運転者が図15に示すように車両前方の進路上に停車している車両を発見したときは、その陰に存在する歩行者や自転車を検知するために駐停止車両確認スイッチ211を操作する。 When the driver has found a vehicle parked in the path of the vehicle forward as shown in Figure 15, to operate the parking stop vehicle confirmation switch 211 to detect the pedestrians and bicycles existing in the shade. ステップ402で駐停止車両確認スイッチ211がONになっている場合はステップ403へ進み、車両の左右前端の下部に設けたカメラ201の撮像画像を処理し、前方の駐停車車両の陰から自車の進路上へ飛び出してくる歩行者や自転車を検知する。 If parked vehicle stops confirmation switch 211 is turned ON at step 402 proceeds to step 403 to process the image captured by the camera 201 provided in the lower portion of the right and left front end of the vehicle, the vehicle from behind the front of the parked vehicle to detect a pedestrian or bicycle to come out into on of course.

前方の進路上に存在する車両が小型車の場合には、車両のボンネットやルーフ越しに歩行者や自転車の接近を確認することができる。 When the vehicle is present on the front of the path is small cars can confirm the approach of pedestrians and cyclists on the bonnet or the roof over the vehicle. しかし、駐停車車両がトラックなどの大型車両の場合は、車体の陰になって歩行者や自転車を確認することができない。 However, if the parked vehicle is a large vehicle such as a truck, it is not possible to confirm the pedestrian and bicycle made to the body of the shadow. ところが、トラックなどの大型車は車両の最低地上高が高いので、前方を見る視点を低くすると車両の陰に存在する歩行者や自転車を車両の下からのぞき見ることができる。 However, large vehicles such as trucks, so the ground clearance is high of vehicle, can be seen except when you lower the point of view to see the front of the pedestrian and bicycle existing in the shadow of the vehicle from the bottom of the vehicle. そこで、図15に示すように、カメラ201で撮像した時系列画像から前方駐停車車両の下から見える歩行者の足の動きを検知し、車両の進路上へ飛び出してくる歩行者の存在を検知する。 Therefore, as shown in FIG. 15, it detects the movement of the pedestrian's foot visible from underneath the front parked vehicle from the time-series images captured by the camera 201, detects the presence of a pedestrian coming out into the path of the vehicle to. この検知処理の詳細については後述する。 For details of this detection process will be described later. ステップ404で前方駐停車車両の陰から自車の進路上へ接近する歩行者や自転車がいると判定された場合は、ステップ405で警告を行う。 If it is determined that there are pedestrians and cyclists approaching from behind the front parked vehicle on the own vehicle path at step 404, an alarm in step 405.

図7は、図2のステップ307で実行されるすれ違い車両の検知処理を示すフローチャートである。 Figure 7 is a flow chart showing the detection processing of the passing vehicle which is performed in step 307 of FIG. このフローチャートにより、すれ違い車両の検知処理を説明する。 This flowchart describes the process of detecting passing vehicles. ステップ801でカメラ201で撮像された領域Cの画像を入力する。 Inputting the image of the imaging area C in the camera 201 in step 801. 交差点を右折する際、運転者の注意力のほとんどが対向車に向けられるので、図9に示すようにカメラ201の向きを車両の右後側方とし、運転者の視野角を補う領域Cを撮像する。 When a right turn at the intersection, because most of the driver's attention is directed to the oncoming vehicle, the orientation of the camera 201 as shown in FIG. 9 and the right rear side of the vehicle, the area C to compensate the viewing angle of the driver imaging. 一般的な運転者の左右の視野角は、図8示すように両眼で見える範囲が正面を基準に左右100度づつ、合計200度程度とされている。 Viewing angle of the right and left common driver, the range visible with both eyes as shown FIG. 8 is based on the front left and right 100 degrees at a time, a total of 200 degrees. しかし、運転者が注視できる範囲はごく小さな領域に過ぎず、両眼にて色彩まで確認できる範囲は70度程度である。 However, the range in which the driver is able to gaze only to a very small area, the range that can be confirmed by both eyes until the color is about 70 degrees. よって、右折先の横断歩道に接近する歩行者や自転車を確認することは、すれ違う対向車を注視している状態では困難である。 Therefore, it is difficult with state of gazing at the oncoming vehicle pass each other to see pedestrians and bicycles approaching the crosswalk right turn.

図7のステップ801でカメラ画像を入力後、ステップ802で車両検知初期条件フラグがONになっているか否かを判定する。 After entering the camera image in step 801 of FIG. 7 determines whether the vehicle detected initial condition flag is ON at step 802. 初期状態では同フラグはOFFになっているのでステップ803へ進み、カメラ画像の左端領域に“所定の条件を満たす差分”が発生したか否かを判定する。 The flag in the initial state since turned OFF proceeds to step 803, determines whether or not "predetermined condition is satisfied difference" at the left end region of the camera image is generated.

ここで、“所定の条件を満たす差分”とは、カメラ201の撮像範囲内にすれ違う車両が進入して図10に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。 Here, the "predetermined condition is satisfied difference", when the vehicle pass each other in the imaging range of the camera 201 is a camera image of a time series as shown in FIG. 10 to enter is imaged, each between images It refers to the concentration difference of more than a predetermined value generated in the pixel. また、以下では所定値以上の濃度差が発生した“差分”画素の領域を“差分発生領域”という。 Also, following the density difference greater than a predetermined value is generated as "difference" to areas of the pixel "difference generated region".

カメラ201の撮像範囲内にすれ違う車両が進入した場合には、図10に示すように時系列画像の最初のものから順に差分領域が発生する。 When the vehicle pass each other in the imaging range of the camera 201 enters the difference region in order from the first one of the time-series images, as shown in FIG. 10 is generated. このすれ違い車両による差分発生領域は画面の左端から発生し、画像全体に拡大した後、右端へ移動して消えていく。 The passing difference generation region by the vehicle is generated from the left edge of the screen, after expanding the entire image, disappear moving to the right. ステップ803における判定は、すれ違い車両により発生する差分の初期現象を捕らえるもので、画像の左端領域で差分が発生しない場合はステップ801へ戻る。 Determination in step 803 is intended to capture the initial phenomenon of the difference generated by passing vehicles, if the difference in the left area of ​​the image is not generated returns to step 801. 一方、画像の左端領域に所定条件を満たす差分が発生した場合はステップ804へ進み、車両検知初期条件フラグをONにするとともに、該当する画像をnフレームとして制御装置203のメモリ(不図示)に記憶する。 On the other hand, if the predetermined condition is satisfied difference occurs in the left end area of ​​the image proceeds to step 804, while turns ON the vehicle detection initial condition flag, the memory of the control device 203 the corresponding image as n frame (not shown) Remember. その後、ステップ801へ戻って次の画像入力を行う。 Thereafter, the next image input returns to step 801.

カメラ画像の左端領域に差分が発生した場合は、車両検知初期条件フラグがONされているのでステップ802から805へ進み、車両検知画像フレームカウンターをカウントアップする。 If the difference in the left area of ​​the camera image occurs, the vehicle detection initial condition flag is ON processing proceeds from step 802 to 805, counting up the vehicle detection image frame counter. この車両検知画像フレームカウンターは、制御装置203のCPUのソフトウエア形態で構成されるカウンターであり、差分が発生した画像フレームの枚数をカウントする。 The vehicle detection image frame counter is a counter configured by software form of the CPU of the control unit 203 counts the number of image frames difference occurs.

ステップ806において、カメラ画像の左端領域に最初に差分が発生した画像フレームnからαカウントアップした画像フレーム(n+α)に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。 In step 806, it determines the first image frame difference is alpha counting up from an image frame n that have occurred at the left end region of the camera image (n + alpha), whether a predetermined condition is satisfied difference generation region exists.

ここで、差分発生領域の所定の条件は、例えば、差分発生領域の面積(画素数)が、画面上においてすれ違う対向車両が存在するか否かを判定するための基準の面積(画素数)よりも広く、かつ差分発生領域が画像フレームnよりもカウントアップ数αに応じた距離だけ右側に移動していることを条件とする。 Here, the predetermined condition of the differential generation region, for example, the area of ​​the difference generating region (number of pixels) is, the reference area for determining whether the pass each other oncoming vehicle on the screen exists (number of pixels) widely, and the difference generating region provided that has moved to the right by a distance corresponding to the count-up number α than the image frame n.

ステップ806で所定条件を満たす差分発生領域が存在していないと判定された場合はステップ807へ進み、ステップ803で発生した画像の左端領域の差分はすれ違い車両に対応するものではないとし、車両検知初期条件フラグをOFFにするとともに、車両検知画像フレームカウンターをクリヤーしてステップ801へ戻る。 When the predetermined condition is satisfied difference generation region in step 806 is determined not to exist proceeds to step 807, the difference between the left region of the image generated in step 803 and does not correspond to the passing vehicle, vehicle detection with the initial condition flag to OFF, return the vehicle detection image frame counter to step 801 to clear.

一方、ステップ806で所定条件を満たす差分発生領域が存在していると判定された場合はステップ808へ進み、画像の右端領域に所定条件を満たす差分が発生したか否かを判定する。 On the other hand, if the predetermined condition is satisfied difference generation region is determined to exist in step 806 proceeds to step 808, it is judged whether or not a predetermined condition is satisfied difference the right end area of ​​the image occurs. この“所定条件を満たす差分”とは、上述したように、カメラ201の撮像範囲内にすれ違う車両が進入して図10に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。 Is this "predetermined condition is satisfied difference", if as described above, to pass each other in the imaging range of the camera 201 the vehicle enters the camera image of the time series, as shown in FIG. 10 taken, between the images refers to the concentration difference of more than a predetermined value occurs in each pixel of. カメラ201の撮像範囲をすれ違い車両が走り抜けていくときの最後の段階では、画像の右端領域にのみ差分が発生する。 In the last stage when the passing vehicle goes ran through the imaging range of the camera 201, a difference is generated only at the right end area of ​​the image.

画像全体に差分が発生している間はステップ801へ戻って上述した処理を繰り返すが、画像の右端領域にのみ差分が発生した場合はステップ809へ進み、車両検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。 While the difference is generated in the entire image to repeat the above-described processing returns to step 801, but if the difference occurs only at the right end area of ​​the image proceeds to step 809, the count value of the vehicle detection image frame counter given determines whether the value or more. なお、この所定値はすれ違う対向車両が存在しているか否かを判定する判定基準値であり、すれ違い車両の車種、特に大きさと長さ、すれ違い速度などによる影響を考慮して適当な値を設定する。 Note that this is a predetermined value determination reference value determines whether an oncoming vehicle is present to pass each other, the vehicle type of the passing vehicle, in particular the size and length, set the appropriate value in consideration of the influence due to the passing speed to.

車両検知画像フレームカウンターのカウント値が所定値以上の場合はステップ810へ進み、すれ違い車両を検知したとし、ステップ801へ戻って上述したすれ違い車両の検知処理を繰り返す。 If the count value of the vehicle detected image frame counter is equal to or more than the predetermined value, the process proceeds to step 810, and detects the passing vehicle, repeated detection processing of passing vehicles described above returns to step 801. 一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ807へ進み、車両検知初期条件フラグをOFFにするとともに、画像フレームカウンターをクリヤーしてステップ801へ戻り、上述したすれ違い車両の検知処理を繰り返す。 On the other hand, the count value of the image frame counter proceeds if it is less than the predetermined value to step 807, as well as to turn OFF the vehicle detection initial condition flag, an image frame counter and clear returns to step 801, the passing vehicle described above detecting process repeat.

図11は、種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す。 Figure 11 shows a differential occurrence in the camera image in the case where the different types of vehicles pass each other. 交差点内で右折待ちをしているか否かを判定する図2のステップ307では、上述したすれ違い車両の検知処理によって、すれ違い車両が存在するとされた各画像フレームの差分発生画素の総数の変化に基づいて判定することができる。 In step 307 of determining Figure 2 whether the right turn waiting in the intersection, based by the detection process of passing vehicle described above, the change in the total number of difference generation pixels of each image frame which is the passing vehicle is present it is possible to determine Te. 画像の取り込み時間間隔1/30秒ごとの差分発生画素の総数は、乗用車の場合は車両AまたはDのように計測され、ワンボックスタイプの車両の場合は車両Bのように計測され、トラックの場合は車両Cのように計測される。 The total number of the difference generating pixel capture time interval every 1/30 second image, in the case of passenger cars is measured as the vehicle A or D, in the case of one-box type of vehicle is measured as the vehicle B, the track If is measured as the vehicle C. この計測値によって、差分の発生する時間間隔が分かるので、すれ違い車両の通過頻度と車間距離を検出でき、交差点内における右折待ち状態の判定に用いることができる。 This measured value, the time interval of occurrence of the difference is found, to detect the passing frequency and inter-vehicle distance passing vehicle, it can be used to determine the right turn waiting state of the intersection.

図12は右折先横断歩道への接近者を検知するためのサブルーチンを示す。 Figure 12 shows a subroutine for detecting the approaching individual to the right turn crosswalk. このサブルーチンは図2のステップ309とステップ318、図3のステップ403で実行される。 This subroutine step 309 and step 318 of FIG. 2, which is performed in step 403 of FIG. 3. なお、図12の歩行者検知処理では、図2のステップ309における右折待ち時に右折先の横断歩道へ接近する歩行者を検知する場合について説明するが、時系列画像における差分領域に注目して歩行者を検知する方法は、図3のステップ318における無信号交差点で出会い頭に接触する歩行者を検知する場合、および図4のステップ403における車両前方の駐停車車両の陰から自車の進路へ飛び出してくる歩行者を検知する場合も同様であるから、後者の場合についての説明を省略する。 In the pedestrian detection process in FIG. 12, focusing on the difference region in the are described, time-series images for the case of detecting a pedestrian approaches the right turn of the crosswalk at the right turn waiting in step 309 of FIG. 2 walking method of detecting a person, pop-out when detecting the pedestrian contacts the crossing with no signal intersection in step 318 of FIG. 3, and from behind the parked vehicle ahead of the vehicle in step 403 of FIG. 4 to the vehicle of the path since the case is the same for detecting pedestrians come, it will not be described for the case of the latter.

ステップ1301においてカメラ201から撮像画像を入力し、続くステップ1302で接近者検知初期条件フラグがONになっているか否かを確認する。 Enter the captured image from the camera 201 in step 1301, it checks whether the approaching individual detection initialization condition flag is turned ON in the next step 1302. 初期状態では同フラグはOFFになっているのでステップ1303へ進み、所定条件を満たす差分領域が発生したか否かを判定する。 In the initial state, the process proceeds to step 1303 so the flag is turned OFF, it is judged whether or not a predetermined condition is satisfied difference region is generated.

図13は、カメラ201で撮像した右折先の横断歩道に車両後方から接近する歩行者の時系列画像である。 Figure 13 is a time-series images of pedestrians in crosswalks right turn captured by the camera 201 approaching from the rear of the vehicle. 右折先の横断歩道に接近する歩行者(自転車を含む)がある場合には、図13に示す時系列画像の最初のものから順に上述した差分領域が発生する。 If there is a pedestrian approaching the crosswalk right turn (including a bicycle) is the difference region described above from the first one in order of time sequence image shown in FIG. 13 occurs. この場合は歩行者が車両後方から接近する場合を想定しているので、画像の右端領域に発生し、順次画像の左端へ移動する。 In this case, since the pedestrian is assumed that approaching from the rear of the vehicle, occurs at the right end area of ​​the image moves to the left end of the sequential images. 画像に発生した差分領域の面積(画素数)を、歩行者(自転車を含む)の存在の有無を判定するために予め設定した判定基準値と比較し、差分領域の面積(画素数)が判定基準値以上の場合は右折先の横断歩道に接近する歩行者が存在すると判定する。 Area of ​​difference area generated in the image (the number of pixels), the pedestrian compared with the determination reference value set in advance to determine the presence or absence of (including a bicycle), the determination area of ​​the differential area (number of pixels) is It determines that the case of more than the reference value there is a pedestrian approaching the crosswalk right turn.

ステップ1303で所定条件を満たす差分が発生していない場合はステップ1301へ戻り、ふたたびカメラ画像の入力を行う。 When the predetermined condition is satisfied difference does not occur at step 1303 returns to step 1301 again to input a camera image. 所定条件を満たす差分が発生しており、右折先の横断歩道へ接近する歩行者の存在が確認される場合はステップ1304へ進み、接近者検知初期条件フラグをONする。 Predetermined condition is satisfied difference has occurred, when the presence of a pedestrian approaching the right turn to the pedestrian crossing is confirmed, the process proceeds to step 1304, turning ON the approaching individual detection initial condition flag. 続くステップ1305で右折先横断歩道へ接近する歩行者を最初に捕捉した画像をnフレームとして制御装置203のメモリに記憶するとともに、差分が発生した位置をメモリに記憶する。 The first captured image pedestrians approaching the right turn crosswalk stores in the memory of the control device 203 as frame n In step 1305, stores the position where the difference occurs in the memory. その後、ステップ1301へ戻り、次の画像入力を行う。 After that, the process returns to step 1301, and performs the next image input.

カメラ画像に歩行者の差分領域が発生した場合は、接近者検知初期条件フラグがONされているのでステップ1302から1306へ進み、接近者検知画像フレームカウンターをカウントアップする。 If pedestrian differential area in the camera image occurs, the approaching individual detection initial condition flag is ON processing proceeds from step 1302 to 1306, counts up the approaching individual detection image frame counter. この接近者検知画像フレームカウンターは、制御装置203のCPUのソフトウエア形態で構成されるカウンターであり、歩行者の差分領域が発生している画像フレームの枚数をカウントする。 The approaching individual detection image frame counter is a counter configured by software form of the CPU of the control unit 203, a difference area of ​​the pedestrian counts the number of image frames are generated.

ステップ1307において、カメラ画像に最初に差分が発生した画像フレームnからαカウントアップした画像フレーム(n+α)に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。 In step 1307, it determines the first image frame difference is alpha counting up from an image frame n generated (n + alpha) in the camera image, whether a predetermined condition is satisfied difference generation region exists.

この所定の条件とは、差分発生領域の面積(画素数)を歩行者(自転車を含む)の存在の有無を判定するために予め設定した判定基準値と比較し、差分発生領域の面積(画素数)が判定基準値以上であって、かつまた、カメラ画像に最初に差分が発生した画像フレームn上での差分発生領域の位置から画像フレーム(n+α)上での差分発生領域の位置が所定範囲内で画像の左方向に移動していることを条件とする。 The predetermined condition is compared with a preset determination reference value to determine the presence or absence of a pedestrian area (number of pixels) of the difference generating region (including a bicycle), the area of ​​the difference generating region (pixel a is a number) is the determination reference value or higher, and also the position of the difference generation region from the position of the difference generation region on the first image frame n difference occurs in the camera image on the image frame (n + alpha) is given with the proviso that they are moved to the left of the image in the range. つまり、歩行者や自転車の移動特性を考慮した条件とする。 In other words, a condition in consideration of the transfer characteristics of pedestrian and bicycle.

ステップ1307において所定条件を満たす差分発生領域が存在していないと判定された場合は、カメラ画像に最初に差分が発生した画像フレームnは歩行者や自転車を捕捉した画像ではない、つまり検知対象物は横断歩道上で接触するような危険物ではないとしてステップ1310へ進み、接近者検知初期条件フラグをOFFにするとともに、接近者検知画像フレームカウンターをクリヤーしてステップ1301へ戻る。 When the predetermined condition is satisfied difference generation region in step 1307 is determined not to exist, an image frame n first difference on the camera image is generated not an image captured pedestrians and bicycles, that sense target proceeds to step 1310, if not dangerous, such as in contact with the pedestrian crossing, as well as to turn OFF the approaching individual detection initial condition flag and returns the approaching individual detection image frame counter to step 1301 to clear.

一方、ステップ1307において所定条件を満たす差分発生領域が存在すると判定された場合はステップ1308へ進み、接近者検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。 On the other hand, if the predetermined condition is satisfied difference generation region is determined to exist proceeds to step 1308 In step 1307, the count value of the approaching individual detection image frame counter determines whether more than a predetermined value. 画像フレームカウンターのカウント値が所定値以上の場合はステップ1309へ進み、歩行者や自転車を検知したとしてステップ1301へ戻る。 The count value of the image frame counter is equal to or larger than the predetermined value, the process proceeds to step 1309, it returns to step 1301 as to detect a pedestrian or a bicycle. 一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ1301へ戻る。 On the other hand, the count value of the image frame counter if less than the predetermined value the process returns to step 1301.

なお、ステップ1303と1307において、歩行者(自転車を含む)の存在の有無を判定するため基準値に範囲を設け、横断歩道周辺で所定量以上の歩行者や自転車が存在すると判定された場合には、右折先横断歩道の歩行者や自転車の往来が多くて右折時にそれらを見落とす危険性は少ないから、あえて歩行者を検知したとせずに警告の出力を制限するようにしてもよい。 Incidentally, in step 1303 and 1307, a range of reference values ​​to determine the presence or absence of a pedestrian (including a bicycle) provided, when a predetermined amount or more of pedestrians and bicycles is determined to exist in the crosswalk around , since the risk of overlooking them during right turn most pedestrian and bicycle traffic of right turn crosswalk less, may be limited to a warning output without dare detects pedestrians.

以上の歩行者検知処理は自車が停止している場合を前提とした処理であったが、図3のステップ403における前方駐停車車両の陰にいる歩行者検知のように、自車が走行している場合もあり、上述したような単純な差分処理では自車の動きによっても差分が発生するため、歩行者の動きを正確に捕捉できないという問題がある。 More pedestrian detection process is the vehicle has a process on the assumption that the stop, as pedestrian detection that are behind the front parked vehicle in the step 403 of FIG. 3, the vehicle is traveling and sometimes it is, a simple difference processing as described above because the difference is also generated by the movement of the vehicle, it is impossible to accurately capture the motion of the pedestrian.

そこで、前方駐停車車両の陰にいる歩行者を検知するための画像処理に時系列画像間のオプティカルフローを用いた例を説明する。 Therefore, an example of using the optical flow between time-series images to the image processing for detecting a pedestrian who is behind the front parked vehicle. この方法は、画像領域を任意に切り分け、その重み付けを自由に設定できることと、その領域での検出対象物の移動方向と移動速度が判定できるので、自車が動いている場合でも歩行者を正確に検知できるという利点がある。 The method optionally isolate the image area, and the ability to set the weighting freely, it can be determined moving direction and the moving speed of the detection object in that area, the pedestrian even if the vehicle is moving exactly there is an advantage that it can be detected.

オプティカルフローは、大きさと向きを持ったベクトル量の集合によって画像内の動きを検出する手法である。 Optical flow is a method for detecting a motion in the image by a set of vector quantity having a magnitude and direction. 画像処理装置では、画像データと領域データとを入力とし、オプティカルフローを出力する。 In the image processing apparatus inputs the image data and area data, and outputs an optical flow. 領域データとは、図16に示すように参照領域の位置(tx,ty)と大きさ(tw,th)および探索領域の位置(sx,sy)と大きさ(sw,wh)により表されるデータである。 The area data is represented by the position of the reference area as shown in FIG. 16 (tx, ty) and size (tw, th) and the position of the search area (sx, sy) and size (sw, wh) it is the data. オプティカルフローを算出するため、ある時刻tのフィルターをかけた顔画像に対して少なくとも1つ以上の参照領域(X座標tx、Y座標ty、幅tw画素、高さth画素)を設定し、時刻(t+1)のフィルターをかけた顔画像に対して設定した参照領域と同じ数の探索領域(X座標sx、Y座標sy、幅sw画素、高さsh画素)を設定する。 To calculate the optical flow, and set at least one reference region with respect to the face image with filter at a certain time t (X-coordinate tx, Y coordinates ty, width tw pixels, height th pixel), and time (t + 1) of the same number of the search area and the reference area set against the applied face image filter (X coordinate sx, Y coordinate sy, width sw pixels, height sh pixels) is set. これら2つの領域は、図16に示すとおり参照領域が探索領域の内側に設定されている。 These two regions, the reference area as shown in FIG. 16 is set inside the search area.

この実施の形態のオプティカルフローの計算には一般にブロックマッチング法と呼ばれる手法を使用しており、現フレームの探索領域から前フレームの参照領域に最も類似度が高い領域を算出する。 The calculation of the optical flow of this embodiment are used a technique commonly referred to as block matching method, calculates the highest similarity region in the reference region of the previous frame from the search area of ​​the current frame. 類似度の計算は、図16と図17に示すように参照領域内の濃淡データをT、探索領域内の任意の位置(xd,yd)、 Calculation of similarity, the shading data T of the reference area as shown in Figure 16 and Figure 17, an arbitrary position in the search area (xd, yd),
-(sw-tw)/2〈xd〈(sw-tw)/2、 - (sw-tw) / 2 <xd <(sw-tw) / 2,
-(sh-th)/2〈yd〈(sh-th)/2 ・・・(1) - (sh-th) / 2 <yd <(sh-th) / 2 ··· (1)
から切り出した参照領域と同じサイズの濃淡データを候補領域S(xd,yd)とすると、類似度θは、参照領域Tと候補領域Sのなす角θとして次の式で定義する。 When candidate shading data of the same size as the reference region extracted from the region S (xd, yd), the similarity theta, as the angle of the reference area T and the candidate area S theta defined by the following equation.
cosθ(xd,yd)=T・S(xd,yd)/(|T|・|S(xd,yd)|) ・・・(2) cosθ (xd, yd) = T · S (xd, yd) / (| T | · | S (xd, yd) |) ··· (2)

探索領域内のすべての位置で参照領域と候補領域の類似度θを求める。 Determining the similarity θ of the reference region and the candidate region at every position in the search area. 類似度θが最大となる座標(xd,yd)を参照領域の動きベクトル(xd,yd)とする。 Similarity θ is maximum coordinates (xd, yd) the motion vector of the reference region (xd, yd) to. オプティカルフロー(動きの検出)の計算方法はこの一実施の形態で説明した方法以外にも、八木信行監修“ディジタル映像処理”(映像情報メディア学会編、pp129-139、2000年、オーム社発行)などの文献で、動画像から動きを検出する手法が複数紹介されており、それらを用いることもできる。 Optical flows other than the method described in the calculation method is the one exemplary (motion detection), Nobuyuki Yagi supervision "Digital image processing" (ITE edited, Pp129-139, 2000 years, Ohmsha published) in literature, such a technique of detecting a motion from the moving image has a plurality of introduction, they can also be used.

図18は、前方の駐停車車両に近づいているときに、駐停車車両の陰に存在する歩行者をオプティカルフローの動きベクトルによって捕らえている例を示す。 Figure 18 shows an example in which captured when approaching the front of the parked vehicle, the motion vector of the optical flow of pedestrians that exist behind the parked vehicle. 自車の動きによる画像消失点から発生する放射状の動きベクトルの中から、歩行者の足の部分に右方向へ発生する動きベクトルを検出することによって、歩行者の接近を検知することができる。 From the radial motion vector generated from the image vanishing point by the vehicle motion by detecting a motion vector generated in the right direction in the portion of the pedestrian's foot, it is possible to detect an approaching pedestrian.

《発明の一実施の形態の変形例》 "Modification of the embodiment of the invention"
上述した一実施の形態では車両前方の駐停車車両を運転者が認識して駐停止車両確認スイッチ211を操作し、駐停車車両の陰に隠れている歩行者の検知を行う例を示したが、車両前方の駐停車車両の認識を自動的に行うようにした変形例を説明する。 In the embodiment described above to recognize the driver a parked vehicle ahead of the vehicle by operating the parking stop vehicle confirmation switch 211, an example of performing detection of a pedestrian hidden behind the parked vehicle It will be described a modification in which to automatically perform a recognition of parked vehicles in front of the vehicle.

図19は変形例の構成を示す。 Figure 19 shows the configuration of a modified example. 図19において、2001〜2010の機器は図1に示す201〜210の機器と同様であり、説明を省略する。 19, devices 2001-2010 are similar to the devices 201 to 210 shown in FIG. 1, the description thereof is omitted. また、図20は駐停車車両の陰にいる歩行者の検知処理を示すフローチャートである。 Further, FIG. 20 is a flowchart showing the detection processing of a pedestrian who is behind the parked vehicle. 図20においても、2101、2103〜2105の処理は図3の401、403〜405の処理と同様であり、説明を省略する。 Also in FIG. 20, the processing of 2101,2103~2105 is similar to the processing in 401,403~405 in FIG 3, the description thereof is omitted. この変形例では、図1に示す駐停止車両確認スイッチ211の代わりにレーダー2011を用いる。 In this modification, use of radar 2011 instead of parking the vehicle stops confirmation switch 211 shown in FIG. レーダー2011は車両前部に設置され、車両前方を走査して障害物を認識し、障害物の方向と距離を検出する。 Radar 2011 is installed in the front part of the vehicle, it recognizes the obstacle by scanning ahead of the vehicle, to detect the direction of the obstacle and the distance. 図20のステップ2102において、レーダー2011で走行道路上に障害物が検出された場合は走行道路上の駐停車車両であると認識し、ステップ2103へ進んで前方駐停車車両の陰にいる歩行者の検知処理を行う。 In step 2102 of FIG. 20, recognizes that if obstacles on the travel road radar 2011 has been detected as being parked vehicle on the traveling road, a pedestrian who is behind the front parked vehicle proceeds to a step 2103 perform the detection process.

なお、カメラで撮像した車両前方の画像を処理して車両前方の駐停車車両を認識するようにしてもよい。 Incidentally, it is also possible to recognize a parked vehicle ahead of the vehicle by processing the vehicle front of the image captured by the camera.

このように、一実施の形態とその変形例によれば、車両の現在位置と走行状態とを検出し、現在位置と走行状態とに応じて車両周囲の撮像範囲を変え、撮像した時系列画像を処理して車両に接近する歩行者を検出し警報するようにしたので、車両の現在位置や走行状態に応じて運転者の死角範囲が変化しても、撮像範囲を的確に運転者の死角範囲とすることができ、死角範囲に存在する歩行者を確実に検出して警報することができる。 Thus, according to an embodiment and a modification thereof, to detect a running state and the current position of the vehicle, changing the imaging range around the vehicle in accordance with the current position and the traveling state, the time-series images captured since so as detect and alarm the pedestrian approaching the vehicle by processing the current even blind spot of the driver is changed according to the position and the running state, blind spots accurately driver an imaging range of the vehicle range and it is possible to it is possible to alert to reliably detect pedestrians existing in the blind spot.

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。 Correspondence between the component and the components of an embodiment of the claims is as follows. すなわち、カメラ201,2001が撮像手段を、ナビゲーション装置206,2006が車両位置検出手段を、車速センサー207,2007およびターンシグナルスイッチ209,2009が走行状態検出手段を、モーター204,2004、モーター制御装置205,2005および制御装置203,2003が撮像範囲可変手段を、画像処理装置202,2002および制御装置203,2003が歩行者検出手段を、警告装置210,2010が警報手段をそれぞれ構成する。 That is, the camera 201,2001 imaging means, the navigation device 206,2006 vehicle position detecting means, a vehicle speed sensor 207,2007 and turn signal switch 209,2009 is a running state detecting means, motor 204,2004, motor control unit 205,2005 and controller 203,2003 is an imaging range variation means, the image processing apparatus 202,2002 and controller 203,2003 is a pedestrian detection means, a warning device 210,2010 constitute a warning means, respectively. なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。 Incidentally, as long as they do not impair the characteristic features of the present invention, each component is not limited to the above configuration.

上述した一実施の形態では、カメラを車両の左右前端下部に設置する例を示したが、カメラの設置場所は一実施の形態に限定されない。 In the embodiment described above, an example of installing the camera on the left and right front end lower portion of the vehicle, location of the camera is not limited to the embodiment. また、カメラの台数と各カメラの撮像範囲についても、上述した一実施の形態に限定されない。 Also, the number and the imaging range of each camera of the camera is not limited to the embodiment described above.

一実施の形態の構成を示す図である。 Is a diagram showing the configuration of an embodiment. 一実施の形態の歩行者警報プログラムを示すフローチャートである。 It is a flowchart illustrating a pedestrian warning program of the embodiment. 前方駐停車車両の陰に存在する歩行者を検知して警報するプログラムを示すフローチャートである。 Is a flowchart showing a program for alarm by detecting a pedestrian is present behind the front parked vehicle. カメラの取り付け位置を示す図である。 It is a diagram showing a mounting position of the camera. カメラの撮像範囲を示す図である。 Is a diagram illustrating an imaging range of the camera. カメラの近傍に近赤外ランプを設置した例を示す図である。 In the vicinity of the camera is a diagram showing an example where a near-infrared lamp. すれ違い車両の検知処理を示すフローチャートである。 Passing a flow chart showing the detection processing of the vehicle. 一般的な運転者の視野角を示す図である。 It is a diagram showing a viewing angle of a general driver. T字路交差点において対向するすれ違い車両の間合いを見ながら右折待ちをしているときの運転者の視野角とカメラの撮像範囲を示す図である。 In the T-junction intersection is a diagram showing the viewing angle and the imaging range of the camera of the driver when on the right turn waiting while watching Maai of passing vehicles to be opposed. すれ違い車両を捕捉したカメラの時系列画像を示す図である。 Passing a diagram showing a time-series images of the captured camera of the vehicle. すれ違い車両を捕捉したカメラ画像の差分発生状況を示す図である。 Passing a diagram showing a difference occurrence of the captured camera image of the vehicle. 右折先横断歩道へ接近する歩行者を検知するためのサブルーチンを示すフローチャートである。 It is a flowchart showing a subroutine for detecting a pedestrian approaches the right turn crosswalk. 右折先横断歩道へ接近する歩行者を捕捉したカメラの時系列画像を示す図である。 The pedestrian approaches the right turn crosswalk is a diagram showing a time-series images of the captured camera. 無信号交差点を通過する際のカメラの撮像範囲を示す図である。 Is a diagram illustrating an imaging range of the camera when passing through the no-signal intersection. 前方駐停車車両の陰に存在する歩行者を検知する方法を説明するための図である。 Is a diagram for explaining a method of detecting a pedestrian is present behind the front parked vehicle. オプティカルフローの適用方法を説明するための図である。 It is a diagram for explaining how to apply optical flow. オプティカルフローの適用方法を説明するための図である。 It is a diagram for explaining how to apply optical flow. オプティカルフローの適用方法を説明するための図である。 It is a diagram for explaining how to apply optical flow. 一実施の形態の変形例の構成を示す図である。 It is a diagram illustrating a configuration of a modification of the embodiment. 一実施の形態の変形例の前方駐停車車両の陰に存在する歩行者を検知して警報するプログラムを示すフローチャートである。 Is a flowchart showing a program for alarm by detecting a pedestrian is present behind the front parked vehicle modification of the embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

201,2001 カメラ202,2002 画像処理装置203,2003 制御装置204,2004 モーター205,2005 モーター制御装置206,2006 ナビゲーション装置207,2007 車速センサー208,2008 ターンシグナルスイッチ209,2009 ブレーキスイッチ210,2010 警告装置211 駐停止車両確認スイッチ2011 レーダー 201,2001 camera 202,2002 image processing apparatus 203,2003 controller 204,2004 motor 205,2005 motor controller 206,2006 navigation device 207,2007 speed sensor 208,2008 turn signal switch 209,2009 brake switch 210,2010 warning 211 parked vehicle is stopped confirmation switch 2011 radar

Claims (7)

  1. 車両の周囲を撮像する撮像手段と、 Imaging means for imaging the surroundings of the vehicle,
    車両の現在位置を検出する車両位置検出手段と、 A vehicle position detecting means for detecting a current position of the vehicle,
    車両の走行状態を検出する走行状態検出手段と、 A running condition detecting means for detecting a running condition of the vehicle,
    前記車両位置検出手段により検出された車両の現在位置と、前記走行状態検出手段により検出された車両の走行状態とに応じて前記撮像手段の撮像範囲を変える撮像範囲可変手段と、 The current position of the vehicle detected by the vehicle position detecting means, and the imaging range changing means for changing the imaging range of the imaging means according to the running state of the vehicle detected by the running state detecting means,
    前記撮像手段により撮像した時系列画像を処理して車両に接近する歩行者を検出する歩行者検出手段と、 And pedestrian detection means for detecting a pedestrian approaching the vehicle by processing the time-series images captured by the imaging means,
    前記歩行者検出手段により車両に接近する歩行者が検出された場合に警報する警報手段とを備えることを特徴とする歩行者警報装置。 Pedestrian warning device, characterized in that it comprises a warning means for warning when the pedestrian approaching the vehicle is detected by the pedestrian detection means.
  2. 請求項1に記載の歩行者警報装置において、 In the pedestrian warning device according to claim 1,
    前記車両位置検出手段により車両が交差点中央付近にあって、前記走行状態検出手段により所定車速以下の状態でかつ右折側ターンシグナルスイッチの作動状態が検出された場合に、前記撮像範囲可変手段により前記撮像手段の撮像範囲を車両の右後側方の範囲とすることを特徴とする歩行者警報装置。 Wherein In the vehicle position detecting means vehicle near the intersection center by, when the operating state of a and turn right side turn signal switch state below a predetermined speed is detected by the running state detecting means, said by the imaging range variation means pedestrian warning device, characterized in that the range of the imaging range of the right rear side of the vehicle of the imaging means.
  3. 請求項1に記載の歩行者警報装置において、 In the pedestrian warning device according to claim 1,
    前記車両位置検出手段により車両が無信号交差点にあって、前記走行状態検出手段により所定車速以下の状態が検出された場合は、前記撮像範囲可変手段により前記撮像手段の撮像範囲を車両の左右側方とすることを特徴とする歩行者警報装置。 There vehicle is no signal intersection by the vehicle position detecting means, when a predetermined vehicle speed following state is detected by the running state detecting means, the left and right side of the vehicle the imaging range of the imaging unit by the imaging range variation means pedestrian warning device which is characterized in that with people.
  4. 請求項1に記載の歩行者警報装置において、 In the pedestrian warning device according to claim 1,
    前記車両位置検出手段により車両が交差点に近づいていないことが検出されている場合は、前記撮像範囲可変手段により前記撮像手段の撮像範囲を車両の前方とすることを特徴とする歩行者警報装置。 If the vehicle is detected to be not approaching the intersection by the vehicle position detecting means, the pedestrian warning device, characterized in that the imaging range of the imaging unit and the front of the vehicle by the image pickup range varying means.
  5. 請求項1〜4のいずれかの項に記載の歩行者警報装置において、 In the pedestrian warning device according to any one of claims 1 to 4,
    前記撮像手段を車両下部に設置し、 The imaging means is installed in the vehicle bottom,
    前記歩行者検出手段は、前記撮像手段により撮像した時系列画像を処理して他車両の下から見える歩行者の足の動きを検出し、車両に接近するか否かを判定することを特徴とする歩行者警報装置。 The pedestrian detection means, and wherein the processing the time-series images captured by the imaging means to detect the movement of pedestrians foot visible from the bottom of the other vehicle, to determine whether to approach the vehicle pedestrian warning device that.
  6. 請求項1〜5のいずれかの項に記載の歩行者警報装置において、 In the pedestrian warning device according to any one of claims 1 to 5,
    前記歩行者検出手段は、前記撮像手段で撮像された時系列画像を差分演算により処理し、車両に接近する歩行者を検出することを特徴とする歩行者警報装置。 The pedestrian detection means, the time-series images captured by the imaging means is processed by differential operation, the pedestrian warning device, characterized in that detecting the pedestrian approaching the vehicle.
  7. 請求項1〜5のいずれかの項に記載の歩行者警報装置において、 In the pedestrian warning device according to any one of claims 1 to 5,
    前記歩行者検出手段は、前記撮像手段で撮像された時系列画像をオプティカルフロー演算により処理し、車両の接近する歩行者を検出することを特徴とする歩行者警報装置。 The pedestrian detecting unit processes the optical flow computing the time-series images captured by the imaging means, the pedestrian warning device, characterized in that detecting the pedestrian approaching the vehicle.
JP2004126300A 2004-04-22 2004-04-22 Warning device for pedestrian Pending JP2005309797A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004126300A JP2005309797A (en) 2004-04-22 2004-04-22 Warning device for pedestrian

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004126300A JP2005309797A (en) 2004-04-22 2004-04-22 Warning device for pedestrian

Publications (1)

Publication Number Publication Date
JP2005309797A true true JP2005309797A (en) 2005-11-04

Family

ID=35438507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004126300A Pending JP2005309797A (en) 2004-04-22 2004-04-22 Warning device for pedestrian

Country Status (1)

Country Link
JP (1) JP2005309797A (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264932A (en) * 2006-03-28 2007-10-11 Kyocera Corp Vehicular communication system and on-vehicle imaging device
WO2007135856A1 (en) * 2006-05-19 2007-11-29 Pioneer Corporation Photographing control apparatus, photographing control method, photographing control program and recording medium
JP2007328454A (en) * 2006-06-06 2007-12-20 Omron Corp Right turn sensing control system and right turn sensing control method
JP2008001179A (en) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp Vehicle-mounted operation support camera device
JP2008080939A (en) * 2006-09-27 2008-04-10 Clarion Co Ltd Approaching object warning device
WO2008146343A1 (en) * 2007-05-25 2008-12-04 Pioneer Corporation Image recording apparatus
JP2009244985A (en) * 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc Driving support device and pedestrian detecting device
JP2010183281A (en) * 2009-02-04 2010-08-19 Sumitomo Electric Ind Ltd In-vehicle photographing device, and safety measure method for vehicle
JP2010188970A (en) * 2009-02-20 2010-09-02 Honda Motor Co Ltd Periphery monitoring device for vehicle
JP2011525005A (en) * 2008-05-21 2011-09-08 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング Driver assistance system in order to avoid a collision between the vehicle and the pedestrian
JP2012014616A (en) * 2010-07-05 2012-01-19 Nissan Motor Co Ltd Vehicular right-turn-driving support apparatus and method therefor
WO2013145274A1 (en) * 2012-03-30 2013-10-03 トヨタ自動車株式会社 Driving assistance system
WO2014021332A1 (en) 2012-07-30 2014-02-06 市光工業株式会社 Warning device for vehicle and outside mirror device for vehicle
KR101373616B1 (en) * 2012-11-14 2014-03-12 전자부품연구원 Side camera system for vehicle and control method thereof
JP2014206021A (en) * 2013-04-15 2014-10-30 日立建機株式会社 Side camera for construction machine
JP2015153318A (en) * 2014-02-18 2015-08-24 日立建機株式会社 Obstacle detection device of work machine
GB2550262A (en) * 2016-03-21 2017-11-15 Ford Global Tech Llc Pedestrian detection and motion prediction with rear-facing camera
WO2018070655A1 (en) * 2016-10-11 2018-04-19 주식회사 피엘케이 테크놀로지 Moving object collision warning device and method for large vehicle
KR101865766B1 (en) * 2016-10-11 2018-06-11 주식회사 피엘케이 테크놀로지 Moving objects collision warning apparatus and method for large vehicle

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264932A (en) * 2006-03-28 2007-10-11 Kyocera Corp Vehicular communication system and on-vehicle imaging device
WO2007135856A1 (en) * 2006-05-19 2007-11-29 Pioneer Corporation Photographing control apparatus, photographing control method, photographing control program and recording medium
JP2007328454A (en) * 2006-06-06 2007-12-20 Omron Corp Right turn sensing control system and right turn sensing control method
JP2008001179A (en) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp Vehicle-mounted operation support camera device
JP2008080939A (en) * 2006-09-27 2008-04-10 Clarion Co Ltd Approaching object warning device
WO2008146343A1 (en) * 2007-05-25 2008-12-04 Pioneer Corporation Image recording apparatus
JP2009244985A (en) * 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc Driving support device and pedestrian detecting device
JP2011525005A (en) * 2008-05-21 2011-09-08 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング Driver assistance system in order to avoid a collision between the vehicle and the pedestrian
US9239380B2 (en) 2008-05-21 2016-01-19 Adc Automotive Distance Control Systems Gmbh Driver assistance system for avoiding collisions of a vehicle with pedestrians
JP2010183281A (en) * 2009-02-04 2010-08-19 Sumitomo Electric Ind Ltd In-vehicle photographing device, and safety measure method for vehicle
JP2010188970A (en) * 2009-02-20 2010-09-02 Honda Motor Co Ltd Periphery monitoring device for vehicle
JP2012014616A (en) * 2010-07-05 2012-01-19 Nissan Motor Co Ltd Vehicular right-turn-driving support apparatus and method therefor
EP2833335A4 (en) * 2012-03-30 2017-07-05 Toyota Motor Co Ltd Driving assistance system
US9126594B2 (en) 2012-03-30 2015-09-08 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus
WO2013145274A1 (en) * 2012-03-30 2013-10-03 トヨタ自動車株式会社 Driving assistance system
WO2014021332A1 (en) 2012-07-30 2014-02-06 市光工業株式会社 Warning device for vehicle and outside mirror device for vehicle
US9919649B2 (en) 2012-07-30 2018-03-20 Ichikoh Industries, Ltd. Warning device for vehicle and outside mirror device for vehicle
KR101373616B1 (en) * 2012-11-14 2014-03-12 전자부품연구원 Side camera system for vehicle and control method thereof
JP2014206021A (en) * 2013-04-15 2014-10-30 日立建機株式会社 Side camera for construction machine
JP2015153318A (en) * 2014-02-18 2015-08-24 日立建機株式会社 Obstacle detection device of work machine
GB2550262A (en) * 2016-03-21 2017-11-15 Ford Global Tech Llc Pedestrian detection and motion prediction with rear-facing camera
WO2018070655A1 (en) * 2016-10-11 2018-04-19 주식회사 피엘케이 테크놀로지 Moving object collision warning device and method for large vehicle
KR101865766B1 (en) * 2016-10-11 2018-06-11 주식회사 피엘케이 테크놀로지 Moving objects collision warning apparatus and method for large vehicle

Similar Documents

Publication Publication Date Title
US20120314071A1 (en) Pedestrian collision warning system
US20080137908A1 (en) Detecting and recognizing traffic signs
US20090060273A1 (en) System for evaluating an image
US20100328055A1 (en) Detection System for Assisting A Driver When Driving A Vehicle
US20150234045A1 (en) Navigation based on radar-cued visual imaging
US20120330541A1 (en) Driving assistance device
US20150344028A1 (en) Parking assist system with annotated map generation
CN101135558A (en) Vehicle anti-collision early warning method and apparatus based on machine vision
JP2006163828A (en) Alarm device for vehicle, and method of alarming ambient condition of vehicle
US20120140076A1 (en) Forward collision warning trap and pedestrian advanced warning system
CN101101333A (en) Apparatus and method for producing assistant information of driving vehicle for driver
JP2000127849A (en) Rear and side monitor for vehicle
CN1673679A (en) Nose-view monitoring apparatus
US20110228985A1 (en) Approaching object detection system
JP2005202678A (en) Traveling support device
JP2005276056A (en) Nose view monitoring device
JPH08202999A (en) Surrounding status monitoring device for vehicle
JP2006338594A (en) Pedestrian recognition system
JPH08138036A (en) Preceding vehicle recognition device
JP2012166705A (en) Foreign matter attachment determining system for on-vehicle camera lens
JP2002298299A (en) Driving support device for vehicle
JP2005306320A (en) Braking control device
JP2007228448A (en) Imaging environment recognition apparatus
JP2002150302A (en) Road surface recognition device
JP2006227811A (en) Driving support apparatus