JP2008143447A - Vehicle safety control device - Google Patents

Vehicle safety control device Download PDF

Info

Publication number
JP2008143447A
JP2008143447A JP2006335690A JP2006335690A JP2008143447A JP 2008143447 A JP2008143447 A JP 2008143447A JP 2006335690 A JP2006335690 A JP 2006335690A JP 2006335690 A JP2006335690 A JP 2006335690A JP 2008143447 A JP2008143447 A JP 2008143447A
Authority
JP
Japan
Prior art keywords
trigger signal
vehicle
recognition
output
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006335690A
Other languages
Japanese (ja)
Other versions
JP4762874B2 (en
Inventor
Ryozo Yoshizawa
亮蔵 吉沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2006335690A priority Critical patent/JP4762874B2/en
Publication of JP2008143447A publication Critical patent/JP2008143447A/en
Application granted granted Critical
Publication of JP4762874B2 publication Critical patent/JP4762874B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Air Bags (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle safety control device for actualizing a proper combination of radar output and image recognizing output. <P>SOLUTION: The vehicle safety control device comprises a radar unit 2 for detecting the position and relative speed of an object in front of a vehicle, a camera 3a for picking up an image in front of the vehicle, a processing region setting means for setting a processing region on the image obtained by the camera 3a, an object recognizing part 3b for recognizing the object on the image in the processing region, and an overlapping amount calculating part 4a for calculating the amount of overlapping the object with one's own vehicle in accordance with the detection result of the radar unit 2 and the recognition result of the object recognizing part 3b. The radar unit 2 and the object recognizing part 3b start detection and recognition, respectively, with the input of the same trigger signal generated by a trigger signal generating part 4b, and the overlapping amount calculating part 4a controls a safety device in accordance with the detection result of the radar unit 2 and the recognition result of the object recognizing part 3b synchronized by the trigger signal. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、車両用安全制御装置に関するものである。   The present invention relates to a vehicle safety control device.

車両前方の画像に対する画像処理システムでは、レーダにより自車前方の物体を検出し該物体との距離を検出するとともに、カメラにより自車前方を撮像し、前記レーダによる距離データに基づいてカメラで撮像した画像に対して画像認識処理すべき処理領域を設定し、これにより画像処理量の低減をすることが知られている(例えば、特許文献1参照)。
特開平9−264954号公報
In an image processing system for an image in front of a vehicle, an object in front of the host vehicle is detected by a radar and the distance to the object is detected, the front of the host vehicle is imaged by a camera, and an image is captured by the camera based on the distance data from the radar It is known that a processing area to be subjected to image recognition processing is set for a processed image, thereby reducing the amount of image processing (see, for example, Patent Document 1).
JP-A-9-264554

ところで、一般に、レーダによる物体検出処理時間と、カメラで撮像した画像に対する画像認識処理時間は異なる。
ところが、前述したように画像認識処理では、レーダの物体検出結果出力(以下、レーダ出力と略す)である距離データに基づいて処理領域を設定しているので、レーダによる物体検出処理時間と、カメラで撮像した画像に対する画像認識処理時間が異なっていると、レーダ出力が出力されてから画像認識処理が開始されるまでの時間が一定にならなくなる。
By the way, generally, the object detection processing time by the radar and the image recognition processing time for the image captured by the camera are different.
However, as described above, in the image recognition processing, since the processing area is set based on the distance data that is the radar object detection result output (hereinafter abbreviated as radar output), the object detection processing time by the radar, the camera If the image recognition processing times for the images picked up in are different, the time from the output of the radar output to the start of the image recognition processing is not constant.

図7は、従来のレーダ検出と画像認識の処理タイミングおよび出力タイミングを示したタイムチャートである。前述したように、レーダによる物体検出処理時間t1よりも、カメラ画像に対する画像認識処理時間t2の方が長く、いずれも一定時間としている。このタイムチャートでは、第1回目のレーダ検出による検出結果がレーダ出力a1として出力されると、このレーダ出力a1の物体位置情報に基づいて第1回目の画像認識処理が開始され、その画像認識結果が第1回目の画像認識出力b1として出力される。同様に、第2回目のレーダ検出による検出結果がレーダ出力a2として出力されると、このレーダ出力a2の物体位置情報に基づいて第2回目の画像認識処理が開始され、その画像認識結果が第2回目の画像認識出力b2として出力される。この一連の処理が繰り返されることとなる。   FIG. 7 is a time chart showing the processing timing and output timing of conventional radar detection and image recognition. As described above, the image recognition processing time t2 for the camera image is longer than the object detection processing time t1 by the radar, and both are set to a fixed time. In this time chart, when the detection result of the first radar detection is output as the radar output a1, the first image recognition processing is started based on the object position information of the radar output a1, and the image recognition result Is output as the first image recognition output b1. Similarly, when the detection result by the second radar detection is output as the radar output a2, the second image recognition processing is started based on the object position information of the radar output a2, and the image recognition result is It is output as the second image recognition output b2. This series of processing is repeated.

その結果、前述したようにレーダ出力が出力されてから画像認識処理が開始されるまでの時間が一定にならなくなる。そのため、画像認識処理開始時において処理領域を設定するときの物体の位置と実際の物体の位置とのずれ量が変動してしまう。従来は前記ずれ量の変動を見込んで処理領域を設定しており、そのために処理領域をある程度大きく設定する必要があるが、そうすると画像処理量が増大するという課題がある。   As a result, as described above, the time from the output of the radar output to the start of the image recognition process is not constant. Therefore, the amount of deviation between the position of the object and the actual position of the object when the processing area is set at the start of the image recognition process varies. Conventionally, the processing area is set in anticipation of the variation of the shift amount. For this reason, it is necessary to set the processing area to a certain extent, but there is a problem in that the amount of image processing increases.

また、レーダ出力と画像認識出力を用いて車両の安全装置等を制御する場合には、異なるタイミングで計測したレーダ出力と画像認識出力との組み合わせに基づいて、安全装置等の制御が行われる可能性がある。
例えば、図7のタイムチャートにおいて、レーダ出力a3は画像認識出力b1との組み合わせあるいは画像認識出力b2との組み合わせが考えられ、また、レーダ出力a4は画像認識出力b2との組み合わせあるいは画像認識出力b3との組み合わせが考えられるが、その組み合わせによって物体情報(位置、相対速度、大きさ)が異なってくるので、この物体情報に基づいて実行される制御内容も異なってしまうという課題がある。
また、時間的に近いレーダ出力と画像認識出力とを組み合わせるという考えもあるが、その場合には、遅い方の出力が出力されるまで待たなくてはならなくなり、待ち時間が長くなって処理時間が遅くなるという課題がある。例えば、結果的にレーダ出力a4と画像認識出力b2とが組み合わされる場合であっても、画像認識出力b3が出力されるまで待たなければ、画像認識出力b2,b3のどちらが時間的に近いかを判断することはできない。
Also, when controlling a vehicle safety device using radar output and image recognition output, the safety device can be controlled based on a combination of radar output and image recognition output measured at different timings. There is sex.
For example, in the time chart of FIG. 7, the radar output a3 can be combined with the image recognition output b1 or the image recognition output b2, and the radar output a4 can be combined with the image recognition output b2 or the image recognition output b3. However, since the object information (position, relative speed, size) varies depending on the combination, there is a problem that the control content executed based on the object information also varies.
There is also an idea of combining radar output and image recognition output that are close in time, but in that case, it is necessary to wait until the slower output is output, which increases the waiting time and processing time. There is a problem of slowing down. For example, even if the radar output a4 and the image recognition output b2 are combined as a result, if it does not wait until the image recognition output b3 is output, it is determined which of the image recognition outputs b2 and b3 is closer in time. It cannot be judged.

そこで、この発明は、処理領域を適切に設定することができ、レーダ出力と画像認識出力の組み合わせを適切にすることができる車両用安全制御装置を提供するものである。   Therefore, the present invention provides a vehicle safety control device that can appropriately set a processing region and can appropriately combine a radar output and an image recognition output.

この発明に係る車両用安全制御装置では、上記課題を解決するために以下の手段を採用した。
請求項1に係る発明は、車両に搭載され物体の位置および相対速度を検出する物体検出手段(例えば、後述する実施例におけるレーダユニット2)と、前記車両に搭載され物体を撮像する撮像手段(例えば、後述する実施例におけるカメラ3a)と、前記物体検出手段の検出結果に基づいて前記撮像手段により得られた画像上に処理領域を設定する処理領域設定手段(例えば、後述する実施例におけるS203)と、前記処理領域設定手段で設定した前記処理領域に含まれる画素の輝度値に基づいて画像上の物体を認識する物体認識手段(例えば、後述する実施例における物体認識部3b)と、前記物体検出手段の検出結果および前記物体認識手段の認識結果に基づいて前記車両の安全装置(例えば、後述する実施例におけるモータドライバーユニット5、アクチュエータ6、エアバッグ7)の制御を行う安全装置制御手段(例えば、後述する実施例におけるオーバーラップ量算出部4a)と、トリガー信号を所定時間ごとに発生するトリガー信号発生手段(例えば、後述する実施例におけるトリガー信号発生部4b)と、を備え、前記物体検出手段および前記物体認識手段は前記トリガー信号発生手段が発生させた同一トリガー信号の入力により検出または認識を開始し、前記安全装置制御手段は前記トリガー信号により同期された前記物体検出手段の検出結果と前記物体認識手段の認識結果とに基づいて前記安全装置を制御することを特徴とする車両用安全制御装置である。
The vehicle safety control device according to the present invention employs the following means in order to solve the above-described problems.
The invention according to claim 1 is an object detection means (for example, a radar unit 2 in an embodiment to be described later) mounted on a vehicle to detect the position and relative speed of the object, and an imaging means mounted on the vehicle for imaging an object ( For example, a camera 3a in an embodiment to be described later, and a processing area setting unit (for example, S203 in the embodiment to be described later) that sets a processing area on an image obtained by the imaging unit based on a detection result of the object detection unit. ), An object recognition unit that recognizes an object on the image based on the luminance value of the pixel included in the processing region set by the processing region setting unit (for example, an object recognition unit 3b in an embodiment described later), Based on the detection result of the object detection means and the recognition result of the object recognition means, the vehicle safety device (for example, a motor driver in an embodiment described later) Safety device control means (for example, an overlap amount calculation unit 4a in an embodiment to be described later) that controls the unit 5, the actuator 6, and the airbag 7), and trigger signal generation means (for example, a trigger signal generated every predetermined time) A trigger signal generation unit 4b) in an embodiment to be described later, and the object detection means and the object recognition means start detection or recognition by input of the same trigger signal generated by the trigger signal generation means, The safety device control means controls the safety device based on the detection result of the object detection means and the recognition result of the object recognition means synchronized by the trigger signal.

請求項2に係る発明は、請求項1に記載の発明において、前回トリガー信号に応じて前記物体検出手段により検出された物体の位置および相対速度に基づいて前記所定時間後における物体の位置を予測する物体位置予測手段(例えば、後述する実施例におけるステップS105)を備え、前記処理領域設定手段は、前記物体位置予測手段により予測された物体の位置に基づいて画像上の処理領域を設定し、前記安全装置制御手段は、今回トリガー信号に応じて前記物体検出手段により検出された検出結果と、今回トリガー信号に応じて前記物体認識手段により認識された認識結果とに基づいて前記安全装置を制御することを特徴とする。   According to a second aspect of the present invention, in the first aspect of the present invention, the position of the object after the predetermined time is predicted based on the position and relative speed of the object detected by the object detection means according to the previous trigger signal. Object position prediction means (for example, step S105 in the embodiment described later), the processing area setting means sets a processing area on the image based on the position of the object predicted by the object position prediction means, The safety device control means controls the safety device based on a detection result detected by the object detection means in response to a current trigger signal and a recognition result recognized by the object recognition means in response to a current trigger signal. It is characterized by doing.

請求項3に係る発明は、請求項2に記載の発明において、前記安全装置制御手段は、今回トリガー信号に応じて前記物体検出手段により検出された物体の位置および相対速度と、今回トリガー信号に応じて前記物体認識手段により認識された物体の大きさに基づいて、自車と物体との接触判定を行いこの判定結果に基づいて前記安全装置を制御することを特徴とする。   According to a third aspect of the present invention, in the invention of the second aspect, the safety device control means uses the current position and relative speed of the object detected by the object detection means in response to the current trigger signal, and the current trigger signal. Accordingly, the contact determination between the vehicle and the object is performed based on the size of the object recognized by the object recognition means, and the safety device is controlled based on the determination result.

請求項4に係る発明は、請求項1から請求項3のいずれか1項に記載の発明において、前記物体検出手段または前記物体認識手段の出力状況に応じて、前記トリガー信号の発生間隔である前記所定時間を変更することを特徴とする。   The invention according to claim 4 is the generation interval of the trigger signal according to any one of claims 1 to 3 according to the output status of the object detection means or the object recognition means. The predetermined time is changed.

請求項5に係る発明は、請求項4に記載の発明において、前回のトリガー信号の発生から今回のトリガー信号の発生までの間に、前記物体検出手段から検出結果が出力されない場合もしくは前記物体認識手段から認識結果が出力されない場合に前記所定時間を大きな値へ変更することを特徴とする。   The invention according to claim 5 is the invention according to claim 4, wherein the detection result is not output from the object detection means between the generation of the previous trigger signal and the generation of the current trigger signal, or the object recognition. When the recognition result is not output from the means, the predetermined time is changed to a large value.

請求項6に係る発明は、請求項1から請求項5のいずれか1項に記載の発明において、前記安全装置は車両に備えられたブレーキ(例えば、後述する実施例におけるアクチュエータ6)もしくはエアバッグ(例えば、後述する実施例におけるエアバッグ7)であることを特徴とする。   The invention according to claim 6 is the invention according to any one of claims 1 to 5, wherein the safety device is a brake (for example, an actuator 6 in an embodiment described later) provided in a vehicle or an airbag. (For example, an airbag 7 in an embodiment described later).

請求項1に係る発明によれば、同一トリガー信号の入力を物体検出処理および物体認識処理の開始タイミングとすることにより、物体検出手段による検出結果と物体認識手段による認識結果との同期を取ることができ、これら結果の適切な組み合わせに基づいて安全装置を制御することができる。   According to the first aspect of the invention, the detection result by the object detection unit and the recognition result by the object recognition unit are synchronized by inputting the same trigger signal as the start timing of the object detection process and the object recognition process. And the safety device can be controlled based on an appropriate combination of these results.

請求項2に係る発明によれば、トリガー信号の発生間隔である所定時間が特定されるので、物体の位置予測を高精度に行うことができる。また、処理領域の設定は、前回トリガー信号に応じて予測した物体の位置に基づいて行うので、画像認識処理開始と同時に処理領域を設定することができる。しかも、物体の位置予測が高精度であるので、処理領域の設定を適切に行うことができる。
また、今回トリガー信号に応じた物体検出手段による物体検出結果と今回トリガー信号に応じた物体認識手段による認識結果との組み合わせに基づいて安全装置を制御するので、検出結果と認識結果との間に時間軸上のずれが生じない。
According to the second aspect of the present invention, since the predetermined time that is the generation interval of the trigger signal is specified, the position of the object can be predicted with high accuracy. Further, since the processing area is set based on the position of the object predicted according to the previous trigger signal, the processing area can be set simultaneously with the start of the image recognition process. In addition, since the position prediction of the object is highly accurate, the processing region can be set appropriately.
In addition, since the safety device is controlled based on the combination of the object detection result by the object detection means according to the current trigger signal and the recognition result by the object recognition means according to the current trigger signal, the safety device is between the detection result and the recognition result. No shift on the time axis occurs.

請求項3に係る発明によれば、物体検出手段により検出された高精度の位置および相対速度と、物体認識手段により認識された高精度の物体の大きさとの組み合わせに基づいて、自車と物体との接触判定を行うことができるので、接触可能性の判定精度が向上する。   According to the invention of claim 3, the vehicle and the object are based on the combination of the high-accuracy position and relative speed detected by the object detection means and the high-precision object size recognized by the object recognition means. Can be determined, so that the determination accuracy of the contact possibility is improved.

請求項4に係る発明によれば、トリガー信号の発生タイミングを適切に設定することができる。   According to the invention which concerns on Claim 4, the generation | occurrence | production timing of a trigger signal can be set appropriately.

請求項5に係る発明によれば、物体検出手段による検出処理時間あるいは物体認識手段による認識処理時間が大きくなったときにも、トリガー信号の発生間隔である所定時間を大きくするように変更することで、物体検出手段による検出結果と物体認識手段による認識結果との同期を確保することができる。   According to the invention of claim 5, when the detection processing time by the object detection means or the recognition processing time by the object recognition means is increased, the predetermined time that is the trigger signal generation interval is increased. Thus, synchronization between the detection result by the object detection unit and the recognition result by the object recognition unit can be ensured.

請求項6に係る発明によれば、ブレーキやエアバッグを適正に制御することができる。   According to the invention which concerns on Claim 6, a brake and an airbag can be controlled appropriately.

以下、この発明に係る車両用安全制御装置の実施例を図1から図6の図面を参照して説明する。
図1の機能ブロック図に示すように、この車両用安全制御装置1は、レーダユニット(物体検出手段)2と、カメラユニット3と、電子制御装置4と、モータドライバーユニット5と、アクチュエータ6と、エアバッグ7と、を備えて構成されている。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of a vehicle safety control device according to the present invention will be described below with reference to the drawings of FIGS.
As shown in the functional block diagram of FIG. 1, the vehicle safety control device 1 includes a radar unit (object detection means) 2, a camera unit 3, an electronic control device 4, a motor driver unit 5, an actuator 6, , And an airbag 7.

レーダユニット2は、レーダ2aと物体検出部2bとを備えて構成されている。レーダ2aは、例えばレーザ光やミリ波等の電磁波を自車の進行方向前方に向けて発信すると共に、この発信した電磁波が自車の外部の物体(例えば他車両)によって反射されたときにその反射波を受信し、発信した電磁波と受信した電磁波(反射波)とを混合してビート信号を生成し、物体検出部2bへ出力する。   The radar unit 2 includes a radar 2a and an object detection unit 2b. The radar 2a transmits an electromagnetic wave such as a laser beam or a millimeter wave toward the front in the traveling direction of the host vehicle, and when the transmitted electromagnetic wave is reflected by an object outside the host vehicle (for example, another vehicle), the radar 2a The reflected wave is received, the transmitted electromagnetic wave and the received electromagnetic wave (reflected wave) are mixed to generate a beat signal, and output to the object detection unit 2b.

物体検出部2bは、レーダ2aから入力されるビート信号に基づいて、電磁波を反射した物体の位置、相対速度、該物体の大まかな大きさ等を算出し、算出した物体の情報を電子制御装置4に出力する。また、物体検出部2bは、算出された相対速度に基づいて該物体の所定時間後の予測位置を算出し、この予測位置情報をカメラユニット3に出力する。   The object detection unit 2b calculates the position of the object reflecting the electromagnetic wave, the relative speed, the approximate size of the object, and the like based on the beat signal input from the radar 2a, and the calculated object information is electronically controlled. 4 is output. Further, the object detection unit 2 b calculates a predicted position of the object after a predetermined time based on the calculated relative speed, and outputs the predicted position information to the camera unit 3.

カメラユニット3は、CCDカメラやCMOSカメラ等からなるカメラ(撮像手段)3aと、物体認識部(物体認識手段)3bとを備えて構成されている。
カメラ3aは、撮影して得た自車の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して物体認識部3bへ出力する。
The camera unit 3 includes a camera (imaging unit) 3a including a CCD camera or a CMOS camera, and an object recognition unit (object recognition unit) 3b.
The camera 3a performs predetermined image processing such as filtering and binarization processing on each image of the outside world in the traveling direction of the own vehicle obtained by photographing, and generates image data composed of pixels of a two-dimensional array. And output to the object recognition unit 3b.

物体認識部3bには、カメラ3aから画像データが入力されるとともに、レーダユニット2の物体検出部2bから物体の予測位置情報が入力される。物体認識部3bは、入力した予測位置情報に基づいて、カメラ3aから入力される画像データ上に所定の大きさの領域(以下、処理領域と称す)を設定する。例えば、図2に示すように、カメラ3aによる撮影画像S1に対して、前方車両を囲み得る面積を有する矩形の処理領域S2を設定する。
さらに、物体認識部3bは、設定された処理領域に含まれる画素の輝度値に基づいて画像上の物体を認識し、認識した物体の大きさや特徴(形状等)などの情報を電子制御装置4に出力する。
Image data is input from the camera 3a to the object recognition unit 3b, and predicted position information of the object is input from the object detection unit 2b of the radar unit 2. The object recognition unit 3b sets a region having a predetermined size (hereinafter referred to as a processing region) on the image data input from the camera 3a based on the input predicted position information. For example, as illustrated in FIG. 2, a rectangular processing region S <b> 2 having an area that can surround the preceding vehicle is set for the captured image S <b> 1 by the camera 3 a.
Further, the object recognizing unit 3b recognizes an object on the image based on the luminance value of the pixel included in the set processing region, and sends information such as the size and characteristics (shape, etc.) of the recognized object to the electronic control unit 4. Output to.

電子制御装置4は、オーバーラップ量算出部(安全装置制御手段)4aと、トリガー信号発信部(トリガー信号発生手段)4bとを備えて構成されている。
オーバーラップ量算出部4aには、レーダユニット2の物体検出部2bによって検出された物体情報(物体の位置、相対速度、物体の大まかな大きさ等)と、カメラユニット3の物体認識部3bによって検出された物体情報(物体の大きさ、特徴等)とが入力される。オーバーラップ量算出部4aは、入力したこれら情報等に基づいて、自車と物体が現在の走行状態を維持した場合に接触するまでの時間(以下、接触予測時間と称す)を算出し、接触予測時間後の自車と前記物体との車幅方向の重なり量(以下、オーバーラップ量と称す)を推定算出して、自車と物体とが接触する可能性があるか否かを判定し、この判定結果をモータドライバーユニット5およびエアバッグ7に出力する。また、オーバーラップ量算出部4aは、これらの処理が正常に実行されたときに実行完了のステータス信号をトリガー信号発生部4bに出力する。
The electronic control unit 4 includes an overlap amount calculation unit (safety device control unit) 4a and a trigger signal transmission unit (trigger signal generation unit) 4b.
The overlap amount calculation unit 4 a includes object information (object position, relative speed, rough size of the object, etc.) detected by the object detection unit 2 b of the radar unit 2 and an object recognition unit 3 b of the camera unit 3. The detected object information (object size, characteristics, etc.) is input. Based on the input information and the like, the overlap amount calculation unit 4a calculates a time (hereinafter referred to as a predicted contact time) until the vehicle and the object are in contact with each other when the current running state is maintained. Estimate and calculate the amount of overlap between the vehicle and the object in the vehicle width direction after the predicted time (hereinafter referred to as overlap amount), and determine whether or not there is a possibility of contact between the vehicle and the object The determination result is output to the motor driver unit 5 and the airbag 7. Further, the overlap amount calculation unit 4a outputs an execution completion status signal to the trigger signal generation unit 4b when these processes are normally executed.

トリガー信号発生部4bは、レーダユニット2による物体検出処理とカメラユニット3による画像認識処理の開始タイミングを同期させるためのトリガー信号を一定の発生間隔Δt1(秒)毎に発生させ、発生したトリガー信号をレーダ2a、物体認識部3b、オーバーラップ量算出部4aへ出力する。なお、トリガー信号の発生間隔Δt1は変更可能であり、後述するように必要に応じて変更される。   The trigger signal generator 4b generates a trigger signal for synchronizing the start timing of the object detection process by the radar unit 2 and the image recognition process by the camera unit 3 at a constant generation interval Δt1 (seconds), and the generated trigger signal Are output to the radar 2a, the object recognition unit 3b, and the overlap amount calculation unit 4a. The trigger signal generation interval Δt1 can be changed, and is changed as necessary as will be described later.

モータドライバーユニット5は、操舵アシスト量を制御する操舵アクチュエータ制御部や、ブレーキアシスト量を制御するブレーキアクチュエータ制御部などを備えてなり、オーバーラップ量算出部4aから入力した判定結果に応じて、自車と物体との接触発生を回避あるいは接触発生時の被害を軽減するように、操舵アシスト量やブレーキアシスト量を制御し、これらアシスト量に応じた制御信号をアクチュエータ6へ出力する。
アクチュエータ6は、操舵アクチュエータやブレーキアクチュエータなどを備えてなり、モータドライバーユニット5から入力した制御信号に応じて駆動され、これにより、接触回避あるいは被害低減のための自車の操舵制御または減速制御あるいはその両方が実行される。この実施例において、モータドライバーユニット5とアクチュエータ6は第1の安全装置を構成する。
The motor driver unit 5 includes a steering actuator control unit that controls the steering assist amount, a brake actuator control unit that controls the brake assist amount, and the like. The motor driver unit 5 automatically determines according to the determination result input from the overlap amount calculation unit 4a. The steering assist amount and the brake assist amount are controlled so as to avoid the occurrence of contact between the vehicle and the object or reduce the damage at the time of the contact occurrence, and a control signal corresponding to the assist amount is output to the actuator 6.
The actuator 6 includes a steering actuator, a brake actuator, and the like, and is driven in accordance with a control signal input from the motor driver unit 5, whereby the vehicle's steering control or deceleration control for avoiding contact or reducing damage or Both are executed. In this embodiment, the motor driver unit 5 and the actuator 6 constitute a first safety device.

エアバッグ7は、運転席用エアバッグ、助手席用エアバッグ、サイドカーテンエアバッグなどからなり、オーバーラップ量算出部4aから入力した判定結果に応じて、作動あるいは非作動が制御される。この実施例において、エアバッグ7は第2の安全装置を構成する。   The airbag 7 includes a driver seat airbag, a passenger seat airbag, a side curtain airbag, and the like, and is controlled to be activated or deactivated according to the determination result input from the overlap amount calculation unit 4a. In this embodiment, the airbag 7 constitutes a second safety device.

このように構成された車両用安全制御装置1においては、レーダユニット2による物体検出処理時間とカメラユニット3による画像認識処理時間が異なることに起因して生じる従来の課題、すなわち、処理領域の過大設定、および、レーダユニット2による物体検出結果とカメラユニット3による画像認識結果との不適切な組み合わせに基づく検知精度の低下を防止するために、レーダユニット2とカメラユニット3は、トリガー信号発生部4bから同時に出力されたトリガー信号(すなわち、同一トリガー信号)を受信した時に、レーダユニット2による物体検出処理を開始するとともに、カメラユニット3による画像認識処理を開始することとし、これによりレーダ出力と画像認識出力との同期を取ることができるようにした。   In the vehicle safety control device 1 configured as described above, the conventional problem caused by the difference between the object detection processing time by the radar unit 2 and the image recognition processing time by the camera unit 3, that is, an excessive processing area. In order to prevent a reduction in detection accuracy based on an inappropriate combination of the setting and the object detection result by the radar unit 2 and the image recognition result by the camera unit 3, the radar unit 2 and the camera unit 3 are provided with a trigger signal generation unit. When the trigger signal output simultaneously from 4b (that is, the same trigger signal) is received, the object detection process by the radar unit 2 is started and the image recognition process by the camera unit 3 is started. Added synchronization with image recognition output.

以下、具体的に処理手順を説明する。
初めに、レーダユニット2において実行される物体検出処理を図3のフローチャートに従って説明する。
まず、ステップS101において、トリガー信号発生部4bからトリガー信号TSxを入力したか否かを判定する。なお、このステップS101のトリガー信号TSxと、後述する画像認識処理におけるステップS201(図4参照)のトリガー信号TSxと、オーバーラップ判定処理におけるステップS301(図5参照)のトリガー信号TSxはトリガー信号発生部4bから同時に出力されたトリガー信号であるものとし、すなわち同一トリガー信号であるものとする。
ステップS101における判定結果が「NO」(TSx入力なし)である場合には、本ルーチンの実行を一旦終了する。
The processing procedure will be specifically described below.
First, the object detection process executed in the radar unit 2 will be described with reference to the flowchart of FIG.
First, in step S101, it is determined whether or not the trigger signal TSx is input from the trigger signal generator 4b. The trigger signal TSx in step S101, the trigger signal TSx in step S201 (see FIG. 4) in the image recognition process described later, and the trigger signal TSx in step S301 (see FIG. 5) in the overlap determination process are generated as trigger signals. It is assumed that the trigger signals are simultaneously output from the unit 4b, that is, the same trigger signal.
If the determination result in step S101 is “NO” (no TSx input), the execution of this routine is temporarily terminated.

ステップS101における判定結果が「YES」(TSx入力あり)である場合には、ステップS102に進み、レーダ2aから車両前方に向けて電磁波(発信信号)を発信する。これにより、レーダユニット2による物体検出処理が開始される。
次に、ステップS103に進み、物体で反射しレーダ2aにより受信された複数の反射信号の中から衝突の危険性の高い反射信号を選択してこの物体をターゲットとし、該ターゲットの位置、相対速度、大まかな大きさ(以下、これらをまとめてレーダユニット2により検出された物体情報と言う場合もある)を算出する。
If the determination result in step S101 is “YES” (with TSx input), the process proceeds to step S102, where an electromagnetic wave (transmission signal) is transmitted from the radar 2a toward the front of the vehicle. Thereby, the object detection process by the radar unit 2 is started.
Next, the process proceeds to step S103, where a reflected signal with a high risk of collision is selected from a plurality of reflected signals reflected by the object and received by the radar 2a, and this object is set as a target, and the position and relative velocity of the target are selected. The approximate size (hereinafter, these may be collectively referred to as object information detected by the radar unit 2) is calculated.

次に、ステップS104に進み、前記ターゲットの位置変化やステップS103で算出した相対速度に基づいて、ターゲットの移動軌跡を算出する。
次に、ステップS105に進み、トリガー信号の発生間隔Δt1後におけるターゲットの予測位置を、ステップS103で算出した相対速度と、ステップS104で算出した移動軌跡に基づいて算出する。
次に、ステップS106に進み、ステップS103で算出した物体情報を電子制御装置4のオーバーラップ量算出部4aへ出力するとともに、ステップS105で算出したΔt1後のターゲットの予測位置情報をカメラユニット3の物体認識部3bへ出力して、本ルーチンの実行を一旦終了する。
この実施例において、電子制御装置4がステップS105の処理を実行することにより物体位置予測手段が実現される。
Next, the process proceeds to step S104, and a target movement trajectory is calculated based on the position change of the target and the relative speed calculated in step S103.
Next, proceeding to step S105, the predicted position of the target after the trigger signal generation interval Δt1 is calculated based on the relative speed calculated in step S103 and the movement trajectory calculated in step S104.
Next, the process proceeds to step S106, and the object information calculated in step S103 is output to the overlap amount calculation unit 4a of the electronic control unit 4, and the predicted position information of the target after Δt1 calculated in step S105 is stored in the camera unit 3. It outputs to the object recognition part 3b, and execution of this routine is once complete | finished.
In this embodiment, the object position prediction means is realized by the electronic control unit 4 executing the process of step S105.

次に、カメラユニット3の物体認識部3bにおいて実行される画像認識処理を図4のフローチャートに従って説明する。
まず、ステップS201において、トリガー信号発生部4bからトリガー信号TSxを入力したか否かを判定する。
ステップS201における判定結果が「NO」(TSx入力なし)である場合には、本ルーチンの実行を一旦終了する。
Next, image recognition processing executed in the object recognition unit 3b of the camera unit 3 will be described with reference to the flowchart of FIG.
First, in step S201, it is determined whether or not the trigger signal TSx is input from the trigger signal generator 4b.
If the determination result in step S201 is “NO” (no TSx input), the execution of this routine is temporarily terminated.

ステップS201における判定結果が「YES」(TSx入力あり)である場合には、ステップS202に進み、カメラ3aで撮影した画像データを取り込む。
次に、ステップS203に進み、前回のトリガー信号TSx-1を開始タイミングとして実行した前回の物体検出処理におけるステップS105で算出したターゲットの予測位置に基づいて、撮影画像S1に処理領域S2を設定する。つまり、前回の物体検出処理におけるステップS105の処理は、今回のトリガー信号TSxを受信したときのターゲットの位置を予測しており、ステップS203では、このターゲットの予測位置に基づいて処理領域S2を設定する。
If the determination result in step S201 is “YES” (with TSx input), the process proceeds to step S202, and image data captured by the camera 3a is captured.
Next, the process proceeds to step S203, and a processing region S2 is set in the captured image S1 based on the predicted target position calculated in step S105 in the previous object detection process executed with the previous trigger signal TSx-1 as the start timing. . That is, the process of step S105 in the previous object detection process predicts the position of the target when the current trigger signal TSx is received, and in step S203, the processing region S2 is set based on the predicted position of the target. To do.

次に、ステップS204に進み、設定された処理領域S2に含まれる画素の輝度値に基づいて処理領域S2上のエッジパターン(物体)を抽出する。
次に、ステップS205に進み、ステップS204において抽出したエッジパターンに登録エッジパターンと相似形のものがあるか否かを判定する。このルーチンを初回に実行したときは登録エッジパターンが存在しないので、判定結果はNOとなる。
In step S204, an edge pattern (object) on the processing region S2 is extracted based on the luminance value of the pixel included in the set processing region S2.
In step S205, it is determined whether the edge pattern extracted in step S204 is similar to the registered edge pattern. When this routine is executed for the first time, there is no registered edge pattern, so the determination result is NO.

ステップS205における判定結果が「YES」(相似形あり)である場合には、ステップS206に進み、抽出したエッジパターンに基づいてターゲットの大きさを算出する。
次に、ステップS207に進み、抽出したエッジパターンを登録エッジパターンとして記憶する。
If the determination result in step S205 is “YES” (there is a similar shape), the process proceeds to step S206, and the target size is calculated based on the extracted edge pattern.
In step S207, the extracted edge pattern is stored as a registered edge pattern.

一方、ステップS205における判定結果が「NO」(相似形なし)である場合には、ステップS208に進み、処理領域S2内の画像データに対して背景の分離処理を行う。
次に、ステップS209に進んで背景分離カウンタのカウント値nに1を加算し(n←n+1)、さらに、ステップS210に進んで加算後のカウント値nが閾値Nより大きいか否かを判定する。
On the other hand, if the determination result in step S205 is “NO” (no similarity), the process proceeds to step S208, and background separation processing is performed on the image data in the processing area S2.
In step S209, 1 is added to the count value n of the background separation counter (n ← n + 1). In step S210, it is determined whether the added count value n is greater than the threshold value N. .

ステップS210における判定結果が「NO」(n≦N)である場合には、ステップS205に戻り、背景分離処理後のエッジパターンに登録エッジパターンと相似形のものがあるか否か判定する。なお、n=2以上においてステップS205に戻ったときには、前回(n−1)の背景分離処理後のエッジパターンが第2の登録エッジパターンとされていて、今回(n)の背景分離処理後のエッジパターンに、ステップS207において記憶された登録エッジパターン、あるいは、前記第2の登録エッジパターンと相似形のものがあるか否かを判定する。   If the determination result in step S210 is “NO” (n ≦ N), the process returns to step S205, and it is determined whether or not the edge pattern after the background separation process has a similar shape to the registered edge pattern. When n = 2 or more and the process returns to step S205, the edge pattern after the previous (n−1) background separation process is the second registered edge pattern, and this time (n) after the background separation process. It is determined whether or not there is an edge pattern similar to the registered edge pattern stored in step S207 or the second registered edge pattern.

ステップS210における判定結果が「YES」(n>N)である場合には、ステップS211に進み、背景分離カウンタのカウント値を0にリセットして、ステップS207に進み、最後(n=N)の背景処理後のエッジパターンを登録エッジパターンとして記憶する。つまり、背景分離処理の最大繰り返し数をN回に限定することによって、画像認識処理時間に制限を加え、後述するオーバーラップ判定処理に支障を来さないようにした。   If the determination result in step S210 is “YES” (n> N), the process proceeds to step S211, the count value of the background separation counter is reset to 0, the process proceeds to step S207, and the last (n = N) The edge pattern after background processing is stored as a registered edge pattern. In other words, by limiting the maximum number of repetitions of the background separation processing to N times, the image recognition processing time is limited so that the overlap determination processing described later is not hindered.

なお、外界の環境状態に応じて最大繰り返し数Nを変更することによって画像認識処理の制限時間を変更することも可能である。例えば、夜間や悪天候のときには画像認識処理に時間が長くかかり、画像認識による物体情報の出力が遅くなることが考えられるので、このような場合には最大繰り返し数Nを大きい値に変更して画像認識処理の制限時間を長くする。そして、画像認識処理の制限時間の変更に応じて、トリガー信号の発生間隔Δtを変更し、レーダユニット2からの物体情報出力やカメラユニット3からの物体情報出力が出力される前に、トリガー信号発生部4bから次のトリガー信号が発信されないようにする。例えば、最大繰り返し数Nを大きくして画像認識処理の制限時間を長くしたときには、トリガー信号の発生間隔Δtを大きくする。このようにすると、レーダユニット2の物体検出による物体情報の出力と物体認識部3bの画像認識による物体情報の出力との同期性を常に確保することができる。   It is also possible to change the time limit for the image recognition process by changing the maximum number of repetitions N according to the environmental conditions of the outside world. For example, it may take a long time for image recognition processing at night or in bad weather, and the output of object information by image recognition may be delayed. In such a case, the maximum number of repetitions N is changed to a large value and the image is processed. Increase the time limit for recognition processing. Then, the trigger signal generation interval Δt is changed according to the change in the time limit of the image recognition processing, and before the object information output from the radar unit 2 or the object information output from the camera unit 3 is output, the trigger signal is output. The next trigger signal is prevented from being transmitted from the generator 4b. For example, when the maximum number of repetitions N is increased to increase the time limit for image recognition processing, the trigger signal generation interval Δt is increased. In this way, it is possible to always ensure the synchronism between the output of object information by the object detection of the radar unit 2 and the output of object information by the image recognition of the object recognition unit 3b.

具体的な方法としては、例えば、前回のトリガー信号の発生から今回のトリガー信号の発生までの間にレーダユニット2から物体情報が出力されない場合、あるいは、カメラユニット3から物体情報が出力されない場合に、最大繰り返し数Nを大きくするとともに、トリガー信号の発生間隔Δtを大きくする。   As a specific method, for example, when object information is not output from the radar unit 2 between the generation of the previous trigger signal and the generation of the current trigger signal, or when object information is not output from the camera unit 3. The maximum number of repetitions N is increased and the trigger signal generation interval Δt is increased.

ステップS207の処理を実行した後、ステップS212に進み、ステップS206において算出したターゲットの大きさ情報を電子制御装置4のオーバーラップ量算出部4aへ出力し、本ルーチンの実行を一旦終了する。
この実施例において、電子制御装置4がステップS203の処理を実行することにより処理領域設定手段が実現される。
After performing the process of step S207, the process proceeds to step S212, the target size information calculated in step S206 is output to the overlap amount calculation unit 4a of the electronic control unit 4, and the execution of this routine is temporarily terminated.
In this embodiment, the processing area setting means is realized by the electronic control unit 4 executing the process of step S203.

次に、電子制御装置4のオーバーラップ量算出部4aにおいて実行されるオーバーラップ判定処理を図5のフローチャートに従って説明する。
まず、ステップS301において、トリガー信号発生部4bからトリガー信号TSxを入力したか否かを判定する。
ステップS301における判定結果が「NO」(TSx入力なし)である場合には、本ルーチンの実行を一旦終了する。
Next, the overlap determination process executed in the overlap amount calculation unit 4a of the electronic control unit 4 will be described with reference to the flowchart of FIG.
First, in step S301, it is determined whether or not the trigger signal TSx is input from the trigger signal generator 4b.
If the determination result in step S301 is “NO” (no TSx input), the execution of this routine is temporarily terminated.

次に、ステップS302に進み、レーダユニット2から物体情報を入力したか否かを判定する。ここでいうレーダユニット2からの物体情報とは、トリガー信号TSxを開始トリガーとしてレーダユニット2が物体検出処理を実行して得た物体情報(ターゲットの位置、相対速度、大きさ)である。
ステップS302における判定結果が「NO」(入力なし)である場合には、本ルーチンの実行を一旦終了する。
In step S302, it is determined whether object information is input from the radar unit 2. The object information from the radar unit 2 here is object information (target position, relative speed, size) obtained by the radar unit 2 executing object detection processing using the trigger signal TSx as a start trigger.
If the determination result in step S302 is “NO” (no input), the execution of this routine is temporarily terminated.

ステップS302における判定結果が「YES」(入力あり)である場合には、ステップS303に進み、カメラユニット3から物体情報を入力したか否かを判定する。ここでいうカメラユニット3からの物体情報とは、トリガー信号TSxを開始トリガーとしてカメラユニット3が画像認識処理を実行して得た物体情報(ターゲットの大きさ)である。   If the determination result in step S <b> 302 is “YES” (with input), the process proceeds to step S <b> 303 to determine whether object information has been input from the camera unit 3. The object information from the camera unit 3 here is object information (target size) obtained by the camera unit 3 executing image recognition processing using the trigger signal TSx as a start trigger.

ステップS303における判定結果が「YES」(入力あり)である場合には、ステップS304に進み、レーダユニット2から入力した物体情報のうちのターゲットの位置、相対速度と、カメラユニット3から入力した物体情報であるターゲットの大きさに基づいて、オーバーラップ量を推定算出し自車と物体とが接触する可能性があるか否かを判定する。これにより、レーダユニット2によって検出した精度の高い位置および相対速度と、カメラユニット3によって検出した精度の高いターゲットの大きさに基づいて、自車と物体との接触可能性の判定を行うことができるので、接触可能性の判定精度が向上する。   If the determination result in step S303 is “YES” (with input), the process proceeds to step S304, where the target position and relative speed in the object information input from the radar unit 2 and the object input from the camera unit 3 are detected. Based on the size of the target as information, the overlap amount is estimated and calculated, and it is determined whether or not there is a possibility of contact between the own vehicle and the object. Thus, the possibility of contact between the vehicle and the object can be determined based on the position and relative velocity detected with high accuracy by the radar unit 2 and the size of the target detected with high accuracy by the camera unit 3. Since it can do, the determination accuracy of contact possibility improves.

一方、ステップS303における判定結果が「NO」(入力なし)である場合には、ステップS305に進み、レーダユニット2からの物体情報(ターゲットの位置、相対速度、大きさ)のみに基づいて、オーバーラップ量を推定算出し自車と物体とが接触する可能性があるか否かを判定する。これにより、カメラユニット3によりターゲットの大きさが検出されないときにも、自車と物体との接触可能性の判定を行うことができる。   On the other hand, if the determination result in step S303 is “NO” (no input), the process proceeds to step S305, and the overrun is based only on the object information (target position, relative speed, size) from the radar unit 2. The lap amount is estimated and calculated, and it is determined whether or not there is a possibility of contact between the vehicle and the object. Thereby, even when the size of the target is not detected by the camera unit 3, it is possible to determine the possibility of contact between the own vehicle and the object.

図6は、実施例の車両用安全制御装置1において、レーダユニット2による物体検出処理とカメラユニット3による画像認識処理の処理タイミングおよび出力タイミングを示したタイムチャートである。
トリガー信号TSは一定の発生間隔Δt1毎に発信される。そして、常にトリガー信号を開始タイミングとして、レーダユニット2が物体検出処理を開始し、同時にカメラユニット3が画像認識処理を開始する。レーダユニット2の物体検出処理時間t1は、カメラユニット3の画像認識処理時間t2よりも長いので、物体検出処理により検出された物体情報(位置、相対速度、大まかな大きさ)がレーダ出力R1として、また、トリガー信号の発生間隔Δt後の物体の予測位置情報がレーダ出力R2として、画像認識処理の画像認識出力Cよりも先に、レーダユニット2から出力される。
FIG. 6 is a time chart showing processing timing and output timing of object detection processing by the radar unit 2 and image recognition processing by the camera unit 3 in the vehicle safety control device 1 of the embodiment.
The trigger signal TS is transmitted at regular intervals Δt1. The radar unit 2 starts the object detection process with the trigger signal as the start timing, and the camera unit 3 starts the image recognition process at the same time. Since the object detection processing time t1 of the radar unit 2 is longer than the image recognition processing time t2 of the camera unit 3, the object information (position, relative speed, approximate size) detected by the object detection processing is used as the radar output R1. The predicted position information of the object after the trigger signal generation interval Δt is output from the radar unit 2 as the radar output R2 before the image recognition output C of the image recognition process.

このレーダ出力R2は、次のトリガー信号により開始される画像認識処理(以下、次の画像認識処理と略す)開始時の物体の予測位置となり、この予測位置に基づいて次の画像認識処理のときの処理領域を設定するので、次の画像認識処理開始と同時に処理領域を設定することができる。また、トリガー信号の発生間隔Δtが特定されているので、位置予測を高精度に行うことができ、処理領域の設定を適切に行うことができる。   The radar output R2 is a predicted position of the object at the start of the image recognition process (hereinafter abbreviated as the next image recognition process) that is started by the next trigger signal, and the next image recognition process is performed based on the predicted position. Therefore, the processing area can be set simultaneously with the start of the next image recognition process. Further, since the generation interval Δt of the trigger signal is specified, the position prediction can be performed with high accuracy, and the processing region can be set appropriately.

そして、レーダユニット2のレーダ出力R1,R2から遅れて、画像認識処理により検出された物体情報(物体の大きさ)が画像認識出力Cとしてカメラユニット3から出力される。この画像認識出力Cが出力されるのを待って、レーダ出力R1と画像認識出力Cとに基づいて自車と物体とのオーバーラップ量の算出が行われる。   The object information (object size) detected by the image recognition processing is output from the camera unit 3 as the image recognition output C with a delay from the radar outputs R1 and R2 of the radar unit 2. After the image recognition output C is output, the overlap amount between the vehicle and the object is calculated based on the radar output R1 and the image recognition output C.

したがって、常にレーダ出力R1と画像認識出力Cとの同期を取ることができ、同じタイミングで処理を開始した物体検出処理のレーダ出力R1と画像認識処理の画像認識出力Cとを組み合わせることができ、組み合わせがずれることがない。例えば、このタイムチャートにおいては、レーダ出力R1-1と画像認識出力C-1、レーダ出力R1-2と画像認識出力C-2、レーダ出力R1-3と画像認識出力C-3、レーダ出力R1-4と画像認識出力C-4、とを組み合わせればよい。
換言すると、レーダユニット2による物体検出処理とカメラユニット3による画像認識処理との間に時間軸上のずれが生じないで、同一事象に対して並行して処理を行うことができる。
その結果、常に同期されたレーダ出力R1と画像認識出力Cとの組み合わせにより、オーバーラップ量を推定算出し自車と物体とが接触する可能性があるか否かを判定することができる。
Therefore, the radar output R1 and the image recognition output C can always be synchronized, and the radar output R1 of the object detection process started at the same timing and the image recognition output C of the image recognition process can be combined. The combination will not shift. For example, in this time chart, radar output R1 -1 and image recognition output C -1 , radar output R1 -2 and image recognition output C -2 , radar output R1 -3 and image recognition output C -3 , radar output R1 -4 and the image recognition output C -4 may be combined.
In other words, a process on the same event can be performed in parallel without causing a shift on the time axis between the object detection process by the radar unit 2 and the image recognition process by the camera unit 3.
As a result, the overlap amount can be estimated and calculated based on the combination of the radar output R1 and the image recognition output C that are always synchronized, and it can be determined whether or not there is a possibility of contact between the vehicle and the object.

この発明に係る車両用安全制御装置の実施例における機能ブロック図である。It is a functional block diagram in the Example of the vehicle safety control apparatus which concerns on this invention. 画像認識処理における処理領域の説明図である。It is explanatory drawing of the process area | region in an image recognition process. 実施例における物体検出処理を示すフローチャートである。It is a flowchart which shows the object detection process in an Example. 実施例における画像認識処理を示すフローチャートである。It is a flowchart which shows the image recognition process in an Example. 実施例におけるオーバーラップ判定処理を示すフローチャートである。It is a flowchart which shows the overlap determination process in an Example. 実施例の車両用安全制御装置における物体検出処理と画像認識処理の処理タイミングおよび出力タイミングを示すタイムチャートである。It is a time chart which shows the process timing and output timing of the object detection process and image recognition process in the vehicle safety control apparatus of an Example. 従来の物体検出処理と画像認識処理の処理タイミングおよび出力タイミングを示すタイムチャートである。It is a time chart which shows the processing timing and output timing of the conventional object detection processing and image recognition processing.

符号の説明Explanation of symbols

1 車両用安全制御装置
2 レーダユニット(物体検出手段)
3a カメラ(撮像手段)
3b 物体認識部(物体認識手段)
4a オーバーラップ量算出部(安全装置制御手段)
4b トリガー信号発生部(トリガー信号発生手段)
5 モータドライバーユニット(安全装置)
6 アクチュエータ(安全装置)
7 エアバッグ(安全装置)
S105 物体位置予測手段
S203 処理領域設定手段
1 Vehicle safety control device 2 Radar unit (object detection means)
3a Camera (imaging means)
3b Object recognition unit (object recognition means)
4a Overlap amount calculation unit (safety device control means)
4b Trigger signal generator (trigger signal generator)
5 Motor driver unit (safety device)
6 Actuator (safety device)
7 Airbag (safety device)
S105 Object position prediction means S203 Processing area setting means

Claims (6)

車両に搭載され物体の位置および相対速度を検出する物体検出手段と、
前記車両に搭載され物体を撮像する撮像手段と、
前記物体検出手段の検出結果に基づいて前記撮像手段により得られた画像上に処理領域を設定する処理領域設定手段と、
前記処理領域設定手段で設定した前記処理領域に含まれる画素の輝度値に基づいて画像上の物体を認識する物体認識手段と、
前記物体検出手段の検出結果および前記物体認識手段の認識結果に基づいて前記車両の安全装置の制御を行う安全装置制御手段と、
トリガー信号を所定時間ごとに発生するトリガー信号発生手段と、
を備え、前記物体検出手段および前記物体認識手段は前記トリガー信号発生手段が発生させた同一トリガー信号の入力により検出または認識を開始し、前記安全装置制御手段は前記トリガー信号により同期された前記物体検出手段の検出結果と前記物体認識手段の認識結果とに基づいて前記安全装置を制御することを特徴とする車両用安全制御装置。
Object detection means for detecting the position and relative speed of an object mounted on a vehicle;
Imaging means mounted on the vehicle for imaging an object;
Processing area setting means for setting a processing area on an image obtained by the imaging means based on a detection result of the object detection means;
Object recognition means for recognizing an object on an image based on a luminance value of a pixel included in the processing area set by the processing area setting means;
Safety device control means for controlling the safety device of the vehicle based on the detection result of the object detection means and the recognition result of the object recognition means;
Trigger signal generating means for generating a trigger signal every predetermined time; and
The object detection means and the object recognition means start detection or recognition by the input of the same trigger signal generated by the trigger signal generation means, and the safety device control means is synchronized with the trigger signal. A vehicle safety control device that controls the safety device based on a detection result of a detection unit and a recognition result of the object recognition unit.
前回トリガー信号に応じて前記物体検出手段により検出された物体の位置および相対速度に基づいて前記所定時間後における物体の位置を予測する物体位置予測手段を備え、
前記処理領域設定手段は、前記物体位置予測手段により予測された物体の位置に基づいて画像上の処理領域を設定し、
前記安全装置制御手段は、今回トリガー信号に応じて前記物体検出手段により検出された検出結果と、今回トリガー信号に応じて前記物体認識手段により認識された認識結果とに基づいて前記安全装置を制御することを特徴とする請求項1に記載の車両用安全制御装置。
An object position prediction means for predicting the position of the object after the predetermined time based on the position and relative speed of the object detected by the object detection means in response to the previous trigger signal;
The processing area setting means sets a processing area on the image based on the position of the object predicted by the object position prediction means,
The safety device control means controls the safety device based on a detection result detected by the object detection means in response to a current trigger signal and a recognition result recognized by the object recognition means in response to a current trigger signal. The vehicle safety control device according to claim 1.
前記安全装置制御手段は、今回トリガー信号に応じて前記物体検出手段により検出された物体の位置および相対速度と、今回トリガー信号に応じて前記物体認識手段により認識された物体の大きさに基づいて、自車と物体との接触判定を行いこの判定結果に基づいて前記安全装置を制御することを特徴とする請求項2に記載の車両用安全制御装置。   The safety device control means is based on the position and relative velocity of the object detected by the object detection means according to the current trigger signal and the size of the object recognized by the object recognition means according to the current trigger signal. The vehicle safety control device according to claim 2, wherein contact determination between the vehicle and the object is performed and the safety device is controlled based on the determination result. 前記物体検出手段または前記物体認識手段の出力状況に応じて、前記トリガー信号の発生間隔である前記所定時間を変更することを特徴とする請求項1から請求項3のいずれか1項に記載の車両用安全制御装置。   The said predetermined time which is the generation | occurrence | production interval of the said trigger signal is changed according to the output condition of the said object detection means or the said object recognition means, The Claim 1 characterized by the above-mentioned. Vehicle safety control device. 前回のトリガー信号の発生から今回のトリガー信号の発生までの間に、前記物体検出手段から検出結果が出力されない場合もしくは前記物体認識手段から認識結果が出力されない場合に前記所定時間を大きな値へ変更することを特徴とする請求項4に記載の車両用安全制御装置。   If the detection result is not output from the object detection unit or the recognition result is not output from the object recognition unit between the generation of the previous trigger signal and the generation of the current trigger signal, the predetermined time is changed to a large value. The vehicle safety control device according to claim 4. 前記安全装置は車両に備えられたブレーキもしくはエアバッグであることを特徴とする請求項1から請求項5のいずれか1項に記載の車両用安全制御装置。   The vehicle safety control device according to any one of claims 1 to 5, wherein the safety device is a brake or an airbag provided in the vehicle.
JP2006335690A 2006-12-13 2006-12-13 Vehicle safety control device Expired - Fee Related JP4762874B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006335690A JP4762874B2 (en) 2006-12-13 2006-12-13 Vehicle safety control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006335690A JP4762874B2 (en) 2006-12-13 2006-12-13 Vehicle safety control device

Publications (2)

Publication Number Publication Date
JP2008143447A true JP2008143447A (en) 2008-06-26
JP4762874B2 JP4762874B2 (en) 2011-08-31

Family

ID=39604080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006335690A Expired - Fee Related JP4762874B2 (en) 2006-12-13 2006-12-13 Vehicle safety control device

Country Status (1)

Country Link
JP (1) JP4762874B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011099683A (en) * 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd Body detector
JP2011227029A (en) * 2010-04-23 2011-11-10 Honda Motor Co Ltd Vehicle periphery monitoring device
JP2011232139A (en) * 2010-04-27 2011-11-17 Honda Motor Co Ltd Periphery monitoring device for vehicle
JP6333437B1 (en) * 2017-04-21 2018-05-30 三菱電機株式会社 Object recognition processing device, object recognition processing method, and vehicle control system
US10065589B2 (en) 2015-11-10 2018-09-04 Denso International America, Inc. Systems and methods for detecting a collision
JP2020120267A (en) * 2019-01-23 2020-08-06 本田技研工業株式会社 Display system, travel control device, display control method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003217099A (en) * 2002-01-23 2003-07-31 Mitsubishi Electric Corp On-vehicle surrounding monitoring device
JP2005202878A (en) * 2004-01-19 2005-07-28 Toyota Motor Corp Object detector
JP2005297651A (en) * 2004-04-08 2005-10-27 Chuo Musen Kk Obstacle detection device for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003217099A (en) * 2002-01-23 2003-07-31 Mitsubishi Electric Corp On-vehicle surrounding monitoring device
JP2005202878A (en) * 2004-01-19 2005-07-28 Toyota Motor Corp Object detector
JP2005297651A (en) * 2004-04-08 2005-10-27 Chuo Musen Kk Obstacle detection device for vehicle

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011099683A (en) * 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd Body detector
JP2011227029A (en) * 2010-04-23 2011-11-10 Honda Motor Co Ltd Vehicle periphery monitoring device
JP2011232139A (en) * 2010-04-27 2011-11-17 Honda Motor Co Ltd Periphery monitoring device for vehicle
US10065589B2 (en) 2015-11-10 2018-09-04 Denso International America, Inc. Systems and methods for detecting a collision
JP6333437B1 (en) * 2017-04-21 2018-05-30 三菱電機株式会社 Object recognition processing device, object recognition processing method, and vehicle control system
JP2018179926A (en) * 2017-04-21 2018-11-15 三菱電機株式会社 Object recognition processing apparatus, object recognition processing method, and vehicle control system
JP2020120267A (en) * 2019-01-23 2020-08-06 本田技研工業株式会社 Display system, travel control device, display control method, and program
JP7202195B2 (en) 2019-01-23 2023-01-11 本田技研工業株式会社 DISPLAY SYSTEM, RUNNING CONTROL DEVICE, DISPLAY CONTROL METHOD AND PROGRAM

Also Published As

Publication number Publication date
JP4762874B2 (en) 2011-08-31

Similar Documents

Publication Publication Date Title
JP5991332B2 (en) Collision avoidance control device
US10922561B2 (en) Object recognition device and vehicle travel control system
EP2910971B1 (en) Object recognition apparatus and object recognition method
US10252716B2 (en) Driving assist apparatus and driving assist method
CN107848530B (en) Vehicle control device and vehicle control method
JP4595833B2 (en) Object detection device
JP5862785B2 (en) Collision determination device and collision determination method
JP6649738B2 (en) Parking lot recognition device, parking lot recognition method
WO2016129646A1 (en) Travel path selection device and travel path selection method
JP4762874B2 (en) Vehicle safety control device
JP2007172035A (en) Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method
JP2009086787A (en) Vehicle detection device
WO2016194900A1 (en) Vehicle control device and vehicle control method
JP5979232B2 (en) Collision determination device and collision determination method
JP2017111684A (en) Controller, and control method
JP7147648B2 (en) Driving support device
JP4561674B2 (en) Object detection device
WO2019044625A1 (en) Collision prediction device, collision prediction method, and program
JP6279090B6 (en) Image processing device
WO2014148175A1 (en) Image processing device
JP2007096684A (en) Outside environment recognizing device of vehicle
JPWO2016039077A6 (en) Image processing device
JP2009075650A (en) Collision decision device
JP6520783B2 (en) Vehicle detection device
JP5045628B2 (en) Lane departure prevention device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees