JP2014021709A - Object position detecting device - Google Patents
Object position detecting device Download PDFInfo
- Publication number
- JP2014021709A JP2014021709A JP2012159697A JP2012159697A JP2014021709A JP 2014021709 A JP2014021709 A JP 2014021709A JP 2012159697 A JP2012159697 A JP 2012159697A JP 2012159697 A JP2012159697 A JP 2012159697A JP 2014021709 A JP2014021709 A JP 2014021709A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- camera
- radar
- estimated
- rear direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、自車両の周辺に存在する物体の位置を検知するための物体位置検知装置に関するものである。 The present invention relates to an object position detection device for detecting the position of an object existing around a host vehicle.
自車両の周辺、例えば自車両の進行方向前方に存在する歩行者や車両等の物体を認識する物体認識装置として、レーダ装置とカメラの両方を用いて両者の検出結果を利用して物体の存在及び物体の種類を判別するものがある。 As an object recognition device that recognizes objects such as pedestrians and vehicles that exist in the vicinity of the host vehicle, for example, in the forward direction of the host vehicle, the presence of the object is detected using both the radar device and the camera, and the detection results of both are used. And a type for discriminating the type of object.
特許文献1には、レーダ装置の送信出力を大小に切り替え、大きい送信出力のときに受信された反射波に基づく検出結果から、小さい送信出力のときに受信された反射波に基づく検出結果を取り除くことにより、車両以外の物体を抽出し、抽出された物体に対してカメラで撮像された画像に基づいてパターンマッチング処理を行い、歩行者であるか否かを判別する技術が記載されている。
ここで、一般に、レーダ装置は、反射波に基づいて物体を検知していることから、物体の前後方向の位置判定の精度は高いが、左右方向の位置判定の精度は低くなってしまう。一方、カメラは、物体の左右方向の位置判定の精度が高くなる。
In Patent Document 1, the transmission output of the radar device is switched between large and small, and the detection result based on the reflected wave received at the small transmission output is removed from the detection result based on the reflected wave received at the large transmission output. Thus, a technique is described in which an object other than a vehicle is extracted, a pattern matching process is performed on the extracted object based on an image captured by a camera, and a determination is made as to whether or not the object is a pedestrian.
Here, since the radar apparatus generally detects an object based on the reflected wave, the accuracy of position determination in the front-rear direction of the object is high, but the accuracy of position determination in the left-right direction is low. On the other hand, the accuracy of the position determination in the left-right direction of the object increases.
ところで、上述の従来技術にあっては、レーダ装置の故障等により物体の前後方向の位置判定が困難になった場合、過去の前後方向の位置を継続、又はレーダ装置の故障前にこのレーダ装置が検知していた移動速度から物体の前後方向の位置を推定することになる。このため、物体の移動方向や速度が変化した場合、レーダ装置の故障後の物体の前後方向の位置を高精度に推定することが困難になるという課題がある。 By the way, in the above-described prior art, when it becomes difficult to determine the position of the object in the front-rear direction due to a failure of the radar apparatus or the like, the position of the previous front-rear direction is continued or the radar apparatus before the failure of the radar apparatus. The position of the object in the front-rear direction is estimated from the moving speed detected by the. For this reason, when the moving direction and speed of an object change, there exists a subject that it becomes difficult to estimate the position of the front-back direction of the object after a failure of a radar apparatus with high precision.
そこで、この発明は、上述した事情に鑑みてなされたものであって、レーダ装置による物体の前後方向の位置判定が困難になった場合であっても、物体の前後方向の位置を高精度に推定することができる物体位置検知装置を提供するものである。 Therefore, the present invention has been made in view of the above-described circumstances, and even when it is difficult to determine the position of the object in the front-rear direction by the radar device, the position of the object in the front-rear direction is accurately determined. An object position detection device that can be estimated is provided.
上記の課題を解決するために、請求項1に記載した発明は、自車両周辺の所定範囲に向けて電磁波を発信すると共に、この電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信することにより、前記物体の前後方向位置を検知するレーダ装置(例えば、実施形態におけるレーダ装置2)と、自車両周辺の所定範囲を撮像し、前記物体の左右方向位置を検知するカメラ(例えば、実施形態におけるカメラ3a)とを備え、前記レーダ装置と前記カメラとの検知結果に基づいて、前記物体の前後左右位置を検知する物体位置検知装置(例えば、実施形態における物体位置検知装置1)において、前記レーダ装置の故障判定を行うレーダ故障判定部(例えば、実施形態におけるレーダ故障判定部13)を備え、前記レーダ故障判定部により前記レーダ装置が故障したと判定された場合、前記カメラにより前記物体の移動方向を推定し、この推定された移動方向に基づいて、前記物体の前後方向位置を推定することを特徴とする。
In order to solve the above problem, the invention described in claim 1 is a reflected wave generated by transmitting an electromagnetic wave toward a predetermined range around the host vehicle and reflecting the electromagnetic wave by an object existing around the host vehicle. By receiving a radar apparatus (for example, the
請求項2に記載した発明は、前記物体は歩行者であり、前記カメラにより推定された前記移動方向と前記歩行者の移動状態とに基づいて、前記前後方向位置を推定することを特徴とする。
The invention described in
請求項3に記載した発明は、前記物体は歩行者であり、前記カメラにより推定された前記移動方向と前記歩行者の身長とに基づいて、前記前後方向位置を推定することを特徴とする。 According to a third aspect of the present invention, the object is a pedestrian, and the front-rear direction position is estimated based on the movement direction estimated by the camera and the height of the pedestrian.
請求項4に記載した発明は、前記物体は歩行者であり、前記カメラに推定された前記移動方向が斜め方向であると判断された場合、前記カメラにより検知された左右方向の移動に基づいて、前記前後方向位置を推定することを特徴とする。 According to a fourth aspect of the present invention, when the object is a pedestrian and the movement direction estimated by the camera is determined to be an oblique direction, based on the movement in the left-right direction detected by the camera. The front-rear direction position is estimated.
請求項5に記載した発明は、前記カメラに検知された左右方向の移動距離、及び移動速度の少なくとも一方が所定値以下である場合、前記歩行者の前記移動方向が斜め方向であると判断されることを特徴とする。 In the invention described in claim 5, when at least one of the moving distance in the left-right direction and the moving speed detected by the camera is equal to or less than a predetermined value, the moving direction of the pedestrian is determined to be an oblique direction. It is characterized by that.
請求項1に記載した発明によれば、レーダ装置の故障等により、このレーダ装置による物体の前後方向の位置判定が困難になった場合であっても、物体の前後方向の位置を高精度に推定することができる。 According to the first aspect of the present invention, even when it is difficult to determine the position of the object in the front-rear direction by the radar apparatus due to a failure of the radar apparatus, the position of the object in the front-rear direction is accurately determined. Can be estimated.
請求項2に記載した発明によれば、歩行者の移動方向に加え、歩行者が歩いているのか、又は走っているのかの移動状態も加味したうえで、歩行者の前後方向の位置を推定することができる。このため、レーダ装置の故障時等における歩行者の前後方向の位置を、より高精度に推定することができる。
According to the invention described in
請求項3に記載した発明によれば、歩行者の移動方向に加え、歩行者の身長に基づいて歩行者の歩幅を推定し、さらに、この歩幅を加味したうえで、歩行者の移動速度を推定することができる。このため、レーダ装置の故障時等における歩行者の前後方向の位置を、より高精度に推定することができる。 According to the invention described in claim 3, in addition to the direction of movement of the pedestrian, the stride of the pedestrian is estimated based on the height of the pedestrian. Can be estimated. For this reason, it is possible to estimate the position of the pedestrian in the front-rear direction at the time of failure of the radar apparatus with higher accuracy.
請求項4に記載した発明によれば、歩行者が斜めに移動している場合に、これを左右方向への移動、又は縦方向への移動と誤判断し、過度に前後方向への移動距離を大きく推定してしまうことを防止できる。このため、歩行者が斜めに移動している場合であっても、歩行者の前後方向の位置を、高精度に推定することができる。
According to the invention described in
請求項5に記載した発明によれば、歩行者が斜めに移動しているか否かの判断を高精度に行うことが可能になる。 According to the invention described in claim 5, it is possible to determine with high accuracy whether or not the pedestrian is moving obliquely.
(物体位置検知装置)
次に、この発明の実施形態を図面に基づいて説明する。
図1は、物体位置検知装置のブロック図である。
同図に示すように、物体位置検知装置1は、例えば駆動源としての内燃機関21の駆動力を、オートマチックトランスミッション(AT)あるいは無段自動変速機(CVT)等のトランスミッション(T/M)22を介して車両の駆動輪に伝達して走行する車両に搭載されている。この車両は、物体位置検知装置1のほかに、ブレーキアクチュエータ23、ステアリングアクチュエータ24、及び報知装置25を備えている。
尚、以下の説明において、車両の進行方向前方向、後方向を、単に前後方向、車両の進行方向に向かって左右の方向を単に左右方向等と称して説明する。
(Object position detection device)
Next, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an object position detection apparatus.
As shown in FIG. 1, the object position detection device 1 uses, for example, a driving force of an
In the following description, the forward and rearward directions of the vehicle are simply referred to as the front-rear direction, and the left-right direction toward the vehicle-travel direction is simply referred to as the left-right direction.
物体位置検知装置1は、レーダ装置2と、カメラユニット3と、自車両状態センサ4と、電子制御装置10とを備えている。
レーダ装置2は、例えばレーザ光やミリ波等の電磁波を自車両の進行方向前方に向けて発信すると共に、この発信した電磁波が自車両の外部の物体(例えば、構造物、歩行者、他車両等)によって反射されたときに生じた反射波を受信し、発信した電磁波と受信した電磁波(反射波)とを混合してビート信号を生成し、電子制御装置10へ出力する。
The object position detection device 1 includes a
The
カメラユニット3は、CCDカメラやCMOSカメラ等からなるカメラ3aと、画像処理部3bとを備えて構成されている。画像処理部3bは、カメラ3aにより撮像して得た自車両の進行方向前方の外界の画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して電子制御装置10へ出力する。
The camera unit 3 includes a
自車両状態センサ4は、自車両の車両情報として、例えば自車両の速度(車速)を検出する車速センサや、ヨーレート(車両重心の上下方向軸回りの回転角速度)を検出するヨーレートセンサや、操舵角(運転者が入力した操舵角度の方向と大きさ)や操舵角に応じた実舵角(転舵角)を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのGPS(Global Positioning System)信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置及び進行方向を検出する位置センサや、アクセルペダルの踏み込み量を検出するセンサや、ブレーキペダルの踏み込み状態を検知するセンサ等を備えて構成されている。自車両状態センサ4は、検出した情報に応じた車両情報信号を電子制御装置10へ出力する。
The host
電子制御装置10は、物体検出部11、歩行者抽出部12、レーダ故障判定部13、前後方向位置推定部14、歩行者情報統合部15、及び車両制御部16を備えている。
物体検出部11は、レーダ装置2から入力されるビート信号に基づいて、電磁波を反射した物体の位置、速度、反射レベル等を算出する。そして、算出したこれらの情報を物体の前後方向位置情報(以下、単に前後位置情報という)としてレーダ故障判定部13へ出力すると共に、歩行者抽出部12へ出力する。尚、物体の速度は、時間差を持ってレーダ装置2により検出され物体の位置情報に基づいて算出される自車両との相対速度と、自車両の速度とから算出することができる。
The
The
図2(a)、図2(b)は、歩行者抽出部12の説明図である。
図1、図2(a)に示すように、歩行者抽出部12には、カメラユニット3から画像データD1が入力されるとともに、物体検出部11から物体の位置情報が入力される。歩行者抽出部12は、入力された位置情報を中心にして所定の大きさの領域R1(以下、統合範囲R1という)を設定し、この統合範囲R1内の物体B1と、予め歩行者抽出部12に記憶されている歩行者の画像パターンP1とのマッチングを行う。
FIG. 2A and FIG. 2B are explanatory diagrams of the
As shown in FIGS. 1 and 2A, image data D <b> 1 is input from the camera unit 3 to the
図3は、画像パターンの一例を示す説明図である。
同図に示すように、画像パターンP1は、大きく、所定の高身長に設定されている大人パターンと、低身長に設定されている子供パターンとがある。大人パターンと子供パターンは、身長の他に歩幅等によっても振り分けることができる。
また、大人パターンと、子供パターンのそれぞれには、静止状態、歩き状態、走り状態、また、歩き状態、走り状態の場合、左右方向、前後方向、及び斜め方向に向いている複数の画像パターンP1がある。歩行者の向き等は、体、顔、足等の向きから判断できるようになっている。
FIG. 3 is an explanatory diagram illustrating an example of an image pattern.
As shown in the figure, the image pattern P1 is large and includes an adult pattern set to a predetermined height and a child pattern set to a low height. Adult patterns and children's patterns can be sorted by stride, etc. in addition to height.
In addition, each of the adult pattern and the child pattern includes a plurality of image patterns P1 facing in the left-right direction, the front-rear direction, and the diagonal direction in the stationary state, the walking state, the running state, and the walking state and the running state. There is. The orientation of the pedestrian can be determined from the orientation of the body, face, feet, etc.
歩行者抽出部12では、このような複数の画像パターンP1と統合範囲R1内の物体B1とのマッチングを行い、その物体B1が歩行者であるか否かを判断する。そして、その物体B1が歩行者であると判断された場合、歩行者の状態、つまり、どの画像パターンP1とマッチングしたかの歩行者情報をレーダ故障判定部13、及び歩行者情報統合部15へ出力する。
尚、斜め移動については、画像パターンP1を用意せず、予め定められた左右方向の移動速度と、実際に検知される左右方向の移動速度との差に応じて歩行者が斜めに移動していると判断することも可能である。このことについての詳細は、後述する。
The
For the diagonal movement, the image pattern P1 is not prepared, and the pedestrian moves diagonally according to the difference between the predetermined horizontal movement speed and the actually detected horizontal movement speed. It is also possible to judge that Details of this will be described later.
また、図2(b)に示すように、歩行者抽出部12は、物体検出部11から位置情報が入力されず、統合範囲R1を特定することができない場合であっても、画像データD1上の物体B1と、歩行者の画像パターンP1とを比較し、画像データD1上の物体B1が歩行者であるか否かの判別を行う。この場合も、画像データD1上の物体B1が歩行者であると判断された場合、歩行者情報をレーダ故障判定部13、及び歩行者情報統合部15へ出力する。
さらに、歩行者抽出部12は、画像データD1上の物体B1が歩行者であると判断された場合、その歩行者の左右方向位置情報(以下、単に左右位置情報という)を、歩行者情報統合部15へ出力する。
In addition, as shown in FIG. 2B, the
Furthermore, when it is determined that the object B1 on the image data D1 is a pedestrian, the
レーダ故障判定部13は、レーダ装置2が故障しているか否かの判断を行う。具体的には、物体検出部11から位置情報が入力されないにも関わらず、歩行者抽出部12から歩行者を検知したとの判断結果が入力された場合(図2(b)に示す状態の場合)、レーダ装置2が故障していると判断する。すなわち、カメラユニット3からの画像データ上には、歩行者が検知されているにも関わらず、物体検出部11から前後位置情報が入力されない場合、レーダ装置2の故障により、その物体の位置情報が取得できないと判断する。レーダ装置2が故障していると判断された場合の判断結果は、前後方向位置推定部14に出力されると共に、歩行者情報統合部15に出力される。
The radar
これに対し、レーダ故障判定部13に、物体検出部11からの前後位置情報が入力されると共に、歩行者抽出部12から歩行者を検知したとの判断結果が入力された場合(図2(a)に示す状態の場合)、レーダ装置2は故障していないと判断する。レーダ装置2が故障していないと判断された場合の判断結果は、物体検出部11の前後位置情報と共に、歩行者情報統合部15に出力される。
On the other hand, when the front and rear position information from the
歩行者情報統合部15は、レーダ故障判定部13からレーダ装置2が故障していないとの判断結果が入力された場合、この判断結果と共に入力された物体検出部11の前後位置情報と、歩行者抽出部12から入力された左右位置情報とに基づいて、歩行者の位置を求める。そして、この歩行者の位置情報を車両制御部16に出力する。
When the determination result that the
これに対し、歩行者情報統合部15は、レーダ故障判定部13からレーダ装置2が故障しているとの判断結果が入力された場合、前後方向位置推定部14により推定された前後位置情報を参照し、この前後位置情報と歩行者抽出部12から入力された左右位置情報とに基づいて、歩行者の位置を求める。前後方向位置推定部14により推定された前後位置情報の参照方法は以下の通りである。
On the other hand, the pedestrian
ここで、まず、前後方向位置推定部14について説明する。前後方向位置推定部14には、レーダ装置2が故障する直前の前後位置情報がレーダ故障判定部13を介して入力されている。また、前後方向位置推定部14は、各歩行者情報と推定される歩行者の移動速度とを対応づけたマップを有している。このマップには、大人の歩行者が前後方向に歩いて移動しているとした場合、その移動速度は、例えば1.5m/sであると設定されている。一方、大人の歩行者が前後方向に走って移動しているとした場合、その移動速度は、例えば3m/sであると設定されている。これに対し、子供の歩行者が前後方向に歩いて移動しているとした場合、その移動速度は、例えば1m/sであると設定されている。また、子供の歩行者が前後方向に走って移動しているとした場合、その移動速度は、例えば2m/sであると設定されている。尚、これらの移動速度の設定は、適宜変更することが可能である。
Here, first, the front-rear direction
そして、歩行者情報統合部15は、レーダ故障判定部13からレーダ装置2が故障しているとの判断結果が入力された場合、歩行者抽出部12から入力された歩行者情報に基づいて、前後方向位置推定部14のマップ、及びレーダ装置2が故障する直前の前後位置情報を参照し、歩行者の位置を求める。そして、この歩行者の位置情報を車両制御部16に出力する。ここで、レーダ装置2の故障時におけるより具体的な歩行者の位置の算出方法は、後述する。
And the pedestrian
車両制御部16は、歩行者情報統合部15で求められた歩行者の位置情報に応じ、例えば、歩行者が自車両と接触する可能性がある場合には、接触を回避するように自車両の走行を制御する。例えば、車両制御部16は、内燃機関21の駆動力を制御する制御信号、及びトランスミッション22の変速動作を制御する制御信号、及びブレーキアクチュエータ23による減速動作を制御する制御信号、及びステアリングアクチュエータ24による自車両の操舵機構(図示略)の操向動作を制御する制御信号のうちの少なくとも何れかの制御信号を出力し、接触回避動作として自車両の減速制御、又は操向制御を実行する。
また、車両制御部16は、歩行者との接触可能性の大きさに応じて、報知装置25による警報の出力タイミング及び出力内容の少なくとも何れかを制御する。
The
Further, the
(物体位置検知装置の処理方法)
次に、図2〜図5に基づいて、物体位置検知装置1の処理方法について説明する。
図4は、物体位置検知装置の処理方法を示すフローチャートである。
図1、図4に示すように、まず、レーダ装置2から入力されるビート信号に基づいて、物体検出部11が、電磁波を反射した物体B1の位置、速度、反射レベル等を算出する。そして、算出したこれらの情報から物体B1の前後位置情報を得る(ST101)。
(Processing method of object position detection device)
Next, a processing method of the object position detection apparatus 1 will be described based on FIGS.
FIG. 4 is a flowchart illustrating a processing method of the object position detection apparatus.
As shown in FIGS. 1 and 4, based on the beat signal input from the
次に、カメラユニット3により得られた画像データD1(図2(a)参照)に基づいて、歩行者抽出部12が歩行者を検知し、この歩行者の左右位置情報を得る(ST102)。
続いて、レーダ故障判定部13により、レーダ装置2により特定される統合範囲R1内の物体B1とカメラユニット3により得られた画像データD1上の物体B1(歩行者)とのマッチングが不能か否かの判断を行う(ST103)。
Next, based on the image data D1 obtained by the camera unit 3 (see FIG. 2A), the
Subsequently, whether or not the radar
ST103における判断が「No」である場合、つまり、レーダ装置2により特定される統合範囲R1内の物体B1とカメラユニット3により得られた画像データD1上の物体B1(歩行者)とのマッチングが可能であると判断した場合、歩行者情報統合部15が、前後位置情報と左右位置情報とに基づいて歩行者の位置を求める(ST104)。これにより、物体位置検知装置1の処理が完了する。
When the determination in ST103 is “No”, that is, matching between the object B1 within the integrated range R1 specified by the
一方、ST103における判断が「Yes」である場合、つまり、統合範囲R1が特定されないにも関わらず、カメラユニット3により歩行者が検知された場合、歩行者の左右位置情報は、歩行者抽出部12により求められた情報に基づいて決定されるが、前後位置情報は、前後方向位置推定部14、及び歩行者情報統合部15により推定する(ST200)。
On the other hand, when the determination in ST103 is “Yes”, that is, when the pedestrian is detected by the camera unit 3 even though the integrated range R1 is not specified, the left and right position information of the pedestrian is the pedestrian extraction unit. Although the position information is determined based on the information obtained in
ST200では、まず、歩行者情報統合部15が、歩行者抽出部12から歩行者情報を得る(ST201)。つまり、歩行者情報統合部15は、カメラユニット3により検知された物体B1が、歩行者抽出部12に予め記憶されている複数の画像パターンP1のうち、どの画像パターンP1とマッチしたかの情報を得る(図3参照)。
そして、マッチした画像パターンP1を歩行者情報とし、この歩行者情報に基づいて、前後方向位置推定部14を参照し、前後位置情報を推定する。
In ST200, first, the pedestrian
Then, the matched image pattern P1 is used as pedestrian information, and based on this pedestrian information, the front-rear direction
具体的には、歩行者情報統合部15が得られた歩行者情報が静止状態、又は左右方向へ移動している状態である場合、前後方向へは移動していないので、大人か子供かに関わらず、レーダ装置2が故障する直前の前後位置情報をそのまま使用する(ST202)。
尚、このとき使用される直前の前後位置情報とは、レーダ装置2が故障する前に検知した物体B1が、歩行者抽出部12によって歩行者であると判断された際(歩行者を検知した際の反射レベル)の前後位置情報であることはいうまでもない。以下、「直前の前後位置情報」という場合も同様である。
Specifically, if the pedestrian information obtained by the pedestrian
Note that the front-rear position information immediately before being used at this time is that the object B1 detected before the
次に、歩行者情報統合部15が得られた歩行者情報が前後方向に移動している状態である場合について説明する。この場合、その歩行者が大人か子供か、また、歩いているのか走っているのかによって、前後方向位置推定部14を参照し、歩行者の移動速度を推定する。そして、この推定された移動速度の積分値を、レーダ装置2が故障する直前の前後位置情報に付加し、現時点での前後位置情報とする(ST203)。
Next, the case where the pedestrian information obtained by the pedestrian
次に、歩行者情報統合部15が得られた歩行者情報が斜め方向に移動している状態である場合について説明する。
ここで、図5に基づいて、歩行者が斜め方向に移動していると判断する場合について詳述する。図5は、歩行者が斜めに移動していると判断する場合の説明図である。
まず、前後方向位置推定部14には、各歩行者情報ごとの前後方向の移動速度が設定されて記憶されているが、これに加え、左右方向の移動速度も大人、子供、歩き、走りに応じて設定されて記憶されている。尚、以下の説明において、前後方向位置推定部14に予め記憶されている左右方向の移動速度を、所定の左右方向移動速度値という。
Next, a case where the pedestrian information obtained by the pedestrian
Here, based on FIG. 5, the case where it is judged that the pedestrian is moving in the diagonal direction will be described in detail. FIG. 5 is an explanatory diagram when it is determined that the pedestrian is moving obliquely.
First, the front-rear direction
通常、前後方向位置推定部14において、所定の左右方向移動速度値は使用されず、カメラユニット3から得られた左右位置情報を使用する。しかしながら、歩行者が斜めに移動する場合は、所定の左右方向移動速度値に基づいて、歩行者の前後方向の移動速度を推定する。
Usually, the front-rear direction
すなわち、図4に示すように、例えば、歩行者が斜めに歩いて移動している場合、その斜め歩行の移動速度aから左右方向の移動速度成分bを求めることができる。この移動速度成分bは、所定の左右方向移動速度値b’と比較して遅くなる。
ここで、歩行者が斜めに歩いていると判断するにあたって、画像パターンP1(図3参照)を参照する場合について前述したが、歩行者の左右方向の移動速度成分bと所定の左右方向移動速度値b’との差に応じて歩行者が斜めに歩いていると判断することも可能である。
That is, as shown in FIG. 4, for example, when a pedestrian is walking while moving diagonally, the moving speed component b in the left-right direction can be obtained from the moving speed a of the diagonal walking. This moving speed component b becomes slower than a predetermined left-right moving speed value b ′.
Here, in the case where it is determined that the pedestrian is walking diagonally, the case where the image pattern P1 (see FIG. 3) is referred to is described above. However, the pedestrian's horizontal movement speed component b and a predetermined horizontal movement speed are described. It is also possible to determine that the pedestrian is walking diagonally according to the difference from the value b ′.
続いて、所定の左右方向移動速度値b’と斜め歩行の移動速度aとを同一速度とする。そして、歩行者の前後方向の移動速度成分をcとしたとき、移動速度成分cを、
c=√(a2−b2)・・・(1)
により算出する。
Subsequently, the predetermined left-right direction moving speed value b ′ and the moving speed a of the oblique walking are set to the same speed. When the moving speed component in the front-rear direction of the pedestrian is c, the moving speed component c is
c = √ (a2-b2) (1)
Calculated by
この式(1)による算出された移動速度成分cを歩行者の前後方向の移動速度と推定する。そして、推定された移動速度成分cの積分値を、レーダ装置2が故障する直前の前後位置情報に付加し、現時点での前後位置情報とする(ST204)。これにより、物体位置検知装置1の処理が完了する。
The moving speed component c calculated by the equation (1) is estimated as the moving speed in the front-rear direction of the pedestrian. Then, the integrated value of the estimated moving speed component c is added to the front-rear position information immediately before the
(効果)
したがって、上述の実施形態によれば、レーダ装置2の故障等により、このレーダ装置2による物体B1の前後方向の位置判定が困難になった場合であっても、歩行者の前後位置情報を高精度に推定することができる。
(effect)
Therefore, according to the above-described embodiment, even if it is difficult for the
また、カメラユニット3から得られた画像データD1と、歩行者抽出部12に記憶されている歩行者の画像パターンP1とのマッチングを行うことにより歩行者情報を求め、この歩行者情報に基づいてレーダ装置2の故障後における歩行者の前後方向の位置を推定している。すなわち、歩行者が歩いているのか、又は走っているのか等の移動状態も加味したうえで、歩行者の前後方向の位置を推定することができる。このため、レーダ装置2による物体B1の前後方向の位置判定が困難になった場合であっても、歩行者の前後位置情報をさらに高精度に得ることができる。
Further, pedestrian information is obtained by matching the image data D1 obtained from the camera unit 3 with the pedestrian image pattern P1 stored in the
さらに、歩行者の画像パターンP1は、身長や歩幅に応じて、大人パターンと子供パターンとに振り分けられており(図3参照)、前後方向位置推定部14では、大人パターンと子供パターンとに別々に移動速度を設定している。このため、さらに、レーダ装置2の故障後における歩行者の前後方向の移動速度を高精度で推定することができる。
Furthermore, the pedestrian image pattern P1 is divided into an adult pattern and a child pattern according to the height and stride (see FIG. 3), and the front-rear direction
そして、歩行者情報統合部15が得られた歩行者情報が斜め方向に移動している状態である場合、歩行者の左右方向の移動速度成分b(図5参照)に基づいて、歩行者の前後位置情報を推定している。このため、歩行者が斜めに移動している場合に、これを左右方向への移動、又は前後方向への移動と誤判断し、過度に前後方向への移動距離を大きく推定してしまうことを防止できる。よって、歩行者が斜めに移動している場合であっても、歩行者の前後方向の位置を、高精度に推定することができる。
And when the pedestrian information which the pedestrian
また、歩行者が斜めに歩いて移動している場合において、左右方向の移動速度成分bと、所定の左右方向移動速度値b’とを比較して歩行者が斜めに歩いていると判断することにより、歩行者が斜めに移動しているか否かの判断を高精度に行うことが可能になる。すなわち、歩行者が斜めに歩いているにも関わらず、例えば、画像パターンP1を参照することによって、歩行者が左右方向に歩いていると誤判断された場合であっても、左右方向の移動速度成分bと、所定の左右方向移動速度値b’とを比較して歩行者の状態を判断することにより、物体位置検知装置1の誤判断を防止することができる。このため、信頼性の高い物体位置検知装置1を提供することができる。 In addition, when the pedestrian is walking and moving diagonally, the horizontal movement speed component b is compared with a predetermined horizontal movement speed value b ′ to determine that the pedestrian is walking diagonally. This makes it possible to determine with high accuracy whether or not the pedestrian is moving diagonally. That is, even when the pedestrian is walking diagonally, for example, by referring to the image pattern P1, it is determined that the pedestrian is walking in the left-right direction. By comparing the speed component b and the predetermined lateral movement speed value b ′ to determine the state of the pedestrian, erroneous determination of the object position detection device 1 can be prevented. For this reason, the highly reliable object position detection apparatus 1 can be provided.
尚、本発明は上述の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において、上述の実施形態に種々の変更を加えたものを含む。
例えば、上述の実施形態では、レーダ装置2による物体B1の前後方向の位置判定が困難になった場合における歩行者の前後位置情報を推定する場合について説明した。しかしながら、これに限られるものではなく、歩行者に代わって他の移動体、例えば、車両等の前後位置情報を推定する場合について、本発明を適用することも可能である。この場合、画像パターンP1として、車両の向き等の画像パターンを用意すればよい。
The present invention is not limited to the above-described embodiment, and includes various modifications made to the above-described embodiment without departing from the spirit of the present invention.
For example, in the above-described embodiment, the description has been given of the case where the front-rear position information of the pedestrian is estimated when the position determination of the front-rear direction of the object B1 by the
また、上述の実施形態では、物体位置検知装置1を、自車両と物体B1(歩行者)との接触回避のための走行制御に用いる場合について説明した。しかしながら、これに限られるものではなく、特定の物体B1を先行車両とし、自車両を先行車両に追従して走行させる追従走行制御等、特定の物体B1に対して自車両が取り得る各種の制御が可能である。 Moreover, in the above-described embodiment, the case where the object position detection device 1 is used for travel control for avoiding contact between the host vehicle and the object B1 (pedestrian) has been described. However, the present invention is not limited to this, and various types of control that the own vehicle can take with respect to the specific object B1, such as follow-up running control in which the specific object B1 is a preceding vehicle and the own vehicle follows the preceding vehicle. Is possible.
1 物体位置検知装置
2 レーダ装置
3 カメラユニット
3a カメラ
13 レーダ故障判定部
14 前後方向位置推定部
B1 物体
DESCRIPTION OF SYMBOLS 1 Object
続いて、所定の左右方向移動速度値b’と斜め歩行の移動速度aとを同一速度とする。
そして、歩行者の前後方向の移動速度成分をcとしたとき、移動速度成分cを、
c=√(a 2 −b 2 )・・・(1)
により算出する。
Subsequently, the predetermined left-right direction moving speed value b ′ and the moving speed a of the oblique walking are set to the same speed.
When the moving speed component in the front-rear direction of the pedestrian is c, the moving speed component c is
c = √ (a 2 −b 2 ) (1)
Calculated by
Claims (5)
自車両周辺の所定範囲を撮像し、前記物体の左右方向位置を検知するカメラとを備え、
前記レーダ装置と前記カメラとの検知結果に基づいて、前記物体の前後左右位置を検知する物体位置検知装置において、
前記レーダ装置の故障判定を行うレーダ故障判定部を備え、
前記レーダ故障判定部により前記レーダ装置が故障したと判定された場合、前記カメラにより前記物体の移動方向を推定し、この推定された移動方向に基づいて、前記物体の前後方向位置を推定することを特徴とする物体位置検知装置。 A radar device that detects an anteroposterior position of the object by transmitting an electromagnetic wave toward a predetermined range around the host vehicle and receiving a reflected wave generated by the reflection of the electromagnetic wave by an object existing around the host vehicle; ,
An image of a predetermined range around the host vehicle, and a camera that detects a position in the left-right direction of the object,
In the object position detection device that detects the front-rear and left-right positions of the object based on the detection results of the radar device and the camera,
A radar failure determination unit that performs failure determination of the radar device,
When the radar failure determination unit determines that the radar device has failed, the moving direction of the object is estimated by the camera, and the front-rear direction position of the object is estimated based on the estimated moving direction. An object position detecting device characterized by the above.
前記カメラにより推定された前記移動方向と前記歩行者の移動状態とに基づいて、前記前後方向位置を推定することを特徴とする請求項1に記載の物体位置検知装置。 The object is a pedestrian;
The object position detection device according to claim 1, wherein the front-rear direction position is estimated based on the movement direction estimated by the camera and the movement state of the pedestrian.
前記カメラにより推定された前記移動方向と前記歩行者の身長とに基づいて、前記前後方向位置を推定することを特徴とする請求項1又は請求項2に記載の物体位置検知装置。 The object is a pedestrian;
The object position detection apparatus according to claim 1, wherein the front-rear direction position is estimated based on the movement direction estimated by the camera and the height of the pedestrian.
前記カメラに推定された前記移動方向が斜め方向であると判断された場合、前記カメラにより検知された左右方向の移動に基づいて、前記前後方向位置を推定することを特徴とする請求項1〜請求項3の何れか1項に記載の物体位置検知装置。 The object is a pedestrian;
The front-rear direction position is estimated based on movement in the left-right direction detected by the camera when it is determined that the movement direction estimated by the camera is an oblique direction. The object position detection apparatus according to claim 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012159697A JP5651642B2 (en) | 2012-07-18 | 2012-07-18 | Object position detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012159697A JP5651642B2 (en) | 2012-07-18 | 2012-07-18 | Object position detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014021709A true JP2014021709A (en) | 2014-02-03 |
JP5651642B2 JP5651642B2 (en) | 2015-01-14 |
Family
ID=50196520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012159697A Active JP5651642B2 (en) | 2012-07-18 | 2012-07-18 | Object position detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5651642B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016021303A1 (en) * | 2014-08-07 | 2016-02-11 | 日立オートモティブシステムズ株式会社 | Action planning device |
EP3223195A1 (en) | 2016-03-24 | 2017-09-27 | Panasonic Intellectual Property Corporation of America | Device, method, and program for detecting object |
WO2018061425A1 (en) * | 2016-09-29 | 2018-04-05 | パナソニックIpマネジメント株式会社 | Sensor failure detection device and control method for same |
KR20180070222A (en) * | 2016-12-16 | 2018-06-26 | 현대자동차주식회사 | Vehicle and control method thereof |
JP2018101434A (en) * | 2018-01-29 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | Action plan device |
CN111316118A (en) * | 2017-11-13 | 2020-06-19 | 三菱电机株式会社 | Fault detection device, fault detection method, and fault detection program |
CN114078326A (en) * | 2020-08-19 | 2022-02-22 | 北京万集科技股份有限公司 | Collision detection method, device, visual sensor and storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10937232B2 (en) | 2019-06-26 | 2021-03-02 | Honeywell International Inc. | Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004145660A (en) * | 2002-10-24 | 2004-05-20 | Fuji Heavy Ind Ltd | Obstacle detection device |
JP2008215912A (en) * | 2007-03-01 | 2008-09-18 | Mazda Motor Corp | Obstacle detector for vehicle |
JP2009186353A (en) * | 2008-02-07 | 2009-08-20 | Fujitsu Ten Ltd | Object detecting device and object detecting method |
JP2009186260A (en) * | 2008-02-05 | 2009-08-20 | Nissan Motor Co Ltd | Object detecting device and distance measuring method |
-
2012
- 2012-07-18 JP JP2012159697A patent/JP5651642B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004145660A (en) * | 2002-10-24 | 2004-05-20 | Fuji Heavy Ind Ltd | Obstacle detection device |
JP2008215912A (en) * | 2007-03-01 | 2008-09-18 | Mazda Motor Corp | Obstacle detector for vehicle |
JP2009186260A (en) * | 2008-02-05 | 2009-08-20 | Nissan Motor Co Ltd | Object detecting device and distance measuring method |
JP2009186353A (en) * | 2008-02-07 | 2009-08-20 | Fujitsu Ten Ltd | Object detecting device and object detecting method |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016021303A1 (en) * | 2014-08-07 | 2016-02-11 | 日立オートモティブシステムズ株式会社 | Action planning device |
JP2016038689A (en) * | 2014-08-07 | 2016-03-22 | 日立オートモティブシステムズ株式会社 | Action plan device |
CN106537481A (en) * | 2014-08-07 | 2017-03-22 | 日立汽车系统株式会社 | Action planning device |
US10761536B2 (en) | 2014-08-07 | 2020-09-01 | Hitachi Automotive Systems, Ltd. | Action planning device having a trajectory generation and determination unit |
EP3179463A4 (en) * | 2014-08-07 | 2018-04-04 | Hitachi Automotive Systems, Ltd. | Action planning device |
US10725474B2 (en) | 2014-08-07 | 2020-07-28 | Hitachi Automotive Systems, Ltd. | Action planning device having a trajectory generation and determination unit that prevents entry into a failure occurrence range |
CN106537481B (en) * | 2014-08-07 | 2019-06-04 | 日立汽车系统株式会社 | Action plan device |
US10019004B2 (en) | 2016-03-24 | 2018-07-10 | Panasonic Intellectual Property Corporation Of America | Device, method, and program for detecting object |
EP3223195A1 (en) | 2016-03-24 | 2017-09-27 | Panasonic Intellectual Property Corporation of America | Device, method, and program for detecting object |
CN109643492A (en) * | 2016-09-29 | 2019-04-16 | 松下知识产权经营株式会社 | Transducer fault detection device and its control method |
JPWO2018061425A1 (en) * | 2016-09-29 | 2019-07-18 | パナソニックIpマネジメント株式会社 | Sensor failure detection device and control method therefor |
WO2018061425A1 (en) * | 2016-09-29 | 2018-04-05 | パナソニックIpマネジメント株式会社 | Sensor failure detection device and control method for same |
KR20180070222A (en) * | 2016-12-16 | 2018-06-26 | 현대자동차주식회사 | Vehicle and control method thereof |
KR102570060B1 (en) * | 2016-12-16 | 2023-08-23 | 현대자동차주식회사 | Vehicle and control method thereof |
CN111316118A (en) * | 2017-11-13 | 2020-06-19 | 三菱电机株式会社 | Fault detection device, fault detection method, and fault detection program |
CN111316118B (en) * | 2017-11-13 | 2023-07-04 | 三菱电机株式会社 | Fault detection device, fault detection method, and computer-readable storage medium |
JP2018101434A (en) * | 2018-01-29 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | Action plan device |
CN114078326A (en) * | 2020-08-19 | 2022-02-22 | 北京万集科技股份有限公司 | Collision detection method, device, visual sensor and storage medium |
CN114078326B (en) * | 2020-08-19 | 2023-04-07 | 北京万集科技股份有限公司 | Collision detection method, device, visual sensor and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5651642B2 (en) | 2015-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5651642B2 (en) | Object position detection device | |
JP6369390B2 (en) | Lane junction determination device | |
WO2014010546A1 (en) | Failure-assessment apparatus | |
JP4536674B2 (en) | Pedestrian recognition device | |
JP6855776B2 (en) | Object detection device and object detection method | |
JP5785578B2 (en) | Vehicle periphery monitoring device | |
WO2016017822A1 (en) | Predicted-collision-time calculation device, and predicted-collision-time calculation method | |
CN105128836A (en) | Autonomous emergency braking system and method for recognizing pedestrian therein | |
JP2007310741A (en) | Solid object recognition device | |
JP7147648B2 (en) | Driving support device | |
KR101535722B1 (en) | Driver assistance systems and controlling method for the same | |
JP6424467B2 (en) | Target detection device | |
JP2005254861A (en) | Vehicle condition detection system and vehicle condition detection method | |
US10996317B2 (en) | Object detection apparatus and object detection method | |
JP2017138660A (en) | Object detection method, object detection device and program | |
CN105015469B (en) | Article detection device and object detecting method | |
JP5698618B2 (en) | Absolute speed estimation device | |
JP5075656B2 (en) | Object detection device | |
US20220161849A1 (en) | Vehicle control device, vehicle control method, and non-transitory computer-readable recording medium recording program | |
CN110816524B (en) | Vehicle control device, vehicle control method, and storage medium | |
JP5806647B2 (en) | Object recognition device | |
JP5717416B2 (en) | Driving support control device | |
JP4652260B2 (en) | Obstacle recognition device | |
JP5651649B2 (en) | Object position detection device | |
KR20180007211A (en) | A Rear collision warning system of Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5651642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |