JP2013092994A - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP2013092994A JP2013092994A JP2011236269A JP2011236269A JP2013092994A JP 2013092994 A JP2013092994 A JP 2013092994A JP 2011236269 A JP2011236269 A JP 2011236269A JP 2011236269 A JP2011236269 A JP 2011236269A JP 2013092994 A JP2013092994 A JP 2013092994A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- optical flow
- virtual
- flow
- virtual plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】カメラ(撮像手段)100で異なる時刻に撮像した2つの画像に基づいて、オプティカルフロー検出手段240が第1のオプティカルフロー(F1)を検出し、オプティカルフロー推定手段230が、仮想面設定手段220によって路面から所定距離だけ高い位置に設定された第1の仮想面の上に生じる第2のオプティカルフロー(F2)を推定して、オプティカルフロー差分演算手段250が、F1からF2を差し引いて、物体検出手段260が、差分演算結果に基づいて車両の周辺に存在する物体を検出し、接触判定手段270が、物体が車両10に接触する可能性があると判定したときに、警報出力手段400が警報を出力する。
【選択図】図2
Description
を有し、前記第2の距離は、前記車両から、前記接触判定手段が前記車両と前記物体とが接触する可能性があると判定する範囲の中で、前記車両から最遠点の位置まで、の距離であることを特徴とする。
カメラ100を搭載した車両10が、速度v(vx,vy,vz)でt秒間移動したとする。ここで、vxは速度vのX軸方向成分、vyは速度vのY軸方向成分、vzは速度vのZ軸方向成分である。
図10(b)は、図10(a)のt秒後の状態を示している。カメラ100(車両10)の移動によって、点R1(X1,Y1,Z1)が点R2(X2,Y2,Z2)に移動して、点R2が、撮像面上で点Q2(x2,y2)の位置に撮像されたとする。このとき、点Q2(x2,y2)は、(式1)と同様にして、(式3)で算出される。
また、点R2の座標(X2,Y2,Z2)は、(式4)で算出される。
(式4)に(式2)を適用すると、(式5)が得られる。
このとき、t秒後に撮像面上に生じると推定される第2のオプティカルフロー(Δx,Δy)は、(式1)、(式3)、(式5)を用いて、(式6)、(式7)で算出される。
Δx=x2−x1=fX1vt/{Z1(Z1−vt)Cx} (式6)
Δy=y2−y1=fY1vt/{Z1(Z1−vt)Cy} (式7)
第2のオプティカルフローを推定するためには、(式6)、(式7)において、X1、Y1、Z1の値を特定する必要がある。すなわち、第2のオプティカルフローが生じる面(仮想面)を仮想的に設定する必要がある。上記した説明は、仮想面を路面110に設定した場合についてのものである。
200 周辺監視手段
220 仮想面設定手段
230 オプティカルフロー推定手段
240 オプティカルフロー検出手段
250 オプティカルフロー差分演算手段
260 物体検出手段
270 接触判定手段
300 車輪速センサ
400 警報出力手段
Claims (15)
- 車両に搭載され、路面を含む前記車両の周辺を撮像する撮像手段と、
前記撮像手段で異なる時刻に撮像された2つの画像に基づいて、第1のオプティカルフローを検出するオプティカルフロー検出手段と、
前記第1のオプティカルフローと、前記路面から第1の距離だけ高い位置に仮想的に設定された第1の仮想面において、前記異なる時刻の間の前記車両の挙動に応じて生じると推定される第2のオプティカルフローと、を比較して、前記車両の周辺に存在する物体を検出する物体検出手段と、
を有することを特徴とする車両周辺監視装置。 - 前記第1の仮想面は、前記撮像手段から遠い位置ほど、前記第1の距離が小さくなるように設定された面とすることを特徴とする、請求項1に記載の車両周辺監視装置。
- 前記第1の仮想面は、前記車両の車速が高いときほど、前記第1の距離が大きくなるように設定された面とすることを特徴とする、請求項1または2に記載の車両周辺監視装置。
- 前記第1の距離が互いに異なる複数の位置にそれぞれ設定された複数の前記第1の仮想面の中から、1つの第1の仮想面を選択する仮想面選択手段を有する、請求項1から3のうちいずれか1項に記載の車両周辺監視装置。
- 前記物体検出手段は、前記第1の距離が互いに異なる複数の位置にそれぞれ設定された複数の前記第1の仮想面の各々に対して推定された、各第2のオプティカルフローと、前記第1のオプティカルフローとに基づいて、物体を検出し、
前記複数の第1の仮想面の各々に対する前記物体の検出結果を、それぞれ異なる表示形態で同時に表示する表示手段を有することを特徴とする請求項1から3のうちいずれか1項に記載の車両周辺監視装置。 - 始点を共にする、前記第1のオプティカルフローから、前記第2のオプティカルフローを差し引いた差分フローを演算するオプティカルフロー差分演算手段と、
前記差分フローに基づいて、前記車両の周辺に存在する物体を検出する物体検出手段と、
前記物体検出手段によって検出された物体を構成する画素を始点とする前記差分フローが、前記撮像手段で撮像された画像を左右に2等分する中心線に向かう方向を向いているときに、前記車両と前記物体とが接触する可能性があると判定する接触判定手段と、
前記接触判定手段の判定結果に基づいて警報を出力する警報出力手段と、
を有することを特徴とする請求項1から5のうちいずれか1項に記載の車両周辺監視装置。 - 前記オプティカルフロー差分演算手段によって演算された前記差分フローが、前記中心線に向かう方向を向いているときに、前記差分フローを、前記物体検出手段において使用することを特徴とする請求項6に記載の車両周辺監視装置。
- 前記車両が旋回しているときは、前記物体検出手段が前記差分フローに基づいて物体を検出するしきい値を、前記画像のうち、前記中心線から左側に位置する所定の領域の内部と、前記中心線から右側に位置する所定の領域の内部と、で異なる値にすることを特徴とする請求項6または7に記載の車両周辺監視装置。
- 前記接触判定手段が、前記車両と前記物体とが接触する可能性があると判定する範囲の中で、前記車両から最遠点の位置において、前記路面から立ち上がる第2の仮想面を設定して、前記撮像手段の設置位置から前記第1の仮想面と前記第2の仮想面とに向かって延びる複数の半直線が、前記第1の仮想面、もしくは前記第2の仮想面と最初に交差する点で構成される面を、新たに第1の仮想面とする仮想面設定手段を有することを特徴とする請求項6から8のうちいずれか1項に記載の車両周辺監視装置。
- 前記第2の仮想面から第3の距離だけ車両に近い位置に、前記路面から高い位置ほど、前記第3の距離が小さくなる仮想面を設定して、前記仮想面を、新たに第2の仮想面とすることを特徴とする、請求項9に記載の車両周辺監視装置。
- 車両に搭載され、路面を含む前記車両の周辺を撮像する撮像手段と、
前記撮像手段で異なる時刻に撮像された2つの画像に基づいて、第1のオプティカルフローを検出するオプティカルフロー検出手段と、
前記車両から、前記撮像手段が撮像する方向に第2の距離だけ離れた位置に、前記路面から立ち上がる第2の仮想面を設定して、前記撮像手段の設置位置から前記路面と前記第2の仮想面とに向かって延びる複数の半直線が、前記路面、もしくは前記第2の仮想面と最初に交差する点で構成される面を、第1の仮想面として設定する仮想面設定手段と、
前記第1のオプティカルフローから、前記第1の仮想面において、前記異なる時刻の間の前記車両の挙動に応じて生じると推定される、前記第1のオプティカルフローと始点を共にする第2のオプティカルフローを差し引いた差分フローを演算するオプティカルフロー差分演算手段と、
前記差分フローに基づいて、前記車両の周辺に存在する物体を検出する物体検出手段と、
前記物体検出手段によって検出された物体と前記車両とが接触する可能性を判定する接触判定手段と、
前記接触判定手段の判定結果に基づいて警報を出力する警報出力手段と、
を有し、
前記第2の距離は、前記車両から、前記接触判定手段が前記車両と前記物体とが接触する可能性があると判定する範囲の中で、前記車両から最遠点の位置までの距離であることを特徴とする車両周辺監視装置。 - 前記仮想面設定手段は、前記第2の仮想面から第3の距離だけ車両に近い位置に、前記路面から高い位置ほど、前記第3の距離が小さくなる仮想面を設定して、前記仮想面を、新たに第2の仮想面とすることを特徴とする、請求項11に記載の車両周辺監視装置。
- 前記接触判定手段は、前記物体検出手段によって検出された物体を構成する画素を始点とする前記差分フローが、前記撮像手段で撮像された画像を左右に2分する中心線に向かう方向を向いているときに、前記車両と前記物体とが接触する可能性があると判定することを特徴とする請求項11または12に記載の車両周辺監視装置。
- 前記オプティカルフロー差分演算手段によって演算された前記差分フローが、前記中心線に向かう方向を向いているときに、前記差分フローを、前記物体検出手段において使用することを特徴とする請求項13に記載の車両周辺監視装置。
- 前記車両が旋回しているときは、前記物体検出手段が前記差分フローに基づいて物体を検出するしきい値を、前記画像のうち、前記中心線から左側に位置する所定の領域の内部と、前記中心線から右側に位置する所定の領域の内部と、で異なる値にすることを特徴とする請求項13または14に記載の車両周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011236269A JP5848948B2 (ja) | 2011-10-27 | 2011-10-27 | 車両周辺監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011236269A JP5848948B2 (ja) | 2011-10-27 | 2011-10-27 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013092994A true JP2013092994A (ja) | 2013-05-16 |
JP5848948B2 JP5848948B2 (ja) | 2016-01-27 |
Family
ID=48616053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011236269A Active JP5848948B2 (ja) | 2011-10-27 | 2011-10-27 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5848948B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016152755A1 (ja) * | 2015-03-24 | 2016-09-29 | クラリオン株式会社 | 物体認識装置 |
JP2020034995A (ja) * | 2018-08-27 | 2020-03-05 | 株式会社デンソー | 画像認識装置 |
CN113408352A (zh) * | 2019-05-28 | 2021-09-17 | 浙江大华技术股份有限公司 | 行人异常行为检测方法、图像处理装置及存储装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002352249A (ja) * | 2001-05-23 | 2002-12-06 | Toshiba Corp | 画像処理装置及びその方法 |
JP2008257378A (ja) * | 2007-04-03 | 2008-10-23 | Honda Motor Co Ltd | 物体検出装置 |
JP2011203766A (ja) * | 2010-03-24 | 2011-10-13 | Daihatsu Motor Co Ltd | 車両用画像処理装置 |
-
2011
- 2011-10-27 JP JP2011236269A patent/JP5848948B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002352249A (ja) * | 2001-05-23 | 2002-12-06 | Toshiba Corp | 画像処理装置及びその方法 |
JP2008257378A (ja) * | 2007-04-03 | 2008-10-23 | Honda Motor Co Ltd | 物体検出装置 |
JP2011203766A (ja) * | 2010-03-24 | 2011-10-13 | Daihatsu Motor Co Ltd | 車両用画像処理装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016152755A1 (ja) * | 2015-03-24 | 2016-09-29 | クラリオン株式会社 | 物体認識装置 |
JP2016181072A (ja) * | 2015-03-24 | 2016-10-13 | クラリオン株式会社 | 物体認識装置 |
JP2020034995A (ja) * | 2018-08-27 | 2020-03-05 | 株式会社デンソー | 画像認識装置 |
JP7067370B2 (ja) | 2018-08-27 | 2022-05-16 | 株式会社デンソー | 画像認識装置 |
CN113408352A (zh) * | 2019-05-28 | 2021-09-17 | 浙江大华技术股份有限公司 | 行人异常行为检测方法、图像处理装置及存储装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5848948B2 (ja) | 2016-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5505702B2 (ja) | 車両周辺監視装置 | |
JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
CN112014845A (zh) | 一种车辆障碍物定位方法、装置、设备及存储介质 | |
JP2012174180A (ja) | 立体物検出装置および立体物検出方法 | |
JP2014139766A (ja) | 路面形状推定装置 | |
JP2013239015A (ja) | 駐車支援装置、駐車支援方法およびプログラム | |
KR20140056790A (ko) | 영상 인식 장치 및 그 방법 | |
JP2010210486A (ja) | 画像処理装置および方法、並びに、プログラム | |
JP5682734B2 (ja) | 立体物検出装置 | |
JP2014089548A (ja) | 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 | |
JPWO2019044625A1 (ja) | 衝突予測装置、衝突予測方法及びプログラム | |
JP5848948B2 (ja) | 車両周辺監視装置 | |
JP6204782B2 (ja) | オフロードダンプトラック | |
JP2014106638A (ja) | 移動装置および制御方法 | |
CN110044322B (zh) | 一种虚拟现实终端的显示方法、装置及移动终端 | |
JP2002036987A (ja) | 車両周囲監視装置 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP6185327B2 (ja) | 車両後側方警報装置、車両後側方警報方法および他車両距離検出装置 | |
JP2013054399A (ja) | 車両周辺監視装置 | |
JP2017016474A (ja) | 障害物検出装置、及び、障害物検出方法 | |
US8983196B2 (en) | Vehicle periphery monitoring apparatus | |
JP2006047091A (ja) | 移動体検出装置 | |
JP2005170290A (ja) | 障害物検出装置 | |
JP4897539B2 (ja) | 障害物検知装置 | |
KR101566964B1 (ko) | 이동 물체를 추적할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150611 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5848948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |