JP2010277262A - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP2010277262A JP2010277262A JP2009128028A JP2009128028A JP2010277262A JP 2010277262 A JP2010277262 A JP 2010277262A JP 2009128028 A JP2009128028 A JP 2009128028A JP 2009128028 A JP2009128028 A JP 2009128028A JP 2010277262 A JP2010277262 A JP 2010277262A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional position
- position information
- moving object
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】ドライブレコーダからの時系列のステレオ撮像画像から、3次元位置情報算出部11が3次元位置情報を算出し、動体抽出部12aが同一の動体を抽出する一方、面設定部13からは、使用者が表示にあたって所望とする投影面、すなわち視線方向を設定し、これに応じて3次元位置情報統合部15が、その設定された投影面での時系列画像を統合し、3次元位置情報算出部16が、その統合した画面における動体の各位置を算出し、3次元位置情報投影部14が表示装置3に表示させる。したがって、時系列の3次元撮像画像から解析した動体の動きを、運転者の目線や、事故の目撃者の目線から見た画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【選択図】図2
Description
図1および図2は、本発明の実施の第1の形態に係る画像処理装置1,1aをそれぞれ備えて成る事故検証システムの電気的構成を示すブロック図である。図1の事故検証システムは、交差点監視カメラのように、事故多発交差点などに設置される定点カメラ2に、交通監視室などに設置される前記画像処理装置1および表示装置3を備えて構成される。また、図2の事故検証システムは、タクシーなどの車輌に搭載されるドライブレコーダ4に、事業所などに設置される前記画像処理装置1aおよび前記表示装置3を備えて構成される。
ただし、
(Vx1,Vy1,Vz1)
=((x2−x1)/t,(y2−y1)/t,(z2−z1)/t)
である。
ただし、
(Vx2,Vy2,Vz2)
=((x3−x2)/t,(y3−y2)/t,(z3−z2)/t)
である。
ただし、
(Ax,Ay,Az)
=((Vx2−Vx1)/t,(Vy2−Vy1)/t,(Vz2−Vz1)/t)
である。
(Ux1,Uy1,Uz1)=(x2−x1,y2−y1,z2−z1)
(Ux2,Uy2,Uz2)=(x3−x2,y3−y2,z3−z2)
である。
図14は、本発明の実施の第2の形態に係る画像処理装置1bを備えて成る事故検証システムの電気的構成を示すブロック図である。この事故検証システムは、前述の図1および図2で示す事故検証システムに類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、本実施の形態では、前記動体抽出部12aは静止体も合わせて抽出し、その後、先ず3次元位置情報投影部14が、面設定部13で設定された投影面上に、フレーム毎に、前記動体抽出部12aで抽出された動体および静止体の3次元位置情報を投影し、その投影された各フレーム画像において、投影画像統合部17が前記静止体の位置合せを行うことで、前記各投影面の統合を行うことである。
図16は、本発明の実施の第3の形態に係る画像処理装置1cを備えて成る事故検証システムの電気的構成を示すブロック図である。この事故検証システムは、前述の図1および図2で示す事故検証システムに類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、本実施の形態では、前記動体抽出部12aは静止体も合わせて抽出する一方、面設定部13cには前記動体抽出部12aの出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、3次元位置情報投影部14cは、前記動体抽出部12cの出力から、各フレームにおける動体の3次元位置を前記静止体を基準として統合し、前記面設定部13cにて設定された仮想投影面上に投影することである。
D=f・B/Δd
で求めることができる。
Y=y・D/f
Z=D
ここで、たとえば車載用のステレオカメラには、前述のように遠方の先行車までの距離を高精度に測定したいというニーズとともに、小型化による設置し易さも求められる。
ステレオカメラの奥行き方向分解能ΔZは、
ΔZ=(D2/B)・(1/f)・Δd
で表されることから、高精度化の方法として、焦点距離fを大きくする、基線長Bを大きくするという方法が考えられる。ところが、前述のように前者では視野範囲が狭くなり、後者では装置が大型化するという欠点がある。上記欠点の無い高精度化の方法として、対応付けのサブピクセル化がある。対応付け演算を画素単位以下の分解能で行うことで、視差の分解能Δdを小さくして、ステレオ3次元計測の分解能を細かくできるからである。
M=C(S,T)
となる。ただし、Cは最近傍点を求める関数である。
2 定点カメラ
3 表示装置
4 ドライブレコーダ
11 3次元位置情報算出部
12,12a 動体抽出部
13,13c 面設定部
14,14c 3次元位置情報投影部
15 3次元情報統合部
16 3次元位置情報算出部
17 投影画像統合部
21;21−1,21−2 ステレオカメラ
22 画像記録部
41 一時記憶部
42 トリガ発生部
51 道路面
52 自転車
53 軌跡
54 視線方向
55 通行区分
56 横断歩道
F1 基準画像
F2 参照画像
m1,m2 自動車
m3 歩行者
M1,M2,M3 動体対応画像部分
Claims (12)
- 時系列の撮像画像に、その撮像画像中での被写体の3次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示装置に表示させる画像処理装置において、
前記時系列の撮像画像から同一の動体を抽出する動体抽出部と、
前記表示にあたっての投影面を設定する面設定部と、
前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体における前記3次元位置情報を投影した表示画像を作成する3次元位置情報投影部とを含むことを特徴とする画像処理装置。 - 前記入力画像データは、ドライブレコーダから入力されるステレオカメラによる時系列の撮像画像であり、
前記ステレオカメラの左右間の画像を対応点探索処理することで、前記撮像画像中での被写体の3次元位置情報を得る3次元位置情報算出部をさらに備えることを特徴とする請求項1記載の画像処理装置。 - 前記入力画像データは、単眼カメラの時系列の撮像画像に、レーダによる距離情報から成ることを特徴とする請求項1記載の画像処理装置。
- 前記動体抽出部は、静止体も合わせて抽出し、
前記動体抽出部の出力から、動体の各フレーム間の3次元位置を前記静止体を基準として統合する3次元情報統合部と、
前記3次元情報統合部で統合されたフレーム間において、或るフレームにおける動体の3次元位置を基準として、残余のフレームにおける動体の3次元位置を算出し、前記3次元位置情報投影部へ出力する3次元位置情報算出部とをさらに備えることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記動体抽出部は、静止体も合わせて抽出し、
前記3次元位置情報投影部は、フレーム毎に、前記投影面上に、前記動体抽出部で抽出された動体および静止体の3次元位置情報を投影し、
その投影された各フレーム画像において、前記静止体の位置合せを行うことで、前記各投影面の統合を行う投影画像統合部をさらに備えることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記動体抽出部は、静止体も合わせて抽出し、
前記面設定部には前記動体抽出部の出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、
前記3次元位置情報投影部は、前記動体抽出部の出力から、各フレームにおける動体の3次元位置を前記静止体を基準として統合し、前記面設定部にて設定された仮想投影面上に投影することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記3次元位置情報投影部は、前記3次元位置情報に、前記動体抽出部で抽出された各動体の動きに関する情報を併せて前記表示画像を作成することを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
- 前記3次元位置情報投影部において、前記投影面およびそれに投影される3次元位置情報は、前記入力画像データを、前記面設定部にて設定された角度から見た画像に変換した実写画像であることを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
- 前記3次元位置情報投影部において、前記投影面は前記面設定部にて設定された角度から見た模式化された道路面であり、前記3次元位置情報は、前記入力画像データから抽出した実写のランドマークから成ることを特徴とする請求項8記載の画像処理装置。
- 前記投影面およびそれに投影される3次元位置情報は、前記面設定部にて設定された角度から見た模式化された絵図面から成ることを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
- 前記絵図面は、前記模式化された道路面上に、前記模式化された道路交通のための識別記号を合成したものであることを特徴とする請求項10記載の画像処理装置。
- 時系列の撮像画像に、その撮像画像中での被写体の3次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示画像を作成するための方法において、
前記時系列の撮像画像から同一の動体を抽出する工程と、
前記表示にあたっての投影面を設定する工程と、
設定された投影面上に、抽出された動体における前記3次元位置情報を投影した表示画像を作成する工程とを含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009128028A JP5267330B2 (ja) | 2009-05-27 | 2009-05-27 | 画像処理装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009128028A JP5267330B2 (ja) | 2009-05-27 | 2009-05-27 | 画像処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010277262A true JP2010277262A (ja) | 2010-12-09 |
JP5267330B2 JP5267330B2 (ja) | 2013-08-21 |
Family
ID=43424183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009128028A Expired - Fee Related JP5267330B2 (ja) | 2009-05-27 | 2009-05-27 | 画像処理装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5267330B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013097391A (ja) * | 2011-10-27 | 2013-05-20 | Toshiba Alpine Automotive Technology Corp | 衝突判定方法および衝突判定プログラム |
JP2013186902A (ja) * | 2012-03-07 | 2013-09-19 | Ricoh Co Ltd | 車輌検知方法及び装置 |
JP2013537661A (ja) * | 2010-06-30 | 2013-10-03 | タタ コンサルタンシー サービシズ リミテッド | ステレオビジョン技術を使用することによる移動物体の自動検出 |
JP2016126662A (ja) * | 2015-01-07 | 2016-07-11 | 株式会社リコー | 地図生成装置、地図生成方法およびプログラム |
JP2016133878A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社レイトロン | 画像認識に使用するウィンドウの配置や組合せを、構成情報に従って変化させることができる画像認識装置 |
JP2018072940A (ja) * | 2016-10-25 | 2018-05-10 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
WO2018159144A1 (ja) * | 2017-03-01 | 2018-09-07 | パナソニックIpマネジメント株式会社 | 3次元侵入検知システムおよび3次元侵入検知方法 |
JP2019020289A (ja) * | 2017-07-19 | 2019-02-07 | 日産自動車株式会社 | 移動ベクトル算出方法及び移動ベクトル算出装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7459866B2 (ja) * | 2019-03-25 | 2024-04-02 | 株式会社Jvcケンウッド | 記録システム、及び、記録方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001317915A (ja) * | 2000-05-08 | 2001-11-16 | Minolta Co Ltd | 3次元計測装置 |
WO2004008744A1 (ja) * | 2002-07-12 | 2004-01-22 | Iwane Laboratories, Ltd. | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 |
JP2004046875A (ja) * | 2002-07-03 | 2004-02-12 | Iwane Kenkyusho:Kk | 交通機関自動案内装置 |
JP2004356845A (ja) * | 2003-05-28 | 2004-12-16 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
JP2006347493A (ja) * | 2005-06-20 | 2006-12-28 | Alpine Electronics Inc | ドライブレコーダー |
-
2009
- 2009-05-27 JP JP2009128028A patent/JP5267330B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001317915A (ja) * | 2000-05-08 | 2001-11-16 | Minolta Co Ltd | 3次元計測装置 |
JP2004046875A (ja) * | 2002-07-03 | 2004-02-12 | Iwane Kenkyusho:Kk | 交通機関自動案内装置 |
WO2004008744A1 (ja) * | 2002-07-12 | 2004-01-22 | Iwane Laboratories, Ltd. | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 |
JP2004356845A (ja) * | 2003-05-28 | 2004-12-16 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
JP2006347493A (ja) * | 2005-06-20 | 2006-12-28 | Alpine Electronics Inc | ドライブレコーダー |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013537661A (ja) * | 2010-06-30 | 2013-10-03 | タタ コンサルタンシー サービシズ リミテッド | ステレオビジョン技術を使用することによる移動物体の自動検出 |
JP2013097391A (ja) * | 2011-10-27 | 2013-05-20 | Toshiba Alpine Automotive Technology Corp | 衝突判定方法および衝突判定プログラム |
JP2013186902A (ja) * | 2012-03-07 | 2013-09-19 | Ricoh Co Ltd | 車輌検知方法及び装置 |
JP2016126662A (ja) * | 2015-01-07 | 2016-07-11 | 株式会社リコー | 地図生成装置、地図生成方法およびプログラム |
JP2016133878A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社レイトロン | 画像認識に使用するウィンドウの配置や組合せを、構成情報に従って変化させることができる画像認識装置 |
JP2018072940A (ja) * | 2016-10-25 | 2018-05-10 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
WO2018159144A1 (ja) * | 2017-03-01 | 2018-09-07 | パナソニックIpマネジメント株式会社 | 3次元侵入検知システムおよび3次元侵入検知方法 |
JP2018147015A (ja) * | 2017-03-01 | 2018-09-20 | パナソニックIpマネジメント株式会社 | 3次元侵入検知システムおよび3次元侵入検知方法 |
GB2572933A (en) * | 2017-03-01 | 2019-10-16 | Panasonic Ip Man Co Ltd | Three-dimensional intrusion detection system and three-dimensional intrusion detection method |
GB2572933B (en) * | 2017-03-01 | 2022-05-18 | Panasonic Ip Man Co Ltd | Three-dimensional intrusion detection system and three-dimensional intrusion detection method |
JP2019020289A (ja) * | 2017-07-19 | 2019-02-07 | 日産自動車株式会社 | 移動ベクトル算出方法及び移動ベクトル算出装置 |
JP7205049B2 (ja) | 2017-07-19 | 2023-01-17 | 日産自動車株式会社 | 移動ベクトル算出方法及び移動ベクトル算出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5267330B2 (ja) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5267330B2 (ja) | 画像処理装置および方法 | |
JP4553072B1 (ja) | 画像統合装置および画像統合方法 | |
US11967109B2 (en) | Vehicle localization using cameras | |
EP2261604B1 (en) | Computer arrangement for and method of calculating motion vectors using range sensor data | |
US10318782B2 (en) | Image processing device, image processing system, and image processing method | |
CN111046743B (zh) | 一种障碍物信息标注方法、装置、电子设备和存储介质 | |
JP5109691B2 (ja) | 解析装置 | |
JP5714940B2 (ja) | 移動体位置測定装置 | |
JP4717760B2 (ja) | 物体認識装置および映像物体測位装置 | |
JP5471310B2 (ja) | 運転解析システム | |
JP6171593B2 (ja) | 視差図からの対象追跡方法及びシステム | |
JP2011134207A (ja) | 運転記録装置および地図作成システム | |
JP2011529569A (ja) | ナビゲーションデータを三次元で表示するコンピュータ装置および方法 | |
CN104918033A (zh) | 图像处理装置和图像处理方法 | |
JP2010204805A (ja) | 周辺監視装置および該方法 | |
CN103810475A (zh) | 一种目标物识别方法及装置 | |
JP5181602B2 (ja) | 物体検出装置 | |
TWI682361B (zh) | 路面影像重建與載具定位之方法與系統 | |
WO2010113253A1 (ja) | 3次元情報表示装置および3次元情報表示方法 | |
JP4946896B2 (ja) | 距離計測装置及び距離計測方法 | |
Yan et al. | Potential accuracy of traffic signs' positions extracted from Google Street View | |
JP5256508B2 (ja) | 3次元情報算出装置および3次元情報算出方法 | |
JP6786635B2 (ja) | 車両認識装置および車両認識方法 | |
Liu | Performance evaluation of stereo and motion analysis on rectified image sequences | |
KR101655204B1 (ko) | 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130422 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |