JP2017211791A - 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2017211791A JP2017211791A JP2016103877A JP2016103877A JP2017211791A JP 2017211791 A JP2017211791 A JP 2017211791A JP 2016103877 A JP2016103877 A JP 2016103877A JP 2016103877 A JP2016103877 A JP 2016103877A JP 2017211791 A JP2017211791 A JP 2017211791A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- distance
- image
- parallax
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
〈車載機器制御システムの構成〉
図1は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。
図2は、撮像ユニット500及び画像解析ユニット600の構成を示す図である。
視差画像生成部11は、視差画像データ(視差画像情報)を生成する視差画像生成処理を行う。なお、視差画像生成部11は、例えば視差演算部511(図2)によって構成される。
Vマップ生成部12は、視差画素データに基づき、Vマップ(V-Disparity Map、「垂直方向分布データ」の一例)を生成するVマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、x方向位置とy方向位置と視差値dとの組(x,y,d)で示される。これを、X軸にd、Y軸にy、Z軸に頻度fを設定した三次元座標情報(d,y,f)に変換したもの、又はこの三次元座標情報(d,y,f)から所定の頻度閾値を超える情報に限定した三次元座標情報(d,y,f)を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報(d,y,f)からなり、この三次元ヒストグラム情報をX−Yの2次元座標系に分布させたものを、Vマップと呼ぶ。
路面推定部13は、Vマップ生成部12により生成されたVマップに基づき、路面を推定(検出)する。
標本点抽出部131は、Vマップ生成部12により生成されたVマップから、路面の推定に用いる標本点を抽出する。
標本点除去部132は、標本点抽出部131により抽出された複数の標本点のうち、路面以外の物体の視差に基づく標本点を除去する。
ステップS103の処理において、処理対象のセグメントにおける当該処理対象の標本点よりもd座標の値が小さい標本点を全て除外する代わりに、以下のような処理を行うようにしてもよい。
路面形状検出部133は、Vマップ生成部12により生成されたVマップの各セグメントから、標本点抽出部131により抽出され、標本点除去部132により除去されていない標本点に基づき、路面の形状(位置、高さ)を検出する。
路面補足部134は、路面形状検出部133により検出(推定)された路面が不適切か否かを判定し、不適切と判定した場合は、路面を補足する。
スムージング処理部135は、各セグメントで推定された各路面を、当該各路面が連続するように修正する。スムージング処理部135は、隣り合う2つのセグメントにおいてそれぞれ推定された各路面のうち、一方の路面の終点(端点)と、他方の路面の始点(端点)が一致するよう、各路面の傾きと切片を変更する。
路面高さテーブル算出部15は、スムージング処理部135にて修正された各セグメントにおける路面に基づいて、路面高さ(自車両の真下の路面部分に対する相対的な高さ)を算出してテーブル化する路面高さテーブル算出処理を行う。
〈クラスタリング、棄却、トラッキング〉
クラスタリング部16は、視差画像データに含まれる各視差画素データにおけるx方向位置とy方向位置と視差値dとの組(x,y,d)を、X軸にx、Y軸にd、Z軸に頻度を設定し、X−Yの2次元ヒストグラム情報(頻度Uマップ)を作成する。
制御部19は、クラスタリング部16による、物体の検出結果に基づいて、例えば、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御したりするなどの走行支援制御を行う。
第1の実施形態では、今回撮影されたフレームに基づいて路面を推定する例について説明した。第2の実施形態では、以前に撮影されたフレームも利用して路面を推定する例について説明する。第2の実施形態によれば、今回撮影されたフレームに基づくVマップにおける標本点群と、以前に撮影されたフレームに基づくVマップの標本点群のうち、重複する標本点を使用して路面を推定する。それにより、偶発的に出現するノイズを除去することができるため、路面推定の精度が向上する。
第2の実施形態に係る標本点抽出部131は、Vマップ生成部12により生成されたVマップから、路面の推定に用いる標本点を抽出する。
[第3の実施形態]
第1の実施形態では、Vマップにおいて路面上の物体による標本点を除去する例について説明した。第3の実施形態では、Vマップにおいて路面上の物体による視差点がある場合に、路面の高さを高く誤推定しないような制約を設ける例について説明する。
第3の実施形態に係る路面形状検出部133は、Vマップ生成部12により生成されたVマップにおいて路面上の物体による視差点がある場合に、路面の高さを高く誤推定しないような制約を設ける。
・処理対象のセグメントにおいて、複数の標本点探索方法に応じた複数の路面を推定し、推定した複数の路面のうち、低い位置に存在する路面を採用する。
・処理対象のセグメントよりも自車両からの距離が近い隣のセグメントにて推定した路面を、当該処理対象のセグメントの終端(左端)まで延長した路面を算出する。そして、算出した路面と、処理対象のセグメントにて推定した路面とのうち、低い位置に存在する路面を採用する。
・処理対象のセグメントでは標本点に基づく路面推定を実施せずに、デフォルト路面、または処理対象のセグメントにおける履歴路面を処理対象のセグメントの路面とする。
上述した各実施形態によれば、Vマップ上の視差分布から、路面上の物体の視差による影響を受けないように路面を検出する。それにより、路面を検出する精度を向上させることが可能となる。
100 自車両
101 撮像ユニット
103 表示モニタ
106 車両走行制御ユニット(「制御部」の一例)
11 視差画像生成部(「距離画像生成部」の一例)
12 Vマップ生成部(「生成部」の一例)
13 路面推定部(「推定部」の一例)
131 標本点抽出部
132 標本点除去部
133 路面形状検出部
134 路面補足部
135 スムージング処理部
15 路面高さテーブル算出部
16 クラスタリング部(「物体検出部」の一例)
17 棄却部
18 トラッキング部
19 制御部
2 撮像装置
510a,510b 撮像部
510 処理ハードウェア部
600 画像解析ユニット(「画像処理装置」の一例)
Claims (9)
- 複数の撮像部で各々撮影された複数の撮影画像における路面及び前記路面上の物体の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
前記垂直方向分布データに基づいて、前記路面上の物体による距離値の頻度の分布による影響を受けないように前記路面を推定する推定部と、
を備えることを特徴とする画像処理装置。 - 前記推定部は、距離値の頻度が所定の閾値以上である第1の点の高さと、前記第1の点よりも小さい距離値を有し、前記第1の点の距離値との差が所定値以内であり、距離値の頻度が所定の閾値以上である第2の点の高さとの差が所定値以上であると判定した場合に、前記第1の点を除いた点に基づいて、前記路面を推定する、
ことを特徴とする請求項1記載の画像処理装置。 - 前記推定部は、前記距離画像の垂直方向に対する距離値の頻度の分布を、前記距離値に応じた複数のセグメントに分割し、前記第1の点の高さと、前記第2の点の高さとの差が所定値以上であると判定した場合に、前記第1の点を含むセグメントにおいて、前記第1の点及び前記第1の点よりも小さい距離値を有する点を除いた点に基づいて、前記路面を推定する、
ことを特徴とする請求項2記載の画像処理装置。 - 前記推定部は、今回撮影された前記複数の撮影画像に基づく距離値の頻度の分布に、以前に撮影された前記複数の撮影画像に基づく距離値の頻度の分布を、同じ座標位置、または画像処理装置の移動速度に応じた座標位置に重畳した垂直方向分布データに基づいて、前記路面を推定する、
ことを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。 - 前記推定部は、前記垂直方向分布データに基づいて、前記路面上の物体による距離値の頻度の分布を検知した場合に、複数の方法で推定した複数の路面のうち、低い位置に存在する路面を前記路面として推定する、
ことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。 - 複数の撮像部と、
前記複数の撮像部で各々撮影された複数の撮影画像から、前記複数の撮影画像における路面及び前記路面上の物体の視差に応じた距離値を有する距離画像を生成する距離画像生成部と、
前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
前記垂直方向分布データに基づいて、前記路面上の物体による距離値の頻度の分布による影響を受けないように前記路面を推定する推定部と、
を備える撮像装置。 - 移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
前記複数の撮像部で各々撮影された複数の撮影画像から、前記複数の撮影画像における移動面及び前記移動面上の物体の視差に応じた距離値を有する距離画像を生成する距離画像生成部と、
前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
前記垂直方向分布データに基づいて、前記移動面上の物体による距離値の頻度の分布による影響を受けないように移動面を推定する推定部と、
前記推定部により推定された移動面、及び前記距離画像に基づいて、前記複数の撮影画像における物体を検出する物体検出部と、
前記物体検出部により検出された物体のデータに基づいて、前記移動体の制御を行う制御部と、
を備える移動体機器制御システム。 - コンピュータが、
複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成するステップと、
前記垂直方向分布データに基づいて、前記路面上の物体による距離値の頻度の分布による影響を受けないように前記路面を推定するステップと、
を実行する、画像処理方法。 - コンピュータに、
複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成するステップと、
前記垂直方向分布データに基づいて、前記路面上の物体による距離値の頻度の分布による影響を受けないように前記路面を推定するステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103877A JP6763198B2 (ja) | 2016-05-25 | 2016-05-25 | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103877A JP6763198B2 (ja) | 2016-05-25 | 2016-05-25 | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017211791A true JP2017211791A (ja) | 2017-11-30 |
JP6763198B2 JP6763198B2 (ja) | 2020-09-30 |
Family
ID=60475583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016103877A Active JP6763198B2 (ja) | 2016-05-25 | 2016-05-25 | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6763198B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10902632B2 (en) | 2018-10-03 | 2021-01-26 | Kabushiki Kaisha Toyota Jidoshokki | Position detection apparatus and position detection method |
JP2021026350A (ja) * | 2019-07-31 | 2021-02-22 | 株式会社リコー | 情報処理装置、撮像装置、移動体、データ処理方法およびプログラム |
JP2021124968A (ja) * | 2020-02-05 | 2021-08-30 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001227944A (ja) * | 2000-02-14 | 2001-08-24 | Mazda Motor Corp | 車両の走行環境認識装置 |
JP2014225220A (ja) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
JP2016045891A (ja) * | 2014-08-26 | 2016-04-04 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
-
2016
- 2016-05-25 JP JP2016103877A patent/JP6763198B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001227944A (ja) * | 2000-02-14 | 2001-08-24 | Mazda Motor Corp | 車両の走行環境認識装置 |
JP2014225220A (ja) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
JP2016045891A (ja) * | 2014-08-26 | 2016-04-04 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10902632B2 (en) | 2018-10-03 | 2021-01-26 | Kabushiki Kaisha Toyota Jidoshokki | Position detection apparatus and position detection method |
JP2021026350A (ja) * | 2019-07-31 | 2021-02-22 | 株式会社リコー | 情報処理装置、撮像装置、移動体、データ処理方法およびプログラム |
JP7322576B2 (ja) | 2019-07-31 | 2023-08-08 | 株式会社リコー | 情報処理装置、撮像装置および移動体 |
JP2021124968A (ja) * | 2020-02-05 | 2021-08-30 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、及びプログラム |
JP7209653B2 (ja) | 2020-02-05 | 2023-01-20 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、及びプログラム |
US11580744B2 (en) | 2020-02-05 | 2023-02-14 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6763198B2 (ja) | 2020-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10580155B2 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
JP6733225B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
US10755116B2 (en) | Image processing apparatus, imaging apparatus, and device control system | |
JP6705496B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム | |
JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6583527B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP6711395B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム | |
WO2017130640A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6705497B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体 | |
JP6733302B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP2018088233A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
JP6763198B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6711128B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP2018088234A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
JP6812701B2 (ja) | 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20161028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6763198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |