JP2016009474A - 物体識別システム、情報処理装置、情報処理方法及びプログラム - Google Patents
物体識別システム、情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2016009474A JP2016009474A JP2014131865A JP2014131865A JP2016009474A JP 2016009474 A JP2016009474 A JP 2016009474A JP 2014131865 A JP2014131865 A JP 2014131865A JP 2014131865 A JP2014131865 A JP 2014131865A JP 2016009474 A JP2016009474 A JP 2016009474A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- identified
- region
- extracted
- drawn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 撮影画像より、識別対象の物体が描画された領域を抽出する識別候補抽出部714と、前記領域が抽出された場合に、前記識別対象の物体に、レーザ光が照射されるようレーザレーダ測距部120を制御する走査範囲指定部715と、前記電磁波が照射されることで測定された前記識別対象の物体までの距離に基づいて導出される、前記撮影画像に描画されうる識別対象の物体の許容サイズと、前記抽出された領域のサイズと、を対比することで、前記抽出された領域に描画された物体が識別対象の物体であったか否かを判定する誤認識除去部731とを有する。
【選択図】図7
Description
撮像部と、電磁波を出射する出射部と、該撮像部及び該出射部と接続される情報処理装置とを有する物体識別システムであって、
前記撮像部により撮影された撮影画像より、識別対象の物体が描画された領域を抽出する抽出手段と、
前記領域が抽出された場合に、前記識別対象の物体に、電磁波が照射されるよう前記出射部を制御する制御手段と、
前記電磁波が照射されることで測定された前記識別対象の物体までの距離に基づいて導出される、前記撮影画像に描画されうる前記識別対象の物体の許容サイズと、前記抽出手段により抽出された領域のサイズと、を対比することで、前記抽出手段により抽出された領域に描画された物体が識別対象の物体であったか否かを判定する判定手段とを有する。
<1.物体識別システムの全体構成>
はじめに、本実施形態に係る物体識別システムの全体構成について説明する。図1は、本実施形態に係る物体識別システムの全体構成を示す図である。図1に示すように、物体識別システム100は、ステレオ撮像部110と、レーザレーダ測距部120と、情報処理装置130とを備える。
次に、物体識別システム100を車両に搭載した場合の撮像部111、112及びレーザレーダ測距部120の配置例ならびに撮像部111、112の撮影範囲及びレーザレーダ測距部120によるレーザ光の走査可能範囲について説明する。
次に、ステレオ撮像部110のハードウェア構成について説明する。図3は、ステレオ撮像部のハードウェア構成を示す図である。
次に、レーザレーダ測距部120のハードウェア構成について説明する。図4は、レーザレーダ測距部120のハードウェア構成を示す図である。
次に、情報処理装置130のハードウェア構成について説明する。図6は、情報処理装置のハードウェア構成を示す図である。
次に、情報処理装置130の機能構成について説明する。図7は、情報処理装置130の機能構成を示す図である。
次に、図7を用いて説明した情報処理装置130の各機能のうち、視差画像計算部713、識別候補抽出部714、走査範囲指定部715、レーザ距離情報取得部721、誤認識除去部731について更に説明する。
はじめに視差画像計算部713について説明する。図8は、視差画像計算部713における処理の概要を説明するための図である。具体的には、ステレオ撮像部110において撮影された撮影画像に基づいて、視差画像計算部713が、撮影画像の各画素の視差値を算出し、視差画像を生成する処理について説明するための図である。
視差値Δ=(点812のx座標)−(点822のx座標)
ここで、図8(a)において、基準画像810中の点812と、撮像レンズ811から撮像面上に下した垂線の撮像面との交点に対応する基準画像中の点との間の距離をΔaとする。また、比較画像820中の点822と、撮像レンズ821から撮像面上に下した垂線の撮像面との交点に対応する比較画像中の点との間の距離をΔbとする。この場合、視差値Δ=Δa+Δbとなる。そして、当該視差値Δを比較画像820の各画素について算出することで、視差画像を生成することができる。
距離Z=(B×f)/Δ
次に、識別候補抽出部714について図9〜図15を参照しながら説明する。図9は、識別候補抽出部714の詳細について説明するための図である。図9に示すように、識別候補抽出部714は、ブロック走査部901、ブロック抽出部902、識別候補演算部910を有する。更に、識別候補演算部910は、特徴量算出部911、評価値算出部912、識別部913、識別候補出力部914、物体識別用データベース(以下、DBと略す)920を有する。
次に、走査範囲指定部715について図16を参照しながら説明する。図16は、走査範囲指定部715の詳細について説明するための図である。図16に示すように、走査範囲指定部715は、座標データ入力部1601、変換部1602、旋回角・仰角出力部1603を有する。
次に、レーザ距離情報取得部721について説明する。図18はレーザ距離情報取得部721において取得されたレーザ距離情報の一例を示す図である。レーザ距離情報取得部721では、識別候補抽出部714より出力された座標データを取得し、それぞれの座標データについて、レーザレーダ測距部120より送信されたレーザ距離情報を対応付ける。なお、レーザレーダ測距部120より送信された、各領域内のそれぞれの走査位置におけるレーザ距離情報は、各領域ごとに平均値が算出された後に(L1〜L4)、座標データに対応付けられる。
・{(Xs1,Ys1)、(Xe1,Ye1)}、
・{(Xs2,Ys2)、(Xe2,Ye2)}、
・{(Xs3,Ys3)、(Xe3,Ye3)}、
・{(Xs4,Ys4)、(Xe2,Ye4)}
このため、レーザ距離情報取得部721では、算出したレーザ距離情報(平均値)それぞれを4つの座標データと対応付ける。なお、レーザ距離情報取得部721では、座標データが算出された複数の撮影画像(比較画像820)それぞれについて、レーザ距離情報と座標データとの対応付けを行う。
次に、誤認識除去部731について図19及び図20を用いて説明する。図19は誤認識除去部731の詳細について説明するための図である。図19に示すように、誤認識除去部731は、物体・距離情報取得部1901、判定情報取得部1902、誤認識判定部1903、識別結果出力部1904、物体サイズ判定DB1910を有する。
Wmin_3<W1<Wmax_3
Hmin_3<H1<Hmax_3
が成立する場合には、識別候補は正しく物体が識別されている(物体Iである)と判定する。また、成立しない場合には、識別候補は誤って物体が識別された(物体Iではない)と判定する。
次に、誤認識除去部731による誤認識除去処理の流れについて説明する。図21は、誤認識除去部731による誤認識除去処理の流れを示すフローチャートである。
次に、情報処理装置130による物体識別処理全体の流れについて説明する。図22は、情報処理装置130による物体識別処理の流れを示すフローチャートである。
以上の説明から明らかなように、本実施形態に係る物体識別システムでは、
・撮像部により撮影された撮影画像より、識別対象の物体が描画された領域を抽出する構成とした。
・識別対象の物体が描画された領域に対応する位置にレーザ光が照射されるよう制御し、当該識別対象の物体までの距離を測定する構成とした。
・測定した距離に基づいて、撮影画像内に描画されうる当該識別対象の物体の許容サイズを導出する構成とした。また、撮影画像より抽出された領域のサイズを当該許容サイズを用いて検証することで、撮影画像より抽出された領域に描画された物体が識別対象の物体であったか否かを判定する構成とした。
・識別対象の物体でないと判定された場合、当該物体が描画された領域を除く領域に関する情報を、識別結果情報として出力する構成とした。
上記第1の実施形態では、識別対象の物体として、物体I〜物体IVの4つの物体について抽出する構成としたが、本発明はこれに限定されない。抽出すべき識別対象の物体は、識別結果情報に基づいて、車両200がどのような制御を行うかに応じて、適宜定義されるものとする。なお、抽出すべき識別対象の物体の一例としては、車両や歩行者等が挙げられる。
110 :ステレオ撮像部
111、112 :撮像部
120 :レーザレーダ測距部
130 :情報処理装置
711 :撮影画像取得部
712 :輝度画像入力部
713 :視差画像計算部
714 :識別候補抽出部
715 :走査範囲指定部
721 :レーザ距離情報取得部
731 :誤認識除去部
732 :識別結果情報出力部
901 :ブロック走査部
902 :ブロック抽出部
910 :識別候補演算部
911 :特徴量算出部
912 :評価値算出部
913 :識別部
914 :識別候補出力部
920 :物体識別用DB
1901 :物体・距離情報取得部
1902 :判定情報取得部
1903 :誤認識判定部
1904 :識別結果出力部
1910 :物体サイズ判定DB
Claims (9)
- 撮像部と、電磁波を出射する出射部と、該撮像部及び該出射部と接続される情報処理装置とを有する物体識別システムであって、
前記撮像部により撮影された撮影画像より、識別対象の物体が描画された領域を抽出する抽出手段と、
前記領域が抽出された場合に、前記識別対象の物体に、電磁波が照射されるよう前記出射部を制御する制御手段と、
前記電磁波が照射されることで測定された前記識別対象の物体までの距離に基づいて導出される、前記撮影画像に描画されうる前記識別対象の物体の許容サイズと、前記抽出手段により抽出された領域のサイズと、を対比することで、前記抽出手段により抽出された領域に描画された物体が識別対象の物体であったか否かを判定する判定手段と
を有することを特徴とする物体識別システム。 - 撮影画像より、識別対象の物体が描画された領域を抽出する抽出手段と、
前記領域が抽出された場合に、前記識別対象の物体に、電磁波が照射されるよう制御する制御手段と、
前記電磁波が照射されることで測定された前記識別対象の物体までの距離に基づいて導出される、前記撮影画像に描画されうる前記識別対象の物体の許容サイズと、前記抽出手段により抽出された領域のサイズと、を対比することで、前記抽出手段により抽出された領域に描画された物体が識別対象の物体であったか否かを判定する判定手段と
を有することを特徴とする情報処理装置。 - 前記抽出手段は、
前記撮影画像内の所定の大きさの領域に含まれる各画素の輝度値を用いて算出した特徴量が所定の条件を満たす場合に、該領域を抽出することを特徴とする請求項2に記載の情報処理装置。 - 前記撮影画像内の前記所定の大きさの領域は、前記撮影画像に基づいて算出された視差画像を用いて、等しい距離情報を有する画素群に基づいて特定されることを特徴とする請求項3に記載の情報処理装置。
- 前記制御手段は、
前記電磁波の出射方向を前記撮影画像内における前記抽出された領域の座標に基づいて算出し、該算出した出射方向に前記電磁波が出射されるよう制御することを特徴とする請求項2乃至4のいずれか1項に記載の情報処理装置。 - 識別対象の物体までの距離と、前記撮影画像に描画されうる該識別対象の物体の許容サイズとの関係を規定したデータベースを、識別対象の物体ごとに格納する格納手段を更に有し、
前記判定手段は、前記測定された識別対象の物体までの距離と、前記抽出された領域に描画された前記識別対象の物体とに基づいて、前記データベースを参照することで、前記対比に用いる許容サイズを導出することを特徴とする請求項2に記載の情報処理装置。 - 前記抽出手段により抽出された領域のうち、前記判定手段により識別対象の物体であると判定された物体が描画された領域に関する情報を、識別結果として出力する出力手段を更に有することを特徴とする請求項2に記載の情報処理装置。
- 撮像部と、電磁波を出射する出射部と、該撮像部及び該出射部と接続される情報処理装置とを有する物体識別システムにおける情報処理方法であって、
前記撮像部により撮影された撮影画像より、識別対象の物体が描画された領域を抽出する抽出工程と、
前記領域が抽出された場合に、前記識別対象の物体に、電磁波が照射されるよう前記出射部を制御する制御工程と、
前記電磁波が照射されることで測定された前記識別対象の物体までの距離に基づいて導出される、前記撮影画像に描画されうる前記識別対象の物体の許容サイズと、前記抽出工程において抽出された領域のサイズと、を対比することで、前記抽出工程において抽出された領域に描画された物体が識別対象の物体であったか否かを判定する判定工程と
を有することを特徴とする情報処理方法。 - 情報処理装置のコンピュータに、
撮影画像より、識別対象の物体が描画された領域を抽出する抽出工程と、
前記領域が抽出された場合に、前記識別対象の物体に、電磁波が照射されるよう制御する制御工程と、
前記電磁波が照射されることで測定された前記識別対象の物体までの距離に基づいて導出される、前記撮影画像に描画されうる前記識別対象の物体の許容サイズと、前記抽出工程において抽出された領域のサイズと、を対比することで、前記抽出工程において抽出された領域に描画された物体が識別対象の物体であったか否かを判定する判定工程と
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014131865A JP6435661B2 (ja) | 2014-06-26 | 2014-06-26 | 物体識別システム、情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014131865A JP6435661B2 (ja) | 2014-06-26 | 2014-06-26 | 物体識別システム、情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016009474A true JP2016009474A (ja) | 2016-01-18 |
JP6435661B2 JP6435661B2 (ja) | 2018-12-12 |
Family
ID=55226950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014131865A Active JP6435661B2 (ja) | 2014-06-26 | 2014-06-26 | 物体識別システム、情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6435661B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018007078A (ja) * | 2016-07-04 | 2018-01-11 | 株式会社ニコン | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2018205879A (ja) * | 2017-05-31 | 2018-12-27 | 本田技研工業株式会社 | 物標認識システム、物標認識方法、およびプログラム |
CN110660271A (zh) * | 2018-06-13 | 2020-01-07 | 罗伯特·博世有限公司 | 在更大距离上识别对于行驶重要相关的情况 |
WO2020194650A1 (ja) * | 2019-03-28 | 2020-10-01 | 日本電気株式会社 | 異物検出装置、異物検出方法、およびプログラム |
CN111736140A (zh) * | 2020-06-15 | 2020-10-02 | 杭州海康微影传感科技有限公司 | 一种对象检测方法和摄像设备 |
JP2021042014A (ja) * | 2019-09-06 | 2021-03-18 | 新明和工業株式会社 | 塵芥収集車 |
WO2021210268A1 (ja) * | 2020-04-13 | 2021-10-21 | ソニーセミコンダクタソリューションズ株式会社 | 物体検出装置、情報処理装置および物体検出方法 |
WO2023188184A1 (ja) * | 2022-03-30 | 2023-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04155211A (ja) * | 1990-10-18 | 1992-05-28 | Fujitsu Ltd | 測距方式 |
JPH0749999A (ja) * | 1993-08-05 | 1995-02-21 | Mazda Motor Corp | 自動車の障害物検出装置及び警告装置 |
JP2006258507A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 前方物体認識装置 |
JP2011048485A (ja) * | 2009-08-25 | 2011-03-10 | Kumamoto Univ | 物標検出装置および物標検出方法 |
-
2014
- 2014-06-26 JP JP2014131865A patent/JP6435661B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04155211A (ja) * | 1990-10-18 | 1992-05-28 | Fujitsu Ltd | 測距方式 |
JPH0749999A (ja) * | 1993-08-05 | 1995-02-21 | Mazda Motor Corp | 自動車の障害物検出装置及び警告装置 |
JP2006258507A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 前方物体認識装置 |
JP2011048485A (ja) * | 2009-08-25 | 2011-03-10 | Kumamoto Univ | 物標検出装置および物標検出方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018007078A (ja) * | 2016-07-04 | 2018-01-11 | 株式会社ニコン | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2018205879A (ja) * | 2017-05-31 | 2018-12-27 | 本田技研工業株式会社 | 物標認識システム、物標認識方法、およびプログラム |
US10634779B2 (en) | 2017-05-31 | 2020-04-28 | Honda Motor Co., Ltd. | Target recognition system, target recognition method, and storage medium |
CN110660271B (zh) * | 2018-06-13 | 2023-01-10 | 罗伯特·博世有限公司 | 在更大距离上识别对于行驶重要相关的情况 |
CN110660271A (zh) * | 2018-06-13 | 2020-01-07 | 罗伯特·博世有限公司 | 在更大距离上识别对于行驶重要相关的情况 |
WO2020194650A1 (ja) * | 2019-03-28 | 2020-10-01 | 日本電気株式会社 | 異物検出装置、異物検出方法、およびプログラム |
JPWO2020194650A1 (ja) * | 2019-03-28 | 2021-10-21 | 日本電気株式会社 | 異物検出装置、異物検出方法、およびプログラム |
US20220148205A1 (en) * | 2019-03-28 | 2022-05-12 | Nec Corporation | Foreign matter detection device, foreign matter detection method, and program |
JP7081720B2 (ja) | 2019-03-28 | 2022-06-07 | 日本電気株式会社 | 異物検出装置、異物検出方法、およびプログラム |
US11776143B2 (en) | 2019-03-28 | 2023-10-03 | Nec Corporation | Foreign matter detection device, foreign matter detection method, and program |
JP2021042014A (ja) * | 2019-09-06 | 2021-03-18 | 新明和工業株式会社 | 塵芥収集車 |
JP7284670B2 (ja) | 2019-09-06 | 2023-05-31 | 新明和工業株式会社 | 塵芥収集車 |
WO2021210268A1 (ja) * | 2020-04-13 | 2021-10-21 | ソニーセミコンダクタソリューションズ株式会社 | 物体検出装置、情報処理装置および物体検出方法 |
WO2021254233A1 (zh) * | 2020-06-15 | 2021-12-23 | 杭州海康微影传感科技有限公司 | 对象检测方法和摄像设备 |
CN111736140A (zh) * | 2020-06-15 | 2020-10-02 | 杭州海康微影传感科技有限公司 | 一种对象检测方法和摄像设备 |
WO2023188184A1 (ja) * | 2022-03-30 | 2023-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6435661B2 (ja) | 2018-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6435661B2 (ja) | 物体識別システム、情報処理装置、情報処理方法及びプログラム | |
JP6540009B2 (ja) | 画像処理装置、画像処理方法、プログラム、画像処理システム | |
JP6467776B2 (ja) | 測距システム、情報処理装置、情報処理方法及びプログラム | |
KR101652393B1 (ko) | 3차원 영상 획득 장치 및 방법 | |
US10776946B2 (en) | Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium | |
JPWO2020121973A1 (ja) | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 | |
JP6476831B2 (ja) | 視差演算システム、情報処理装置、情報処理方法及びプログラム | |
JP6782433B2 (ja) | 画像認識装置 | |
CN112534474A (zh) | 纵深取得装置、纵深取得方法以及程序 | |
EP3115966B1 (en) | Object detection device, object detection method, and computer program | |
US20180276835A1 (en) | Image processing apparatus, object recognition apparatus, equipment control system, image processing method, and computer-readable recording medium | |
JP7024736B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2017151535A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
US10497141B2 (en) | Three-dimensional imaging using frequency domain-based processing | |
JP4123138B2 (ja) | 車両検知方法及び車両検知装置 | |
JP6561511B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム | |
JP2010060299A (ja) | 物体検出装置 | |
JP2010060371A (ja) | 物体検出装置 | |
JP2006177937A (ja) | 距離計測装置及び距離計測方法 | |
JP2017027578A (ja) | 検出装置、視差値導出装置、物体認識装置、機器制御システム、検出方法、およびプログラム | |
JP7347398B2 (ja) | 物体検出装置 | |
EP3062516B1 (en) | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium | |
WO2021060397A1 (ja) | ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法 | |
Ma et al. | Disparity estimation based on fusion of vision and LiDAR | |
JP2006058092A (ja) | 3次元形状測定装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6435661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |