JP2014154062A - 物体検知装置 - Google Patents
物体検知装置 Download PDFInfo
- Publication number
- JP2014154062A JP2014154062A JP2013025204A JP2013025204A JP2014154062A JP 2014154062 A JP2014154062 A JP 2014154062A JP 2013025204 A JP2013025204 A JP 2013025204A JP 2013025204 A JP2013025204 A JP 2013025204A JP 2014154062 A JP2014154062 A JP 2014154062A
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle camera
- wide
- template
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 狭角カメラの画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出部41と、占有画像領域を含み当該占有画像領域よりも大きな広域画像領域を広角カメラ2の画像に対応するように圧縮した第1テンプレートを生成する第1テンプレート生成部42と、広角カメラ2の画像から第1テンプレートを用いてテンプレートマッチングにより広域対応画像領域を算出する第1画像対応部43と、占有画像領域を広角カメラ2の画像に対応するように圧縮した第2テンプレートを生成する第2テンプレート生成部44と、広角対応画像領域から第2テンプレートを用いてテンプレートマッチングにより占有画像領域の対応画像領域を算出する第2画像対応部45と、対応画像領域の中から物体を検知する物体検知部46と、を備えた。
【選択図】 図1
Description
本発明の目的は、情報不足によるマッチングの誤対応を低減できる物体検知装置を提供することにある。
まず、構成を説明する。
図1は、実施例1の物体検知装置100の概略構成図である。
物体検知装置100は、車両に設置された広角カメラ2と、車両に設置された狭角カメラ3と、物体検知ECU4とを備える。
広角カメラ2は、例えばCCD等の撮像素子を用いたカメラである。レンズは、狭角カメラ3よりも視野角が広ければ良く、例えば前方180度を撮像可能な魚眼レンズや、全周囲を撮像可能な全方位カメラ用のレンズを用いても良い。広角カメラ2の取り付け位置に制限はないが、実施例1では、車両のフロントバンパー部付近に、車両前方向きで、20度下方向きに設置した魚眼レンズでの場合を例に説明する。広角カメラ2のレンズ歪み等の内部パラメータ、および車両に対する取り付け位置を示す外部パラメータは、事前に算出済みである。広角カメラ2で撮像された画像は物体検知ECU4に送信される。
狭角カメラ3の設置位置は、広角カメラ2と撮像範囲が重なっていれば、どこに設置しても良いが、実施例1では、車両のダッシュボード上部に、車両前方向きに設置された場合を例に説明する。
また、狭角カメラ3がPTZカメラであった場合には、適切に向きとズームを設定する必要があるが、実施例1では、説明を簡略化するため、向きは車両前方向きに制御され、100m先の歩行者が撮像可能にズーム設定されているものとする。
領域算出部(領域算出手段)41は、狭角カメラ3で撮像された画像中から、対象物体の画像中での占有領域を算出する。算出方法は、一般に広く知られるカメラ画像による物体検出手法を用いれば良く、どの手法で検出するかは、本発明の権利範囲を規定するものではない。ここでは、対象物体が歩行者である場合を例に、領域算出の具体的な方法を説明する。
対象物体が歩行者である場合には、近年はHOG(Histograms of Oriented Gradients)という特徴量で検出するのが一般的であるが、歩行者か否かを識別する識別器は、SVM(Support Vector Machine)を用いるのが一般的であるが、AdaBoost,Random Forestなど他の手法を用いても良い。あらかじめ、歩行者とラベル付けされた画像群を用いて、HOG特徴量の学習を行い、実際の画像が歩行者か否かを判断する。全画面をSliding Window方式で順々に探索することで、歩行者を検知できる。実際には、歩行者の位置によって画像中の大きさが異なるため、異なる画像の大きさで、それぞれSliding Window方式で探索を行う。こうすることで、歩行者を見つけることができる。
領域算出部41により歩行者等の対象物体が検知された場合には、検知された対象物体の占有領域情報を第1テンプレート生成部42と第2テンプレート生成部44に送信する。
ズーム倍率(L倍)と広角カメラ画像上での理想的なテンプレートサイズ(Wx,Wy)を用いて、狭角カメラ画像での理想的なテンプレートサイズ(Tx,Ty)は、Tx=L*Wx,Ty=L*Wyと定める。
最後にテンプレート画像領域を、ズーム倍率(L倍)を用いて1/L倍に圧縮(縮小)し、最終的な第1テンプレート画像を作成する。
なお、最もシンプルな設定手法は、狭角カメラ3の撮像画像全体を1/L倍に圧縮してテンプレート画像とする方法である。広角カメラ2に対する狭角カメラ3のズーム倍率が一定以上の場合には、理想的なテンプレートサイズが狭角カメラ3の画像サイズよりも大きくなってしまうため、この手法を選択すると余計な計算を省くことができる。
図3(a)において、二つのカメラの位置関係が既知であるため、狭角カメラ上の注目点(ここでは、占有画像領域の中心画像点とする)を、広角カメラ画像に投影した場合の画像位置は、エピポーラ線上に載るはずである。したがって、図3(b)に示すようにエピポーラ線上に画像中心が来るように、順々に対象ウィンドウをずらしてテンプレートマッチングを行えばよい。
第2画像対応部(第2画像対応手段)45は、第2テンプレート生成部44で生成された第2テンプレート画像を用いて、第1画像対応部43で算出された広域対応画像領域内でのテンプレートマッチングを行い、対象物体に対応する最終的な画像領域を算出する。テンプレートマッチングは、第1画像対応部43と同様に行えばよい。広域対応画像領域内にエピポーラ線が存在するはずなので、エピポーラ線に沿って探索すると、さらにマッチングの精度向上と誤対応低減が図れる。
物体検知部(物体検知手段)46は、対象物体に対応する最終的な画像領域(対応画像領域)の中から物体を検知する。
図4は、実施例1の物体検知ECU4における対象物体検知処理の流れを示すフローチャートである。この処理は、例えば50msec程度の間隔で連続的に行われる。なお、各ステップにおける処理の詳細はすでに説明済みであるため、ここでは基本的に処理の流れのみを説明する。
ステップS110では、領域算出部41において、狭角カメラ3から取得した画像から対象物体の検知を行い、ステップS120に進む。
ステップS120では、領域算出部41で対象領域が見つかった場合には、最初に見つかった領域を対象として選択し、ステップS130に進む。対象物体が見つからない場合には、再びステップS110に戻る。なお、対象領域が複数見つかった場合には、対象物体とのマッチング度合いが最も高い領域を選択しても良い。
ステップS140では、第1画像対応部43において、広角カメラ2から取得した画像から、第1テンプレートを用いて広域対応画像領域を算出し、ステップS150に進む。
ステップS150では、第2テンプレート生成部44において、領域算出部41で算出した物体の占有画像領域情報に基づき、第2画像対応部45で利用する第2テンプレートを算出し、ステップS160に進む。
ステップS160では、第2画像対応部45において、第1画像対応部43で算出した広域対応画像領域から、第2テンプレート生成手段で生成した第2テンプレートを用いて最終的な対象物体の対応画像領域を算出する。
ステップS170では、物体検知部46において、第2画像対応部45で算出した対応画像領域の中から物体を検知する。
以上のステップS110からステップS160までの処理により、広角カメラ2と狭角カメラ3を連携させて、物体検知を行う基本的な枠組みが実現される。
[対象物体検知作用]
従来、画像を対応付ける技術として、いわゆるテンプレートマッチングが知られている。これは、事前に探索したい対象画像(テンプレート)を設定しておき、新規の画像中から、テンプレートと画像特徴が似た領域を見つけるものである。さらに、テンプレートマッチングを発展させた2段階テンプレート照合法も知られている。これは、テンプレート画像よりも小さいサブテンプレートを設定し、サブテンプレートで一度照合を行い、マッチング度合いが高い場合にのみ、フルテンプレートで照合するものである。サブテンプレートの活用により、明らかに異なる画像領域での計算量を削減することができ、高速処理が可能となる。2段階テンプレート照合法としては、特許第4387889号公報に記載のものが知られている。この従来技術では、サブテンプレートとして、テンプレートの一部を切り出した画像や、テンプレートを複数段階に圧縮した画像を用いている。
以上のように、実施例1の物体検知では、対象物体の画像領域よりも広い広域画像領域を活用した2段階マッチングを行うため、広角カメラ2上での対象画像が小さい場合であっても、マッチングの誤対応を抑制して画像の対応付けを行うことができる。画像の対応付けが可能である場合、例えば、ステレオ視の技術を適用して、おおよその距離を算出したり、狭角カメラ3で見つけた物体を広角カメラ2でトラッキングしたりするなど、様々なアプリケーションに応用することが可能となる。
また、実施例1では、狭角カメラ3を、車両の水平方向および垂直方向に駆動可能なPTZカメラとしたため、撮像方向を変更することで、広い範囲の対象物体を検出できると共に、ズーム倍率を変更することで、遠方から近傍まで、幅広い距離範囲の対象物体を検出できる。
また、実施例1では、広角カメラ2と狭角カメラ3のカメラパラメータを用いて、広角カメラ画像上に、占有領域の中心座標のエピポーラ線を算出した上で、エピポーラ線上に絞って対応画像の探索を行うため、誤検出の低減と処理の高速化に寄与できる。
(1) 車両に取り付けられ、広視野角を撮像可能な広角カメラ2と、車両に取り付けられ、広角カメラ2の視野範囲の少なくとも一部を撮像可能に設けられ、広角カメラ2よりも狭視野角で撮像倍率の高い狭角カメラ3と、狭角カメラ3の画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出部41と、占有画像領域を含み当該占有画像領域よりも大きな広域画像領域を広角カメラ2の画像に対応するように圧縮した第1テンプレートを生成する第1テンプレート生成部42と、広角カメラ2の画像から第1テンプレートを用いてテンプレートマッチングにより広域対応画像領域を算出する第1画像対応部43と、占有画像領域を広角カメラ2の画像に対応するように圧縮した第2テンプレートを生成する第2テンプレート生成部44と、広角対応画像領域から第2テンプレートを用いてテンプレートマッチングにより占有画像領域の対応画像領域を算出する第2画像対応部45と、対応画像領域の中から検出対象物体を検知する物体検知部46と、を備えた。
よって、情報不足によるマッチングの誤対応を低減できる。
つまり、狭角カメラ画像全体を広域画像領域と定義することで、対象物体の画像中の位置や大きさを考慮することなく、簡便に広域画像領域を定めることができる。
よって、撮像方向を変更することで、広い範囲の対象物体を検出できる。
よって、ズーム倍率を変更することで、遠方から近傍まで、幅広い距離範囲の対象物体を検出できる。
つまり、広角カメラ2に対する狭角カメラ3のズーム倍率の差を考慮し、狭角カメラ3のテンプレート画像を圧縮することで、テンプレート画像と広角カメラ画像の見た目の大きさとが略一致するため、マッチング精度を高めることができる。
よって、誤検出の低減と処理の高速化に寄与できる。
3 狭角カメラ
4 物体検知ECU4
41 領域算出部(領域算出手段)
42 第1テンプレート生成部(第1テンプレート生成手段)
43 第1画像対応部(第1画像対応手段)
44 第2テンプレート生成部(第2テンプレート生成手段)
45 第2画像対応部(第2画像対応手段)
46 物体検知部(物体検知手段)
100 物体検知装置
Claims (6)
- 車両に取り付けられ、広視野角を撮像可能な広角カメラと、
前記車両に取り付けられ、前記広角カメラの視野範囲の少なくとも一部を撮像可能に設けられ、前記広角カメラよりも狭視野角で撮像倍率の高い狭角カメラと、
前記狭角カメラの画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出手段と、
前記占有画像領域を含み当該占有画像領域よりも大きな広域画像領域を前記広角カメラの画像に対応するように圧縮した第1テンプレートを生成する第1テンプレート生成手段と、
前記広角カメラの画像から前記第1テンプレートを用いてテンプレートマッチングにより広域対応画像領域を算出する第1画像対応手段と、
前記占有画像領域を前記広角カメラの画像に対応するように圧縮した第2テンプレートを生成する第2テンプレート生成手段と、
前記広角対応画像領域から前記第2テンプレートを用いてテンプレートマッチングにより前記占有画像領域の対応画像領域を算出する第2画像対応手段と、
前記対応画像領域の中から前記検出対象物体を検知する物体検知手段と、
を備えたことを特徴とする物体検知装置。 - 請求項1に記載の物体検知装置において、
前記第1テンプレート生成手段は、前記狭角カメラの画像全体を前記広域画像領域とすることを特徴とする物体検知装置。 - 請求項1または2に記載の物体検知装置において、
前記狭角カメラは、車両の水平方向および/または垂直方向に駆動可能であることを特徴とする物体検知装置。 - 請求項3に記載の物体検知装置において、
前記狭角カメラは、ズームを駆動可能であることを特徴とする物体検知装置。 - 請求項1ないし4のいずれか1項に記載の物体検知装置において、
前記各画像対応手段は、前記広角カメラと前記狭角カメラのズーム倍率の差を略相殺する倍率で、前記狭角カメラの画像領域を圧縮した上で、前記広角カメラでの前記対応画像領域を算出することを特徴とする物体検知装置。 - 請求項1ないし5のいずれか1項に記載の物体検知装置において、
前記各画像対応手段は、前記広角カメラと前記狭角カメラのカメラパラメータを用いて、前記広角カメラ画像上に、前記占有画像領域の中心座標のエピポーラ線を算出した上で、当該エピポーラ線上に絞って対応画像の探索を行うことを特徴とする物体検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013025204A JP6065629B2 (ja) | 2013-02-13 | 2013-02-13 | 物体検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013025204A JP6065629B2 (ja) | 2013-02-13 | 2013-02-13 | 物体検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014154062A true JP2014154062A (ja) | 2014-08-25 |
JP6065629B2 JP6065629B2 (ja) | 2017-01-25 |
Family
ID=51575842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013025204A Active JP6065629B2 (ja) | 2013-02-13 | 2013-02-13 | 物体検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6065629B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170014168A (ko) * | 2015-07-29 | 2017-02-08 | 주식회사 만도 | 차량의 카메라 장치 |
JP2018064191A (ja) * | 2016-10-13 | 2018-04-19 | 日立建機株式会社 | 障害物検知システム及び建設機械 |
WO2019194455A1 (en) * | 2018-04-03 | 2019-10-10 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing object in image |
JP2020005112A (ja) * | 2018-06-27 | 2020-01-09 | オリンパス株式会社 | 撮像装置、撮像システム、撮像方法およびプログラム |
WO2020084833A1 (ja) * | 2018-10-26 | 2020-04-30 | 株式会社島津製作所 | 試験装置、及び試験装置の制御方法 |
JP2020126304A (ja) * | 2019-02-01 | 2020-08-20 | 株式会社Subaru | 車外物体検出装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005210217A (ja) * | 2004-01-20 | 2005-08-04 | Olympus Corp | ステレオカメラ |
JP2010050527A (ja) * | 2008-08-19 | 2010-03-04 | Nikon Corp | 撮像装置 |
JP2010263270A (ja) * | 2009-04-30 | 2010-11-18 | Sanyo Electric Co Ltd | 撮像装置 |
-
2013
- 2013-02-13 JP JP2013025204A patent/JP6065629B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005210217A (ja) * | 2004-01-20 | 2005-08-04 | Olympus Corp | ステレオカメラ |
JP2010050527A (ja) * | 2008-08-19 | 2010-03-04 | Nikon Corp | 撮像装置 |
JP2010263270A (ja) * | 2009-04-30 | 2010-11-18 | Sanyo Electric Co Ltd | 撮像装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102384175B1 (ko) * | 2015-07-29 | 2022-04-08 | 주식회사 만도모빌리티솔루션즈 | 차량의 카메라 장치 |
KR20170014168A (ko) * | 2015-07-29 | 2017-02-08 | 주식회사 만도 | 차량의 카메라 장치 |
JP2018064191A (ja) * | 2016-10-13 | 2018-04-19 | 日立建機株式会社 | 障害物検知システム及び建設機械 |
WO2019194455A1 (en) * | 2018-04-03 | 2019-10-10 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing object in image |
KR20190115722A (ko) * | 2018-04-03 | 2019-10-14 | 삼성전자주식회사 | 이미지 내에서 객체를 인식하기 위한 장치 및 방법 |
KR102661590B1 (ko) * | 2018-04-03 | 2024-04-29 | 삼성전자주식회사 | 이미지 내에서 객체를 인식하기 위한 장치 및 방법 |
CN111919222B (zh) * | 2018-04-03 | 2024-04-26 | 三星电子株式会社 | 识别图像中的对象的装置和方法 |
CN111919222A (zh) * | 2018-04-03 | 2020-11-10 | 三星电子株式会社 | 识别图像中的对象的装置和方法 |
US11017263B2 (en) | 2018-04-03 | 2021-05-25 | Samsung Electronics Co., Ltd | Apparatus and method for recognizing object in image |
JP2020005112A (ja) * | 2018-06-27 | 2020-01-09 | オリンパス株式会社 | 撮像装置、撮像システム、撮像方法およびプログラム |
JPWO2020084833A1 (ja) * | 2018-10-26 | 2021-09-30 | 株式会社島津製作所 | 試験装置、及び試験装置の制御方法 |
JP7088304B2 (ja) | 2018-10-26 | 2022-06-21 | 株式会社島津製作所 | 試験装置、及び試験装置の制御方法 |
WO2020084833A1 (ja) * | 2018-10-26 | 2020-04-30 | 株式会社島津製作所 | 試験装置、及び試験装置の制御方法 |
JP7229032B2 (ja) | 2019-02-01 | 2023-02-27 | 株式会社Subaru | 車外物体検出装置 |
JP2020126304A (ja) * | 2019-02-01 | 2020-08-20 | 株式会社Subaru | 車外物体検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6065629B2 (ja) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9311711B2 (en) | Image processing apparatus and image processing method | |
JP6065629B2 (ja) | 物体検知装置 | |
WO2017014023A1 (ja) | 車載環境認識装置 | |
JP6032034B2 (ja) | 物体検知装置 | |
JP6660751B2 (ja) | 撮像装置 | |
EP3503531B1 (en) | Image display apparatus | |
JP2008130087A (ja) | 対象領域分割方法及び対象領域分割装置 | |
JP2016152027A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2017094300A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JPWO2015129280A1 (ja) | 画像処理装置および画像処理方法 | |
JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
JP2016173795A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2011016257A1 (ja) | 車両用距離算出装置 | |
JP2008286648A (ja) | 距離計測装置、距離計測システム、距離計測方法 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
KR101709009B1 (ko) | 어라운드 뷰 왜곡 보정 시스템 및 방법 | |
JP2018147241A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
KR102051324B1 (ko) | 서라운드 뷰 모니터링 시스템 | |
JP6564682B2 (ja) | 対象物検出装置、対象物検出方法、及び、対象物検出プログラム | |
JP2009214790A (ja) | 撮像装置および方法、並びに、画像処理装置および方法 | |
KR20150005208A (ko) | 차량용 카메라 제어장치 및 제어방법 | |
JP5822866B2 (ja) | 画像処理装置 | |
JP5907405B2 (ja) | 画像解析装置及びこれを用いた物体検出装置 | |
CN111133439B (zh) | 全景监视系统 | |
JP5981857B2 (ja) | 車外環境認識装置および車外環境認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6065629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |