JP2011086163A - 移動体追尾装置およびその方法 - Google Patents
移動体追尾装置およびその方法 Download PDFInfo
- Publication number
- JP2011086163A JP2011086163A JP2009239369A JP2009239369A JP2011086163A JP 2011086163 A JP2011086163 A JP 2011086163A JP 2009239369 A JP2009239369 A JP 2009239369A JP 2009239369 A JP2009239369 A JP 2009239369A JP 2011086163 A JP2011086163 A JP 2011086163A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- point
- tracking point
- unit
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理部31a〜31cと、各追尾処理部31a〜31cから出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を追尾方式毎に算出する評価部32と、評価部32によって算出された追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択部33とを具備する移動体追尾装置1を提供する。
【選択図】図1
Description
また、追尾精度の向上を図るために、例えば、指定された目標移動体領域の特徴(輪郭線、温度差等)を抽出し、その特徴パターンを記憶し、時系列で得られる動画像に対して記憶した特長パターンと相関度の高い領域を逐次検索することにより、目標移動体領域を追尾する追尾方法が提案されている(例えば、特許文献1参照)。
また、特許文献2には、例えば、複数の追尾方式で追尾を行い、これら複数の追尾方式によって取得された複数の追尾点のうち、いずれか一の追尾点を選択して出力するマルチモードの追尾方法が開示されている。
本発明は、互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理部と、各前記追尾処理部から出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を前記追尾方式毎に算出する評価部と、前記評価部によって算出された前記追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択部とを具備する移動体追尾装置を提供する。
また、過去所定期間における追尾点のバラツキ度が最小の追尾方式を選択することにより、安定した追尾結果を得ることができる。
「互いに異なる追尾方式」とは、例えば、共通の撮像素子によって取得された共通の画像に対して、面積重心追尾方式、ピーク点追尾方式、相関追尾方式等の異なる追尾方式を行う場合のほか、例えば、赤外線カメラ、可視カメラ等のように、異なる撮像素子によって取得された画像に対して、同じ追尾方式、或いは、異なる追尾方式を行う場合であってもよい。要は、撮像素子および画像処理のうち、いずれか一方が他と異なっていればよい。また、撮像素子を異ならせる場合には、光学系(レンズ系)として共通のものを用いることが好ましい。つまり、同一のレンズ系を介して入力された視野情報を赤外イメージセンサや可視イメージセンサ等に分岐入力させることが好ましい。このように、レンズ系(光学系)を共通化することにより、同一視野の画像に基づいて追尾点を検出することが可能となるので、画像間における誤差を解消することが可能となる。
上記過去所定期間とは、例えば、10フレームから20フレーム程度の画像が取得される期間に相当する。
また、上記本発明の各態様は、可能な範囲で組み合わせて利用することができるものである。
図1は、本実施形態に係る移動体追尾装置の概略構成を示したブロック図である。
図1に示されるように、本実施形態に係る移動体追尾装置1は、カメラ装置2と追尾処理装置3とを備えている。
カメラ装置2は、追尾対象である移動体を含む視野情報を取り込むレンズ系21と、レンズ系21によって取り込まれた視野情報が分岐して入力される第1イメージセンサ22aおよび第2イメージセンサ22bを備えている。
また、レンズ系21を共通とすることで、同一視野の情報を各イメージセンサに供給することが可能となる。これにより、イメージセンサ間の画像ずれを解消することができる。
第3追尾処理部31cは、カメラ装置2の第2イメージセンサ22bから入力された赤外画像から輝度の高い箇所を追尾点として検出し、この追尾点を評価部32に出力する。
これにより、選択部33からは、追尾点のバラツキ度が最小の追尾点が逐次選択されて出力されることとなる。
図2に示されるように、第1から第3追尾処理部31a〜31cにカメラ装置2から可視画像、赤外画像等の画像データがそれぞれ入力されると、第1〜第3追尾処理部31a〜31cにおいて、入力画像内における追尾対象領域抽出処理がそれぞれ実行され(ステップSA1)、抽出された追尾対象領域内において追尾点が算出される(ステップSA2)。なお、追尾点の求め方については、公知の手法であるので、詳細な説明を省略する。また、このような追尾点の算出については、略同時進行で行われる。
次に、本発明の第2の実施形態について説明する。
本実施形態の移動体追尾装置では、各追尾方式に対してシーン(周囲の明暗状況等)に応じた重み付け値が設定されている点で上述した第1の実施形態に係る移動体追尾装置1とは異なる。
例えば、昼間などのように周囲が明るいシーンでは、赤外カメラを用いた追尾方式よりも可視カメラを用いた追尾方式の方が好ましく、夜間等のように周囲が暗いシーンでは、可視カメラを用いた追尾方式よりも赤外カメラを用いた追尾方式の方が好ましい。
なお、上記重み付け値は、オペレータによる入力が可能とされていてもよいし、時刻に応じて自動的に設定されるものであってもよい。また、自動的に設定される重み付け値をオペレータがその時々に応じて変更可能としてもよい。重み付け値は、例えば、1以下の係数として設定されている。
次に、本発明の第3の実施形態について、図4および図5を参照して説明する。
図4に示されるように、本実施形態の移動体追尾装置3aは、選択部33から出力される追尾点を補正する補正部34を更に備える点で上述した第1の実施形態と異なる。
以下、本実施形態に係る移動体追尾装置3aについて上述した第1の実施形態と異なる点について主に説明する。
次に、本発明の第4の実施形態について説明する。
本実施形態に係る追尾処理装置は、図1に示した第1の実施形態に係る追尾処理装置と構成を略同じくするが、評価部による処理内容が異なる。
以下、図7を参照して説明する。図7は、本実施形態の移動体追尾装置における追尾処理装置によって実行される処理の手順を示したフローチャートである。
図7に示されるように、本実施形態に係る追尾処理装置では、評価部32が行う処理として、各追尾処理部31a〜31cから入力された追尾点の信頼度が予め設定されている第1閾値よりも低いか否かを判定する判定処理が設けられている(ステップSD1)。そして、上記判定処理において、信頼度が第1閾値よりも低かった場合には、選択部33における選択の対象に先行して、当該追尾点を対象から除外することとしている。
また、追尾点をフィードバックさせる際には、選択部33によって選択された追尾点を上述した第3の実施形態におけるオフセット量に基づいて補正するとよい(仮の追尾点)。このようにすることで、追尾点の検出精度の向上を図ることが可能となる。
次に、本発明の第5の実施形態について、図9を用いて説明する。
例えば、上述した第1の実施形態においては、追尾点のバラツキ度に基づいて追尾点の選択を行っていたため、選択部33によって必ずしも最適な追尾点を選択することができない場合が生ずる。
例えば、スコア算出部36には、第1および第2追尾処理部31a,31bから追尾点検出に用いられたフレーム画像がそれぞれ入力される。スコア算出部36は、図10に示されるように、フレーム画像内において追尾対象領域抽出処理を行い、追尾対象領域Kを抽出する。次に、追尾対象領域Kにおいてスコア評価画像を切り出すためのスコア評価領域を少しずつずらしながら設定し、設定した各スコア評価領域内のスコア評価画像と、予め設定されているテンプレート画像との相関演算を順次実行する。相関演算は、例えば、以下の(1)式で表される。なお、テンプレート画像は、追尾対象である移動体の画像である。
このようにして、追尾スコアを算出すると、スコア算出部36は選択部33に追尾スコアを出力する。選択部33は、例えば、追尾スコアが予め設定されている所定の閾値を超えており、かつ、評価部32から入力されるバラツキ度が最小である追尾方式を選択する。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。
2 カメラ装置
3 追尾処理装置
21 レンズ系
22a 第1イメージセンサ
22b 第2イメージセンサ
31a 第1追尾処理部
31b 第2追尾処理部
31c 第3追尾処理部
32 評価部
33 選択部
34 補正部
36 スコア算出部
321 データ蓄積部
Claims (10)
- 互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理部と、
各前記追尾処理部から出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を前記追尾方式毎に算出する評価部と、
前記評価部によって算出された前記追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択部と
を具備する移動体追尾装置。 - 各前記追尾方式には、周囲の環境に応じて、重み付け値がそれぞれ設定可能とされており、
前記評価部は、前記追尾点のバラツキ度に、前記重み付け値を反映させた評価値を算出し、
前記選択部は、前記評価値に基づいて一の前記追尾方式を選択する請求項1に記載の移動体追尾装置。 - 各前記追尾処理部間における追尾点のオフセット量を保有しており、前記選択部から出力された追尾点を前記オフセット量に基づいて補正し、補正後の追尾点を出力する補正部を更に備える請求項1または請求項2に記載の移動体追尾装置。
- 前記オフセット量は、複数の前記追尾方式のうち、追尾精度が最も安定している追尾方式の追尾点を基準として設定されている請求項3に記載の移動体追尾装置。
- 前記評価部は、各前記追尾処理部から入力された追尾点の信頼度を算出し、該信頼度が予め設定されている第1閾値よりも低い追尾点を、前記選択部に先行して、選択の対象から除外する請求項1から請求項4のいずれかに記載の移動体追尾装置。
- 前記追尾点の信頼度が前記第1閾値よりも低くなった場合は、同時刻に得られた他の追尾方式の追尾点と前記オフセット量とから当該追尾方式の仮の追尾点を求め、該仮の追尾点を用いて追尾を継続して行う請求項5に記載の移動体追尾装置。
- 追尾点の信頼度が前記閾値よりも低いと判定された追尾方式については、所定期間、該追尾方式の追尾点を選択の対象から除外する請求項5または請求項6に記載の移動体追尾装置。
- 各前記追尾処理部によって追尾された追尾点に基づいて、追尾精度に係る追尾スコアを算出するスコア算出部を更に備え、
前記選択部は、前記追尾点のバラツキ度と前記追尾スコアとに基づいて、一の追尾方式を選択する請求項1から請求項7のいずれかに記載の移動体追尾装置。 - 前記スコア算出部は、前記追尾スコアが予め設定されている第2閾値よりも低かった場合に、その追尾スコアに該当する前記追尾点を、前記選択部に先行して、選択の対象から除外する請求項8に記載の移動体追尾装置。
- 互いに異なる追尾方式によって追尾対象である移動体の追尾を行い、過去所定期間における追尾点のバラツキ度が最小であった追尾方式の追尾点を逐次採用することにより、移動体の移動軌跡を検出する移動体追尾方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009239369A JP5501727B2 (ja) | 2009-10-16 | 2009-10-16 | 移動体追尾装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009239369A JP5501727B2 (ja) | 2009-10-16 | 2009-10-16 | 移動体追尾装置およびその方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001613A Division JP2014112888A (ja) | 2014-01-08 | 2014-01-08 | 移動体追尾装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011086163A true JP2011086163A (ja) | 2011-04-28 |
JP5501727B2 JP5501727B2 (ja) | 2014-05-28 |
Family
ID=44079053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009239369A Active JP5501727B2 (ja) | 2009-10-16 | 2009-10-16 | 移動体追尾装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5501727B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015104898A1 (ja) * | 2014-01-09 | 2015-07-16 | クラリオン株式会社 | 車両用外界認識装置 |
WO2017073344A1 (ja) * | 2015-10-27 | 2017-05-04 | 富士フイルム株式会社 | 撮像システム、並びにオブジェクト検出装置及びその作動方法 |
WO2023106103A1 (ja) * | 2021-12-10 | 2023-06-15 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1186004A (ja) * | 1997-09-11 | 1999-03-30 | Fujitsu Ltd | 移動体追跡装置 |
JP2001357403A (ja) * | 2000-06-14 | 2001-12-26 | Public Works Research Institute Ministry Of Land Infrastructure & Transport | 車両追跡方法及び車両追跡装置 |
JP2002157599A (ja) * | 2000-11-17 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置 |
JP2004056778A (ja) * | 2002-05-31 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 車両周辺監視装置、画像生成方法および画像生成プログラム |
-
2009
- 2009-10-16 JP JP2009239369A patent/JP5501727B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1186004A (ja) * | 1997-09-11 | 1999-03-30 | Fujitsu Ltd | 移動体追跡装置 |
JP2001357403A (ja) * | 2000-06-14 | 2001-12-26 | Public Works Research Institute Ministry Of Land Infrastructure & Transport | 車両追跡方法及び車両追跡装置 |
JP2002157599A (ja) * | 2000-11-17 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置 |
JP2004056778A (ja) * | 2002-05-31 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 車両周辺監視装置、画像生成方法および画像生成プログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015104898A1 (ja) * | 2014-01-09 | 2015-07-16 | クラリオン株式会社 | 車両用外界認識装置 |
JP2015132879A (ja) * | 2014-01-09 | 2015-07-23 | クラリオン株式会社 | 車両用外界認識装置 |
US9811742B2 (en) | 2014-01-09 | 2017-11-07 | Clarion Co., Ltd. | Vehicle-surroundings recognition device |
WO2017073344A1 (ja) * | 2015-10-27 | 2017-05-04 | 富士フイルム株式会社 | 撮像システム、並びにオブジェクト検出装置及びその作動方法 |
JPWO2017073344A1 (ja) * | 2015-10-27 | 2018-08-02 | 富士フイルム株式会社 | 撮像システム、並びにオブジェクト検出装置及びその作動方法 |
US10580161B2 (en) | 2015-10-27 | 2020-03-03 | Fujifilm Corporation | Imaging system, object detection device and method of operating same |
WO2023106103A1 (ja) * | 2021-12-10 | 2023-06-15 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5501727B2 (ja) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
JP5472538B2 (ja) | 距離計測装置及び環境地図生成装置 | |
US9396551B2 (en) | Camera apparatus and method for tracking object in the camera apparatus | |
JP5227139B2 (ja) | 建設機械 | |
JP2008298685A (ja) | 計測装置及びプログラム | |
KR101627185B1 (ko) | 영상촬영장치의 제어방법 | |
US20130215270A1 (en) | Object detection apparatus | |
WO2010047015A1 (ja) | 車両周辺監視装置 | |
KR100695945B1 (ko) | 용접선 위치 추적 시스템 및 그 위치 추적 방법 | |
WO2012063469A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4556798B2 (ja) | 画像処理装置 | |
US10650535B2 (en) | Measurement device and measurement method | |
JP2009026223A (ja) | 物体検出装置及びプログラム | |
JP5501727B2 (ja) | 移動体追尾装置およびその方法 | |
JP5635770B2 (ja) | 障害物検出装置 | |
CN110914867A (zh) | 位姿确定方法、设备、计算机可读存储介质 | |
CN107895344B (zh) | 视频拼接装置及方法 | |
JP5086824B2 (ja) | 追尾装置及び追尾方法 | |
JP2009083632A (ja) | 移動物体検出装置 | |
JP5367244B2 (ja) | 目標検出装置および目標検出方法 | |
JP3988574B2 (ja) | 画像処理装置 | |
JP2011097217A (ja) | 動き補正装置およびその方法 | |
JP2007253699A (ja) | 光軸ずれ検出装置 | |
JP2017147689A (ja) | 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム | |
JP2014112888A (ja) | 移動体追尾装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130826 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140108 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5501727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |