JP2015228552A - 追尾装置、カメラ、追尾方法および追尾プログラム - Google Patents
追尾装置、カメラ、追尾方法および追尾プログラム Download PDFInfo
- Publication number
- JP2015228552A JP2015228552A JP2014112680A JP2014112680A JP2015228552A JP 2015228552 A JP2015228552 A JP 2015228552A JP 2014112680 A JP2014112680 A JP 2014112680A JP 2014112680 A JP2014112680 A JP 2014112680A JP 2015228552 A JP2015228552 A JP 2015228552A
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- tracking
- image
- target
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 abstract description 5
- 239000002131 composite material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102000003712 Complement factor B Human genes 0.000 description 1
- 108090000056 Complement factor B Proteins 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明によるカメラは、上記追尾装置を搭載することを特徴とする。
本発明による追尾方法は、画像を繰り返し取得し、画像に含まれる追尾対象に関する対象基準情報を取得し、追尾対象の周囲に関する周囲基準情報を取得し、時系列に取得される画像に対して、画像内に設定したターゲット画像と対象基準情報との第1の類似度を算出し、第1の類似度に基づき追尾対象候補画像を検出し、検出した追尾対象候補画像と周囲基準情報より第2の類似度を算出し、算出された第2の類似度に基づき、検出した追尾対象候補画像の信頼性を判定することを特徴とする。
図2および図3は、制御装置104内の演算部104aによって実行される被写体追尾処理の流れを説明するフローチャートである。制御装置104は、図2、図3の処理を行う追尾プログラムを、例えば、撮像素子103によって時系列に取得された画像データが撮像素子103から逐次出力される場合に起動させる。演算部104aは、撮像素子103から所定のフレームレートで読み出された時系列のフレーム画像について、各フレーム画像における追尾対象の位置を特定する。
Cb = −0.1687R −0.3313G + 0.5000B + 128 ・・・・・・・(5)
Cr = 0.5000R − 0.4187G − 0.0813B +128 ・・・・・・・(6)
Cb = −0.25R − 0.50G + 0.75B + 128 ・・・・・・・・・・(8)
Cr = 0.75R − 0.50G − 0.25B + 128 ・・・・・・・・・・(9)
ステップS40において、演算部104aは、初期テンプレート画像と合成テンプレート画像とを用いて、検索エリアの類似度マップを上記色相H、彩度S、明度Vの各プレーンで作成する。検索エリアは、入力したフレーム画像情報のうち追尾対象を検索する範囲をいう。類似度マップ作成には、例えば、次式(10)〜(12)に示すように、ターゲット画像とテンプレート画像の絶対差分和SAD(Sum of Absolute Difference)を使用する。ターゲット画像は、テンプレート画像のサイズと同サイズの検索エリア内の画像である。
SADS = Σ|Sターゲット画像−Sテンプレート画像| ・・・・・・・・(11)
SADV = Σ|Vターゲット画像−Vテンプレート画像| ・・・・・・・・(12)
Kyori(x, y) = Kyori0 + K(|x−Mx | + |y−My|) ・・・・・(13)
なお、式(13)において、(x,y) は類似度マップの二次元座標値、Mxは前フレームにおける被写体位置のx座標、Myは前フレームにおける被写体位置のy座標である。また、本例ではKyori0 = 1.0、K = 0.05としている。このように距離に応じた重み付けを行うのは、前フレームにおける被写体位置に近い位置を優遇するためである。
N= TempHeight×TempWidth×255
MapHSV = 1/N(GainH×DistMapH + GainS×DistMapS + GainV×DistMapV)
・・・・・(14)
ステップS70において、演算部104aは、次式(15)、(16)により、ステップS60において取得した被写体候補領域の、対象テンプレート画像群と周囲テンプレート画像群とに対する類似度を算出する。
Object(i,j)は、被写体候補領域に対応し、Template(i,j)は、対象テンプレート画像群と周囲テンプレート画像群とに対応する。式(15)は正規化相互相関(NCC)の算出式であり、類似度が高いほど1に近づき、類似度が低いほど−1に近づく。式(16)は、類似度が高いほど1に近づき、類似度が低いほど0に近づくように式(15)の結果を変形したものである。
図3は、被写体ロスト時の追尾処理を説明するフローチャートである。図3のステップS150において、演算部104aは、ステップS40の場合と同様に、初期テンプレート画像と合成テンプレート画像を用いて、検索エリアの類似度マップを上記色相H、彩度S、明度Vの各プレーンで作成する。ただし、検索エリアを、ロストフラグがOFFの時(追尾対象を見失っていない場合)よりも広く設定する。これにより、追尾対象がロスト(遮蔽状態)した座標から離れた位置に出現する場合も、検索エリア内に追尾対象を捉えることができる。
(1)カメラ100は、フレーム画像を繰り返し取得する撮像素子103と、上記フレーム画像に含まれる追尾対象に関するテンプレート画像(初期テンプレート画像、合成テンプレート画像、対象テンプレート画像群)を取得する演算部104aと、追尾対象の周囲に関する周囲テンプレート画像群を取得する演算部104aと、演算部104aによって時系列に取得されるフレーム画像に対して、フレーム画像内に設定したターゲット画像とテンプレート画像との第1の類似度(SAD)を算出し、第1の類似度に基づき被写体候補領域41を検出する第1の類似度算出部(演算部104a)と、第1の類似度算出部(演算部104a)によって検出された被写体候補領域41と周囲テンプレート画像群より第2の類似度(NCC)を算出する第2の類似度算出部(演算部104a)と、第2の類似度算出部(演算部104a)によって算出された第2の類似度(NCC)に基づき、第1の類似度算出部(演算部104a)により検出した被写体候補領域41の信頼性を判定する演算部104aと、を備える。これにより、判定した信頼性に応じて適切な対処が可能になる。
(変形例1)
上述した実施形態では、カメラ100を例に追尾装置を説明したが、カメラ100に対して追尾プログラムを後から供給してもよい。カメラ100への追尾プログラムの供給は、例えば図9に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってカメラ100へ送信することができる。
上述した説明では、被写体候補領域の検出のための追尾演算において、ターゲット画像とテンプレート画像(初期テンプレート画像、合成テンプレート画像)との間の類似度判定に絶対差分和(SAD)を用いるとともに、検出した被写体候補領域41の信頼性判定を行う演算において、被写体候補領域41とテンプレート画像(対象テンプレート画像群、周囲テンプレート画像群)との間の類似度判定に正規化相互相関(NCC)を用いた。追尾演算と信頼性判定の演算とで異なる類似度判定を行う代わりに、追尾演算と信頼性判定の演算とで同じ類似度判定(絶対差分和(SAD)または正規化相互相関(NCC)に揃える)を行うように構成してもよい。
ターゲット画像とテンプレート画像との間の類似度判定に用いる初期テンプレート画像および合成テンプレート画像のサイズと、被写体候補領域41とテンプレート画像との間の類似度判定に用いる対象テンプレート画像群および周囲テンプレート画像群のサイズとを同じにする例を説明したが、これらのテンプレート画像のサイズは必ずしも同じにしなくてもよい。例えば、対象テンプレート画像群および周囲テンプレート画像群のサイズを、初期テンプレート画像および合成テンプレート画像のサイズより小さくしてもよい。
41…被写体候補領域
51〜54…周囲テンプレート画像群
60…遮蔽物
100…カメラ
103…撮像素子
104…制御装置
104a…演算部
201…通信回線
202…サーバー
204、204B…記憶媒体
205…パーソナルコンピュータ
Claims (13)
- 画像を繰り返し取得する画像取得部と、
前記画像に含まれる追尾対象に関する対象基準情報を取得する対象基準情報取得部と、
前記追尾対象の周囲に関する周囲基準情報を取得する周囲基準情報取得部と、
前記画像取得部によって時系列に取得される前記画像に対して、前記画像内に設定したターゲット画像と前記対象基準情報との第1の類似度を算出し、前記第1の類似度に基づき追尾対象候補画像を検出する第1の類似度算出部と、
前記追尾対象候補画像と前記周囲基準情報より第2の類似度を算出する第2の類似度算出部と、
前記第2の類似度に基づき、前記追尾対象候補画像の信頼性を判定する信頼性判定部と、
を備えることを特徴とする追尾装置。 - 請求項1に記載の追尾装置において、
前記信頼性が所定値より高い場合に前記画像における前記追尾対象候補画像の位置を前記追尾対象の位置とし、前記信頼性が前記所定値より低い場合、被写体が画像中にいないと判定する、
ことを特徴とする追尾装置。 - 請求項2に記載の追尾装置において、
前記信頼性が所定値より高い場合、前記追尾対象の位置を特定して次の画像に対する処理へ進み、前記信頼性が前記所定値より低い場合、前記被写体がいないと判定したまま次の画像に対する処理へ進む、
ことを特徴とする追尾装置。 - 請求項2または3に記載の追尾装置において、
前記第2の類似度算出部は、前記追尾対象候補画像と前記対象基準情報との第3の類似度を算出し、
前記信頼性判定部は、前記第3の類似度と前記第2の類似度とに基づき、前記追尾対象候補画像の信頼性を判定することを特徴とする追尾装置。 - 請求項4に記載の追尾装置において、
前記第1の類似度算出部が前記第1の類似度を算出するための類似度演算と、前記第2の類似度算出部が前記第2の類似度および前記第3の類似度を算出するための類似度演算とは互いに異なり、
前記信頼性判定部は、前記第3の類似度を、前記第3の類似度と前記第2の類似度との加算値で除算した値に基づき、前記追尾対象候補画像の信頼性を判定することを特徴とする追尾装置。 - 請求項5に記載の追尾装置において、
前記信頼性判定部は、前記除算した値が閾値より大きい場合に信頼性が高いと判定し、前記除算した値が前記閾値より小さい場合に信頼性が低いと判定することを特長とする追尾装置。 - 請求項6に記載の追尾装置において、
前記第1の類似度算出部は、前記画像内において前記第1の類似度に基づき前記追尾対象候補画像を検出する範囲を、前記信頼性判定部により前記信頼性が高いと判定された場合よりも前記信頼性が低いと判定された場合に広くすることを特長とする追尾装置。 - 請求項1〜7のいずれか一項に記載の追尾装置において、
前記周囲基準情報取得部は、前記追尾対象の左右および上下それぞれの位置に関して複数の周囲基準情報を取得し、
第2の類似度算出部は、前記追尾対象候補画像と前記複数の周囲基準情報の各々との間で前記第2の類似度を複数通り算出し、
前記信頼性判定部は、前記複数通りの第2の類似度のうち最も類似性が高い第2の類似度に基づき、前記追尾対象候補画像の信頼性を判定することを特徴とする追尾装置。 - 請求項1〜8のいずれか一項に記載の追尾装置において、
前記対象基準情報取得部は、前記画像のうち指定された領域を前記追尾対象とすることを特徴とする追尾装置。 - 請求項1〜9のいずれか一項に記載の追尾装置において、
前記対象基準情報は、前記追尾対象に関するテンプレート画像であり、
前記周囲基準情報は、前記追尾対象の周囲に関するテンプレート画像であることを特徴とする追尾装置。 - 請求項1〜10のいずれか一項に記載の追尾装置を搭載することを特徴とするカメラ。
- 画像を繰り返し取得し、
前記画像に含まれる追尾対象に関する対象基準情報を取得し、
前記追尾対象の周囲に関する周囲基準情報を取得し、
時系列に取得される前記画像に対して、前記画像内に設定したターゲット画像と前記対象基準情報との第1の類似度を算出し、前記第1の類似度に基づき追尾対象候補画像を検出し、
前記検出した前記追尾対象候補画像と前記周囲基準情報より第2の類似度を算出し、
前記算出した前記第2の類似度に基づき、前記検出した前記追尾対象候補画像の信頼性を判定する、
ことを特徴とする追尾方法。 - 画像を繰り返し取得する処理と、
前記画像に含まれる追尾対象に関する対象基準情報を取得する処理と、
前記追尾対象の周囲に関する周囲基準情報を取得する処理と、
時系列に取得される前記画像に対して、前記画像内に設定したターゲット画像と前記対象基準情報との第1の類似度を算出し、前記第1の類似度に基づき追尾対象候補画像を検出する処理と、
前記検出した前記追尾対象候補画像と前記周囲基準情報より第2の類似度を算出する処理と、
前記算出した前記第2の類似度に基づき、前記検出した前記追尾対象候補画像の信頼性を判定する処理と、
をコンピュータに実行させることを特徴とする追尾プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014112680A JP6432163B2 (ja) | 2014-05-30 | 2014-05-30 | 追尾装置、カメラ、追尾方法および追尾プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014112680A JP6432163B2 (ja) | 2014-05-30 | 2014-05-30 | 追尾装置、カメラ、追尾方法および追尾プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018210242A Division JP2019023934A (ja) | 2018-11-08 | 2018-11-08 | 追尾装置、カメラ、追尾方法および追尾プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015228552A true JP2015228552A (ja) | 2015-12-17 |
JP6432163B2 JP6432163B2 (ja) | 2018-12-05 |
Family
ID=54885805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014112680A Active JP6432163B2 (ja) | 2014-05-30 | 2014-05-30 | 追尾装置、カメラ、追尾方法および追尾プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6432163B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3768073B2 (ja) * | 1999-06-15 | 2006-04-19 | 株式会社日立国際電気 | 物体追跡方法及び物体追跡装置 |
EP2059026A1 (en) * | 2006-08-30 | 2009-05-13 | Nikon Corporation | Image tracking apparatus, image tracking method and camera |
JP2009253505A (ja) * | 2008-04-03 | 2009-10-29 | Sony Corp | 画像信号処理装置、画像信号処理方法、およびプログラム |
JP2011030072A (ja) * | 2009-07-28 | 2011-02-10 | Canon Inc | 画像処理装置、画像処理方法、および、そのプログラム |
JP2011192092A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | 対象物追跡装置、対象物追跡方法、および制御プログラム |
-
2014
- 2014-05-30 JP JP2014112680A patent/JP6432163B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3768073B2 (ja) * | 1999-06-15 | 2006-04-19 | 株式会社日立国際電気 | 物体追跡方法及び物体追跡装置 |
EP2059026A1 (en) * | 2006-08-30 | 2009-05-13 | Nikon Corporation | Image tracking apparatus, image tracking method and camera |
US20100066843A1 (en) * | 2006-08-30 | 2010-03-18 | Nikon Corporation | Image tracking apparatus, image tracking method and camera |
JP2012142958A (ja) * | 2006-08-30 | 2012-07-26 | Nikon Corp | 画像追尾装置、画像追尾方法、およびカメラ |
JP2009253505A (ja) * | 2008-04-03 | 2009-10-29 | Sony Corp | 画像信号処理装置、画像信号処理方法、およびプログラム |
JP2011030072A (ja) * | 2009-07-28 | 2011-02-10 | Canon Inc | 画像処理装置、画像処理方法、および、そのプログラム |
JP2011192092A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | 対象物追跡装置、対象物追跡方法、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6432163B2 (ja) | 2018-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6620888B2 (ja) | 煙検出装置、方法及び画像処理装置 | |
US10043313B2 (en) | Information processing apparatus, information processing method, information processing system, and storage medium | |
US10313657B2 (en) | Depth map generation apparatus, method and non-transitory computer-readable medium therefor | |
JP6407225B2 (ja) | 画像処理装置及び画像処理方法及び画像処理システム及びプログラム | |
KR20180005168A (ko) | 로컬화 영역 설명 파일에 대한 프라이버시-민감 질의 | |
CN108292362A (zh) | 用于光标控制的手势识别 | |
US9767387B2 (en) | Predicting accuracy of object recognition in a stitched image | |
US20190304112A1 (en) | Methods and systems for providing selective disparity refinement | |
CN104811660A (zh) | 控制装置及控制方法 | |
US9613404B2 (en) | Image processing method, image processing apparatus and electronic device | |
JP2017017431A (ja) | 画像処理装置、情報処理方法及びプログラム | |
JP6608311B2 (ja) | 画像評価装置及び画像評価プログラム | |
JP2016123044A (ja) | 被写体追跡装置、その制御方法およびプログラム | |
US20120105444A1 (en) | Display processing apparatus, display processing method, and display processing program | |
JP2019023934A (ja) | 追尾装置、カメラ、追尾方法および追尾プログラム | |
JPWO2015198592A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP6719945B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP2017033556A (ja) | 画像処理方法及び電子機器 | |
JP6432163B2 (ja) | 追尾装置、カメラ、追尾方法および追尾プログラム | |
US11615583B2 (en) | Scene crop via adaptive view-depth discontinuity | |
JP2019021333A (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP2017004438A (ja) | 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
US10346680B2 (en) | Imaging apparatus and control method for determining a posture of an object | |
JP6953184B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180607 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6432163 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |