JP2013201784A - 画像追尾装置および画像追尾方法 - Google Patents
画像追尾装置および画像追尾方法 Download PDFInfo
- Publication number
- JP2013201784A JP2013201784A JP2013133838A JP2013133838A JP2013201784A JP 2013201784 A JP2013201784 A JP 2013201784A JP 2013133838 A JP2013133838 A JP 2013133838A JP 2013133838 A JP2013133838 A JP 2013133838A JP 2013201784 A JP2013201784 A JP 2013201784A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- calculation result
- subject
- search area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 56
- 238000004364 calculation method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像追尾装置は、結像光学系により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像における第1探索領域内の画像情報と対象となる画像に基づく基準情報との間の相関を示す第1演算結果を演算するとともに、被写界画像における第1探索領域とは異なる第2探索領域内の画像情報と基準情報との間の相関を示す第2演算結果を演算する演算手段と、第1演算結果と第2演算結果との一方に基づいて、被写界画像における対象となる画像の位置を検出する検出手段とを備える。
【選択図】図2
Description
請求項12に記載の発明は、請求項1に記載の画像追尾装置に対応する画像追尾方法である。
と露出演算は第1撮像素子4により撮像された被写界画像信号に基づいて行うこととしてもよい。
される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部19fは、第2撮像素子16により撮像した画像信号に基づいて露出値を演算する。
細を後述するが、撮影レンズ8の撮影画面内には複数の焦点検出エリアが設定されており、測距素子10は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部19gは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材20のシャッターボタンが半押しされると半押しスイッチ(不図示)がオンし、図1に示すように、撮影レンズ8を通過した被写体光の一部は破線で示すクイックリターンミラー5のハーフミラー部を通ってサブミラー6および焦点検出光学系9を介して測距素子10へ導かれ、焦点検出演算部19gにより焦点検出演算が行われる。レンズ駆動量演算部19hは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、シャッターボタンが半押しされている間、繰り返し周期的に行われる。
R[x,y]、G[x,y]、B[x,y],
x=1〜16、y=1〜12 ・・・(1)
表される。
RG[x,y]=Log2(R[x,y])−Log2(G[x,y])
BG[x,y]=Log2(B[x,y])−Log2(G[x,y])
L[x,y]=Log2(Kr×R[x,y]+Kg×G[x,y]+Kb×B[x,y])−Log2(T)−Log2(G)
・・・(2)
RGref[rx,ry]=RG[x,y],
BGref[rx,ry]=BG[x,y]),
Lref[rx,ry]=L[x,y],
rx=1〜4、ry=1〜4、x=7〜10、y=5〜8 ・・・(3)
を取得し、色情報RG[x,y],BG[x,y]および輝度情報L[x,y]を算出する。
の始点位置を(scx,scy)=(3,1)とする。
Diff[dx,dy]=
{ABS(RG[scx+dx−1+rx,scy+dy−1+ry]−RGref[rx,ry])
+ABS(BG[scx+dx−1+rx,scy+dy−1+ry]−BGref[rx,ry])+ABS(L[scx+dx−1+rx,scy+dy−1+ry]−Lref[rx,ry])}
dx=1〜9,dy=1〜9,rx=1〜4,ry=1〜4,scx=3,scy=1
・・・(4)
る。例えば、図7(a)に示すように第1探索領域49から順次切り出した画像(図7(a)においては、49a、49b、49c)と、テンプレート画像48とを順次比較して、それぞれの切り出し画像について差分Diffを算出する。これらの差分Diffの内の最小の値を示す切り出し画像がテンプレート画像48(図6(b)参照)に最も類似していることになる。
1最小差分値MinDiff)を検出する。そして、第1最小差分値MinDiffとなるときの差分Diffの座標値(Mindx、Mindy)を検出する。
分値MinDiff_Sとなるときの差分Diffの座標値(Mindx_S、Mindy_S)を検出する。なお、
図7(a)において、第2探索領域50に対応する切り出し画像の始点位置をずらす範囲はdx=3〜7、dy=3〜7となる。
最小差分値MinDiff_Sとが異なる値となる場合として、次のような場合が考えられる。
(A1)追尾対象の被写体の画面内での移動速度が速いため、広い領域の第1探索領域49にて追尾対象の被写体が検出された場合。
(A2)追尾対象の被写体の画面内での移動速度が遅い、または静止しているため追尾対象の被写体は狭い領域である第2探索領域50内に存在しているが、背景に存在する類似した色情報を有する、追尾対象の被写体とは異なる被写体を検出した場合(擬似マッチング)。
れる。
(B1)追尾対象の被写体の位置は第1最小差分値MinDiffの位置にあるが、第2探索小
域内にて擬似マッチングをしている場合。
(B2)追尾対象の被写体の移動速度は第2探索領域内に存在するが、背景(第1検索領域49)に存在する類似した色情報を有する、追尾対象の被写体とは異なる被写体を検出した場合(擬似マッチング)。
新しい追尾被写体領域47に決定する。すなわち、座標値(Mindx_S、Mindy_S)を始点位置とする4×4画素の領域を新しい追尾被写体領域47として設定する。
分Diffの位置を新しい追尾被写体領域47に決定する。すなわち、座標値(Mindx、Mindy)を始点位置とする4×4画素の領域を新しい追尾被写体領域47として設定する。なお、ステップS203において否定判定された場合、すなわち第1最小差分値MinDiffと第
2最小差分値MinDiff_Sの値とが等しい場合についても、第1検索領域49にて検出され
た第1最小差分値MinDiffに対応する位置に基づいて、新しい追尾被写体領域47に決定
する。図7(b)は、上記の新追尾被写体位置決定処理により決定された新しい追尾被写体領域47の位置を例示する図である。図7(b)に示す例では、始点位置が(x,y)
=(8,5)となる4×4画素の領域を新しい追尾被写体領域47として決定する。すな
わち、図7(b)は、追尾対象の被写体が第2探索領域50内で検出された場合を示して
いる。以上で新追尾被写体位置決定処理を終了し、図8のステップS7へリターンする。
RGref[rx,ry]=0.8×RGref[rx,ry]+0.2×RG[x,y],
BGref[rx,ry]=0.8×RGref[rx,ry]+0.2×BG[x,y]),
Lref[rx,ry]=0.8×Lref[rx,ry]+0.2×L[x,y],
rx=1〜4、ry=1〜4、x=8〜11、y=5〜8 ・・・(5)
じて可変にしてもよい。
(1)第2撮像素子は、撮影レンズ8により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成するようにした。追尾制御部19eは、被写界画像における第1探索領域49の画像情報と対象となる画像に基づくテンプレート画像48との間の相関を示す第1最小差分値MinDiffを算出するとともに、被写界画像における第1探索領域49
とは異なる第2探索領域50内の画像情報とテンプレート画像48との間の相関を示す第2最小差分値MinDiff_Sを算出するようにした。そして、追尾制御部19eは、第1最小
差分値MinDiffと第2最小差分値MinDiff_Sとの一方に基づいて、被写界画像における対象となる画像の位置を検出するようにした。したがって、撮影画面内の追尾対象の被写体とは異なる被写体を誤検出することを防ぎ追尾精度を維持できる。
また、追尾制御部19eは、第1最小差分値MinDiffと第2最小差分値MinDiff_Sとの差分が閾値Wth1未満の場合は第2最小差分値MinDiff_Sに基づいて、対象となる画像の位
置を検出するようにした。したがって、撮影画面内の追尾対象の被写体の動きが急激に変化した場合であっても、被写体の動きに追従できるので追尾精度を維持できる。
基づいて、被写界画像における対象の画像の移動距離が閾値Wth2未満か否かを判定するようにした。そして、追尾制御部19eは、第1最小差分値MinDiffと第2最小差分値MinDiff_Sとの差分が閾値Wth1未満と判定され、かつ、移動距離が閾値Wth2未満と判定された場合は、第2最小差分値MinDiff_Sに基づいて、対象となる画像の位置を検出
するようにした。また、第1最小差分値MinDiffと第2最小差分値MinDiff_Sとの差分が閾値Wth1未満と判定され、かつ、移動距離が閾値Wth2以上と判定された場合は、第1最小差分値MinDiffに基づいて、対象となる画像の位置を検出するようにした。したが
って、被写界画像内の背景等に対して擬似マッチングの発生を防ぎ、追尾対象となる被写体の動きに追従できる。
(1)第1探索領域49の位置および第2探索領域50の位置は、1サイクル前の新追尾被写体位置決定処理において決定した追尾被写体領域47の位置を中心として設定するものに限定されない。たとえば、1サイクル前の新追尾被写体位置決定処理において決定した追尾被写体領域47の位置を中心とした所定領域(前回領域)と、被写界画像において固定された所定領域(固定領域)とを第1探索領域49および第2探索領域50として設定する。なお、上記の固定領域は、たとえば図11において太線で囲んだ領域Rに示すように設定できる。図11(a)は領域Rが撮影画面全体の場合を示し、図11(b)は領域Rが撮影画面の中央近傍(始点位置(x,y)=(6,4)、6×6画素)の場合を示し、図11(c)は領域Rが焦点検出エリア45を包含する領域(始点位置を(x,y)=
(4,4)、10×6画素)の場合を示す。以下、図11、図12を参照しながら、第1
探索領域49および第2探索領域50を設定する位置に関する例を説明する。なお、図11、図12においても、図6および図7の場合と同様に座標系を設定して説明する。
11(c)に示す焦点検出エリアを包含する所定領域であってもよい。図12(a)は、始点位置を(x,y)=(4,4)とする6×6画素の領域を第2探索領域50とするように設定された例を示している。
分値MinDiff_Sに基づいた可変値としてもよい。この場合、たとえば複数回の処理の結果
得られた最小差分値の履歴等に基づいて、自動的に閾値Wth1が算出される。すなわち、過去5サイクルの処理において、ステップS7の類似判定処理により類似していると判定されたときの第1最小差分値MinDiff、または第2最小差分値MinDiff_Sのうち、最大値と最小値との差分を閾値Wth1として設定すればよい。
19 ボディ駆動制御装置、 19e 追尾制御部
Claims (12)
- 結像光学系により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像における第1探索領域内の画像情報と対象となる画像に基づく基準情報との間の相関を示す第1演算結果を演算するとともに、前記被写界画像における前記第1探索領域とは異なる第2探索領域内の画像情報と前記基準情報との間の相関を示す第2演算結果を演算する演算手段と、
前記第1演算結果と前記第2演算結果との一方に基づいて、前記被写界画像における前記対象となる画像の位置を検出する検出手段とを備えることを特徴とする画像追尾装置。 - 請求項1に記載の画像追尾装置において、
前記第1探索領域の大きさと前記第2探索領域の大きさとが異なることを特徴とする画像追尾装置。 - 請求項1または2に記載の画像追尾装置において、
前記第1探索領域と前記第2探索領域とは、少なくとも一部が重複していることを特徴とする画像追尾装置。 - 請求項1乃至3のいずれか一項に記載の画像追尾装置において、
前記検出手段により検出された前回の前記対象の画像の位置を中心とした所定領域と、前記被写界画像において固定された所定領域とのいずれか1つの所定領域を、前記第1探索領域および前記第2探索領域の一方として設定する領域設定手段をさらに備えることを特徴とする画像追尾装置。 - 請求項1乃至4のいずれか一項に記載の画像追尾装置において、
前記検出手段により検出された複数回における前記対象の画像の位置に基づいて、前記撮像素子により次回に取得される前記被写界画像における前記対象の画像の位置を予測する予測手段と、
前記検出手段により検出された前回の前記対象の画像の位置を中心とした所定領域と、前記被写界画像において固定された所定領域と、前記予測手段により予測された前記対象の画像の位置を中心とした所定領域とのいずれか2つの所定領域を、前記第1探索領域および前記第2探索領域として設定する領域設定手段とをさらに備えることを特徴とする画像追尾装置。 - 請求項5に記載の画像追尾装置において、
前記被写界画像において固定された所定領域は、前記被写界画像の全領域と、前記被写界画像の中央近傍の領域と、前記被写界画像に対応して設定される焦点検出位置を含む領域とのいずれか一つにより構成されることを特徴とする画像追尾装置。 - 請求項1乃至3のいずれか一項に記載の画像追尾装置において、
前記第1探索領域は前記第2探索領域よりも大きい領域により構成され、
前記第1演算結果と前記第2演算結果との差分が第1閾値を超えるか否かを判定する第1判定手段をさらに備え、
前記検出手段は、前記差分が前記第1閾値を超える場合は前記第1演算結果に基づいて、前記差分が前記第1閾値未満の場合は前記第2演算結果に基づいて、前記対象となる画像の位置を検出することを特徴とする画像追尾装置。 - 請求項7に記載の画像追尾装置において、
前記検出手段により検出された複数回における前記対象の画像の位置に基づいて、前記
被写界画像における前記対象の画像の移動距離に関連した値が第2閾値未満か否かを判定する第2判定手段をさらに備え、
前記検出手段は、前記第1判定手段により前記差分が前記第1閾値未満と判定され、かつ、前記第2判定手段により前記移動距離に関連する値が前記第2閾値未満と判定された場合は、前記第2演算結果に基づいて、前記第1判定手段により前記差分が前記第1閾値未満と判定され、かつ、前記第2判定手段により前記移動距離に関連する値が前記第2閾値以上と判定された場合は、前記第1演算結果に基づいて、前記対象となる画像の位置を検出することを特徴とする画像追尾装置。 - 請求項1乃至6のいずれか一項に記載の画像追尾装置において、
前記第1演算結果と前記第2演算結果とに優先順位を設定する優先順位設定手段をさらに備え、
前記第1演算結果と前記第2演算結果との差分が第1閾値未満の場合に、前記検出手段は前記優先順位の高い演算結果に基づいて、前記対象となる画像の位置を検出することを特徴とする画像追尾装置。 - 請求項7乃至9のいずれか一項に記載の画像追尾装置において、
前記第1閾値を所定の固定値に設定する閾値設定手段をさらに備えることを特徴とする画像追尾装置。 - 請求項7乃至9のいずれか一項に記載の画像追尾装置において、
前記第1演算結果と前記第2演算結果に基づいて、前記第1閾値を設定する閾値設定手段をさらに備えることを特徴とする画像追尾装置。 - 結像光学系により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成し、
前記被写界画像における第1探索領域内の画像情報と対象となる画像に基づく基準情報との間の相関を示す第1演算結果を演算するとともに、前記被写界画像における前記第1探索領域とは異なる第2探索領域内の画像情報と前記基準情報との間の相関を示す第2演算結果を演算し、
前記第1演算結果と前記第2演算結果との一方に基づいて、前記被写界画像における前記対象となる画像の位置を検出することを特徴とする画像追尾方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013133838A JP5541396B2 (ja) | 2013-06-26 | 2013-06-26 | 画像追尾装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013133838A JP5541396B2 (ja) | 2013-06-26 | 2013-06-26 | 画像追尾装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009194288A Division JP5347834B2 (ja) | 2009-08-25 | 2009-08-25 | 画像追尾装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013201784A true JP2013201784A (ja) | 2013-10-03 |
JP2013201784A5 JP2013201784A5 (ja) | 2013-11-14 |
JP5541396B2 JP5541396B2 (ja) | 2014-07-09 |
Family
ID=49521611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013133838A Active JP5541396B2 (ja) | 2013-06-26 | 2013-06-26 | 画像追尾装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5541396B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017104372A1 (ja) * | 2015-12-18 | 2017-06-22 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09130784A (ja) * | 1995-08-25 | 1997-05-16 | Matsushita Electric Works Ltd | 自動追尾方法及びその装置 |
JP2008113423A (ja) * | 2006-10-03 | 2008-05-15 | Nikon Corp | 追尾装置、撮像装置、および追尾方法 |
JP2008175995A (ja) * | 2007-01-18 | 2008-07-31 | Ricoh Co Ltd | 撮像装置 |
-
2013
- 2013-06-26 JP JP2013133838A patent/JP5541396B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09130784A (ja) * | 1995-08-25 | 1997-05-16 | Matsushita Electric Works Ltd | 自動追尾方法及びその装置 |
JP2008113423A (ja) * | 2006-10-03 | 2008-05-15 | Nikon Corp | 追尾装置、撮像装置、および追尾方法 |
JP2008175995A (ja) * | 2007-01-18 | 2008-07-31 | Ricoh Co Ltd | 撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017104372A1 (ja) * | 2015-12-18 | 2017-06-22 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
US10949983B2 (en) | 2015-12-18 | 2021-03-16 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP5541396B2 (ja) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4872834B2 (ja) | 画像認識装置、焦点調節装置および撮像装置 | |
JP5247076B2 (ja) | 画像追尾装置、焦点調節装置および撮像装置 | |
JP5176483B2 (ja) | 画像認識装置、画像追尾装置および撮像装置 | |
JP2008292894A (ja) | 画像追尾装置、画像追尾方法および撮像装置 | |
JP2009109839A (ja) | 画像追尾装置、撮像装置 | |
JP5403111B2 (ja) | 画像追尾装置 | |
JP2012226206A (ja) | 画像追尾装置および撮像装置 | |
JP4888249B2 (ja) | 焦点検出装置および撮像装置 | |
JP2008271006A (ja) | 画像追尾装置、画像追尾方法および撮像装置 | |
JP4985155B2 (ja) | 焦点調節装置および撮像装置 | |
JP5541396B2 (ja) | 画像追尾装置 | |
JP5446660B2 (ja) | 画像認識装置、および、撮像装置 | |
JP2010200138A (ja) | 被写体追尾装置 | |
JP2018004904A (ja) | 被写体追尾装置および撮像装置 | |
JP5347834B2 (ja) | 画像追尾装置 | |
JP5176845B2 (ja) | 画像追尾装置および撮像装置 | |
JP5447579B2 (ja) | 追尾装置、焦点調節装置および撮影装置 | |
JP5233646B2 (ja) | 画像追尾装置、撮像装置、画像追尾方法 | |
JP5966249B2 (ja) | 画像追尾装置 | |
JP2010054586A (ja) | 焦点調節装置、撮像装置 | |
JP5789937B2 (ja) | 画像追尾装置及び撮像装置 | |
JP2012093775A (ja) | 焦点検出装置および撮像装置 | |
JP5772933B2 (ja) | 撮像装置 | |
JP2018063439A (ja) | 焦点調節装置、撮像装置 | |
JP2013187665A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5541396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |