JP2010074815A - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】 フレーム画像間の相関に基づいて追尾処理を行う画像処理装置において、追尾対象となる被写体を見失った場合に、追尾対象を示す枠が一様な背景に設定されてしまうと、追尾枠の表示がふらついてしまうことがある。
【解決手段】 設定された追尾対象領域と最も相関の高い追尾対象候補領域を検出し、この追尾対象候補領域から得られる評価値と、その周辺領域の評価値の差分を求め、その差分が閾値未満であれば、追尾を停止する。
【選択図】 図２

Description

本発明は、画像間の相関を求めることで被写体を追尾する技術に関するものである。

撮影している画像をリアルタイムでモニターに表示し、操作者がこのモニターに表示された動画上の領域を指定することで、その領域に存在する被写体に対して露出制御や合焦制御を行うデジタルカメラやビデオカメラがある。

また、モニターに表示された動画上の任意の被写体を操作者に指定させることで、追尾対象となる主被写体を指定し、指定された被写体を追尾するデジタルカメラやビデオカメラがある。動画のフレーム画像間で相関演算を行って、主被写体として初期指定された被写体と類似する領域を検出する処理を時系列で連続して行うことで、初期指定した主被写体を追尾し続けることが可能となる（例えば、特許文献１を参照）。

特開２００８−０１１４９７号公報

しかしながら、追尾対象である被写体の動きが大きいと、同じ被写体であってもフレーム画像間で共通する部位が減少し、同じ被写体として認識できず、追尾に失敗してしまうことがある。

図４を用いて、例を説明する。図４（ａ）から（ｃ）において、太線で示された四角形の枠が、操作者に指定された被写体、あるいは、追尾処理にて検出された主被写体の領域を示す追尾枠である。この追尾枠は、操作者に指定された被写体（この例では人物の顔）が枠内に収まるように、指定された被写体よりもやや大きめに設定されている。

例えば、図４（ａ）では、相関演算によって、主被写体として初期指定された人物の顔の追尾に成功しているものとする。この人物が急に素早く移動すると、図４（ｂ）に示すように、この人物の像が大きくぶれてしまう。図４（ａ）に示す追尾枠の中には、人物の背景も一部含まれているため、図４（ｂ）に示すフレーム画像では、この人物よりも背景のほうが最も相関の高い領域であると判定されてしまい、背景が新たな主被写体の領域として選択されてしまっている。

ここで、低い相関の領域しか検出されなかった場合には、主被写体を見失ったと判定する方法も考えられる。しかしながら、主被写体の姿勢が変わったり、向きが変わったりすると、画像中に主被写体が存在していたとしても、必ずしも高い相関を得られるとは限らない。そこで、被写体がある程度変化しても追尾できるようにするためには、画像中に低い相関の領域しか存在しなくとも、その中で最も相関の高い領域を主被写体として選択することが望ましい。

しかしながら、その結果、図４（ｂ）に示すように、背景の一部が新たな主被写体の領域として選択されるケースも生じうる。この背景がコントラストの低い一様な物体であるとすると、その周辺には似たような領域が多く存在する。そのため、図４（ｃ）に示すように、追尾枠がその周辺の領域を動き回り、追尾枠がふらついて見えてしまうことになる。

本発明は、上記課題に鑑みてなされたものであり、追尾処理において追尾対象となる被写体を見失った場合に、追尾対象を示す枠等の表示がふらついてしまうことを抑制することに関する。

上記課題を解決するため、本願発明は、動画を構成するいずれかのフレーム画像である第１画像において設定された追尾対象領域に存在する被写体を、別のフレーム画像である第２画像において検出することで、追尾処理を行う画像処理装置において、前記第１画像から追尾対象領域を設定する設定手段と、前記第２画像から、前記設定手段にて設定された追尾対象領域と最も相関の高い追尾対象候補領域を検出する追尾手段と、前記追尾対象候補領域から得られる評価値と、前記追尾対象候補領域の周辺領域の評価値の差分を求める判定手段と、前記差分が閾値以上であれば、前記追尾対象候補領域を前記追尾対象領域として更新し、前記差分が閾値未満であれば、前記追尾対象領域をリセットする制御手段と、を有することを特徴とするものである。

また、同様に上記課題を解決するため、本願発明は、動画を構成するいずれかのフレーム画像である第１画像において設定された追尾対象領域に存在する被写体を、別のフレーム画像である第２画像において検出することで、追尾処理を行う画像処理方法において、前記第１画像から追尾対象領域を設定する工程と、前記第２画像から、前記追尾対象領域と最も相関の高い追尾対象候補領域を検出する工程と、前記追尾対象候補領域から得られる評価値と、前記追尾対象候補領域の周辺領域の評価値の差分を求める判定する工程と、前記差分が閾値以上であれば、前記追尾対象候補領域を前記追尾対象領域として更新し、前記差分が閾値未満であれば、前記追尾対象領域をリセットする工程と、を有することを特徴とするものである。

本願発明によれば、画像間の相関を用いて追尾処理において、追尾対象となる被写体を見失った場合に、追尾対象を示す枠等の表示がふらついてしまうことを抑制することができる。

本発明の実施形態にかかるデジタルカメラの機能構成を示すブロック図である。 本発明の実施形態にかかる追尾処理のフローチャートを示す図である。 本発明の実施形態において、一様な背景に追尾対象候補領域が設定されたために、追尾処理が停止される様子を説明するための図である。 従来の追尾枠の更新方法を説明するための図である。

以下に、本願発明の好適な実施形態について、図面を用いて説明を行う。

本発明の実施形態では、画像処理装置として、デジタルカメラを用いた例をあげて説明する。

図１は、本実施形態に係るデジタルカメラの機能構成を示すブロック図である。

操作部１０１は、操作者がデジタルカメラに対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１の中には、シャッタースイッチも含まれており、このシャッタースイッチが半押しの場合には信号ＳＷ１が発生し、操作部１０１から制御部１０２に対して信号ＳＷ１が送信される。また、シャッタースイッチが全押しされている場合には信号ＳＷ２が発生し、操作部１０１から制御部１０２に対して信号ＳＷ２が送信される。

制御部１０２は、図１に示す各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。

撮像素子１０３は、レンズ１０８ａ、露出機構１０９ａを介して入射される光を受け、その光量に応じた電荷を出力するものである。光電変換機能を備えたＣＣＤやＣＭＯＳセンサーが用いられる。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたディジタル画像信号を、ＹＵＶ画像信号に変換して出力する。

顔検出部１０６は、Ａ／Ｄ変換部１０４から受けたディジタル画像信号から、顔検出を行い、この領域に係る情報を制御部１０２に通知する。前記顔検出によって得られる情報には、撮像素子画面内の遮光領域に現れる輝度より位置、範囲、信頼度（顔の形としての確からしさ）などがある。

モニター部１０７は、小型液晶画面などにより構成されており、画像処理部１０５による処理済みの画像データに従った画像を表示する。

追尾処理部１１５は、フレーム画像間の相関から、あるフレーム画像から検出された顔の同一とみなせる領域が、それよりも後のフレーム画像のどこに存在しているかを判別し、その領域の位置、範囲、量を算出する。ここでは角速度センサを用いてカメラ自体の動きも算出する。本実施形態では、時系列的に並んだ２枚の画像を比較し、その差分情報から同一の顔領域とみなせる領域を抽出する。追尾処理部１１５は同一の顔領域とみなせる領域を連続して抽出することで、顔検出部１０６にて検出された顔領域の追尾を行う。

判定部１１６は、追尾処理部１１５から相関演算による評価値を取得し、これより現在の枠の状態が被写体にいるか、背景一様面にいるかを判定する。この判断方法が本実施形態の大きな特徴であり、後に詳細に説明する。

画像処理部１０５によって取得された画像から得られたＡＦ評価値に基づいて、ＡＦ処理部１０８は被写体にピントを合わせるべくレンズ１０８ａを動作させる。また、画像処理部１０５によって取得された画像から得られた測光値に基づいて、ＡＥ処理部１０９は画面が最適な輝度になるように露出機構１０９ａを動作させる。

ＡＦ処理部１０８とＡＥ処理部１０９は、制御部１０２が信号ＳＷ１なる信号の通知をシャッタースイッチから受けると、その時点における最新の画像を用いて合焦制御と露出制御を行う。

制御部１０２は、シャッタースイッチからＳＷ２なる信号の通知（即ち、シャッタースイッチの全押しの通知）を受けると、フラッシュを発光するか否かの判断を行う。フラッシュを発光するか否かは、操作部１０１を用いて予め設定しておき、その設定データを読み取ることで判断するようにしても良いし、また周囲の暗さを検知し自動的に判断するようにしても良い。

この判断の結果、フラッシュの発光を行う場合には、制御部１０２はＥＦ処理部１１０を制御し、フラッシュ部１１１にプリ発光を行わせ、発光量の算出を行う。そして、プリ発光により計算された本発光量でフラッシュ部１１１を発光させ、本撮影を行う。

フォーマット変換部１１２は、画像処理部１０５から出力された本撮影時のディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換部１１２から受けたフォーマット変換済みの画像データを、本デジタルカメラ内の不図示のメモリや、本デジタルカメラに挿入されている外部メモリなどに記録する処理を行う。

外部接続部１１４は、本デジタルカメラをパーソナルコンピュータ（ＰＣ）やプリンタといった外部装置に接続するためのインターフェースとして機能するものである。

次に、一様面判定により、正常に被写体を追尾できているか否か、すなわち動体追尾を停止するか否かの判断を行う際の制御について説明する。

図２は、本実施形態における追尾処理のフローチャートを示す。デジタルカメラが撮影モードに設定されると、このフローチャートが開始されるものとする。

ステップＳ２０１において、デジタルカメラが撮影モードに設定されると、シャッターが開き、撮像素子１０３には、レンズ１０８ａ、露出機構１０９ａを介して光が入光することになる。撮像素子１０３にて連続して生成されたフレーム画像は、操作者が被写体の状況をリアルタイムで観察するための動画としてモニター部１０７に表示される。

ステップＳ２０２にて、制御部１０２は、動画に対して評価測光（例えば、中央重点測光）を行い、露出制御を行う。

ステップＳ２０３にて、制御部１０２は、最新のフレーム画像を読み出して顔検出部１０６に送り、顔検出部１０６がフレーム画像から顔領域の検出を行う。顔領域の検出方法としては、例えば、目、鼻、口等の顔を構成する部位の特徴点を利用する方法が適用できる。例えば、予めカメラ内部に記憶しておいた目、鼻、口等の標準パターンとその特徴（形状は配置）が一致する部位が多く、かつ、それらをバランス良く配置した領域が顔領域であると推定する。

顔領域が複数検出された場合には、複数の顔領域全てを追尾対象領域としてもよいし、顔の位置、大きさ、顔としての信頼度（標準パターンとの一致度）にそれぞれポイントを設け、最もポイントの高い１つの顔のみを追尾対象領域としてもよい。あるいは、撮影者に操作部１０１を操作させて、複数の顔領域の中のいずれかを選択させるようにしてもよい。そして、追尾対象領域の位置と大きさがわかるように、動画に対して追尾枠を重畳表示させる。さらに追尾対象領域に相当する画像データを、追尾処理における基準画像データとするために追尾処理部１１５に送信する。

その様子を図３（ａ）に示す。図３（ａ）はモニター部１０７に表示された画像を示しており、検出された顔領域に対して太線で示された追尾枠が重畳表示されている。この追尾枠は検出された顔領域が完全に中に含まれるように、顔領域よりもやや大きめに設定されている。

ステップＳ２０４では、制御部１０２は、ステップＳ２０３で顔領域を検出することができたか否かを判定し、検出できていればステップＳ２０５へ、検出できていなければステップＳ２０９へ進む。

ステップＳ２０５では、制御部１０２は、新たにフレーム画像を読み出し、このフレーム画像に対して追尾処理を行う。

追尾処理部１１５は、まず新たに読み出したフレーム画像から大きさや座標をずらしながら部分領域を切出し、切出した領域の輝度、色差、コントラストなどの情報から、その切出した領域の評価値を求める。

ステップＳ２０６では、追尾処理部１１５は、先に得られた基準画像データから得られた評価値と、全ての切出した領域の評価値を比較し、この対象領域の中から基準画像データと最も相関が高いと判断された領域を追尾対象候補領域として設定する。

その様子を図３（ｂ）に示す。顔領域が検出された人物の移動が早く、人物の像がぶれてしまったことで、図３（ａ）に示す追尾枠で囲まれた領域と最も相関の高い追尾対象候補領域として、点線枠で示された背景が選択されてしまっている。

ステップＳ２０７では、判定部１１６が、設定された追尾対象候補領域を中心として、左上、右上、左下、右下の４箇所に追尾対象候補領域をスライドさせた４つの周辺領域を設定し、それら周辺領域の評価値を求める。スライドさせる量としては、例えば、追尾対象候補領域の縦および横幅の０．５〜１つ分が設定される。どの程度スライドさせるかは、追尾対象領域として設定された被写体の大きさやそれまでの動きを考慮して、実験的に最適な値を求めるようにすればよい。

その様子を図３（ｃ）に示す。図３（ｂ）に示した追尾対象候補領域を中心として、斜め四方に位置をずらした周辺領域が設定される。

そして、判定部１１６は、４つの周辺領域のそれぞれから得られた評価値と、追尾対象候補領域から得られた評価値との差分を求める。これらの差分が、全て閾値未満であるならば、ステップＳ２０８に進み、全て閾値未満でないならば、すなわち閾値以上の領域が１つでもあればステップＳ２１１に進む。

ステップＳ２０８では、制御部１０２は、図３（ｄ）に示すように追尾対象領域および基準画像データの情報を消去してリセットし、追尾処理を停止する。そして、制御部１０２は、モニター部１０７に表示された画像から追尾枠を消去する。ステップＳ２０７の判定の結果、追尾対象候補領域とその４つの周辺領域は全て類似しているのであれば、コントラストの低い一様な背景に追尾対象候補領域が設定されていると考えられる。このまま追尾処理を継続すると、図４を用いて説明したように、周辺に相関の高い領域が多く存在し、追尾枠の位置が定まらずにふらついてしまうためである。

ステップＳ２０９では、制御部１０２は、追尾すべき対象を見失ったために、ＡＦ処理部１０８とＡＥ処理部１０９が、中央部に存在する被写体におおまかなピントが合うように合焦制御を行い、中央重点測光による露出制御を行う。

ステップＳ２１０では、制御部１０２は、操作部１０１のシャッタースイッチが半押しされて信号ＳＷ１が生じたかを監視する。信号ＳＷ１が生じていればステップＳ２１４に進み、生じていなければ追尾対象領域を新たに検出するためにステップＳ２０３に戻って、顔検出部１０６が新たに読み出したフレーム画像から顔領域の検出を行う。

ステップＳ２０７からステップＳ２１１に進んだ場合には、制御部１０２は、追尾に成功しているものと判断し、追尾対象候補領域を新たな追尾対象領域として更新し、新たな追尾対象領域に追尾枠を重畳表示させた画像をモニター部１０７で表示する。

ステップＳ２１２では、ＡＦ処理部１０８とＡＥ処理部１０９が、追尾対象領域から得られた測光値やＡＦ評価値に最も大きな重み付けをして、露出制御と合焦制御を行う。

ステップＳ２１３では、制御部１０２は、操作部１０１のシャッタースイッチが半押しされて信号ＳＷ１が生じたかを監視する。信号ＳＷ１が生じていればステップＳ２１４に進み、生じていなければ追尾処理を継続するためにステップＳ２０５に戻る。

ステップＳ２１０、Ｓ２１３で信号ＳＷ１が生じていれば、ステップＳ２１４にて、ＡＦ処理部１０８とＡＥ処理部１０９が、本撮影用の露出制御と合焦制御を行う。追尾対象領域が存在していれば、その追尾対象領域のピントが合い、かつ、輝度が適正値になるよう制御を進め、追尾対象領域が存在していなければ、中央部のピントの状態および測光値を優先して、画面全体が適正となるように制御する。

ステップＳ２１５では、制御部１０２は、操作部１０１のシャッタースイッチが全押しされて信号ＳＷ２が生じるまで待機する。

信号ＳＷ２が生じれば、ステップＳ２１６に進み、静止画データを生成して画像記録部１１３に記録する。

以上のように、上記実施形態によれば、コントラストの低い一様な背景に追尾枠が設定され、この追尾枠が一様な背景上でふらつくような状況を抑制することができるようになる。

また、上記実施形態では、追尾続行の可否を判定するために４箇所の周辺領域を設定しているが、追尾対象候補領域とその周囲の相関の高さを判定できるのであればよい。例えば、設定する周辺領域の数は３箇所でも６箇所でも構わないし、周辺領域の位置も斜め四方でなくとも、垂直水平方向に設定しても構わない。

また、顔検出部１０６にて検出された顔領域を追尾対象領域として設定する例をあげて説明を行ったが、特開２００８−０１１４９７に開示されたように、撮影者が操作部１０１を操作することで任意の追尾対象領域を指定するようにしてもよい。このような仕様にすれば、人物の顔だけでなく、動物や乗り物なども追尾対象として設定することが可能となる。あるいは、追尾処理部１１５がフレーム画像の差分から動体を抽出し、撮影者に操作部１０１を操作させて、複数の顔領域の中のいずれかを選択させるようにしてもよい。つまり、フレーム画像間の相関から、第１画像から検出された顔と同一とみなせる領域が、それよりも後の第２画像のどこに存在しているかを判別する追尾処理部１１５を備えている構成であれば、本発明を適用することが可能である。

以上、デジタルカメラを例にあげて本発明の実施形態の説明を行った。デジタルカメラに代えて、ビデオカメラはもちろんのこと、接続したカメラから動画データを受け取り、受け取った動画データに対して内部の画像処理ユニットにて追尾処理を行う監視システムのようなコンピュータシステムにも本発明を適用することができる。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク（ＭＯ）などが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０１ 操作部
１０２ 制御部
１０３ 撮像素子
１０４ Ａ／Ｄ変換部
１０５ 画像処理部
１０６ 顔検出部
１０７ モニター部
１０８ ＡＦ処理部
１０９ ＡＥ処理部
１１０ ＥＦ処理部
１１１ フラッシュ部
１１２ フォーマット変換部
１１３ 画像記録部
１１４ 外部接続部
１１５ 追尾処理部
１１６ 判定部

Claims (6)

1. 動画を構成するいずれかのフレーム画像である第１画像において設定された追尾対象領域に存在する被写体を、別のフレーム画像である第２画像において検出することで、追尾処理を行う画像処理装置において、
   前記第１画像から追尾対象領域を設定する設定手段と、
   前記第２画像から、前記設定手段にて設定された追尾対象領域と最も相関の高い追尾対象候補領域を検出する追尾手段と、
   前記追尾対象候補領域から得られる評価値と、前記追尾対象候補領域の周辺領域の評価値の差分を求める判定手段と、
   前記差分が閾値以上であれば、前記追尾対象候補領域を前記追尾対象領域として更新し、前記差分が閾値未満であれば、前記追尾対象領域をリセットする制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記設定手段は、人物の顔が検出された領域を追尾対象領域に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記周辺領域は、前記追尾対象候補領域を中心として、前記追尾対象領域の大きさに応じて設定されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記周辺領域は、前記追尾対象候補領域を中心として、前記追尾対象領域の動きに応じて設定されることを特徴とする請求項１または２に記載の画像処理装置。
5. 動画を構成するいずれかのフレーム画像である第１画像において設定された追尾対象領域に存在する被写体を、別のフレーム画像である第２画像において検出することで、追尾処理を行う画像処理方法において、
   前記第１画像から追尾対象領域を設定する工程と、
   前記第２画像から、前記追尾対象領域と最も相関の高い追尾対象候補領域を検出する工程と、
   前記追尾対象候補領域から得られる評価値と、前記追尾対象候補領域の周辺領域の評価値の差分を求める判定する工程と、
   前記差分が閾値以上であれば、前記追尾対象候補領域を前記追尾対象領域として更新し、前記差分が閾値未満であれば、前記追尾対象領域をリセットする工程と、
   を有することを特徴とする画像処理方法。
6. コンピュータに、請求項５に記載の画像処理方法の各工程を実行させるためのプログラム。

Images