JP2013157675A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】特定の被写体を非優先被写体として指定することで、当該被写体に対する優先制御を実施しないように制御する。
【解決手段】撮像装置は、連続した画像を入力する画像入力手段と、前記画像入力手段により得られる画像から被写体を検出する被写体検出手段と、前記画像間の相関性に基づき前記被写体検出手段により検出された被写体を同定する被写体追跡手段と、前記被写体検出手段により検出した被写体に対して所定の処理を実施する被写体処理手段と、前記被写体検出手段により検出した少なくとも１つの被写体の中から特定の被写体を指定する被写体指定手段と、を有し、前記画像入力手段により入力される画像に対して前記被写体指定手段により特定の被写体を指定した後、当該画像以降に入力される画像に対して前記被写体検出手段が検出した被写体の中に前記特定の被写体が存在すると判定された場合に、当該特定の被写体を前記被写体処理手段の処理の対象から除外する。
【選択図】図１

Description

本発明は、画像に含まれる特定の被写体を検出する被写体検出技術に関する。

撮像装置が、画像に含まれる特定の被写体を検出する被写体検出機能を備えることにより、検出された被写体に対して優先的に合焦や露出等を制御することが可能となる。例えば、特許文献１では、撮像装置に最も近い被写体や、画面に占める面積の大きい被写体に対して優先的に合焦や露出等の制御（以下、優先制御）を行っている。

また、検出された被写体が予めデータベースに登録された対象か否かの被写体認証を行う被写体認証機能を備えた撮像装置では、まず撮像装置で撮影して得られた画像データから、特定の被写体領域が含まれる被写体画像領域を検出する。次に検出された被写体画像領域の画像データから、被認証対象として識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録された被写体の画像の特徴情報とを比較する。そして比較による類似度に基づき、被認証対象がどの登録対象であるか否かの認証を行う。

また、特許文献２では、特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、この顔が誰であるかを識別する個人認証を行うシステムが提案されている。

特開２００２−０５１２５５号公報 特開２００３−１８７３５２号公報

しかしながら、特許文献１では、撮影者が意図していない被写体が大きく映り込むような状況では、その被写体に対して上記優先制御が実施されてしまうことがある。

また、特許文献２のような個人認証処理を行う際に、データベースに登録してある登録者の数が多い場合には、撮像装置で撮影して得られた画像データに含まれる一人の人物について、個人認証処理に多くの時間を費やすことがある。まして、撮像装置で撮影して得られた画像データに多数の人物の顔が含まれる場合には、最初の人物から最後の人物までの個人認証処理にかなりの時間を要してしまう。このような場合、最後の人物の個人認証処理を終了して時点では、最初の人物が動いてしまい、画像データの中での人物の位置が移動している可能性が高い。すなわち、撮像装置で撮影して得られた画像データに含まれる全て人物の個人認証処理を終え、撮影した画像データを記録するときには、既に最初の方に個人認証処理を行った人物の位置が移動している可能性が高い。

そのため、合焦や露出等の対象が意図した人物からずれてしまったり、意図しない人物に間違って合焦してしまう可能性がある。

本発明は、上記課題に鑑みてなされ、その目的は、特定の被写体を非優先被写体として指定することで、当該被写体に対する優先制御を実施しないように制御する撮像装置及びその制御方法を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、連続した画像を入力する画像入力手段と、前記画像入力手段により得られる画像から被写体を検出する被写体検出手段と、前記画像間の相関性に基づき前記被写体検出手段により検出された被写体を同定する被写体追跡手段と、前記被写体検出手段により検出した被写体に対して所定の処理を実施する被写体処理手段と、前記被写体検出手段により検出した少なくとも１つの被写体の中から特定の被写体を指定する被写体指定手段と、を有し、前記画像入力手段により入力される画像に対して前記被写体指定手段により特定の被写体を指定した後、当該画像以降に入力される画像に対して前記被写体検出手段が検出した被写体の中に前記特定の被写体が存在すると判定された場合に、当該特定の被写体を前記被写体処理手段の処理の対象から除外する。

本発明によれば、ユーザが意図していない被写体に対する優先制御を回避することが可能となる。また、個人認証処理にかかる時間や消費電力の削減が可能となる。

実施形態１の撮像装置の構成を例示するブロック図。 実施形態１の非優先被写体指定処理を示すフローチャート。 実施形態１の優先被写体追跡処理を示すフローチャート。 実施形態１による入力画像の指定処理及び追跡処理を説明する図。 実施形態２の撮像装置の構成を例示するブロック図。 実施形態２の優先被写体追跡処理を示すフローチャート。 実施形態２による入力画像の追跡処理を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１（特定の被写体に対して合焦しない）］
以下、本発明の撮像装置を、例えば、動画を撮影するデジタルビデオカメラに適用した実施形態について説明する。

＜装置構成＞図１を参照して、本実施形態の撮像装置の構成について説明する。

図１において、撮像装置は、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、検出された人物の顔に対して合焦を行う機能を有する。

図１において、撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤやＣＭＯＳ等のイメージセンサからなる撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。

アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、撮影制御部１０５および画像処理部１０６に入力される（画像入力処理）。

画像処理部１０６では、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。画像処理部１０６は、通常の画像処理に加え、後述する被写体検出部１０９、被写体追跡部１１１から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う（被写体処理）。

画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。時系列的に連続撮影した画像を逐次表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、映像信号は記録媒体１０８、例えば着脱可能なメモリカードに記録される。記録先はカメラの内蔵メモリであっても、通信可能な接続された外部装置であってもよい。

画像処理部１０６から出力された映像信号は、被写体検出部１０９にも供給される。被写体検出部１０９は画像中の目的とする特定の被写体を検出し、被写体の数と被写体領域を特定する。目的とする被写体としては、人物の顔などが代表的である。検出方法は公知の顔検出方法を用いる。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがあり、検出精度向上のためにこれらを組み合わせて顔検出を行うのが一般的である。具体的には特開２００２−２５１３８０号広報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出部１０９により出力される情報としては、検出数分の被写体の位置、大きさ、傾き、検出結果の信頼度などが挙げられる。

被写体指定部１１０は、例えばタッチパネルやボタン等の入力インタフェースである。被写体指定部１１０では、被写体検出部１０９により検出された被写体の中で、オートフォーカス（ＡＦ）制御や個人認証等の処理の対象から除外する被写体（以下、非優先被写体）をユーザが指定できる。

例えば、表示部１０７には、被写体検出部１０９が検出に成功した人物の顔を示す表示が行われており、ユーザが表示部１０７の画面と一体化されて構成されたタッチパネルを操作することで、任意の顔を非優先被写体として指定することができる。

被写体追跡部１１１では、動画において同じ被写体を特定する。被写体検出部１０９により供給される連続するフレーム間（画像間）の検出結果の位置および大きさの類似性（相関性）に基づき、同一の被写体を決定できる。例えば、前のフレームで特定された被写体が占める領域の画像と、最新のフレームから切り出した同サイズの画像を重ね合わせて、画素毎に値の差分の絶対値を算出し、その絶対値の総和を求める。この総和が最も小さくなったときの切り出した画像が、前フレームで特定された被写体の領域と最も類似度の高い領域であると判定することができる。

撮影制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズの図示しない焦点制御機構や露出制御機構を制御する。撮影制御部１０５は、この焦点制御機構や露出制御機構の制御に、被写体検出部１０９や被写体追跡部１１１から供給された目的とする被写体領域の抽出結果の情報を用いることができる（被写体処理）。

従って、本実施形態の撮像装置は、撮像画像における特定の被写体領域の情報を考慮した撮影処理を行う機能を有する。撮影制御部１０５は、撮像素子１０２の出力タイミングや出力画素などの制御も行う。

＜被写体指定処理＞図２及び図４を参照して、実施形態１における非優先被写体の指定方法について説明する。なお、図２の処理は、撮像装置のＣＰＵが、ＲＯＭに格納された制御プログラムを、ＲＡＭのワークエリアに展開し、実行することで実現される。

図２において、撮影制御部１０５は、撮像画像を入力画像として読み込む（Ｓ２０１）。ここでの入力画像は図４（ａ）とする。次に、被写体検出部１０９により、入力画像中の被写体領域を示した検出結果が得られる（Ｓ２０２）。検出結果の情報として、検出結果の個数と各検出結果の画像中の位置、大きさ、検出結果の信頼度などが得られる。表示部１０７には、図４（ｂ）のように、検出された被写体に対し枠を表示することにより、ユーザに被写体の検出結果を通知する。検出された被写体は、被写体追跡部１１１により、過去の入力画像において検出された被写体と同一の被写体であると判定される（Ｓ２０３）。ここで、ユーザにより、検出された被写体の中から特定の被写体が選択された場合（Ｓ２０４でＹＥＳ）、選択された被写体を非優先被写体とし、その位置を記録する（Ｓ２０５）。非優先被写体は、当該画像以降の入力画像において、被写体追跡部１１１により追尾される。非優先被写体は一度に複数選択できるようにしてもよい。ユーザにより被写体が選択されない場合（Ｓ２０４でＮＯ）には、ステップＳ２０５の処理を省略し次の入力画像を読み込む。

＜被写体追跡処理＞次に、図３及び図４を参照して、実施形態１における被写体追跡処理について説明する。なお、図３の処理は、撮像装置のＣＰＵが、ＲＯＭに格納された制御プログラムを、ＲＡＭのワークエリアに展開し、実行することで実現される。

図３におけるステップＳ３０１〜ステップＳ３０３は、図２におけるステップＳ２０１〜ステップＳ２０３と同一の処理であり、ステップＳ２０４以降の処理とステップＳ３０４以降の処理が非同期に実行される。よって、以下ではステップＳ３０４以降の処理を説明する。

図３において、ステップＳ３０４では、撮影制御部１０５は、ユーザにより非優先被写体が指定されているか否かを判定する。ユーザにより非優先写体が指定されていない場合（Ｓ３０４でＮＯ）、検出された全被写体から主被写体を決定する（Ｓ３０９）。ここでは、撮像装置に最も近い被写体や、入力画像に閉める面積の大きい被写体、入力画像の中央に近い位置に存在する被写体を主被写体とする。図４（ａ）においては被写体４０３が主被写体となり、表示部１０７において、図４（ｃ）のように、他の検出された被写体と枠の種類を変更することにより、被写体４０３が主被写体として選択されたことをユーザに通知する。最後に、撮影制御部１０５により、ステップＳ３０９で決定した主被写体に対して合焦する（Ｓ３０７）。

一方、ユーザにより非優先被写体が指定されている場合（Ｓ３０４でＹＥＳ）、入力画像内に非優先被写体が存在するか否かを判定する（Ｓ３０５）。非優先被写体は、非優先被写体指定後の入力画像において、被写体追跡部１１１により同定されているため、上記判定が可能である。ここで、非優先被写体が入力画像内に存在しない場合（Ｓ３０５でＮＯ）、非優先被写体は撮像装置の映像記録範囲から外れたと判定し、当該画像以降の入力画像において、非優先被写体の指定を解除し（Ｓ３０８）、その後、ステップＳ３０９に進む。

非優先被写体が入力画像内に存在する場合には（Ｓ３０５でＹＥＳ）、検出された被写体の中で、非優先被写体を除いた被写体から主被写体を決定する（Ｓ３０６）。図４（ａ）において、被写体４０３が非優先被写体に指定されていた場合、被写体４０２が主被写体となり、表示部１０７には図４（ｄ）のように表示される。その後、ステップＳ３０７に移行する。

以上の処理を、入力画像を読み込むごとに実施する。

このように、実施形態１によれば、ユーザが意図していない被写体に対する優先制御を回避することが可能となる。

［実施形態２（特定の被写体に対して個人認証しない）］
実施形態２の撮像装置は、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、その顔が誰であるかを識別する個人認証を行う機能を有する。

＜装置構成＞図５を参照して、実施形態２の撮像装置の構成について説明する。なお、実施形態１と同様の構成要素には同じ符号を付して説明を省略する。

被写体認証部５１２では、被写体検出部１０９により検出された被写体の画像から、その被写体領域を被認証対象として識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベース５１３に登録されている被写体の画像の特徴情報とを比較する。そして、比較による類似度を示す認証評価値に基づき、被認証対象がどの登録対象であるか、または該当する登録対象がいないかの認証を行う。認証評価値に対して、所定の閾値を設け、所定の閾値以上の場合に、被認証対象がデータベース５１３に登録されている該当対象であると判定することができる。一方で、所定の閾値以下の場合には、被認証対象がデータベース５１３に登録されている該当対象とは異なる対象として判定する。

実施形態２における非優先被写体の指定方法は実施形態１と同様である。

＜個人認証処理＞図６を参照して、実施形態２による個人認証処理について説明する。なお、図６の処理は、撮像装置のＣＰＵが、ＲＯＭに格納された制御プログラムを、ＲＡＭのワークエリアに展開し、実行することで実現される。

図６におけるステップＳ６０１〜ステップＳ６０３は、図２におけるステップＳ２０１〜ステップＳ２０３と同一の処理であり、ステップＳ２０４以降の処理とステップＳ６０４以降の処理が非同期に実行される。よって、以下ではステップＳ６０４以降の処理を説明する。

図６において、被写体認証部５１２は、検出された全ての被写体に対し、ステップＳ６０６以降の処理を実施したか否かを判定する（Ｓ６０４）。全ての被写体に対して実施済みの場合（Ｓ６０４でＹＥＳ）、ステップＳ６０６以降の処理を実施していない被写体を１つ選択し（Ｓ６０５）、ステップＳ６０６に移行する。一方、全ての被写体に対して未実施の場合（Ｓ６０４でＮＯ）、ステップＳ６０１に戻り、次の入力画像を読み込む。

ステップＳ６０６では、被写体認証部５１２は、選択された被写体が非優先被写体か否かを判定する。選択された被写体が非優先被写体である場合（Ｓ６０６でＹＥＳ）、当該被写体に対する個人認証処理（Ｓ６０７〜Ｓ６１０）を省略する。これにより、認証処理にかかる時間や消費電力を削減することが可能である。

一方、ステップＳ６０６で選択された被写体が非優先被写体ではない場合（Ｓ６０６でＮＯ）、当該被写体がデータベースに登録された被写体のいずれかと一致すると既に判定されていれば（Ｓ６０７でＹＥＳ）、ステップＳ６０４に移行する。一方、選択された被写体が非優先被写体であった場合（Ｓ６０７でＮＯ）、ステップＳ６０８に移行する。

ステップＳ６０８では、ステップＳ６０５にて選択した被写体を被認証対象として、データベースの全ての被写体群と被写体認証を実施する。このとき、認証評価値の最大値が所定の閾値以上であれば（Ｓ６０９）、認証評価値が最大となったときのデータベースの被写体と被認証対象が一致すると判定する（Ｓ６１０）。その後、ステップＳ６０４に戻る。被認証対象がデータベースの被写体と一致すると判定された場合、当該画像以降の入力画像において、当該被写体を追跡することにより、認証処理なしに特定の個人を識別可能である。

上述した処理の適用例について以下に説明する。まず、データベース内に個人認証用の顔データがＮ個登録されており、全ての顔データは正面顔の状態で取得されたものとする。ここでの入力画像は図７とする。図７が入力された時点までにおいて、被写体７０１、７０２、７０３は、撮像装置に対し正面を向いておらず、個人認証処理において、データベース内の登録されている顔とは異なる顔であると判定されているものとする。このとき、被写体７０１、７０２、７０３に対し、Ｎ個の登録顔データ用いて個人認証処理を実施するため、１枚の入力画像に対し、合計３Ｎ回の個人認証処理が発生する。一方、図７において、非優先被写体として被写体７０３が指定された場合、被写体７０１、７０２に対し、Ｎ個の登録顔データを用いて個人認証処理を実施するため、１枚の入力画像に必要な個人認証処理は計２Ｎ回となり、Ｎ回分の個人認証処理を削減できる。

このように、実施形態２によれば、個人認証などの処理にかかる時間や消費電力の削減が可能である。

［変形例］
上述した実施形態では、被写体として顔を検出する場合について説明したが、顔に限らず、人物、動物、自動車など目的とする被写体を抽出し特定するために、被写体認証を実施するものであれば、本発明を適用可能である。

また、実施形態１では、優先制御として、検出された被写体に対する合焦制御を説明したが、本発明はこれに限られず、例えば、被写体の露出制御やホワイトバランス制御、エッジ強調・美肌処理等のフィルタ処理等の他のカメラ制御処理にも適用可能である。

また、上述した実施形態２では、被写体に対する処理として、個人認証処理を実施する場合について説明したが、本発明は個人認証処理に限るものではなく、他の被写体の詳細情報を検出する処理にも適用可能である。他の被写体の詳細情報を検出する処理としては、例えば、被写体が人物である場合、被写体の表情判定などが挙げられる。

また、上述した実施形態２では、撮像装置に限らず、再生装置等でも本発明を適用可能である。再生装置に適用する場合は、再生データを被写体認証処理のデータとし、本発明を適用可能である。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (10)

1. 連続した画像を入力する画像入力手段と、
   前記画像入力手段により得られる画像から被写体を検出する被写体検出手段と、
   前記画像間の相関性に基づき前記被写体検出手段により検出された被写体を同定する被写体追跡手段と、
   前記被写体検出手段により検出した被写体に対して所定の処理を実施する被写体処理手段と、
   前記被写体検出手段により検出した少なくとも１つの被写体の中から特定の被写体を指定する被写体指定手段と、を有し、
   前記画像入力手段により得られる画像に対して前記被写体指定手段により特定の被写体を指定した後、当該画像以降に入力される画像に対して前記被写体検出手段が検出した被写体の中に前記特定の被写体が存在すると判定された場合に、当該特定の被写体を前記被写体処理手段の処理の対象から除外することを特徴とする撮像装置。
2. 前記所定の処理は、前記被写体検出手段で検出された被写体の画像の特徴情報を検出する処理であることを特徴とする請求項１に記載の撮像装置。
3. 前記所定の処理は、前記被写体検出手段で検出された被写体の画像の情報と予め登録されているデータベースに基づき特定の被写体を認証する処理であることを特徴とする請求項１に記載の撮像装置。
4. 前記被写体は人物の顔であり、
   前記所定の処理は、前記被写体検出手段により検出された被写体の表情を判定する処理であることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記被写体検出手段により検出された被写体に対して前記所定の処理を実施した結果に基づいて、撮影制御を実施する撮影制御手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮影制御は、前記被写体検出手段により検出された被写体に対して合焦する処理であることを特徴とする請求項５に記載の撮像装置。
7. 前記撮影制御は、前記被写体検出手段により検出された被写体の露出を制御する処理であることを特徴とする請求項５に記載の撮像装置。
8. 連続した画像を入力する画像入力ステップと、
   前記画像入力ステップにより得られる画像から被写体を検出する被写体検出ステップと、
   前記画像間の相関性に基づき前記被写体検出ステップにより検出された被写体を同定する被写体追跡ステップと、
   前記被写体検出ステップにより検出した被写体に対して所定の処理を実施する被写体処理ステップと、
   前記被写体検出ステップにより検出した少なくとも１つの被写体の中から特定の被写体を指定する被写体指定ステップと、を有し、
   前記画像入力ステップにより得られる画像に対して前記被写体指定ステップにより特定の被写体を指定した後、当該画像以降に入力される画像に対して前記被写体検出ステップが検出した被写体の中に前記特定の被写体が存在すると判定された場合に、当該特定の被写体を前記被写体処理ステップの処理の対象から除外することを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載された撮像装置の各手段として機能させるプログラム。
10. コンピュータを、請求項１乃至７のいずれか１項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images