JP2011124819A - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP2011124819A
JP2011124819A JP2009281178A JP2009281178A JP2011124819A JP 2011124819 A JP2011124819 A JP 2011124819A JP 2009281178 A JP2009281178 A JP 2009281178A JP 2009281178 A JP2009281178 A JP 2009281178A JP 2011124819 A JP2011124819 A JP 2011124819A
Authority
JP
Japan
Prior art keywords
image
imaging
unit
extraction
object scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009281178A
Other languages
English (en)
Inventor
Masayoshi Okamoto
正義 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2009281178A priority Critical patent/JP2011124819A/ja
Priority to US12/948,316 priority patent/US20110141304A1/en
Priority to CN2010105828316A priority patent/CN102098439A/zh
Publication of JP2011124819A publication Critical patent/JP2011124819A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

【構成】イメージャ16は、被写界を捉える撮像面を有して生画像データを繰り返し出力する。CPU26は、イメージャ16から出力された生画像データに基づくYUV形式の画像データを一般辞書GLDCに収められた複数の顔パターンの特徴量と照合して、照合度が基準値を上回る1または2以上の顔パターンをレジスタRGST1に抽出する。CPU26はまた、顔パターンの最初の抽出に対応してイメージャ16から出力された生画像データに基づいて登録ペット画像を作成し、作成された登録ペット画像と符合する画像の探索に用いる顔パターンをレジスタRGST1に抽出された1または2以上の顔パターンの中から選択する。
【効果】登録ペット画像の作成に要する時間が短縮され、登録ペット画像に符合する画像の探索性能が向上する。
【選択図】図2

Description

この発明は、電子カメラに関し、特に、指定画像に符合する画像を撮像装置から出力された被写界像から探索する、電子カメラに関する。
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、自動撮影モードが選択されると、スルー画像表示が開始され、ターゲットマークがスルー画像上に表示される。表示されたターゲットマークは、ユーザ操作に応答して画面上を移動する。人物の顔画像を認識する処理は、ターゲットマークの位置に対応する一部の領域に注目して継続的に実行される。顔画像の認識に成功すると、これをトリガとして静止画撮影処理が実行される。ここで、顔画像を認識する処理は、個体識別を含む詳細な認識処理であり、対象となる顔画像は登録モードの下で捉えられた被写界像から切り出される。
特開2008−283502号公報
しかし、背景技術では、登録モードの下で被写界像から切り出された顔画像が認識処理のために参照される。したがって、撮像条件によっては認識性能(探索性能)が低下するおそれがある。
それゆえに、この発明の主たる目的は、指定画像に符合する画像の探索性能を向上させることができる、電子カメラを提供することである。
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)、撮像手段から出力された被写界像を複数の特徴パターンの各々と照合して照合度が基準を上回る1または2以上の特徴パターンを抽出する抽出手段(S47~S63)、抽出手段による最初の抽出に対応して撮像手段から出力された被写界像に基づいて基準画像を作成する作成手段(S33~S35)、および作成手段によって作成された基準画像と符合する画像の探索に用いる特徴パターンを抽出手段によって抽出された1または2以上の特徴パターンの中から選択する選択手段(S67)を備える。
好ましくは、選択手段によって選択される特徴パターンは最大照合度に対応する特徴パターンに相当する。
好ましくは、選択手段によって選択された特徴パターンを作成手段によって作成された基準画像に割り当てる割り当て手段(S37~S39)がさらに備えられる。
好ましくは、作成手段の作成処理に先立って撮像条件を調整する調整手段(S29, S31)がさらに備えられる。
好ましくは、画像登録モードが選択されたときに抽出手段を起動する第1起動手段(S3, S23)がさらに備えられる。
好ましくは、選択手段によって選択された特徴パターンと符合する画像を撮像手段から出力された被写界像から探索する探索手段(S101~S127)、探索手段による発見に対応して撮像手段から出力された被写界像を記録する記録手段(S95~S97)、および画像記録モードが選択されたとき探索手段を起動する第2起動手段(S9, S83)がさらに備えられる。
好ましくは、複数の特徴パターンの各々は動物の顔画像の特徴パターンに相当する。
好ましくは、抽出手段による最初の抽出から作成手段の作成処理が完了するまで抽出手段の抽出処理を制限する制限手段(S131, S133, S135)がさらに備えられる。
この発明に従う撮像制御プログラムは、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、撮像手段から出力された被写界像を複数の特徴パターンの各々と照合して照合度が基準を上回る1または2以上の特徴パターンを抽出する抽出ステップ(S47~S63)、抽出ステップによる最初の抽出に対応して撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ(S33~S35)、および作成ステップによって作成された基準画像と符合する画像の探索に用いる特徴パターンを抽出ステップによって抽出された1または2以上の特徴パターンの中から選択する選択ステップ(S67)を実行させるための、撮像制御プログラムである。
この発明に従う撮像制御方法は、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)によって実行される撮像制御方法であって、撮像手段から出力された被写界像を複数の特徴パターンの各々と照合して照合度が基準を上回る1または2以上の特徴パターンを抽出する抽出ステップ(S47~S63)、抽出ステップによる最初の抽出に対応して撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ(S33~S35)、および作成ステップによって作成された基準画像と符合する画像の探索に用いる特徴パターンを抽出ステップによって抽出された1または2以上の特徴パターンの中から選択する選択ステップ(S67)を備える。
この発明によれば、基準画像は、照合度が基準を上回る特徴パターンの最初の発見に対応して撮像手段から出力された被写界像に基づいて作成される。これによって、基準画像の作成に要する時間が短縮される。また、作成された基準画像と符合する画像の探索に用いる特徴パターンは、抽出された1または2以上の特徴パターンの中から選択される。これによって、基準画像に符合する画像の探索性能が向上する。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図2実施例において参照される一般辞書の構成の一例を示す図解図である。 ペット登録モードにおいて参照されるレジスタの構成の一例を示す図解図である。 ペット登録モードにおいて捉えられた動物を表す画像の一例を示す図解図である。 ペット登録モードにおいて捉えられた動物を表す画像の他の一例を示す図解図である。 評価エリアを撮像面に割り当てた状態の一例を示す図解図である。 ペット登録モードにおいて作成される抽出辞書の一例を示す図解図である。 ペット登録モードにおいて作成される抽出辞書の他の一例を示す図解図である。 ペット登録モードにおける動作の一部を示すタイミング図である。 ペット撮像モードにおいてモニタ画面に表示された登録ペット画像の一例を示す図解図である。 撮像用顔検出タスクにおいて用いられる顔検出枠の一例を示す図解図である。 撮像用顔検出タスクにおける顔検出処理の一部を示す図解図である。 ペット撮像モードにおいて捉えられた動物を表す画像の一例を示す図解図である。 ペット撮像モードにおいて捉えられた動物を表す画像の他の一例を示す図解図である。 図2実施例に適用されるCPUの動作の一部を示すフロー図である。 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。 他の実施例に適用されるCPUの動作の一部を示すフロー図である。 他の実施例に適用されるCPUの動作の他の一部を示すフロー図である。
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
図1を参照して、この発明の電子カメラは、基本的に次のように構成される。撮像手段1は、被写界を捉える撮像面を有して被写界像を繰り返し出力する。抽出手段2は、撮像手段1から出力された被写界像を複数の特徴パターンの各々と照合して照合度が基準を上回る1または2以上の特徴パターンを抽出する。作成手段3は、抽出手段2による最初の抽出に対応して撮像手段1から出力された被写界像に基づいて基準画像を作成する。選択手段4は、作成手段3によって作成された基準画像と符合する画像の探索に用いる特徴パターンを抽出手段2によって抽出された1または2以上の特徴パターンの中から選択する。
したがって、基準画像は、照合度が基準を上回る特徴パターンの最初の発見に対応して撮像手段1から出力された被写界像に基づいて作成される。これによって、基準画像の作成に要する時間が短縮される。また、作成された基準画像と符合する画像の探索に用いる特徴パターンは、抽出された1または2以上の特徴パターンの中から選択される。これによって、基準画像に符合する画像の探索性能が向上する。
[実施例]
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
電源が投入されると、CPU26は、キー入力装置28に設けられたモード切り換えスイッチ28mdの設定(つまり現時点の動作モード)をメインタスクの下で判別する。現時点の動作モードがペット登録モードであれば、ペット登録タスクおよび登録用顔検出タスクが起動される。また、現時点の動作モードがペット撮像モードであれば、ペット画像が登録済みであることを条件として、ペット撮像タスクおよび撮像用顔検出タスクが起動される。
ペット登録モードが選択されたとき、CPU26は、ペット登録タスクの下で動画取り込み処理を開始するべく、ドライバ18cに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに色分離処理,白バランス調整処理,YUV変換処理などの処理を施し、YUV形式に従う表示画像データおよび探索画像データを個別に作成する。表示画像データは、メモリ制御回路30によってSDRAM32の表示画像エリア32bに書き込まれる。探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに書き込まれる。
LCDドライバ36は、表示画像エリア32bに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
CPU26はまた、ペット登録タスクと並列して実行される登録用顔検出タスクの下で、探索画像エリア32cに格納された探索画像データから動物の顔画像を探索する。このような登録用顔検出タスクのために、図3に示す一般辞書GLDCと図4に示すレジスタRGST1とが準備される。
図3に示す一般辞書GLDCにおいて、顔パターンFP_1〜FP_45はそれぞれ45品種の犬の顔の特徴を表し、顔パターンFP_46〜FP_60はそれぞれ15品種の猫の顔の特徴を表し、そして顔パターンFP_61〜FP_70はそれぞれ10品種のウサギの顔の特徴を表す。つまり、図3では、品種の名称が顔パターン番号FP_1〜FP_70の各々に割り当てられているが、実際には顔の特徴量が割り当てられる。
登録用顔検出タスクの下では、まず登録枠RF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、登録枠RF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。登録枠RF1は、図5または図6に示す要領でLCDモニタ38の中央に表示される。
続いて、フラグFLG_Aが“0”に設定され、フラグFLG_Bが“0”に設定される。ここで、フラグFLG_Aは照合度が基準値REFを上回る顔パターンが発見されたか否かを識別するためのフラグであり、“0”が未発見を示す一方、“1”が発見済みを示す。また、フラグFLG_Bは参照顔パターン番号が決定されたか否かを識別するためのフラグであり、“0”が未決定を示す一方、“1”が決定済みを示す。なお、参照顔パターン番号は、撮像用顔検出タスクの下での画像探索において参照される顔パターン番号である。
垂直同期信号Vsyncが発生すると、登録枠RF1に属する一部の画像データが探索画像エリア32cから読み出され、読み出された画像データの特徴量が算出される。したがって、猫CT1が図5に示す要領で捉えられた場合、猫CT1の顔の特徴量が算出される。また、犬DG1が図6に示す要領で捉えられた場合、犬DG1の顔の特徴量が算出される。
続いて、変数Kが“1”〜“70”の各々に設定され、算出された特徴量が顔パターンFP_Kの特徴量と照合される。照合度が基準値REFを上回れば、現時点の顔パターン番号(=FP_K)と照合度とが図4に示すレジスタRGST1に登録され、フラグFLG_Aが“1”に更新される。
図5に示す猫CT1については、アメリカンショートヘアに対する照合度が基準値REF1を上回り、さらにエジプシャンマウに対する照合度が基準値REF1を上回る。したがって、レジスタRGST1には、アメリカンショートヘアに対する照合度がアメリカンショートヘアの顔パターン番号(=FP_47)とともに登録され、さらにエジプシャンマウに対する照合度がエジプシャンマウの顔パターン番号(=FP_48)とともに登録される。
図6に示す犬DG1については、アラスカマラミュートに対する照合度が基準値REF1を上回り、さらにシベリアンハスキーに対する照合度が基準値REF1を上回る。したがって、レジスタRGST1には、アラスカマラミュートに対する照合度がアラスカマラミュートの顔パターン番号(=FP_2)とともに登録され、さらにシベリアンハスキーに対する照合度がシベリアンハスキーの顔パターン番号(=FP_3)とともに登録される。
K=70に対応する上述の処理が完了した時点でフラグFLG_Aが“1”を示していれば、レジスタRGST1に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号が参照顔パターン番号として決定される。図5の例において、アメリカンショートヘアに対する照合度がエジプシャンマウに対する照合度よりも高ければ、“FP_47”が参照顔パターン番号として決定される。また、図6の例において、シベリアンハスキーに対する照合度がアラスカマラミュートに対する照合度よりも高ければ、“FP_3”が参照顔パターン番号として決定される。フラグFLG_Bは、参照顔パターン番号が決定されたことを表明するべく“1”に更新される。
図7を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
また、AF評価回路24は、前処理回路20から出力されたRGBデータのうち同じ評価エリアEVAに属するGデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。
フラグFLF_Aが“0”を示すとき、CPU26は、AE評価回路22からの出力に基づく簡易AE処理をペット登録タスクの下で実行し、適正EV値を算出する。簡易AE処理は動画取込み処理と並列して実行され、算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
フラグFLG_Aが“1”に更新されると、CPU26は、厳格AE処理とAF処理とをペット登録タスクの下で実行する。厳格AE処理もまたAE評価回路22の出力に基づいて実行され、これによって最適EV値が算出される。算出された最適EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが厳格に調整される。また、AF処理はAF評価回路24の出力に基づいて実行され、フォーカスレンズ12はAF処理によって発見された合焦点に設定される。これによって、スルー画像の鮮鋭度が向上する。
AF処理が完了すると、CPU26は、ペット登録タスクの下で静止画取り込み処理を実行する。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。CPU26はその後、静止画エリア32dに取り込まれた画像データのうち登録枠RF1に属する一部の画像データを切り出し、かつ切り出された画像データを縮小する。これによって、登録ペット画像データが得られる。
フラグFLG_Bは、参照顔パターン番号の決定に応答して“1”に更新される。上述の要領で作成された登録ペット画像データは、フラグFLG_Bが“1”に更新されたとき、参照顔パターン番号に割り当てられる。互いに関連する登録ペット画像データおよび参照パターン番号は、抽出辞書EXDCとしてフラッシュメモリ44に保存される。
図5の例では、猫CT1の顔を表す登録画像データが“FP_47”に割り当てられる。また、図6の例では、犬DG1の顔を表す登録画像データが“FP_3”に割り当てられる。したがって、図5に示す猫CT1が最初に撮影されると、図8に示す抽出辞書EXDCが新規に作成される。次に図6に示す犬DG1が撮影されると、抽出辞書EXDCは図9に示す要領で更新される。
図10を参照して、登録ペット画像データは、フラグFLG_Aの“0”から“1”への更新に応答して(照合度が基準値REFを上回る顔パターンの最初に発見に応答して)作成される。これによって、登録ペット画像データの作成に要する時間が短縮され、前方を向く顔画像を表す良好な登録画像データが得られる。また、参照顔パターン番号は、フラグFLG_Bの“0”から“1”への更新に応答してレジスタRGST1から選択される。これによって、登録されたペット画像に符合する画像の探索性能が向上する。
ペット撮像モードが選択されると、CPU26は、抽出辞書EXDCに収められた登録ペット画像データをペット撮像タスクの下でフラッシュメモリ44から読み出し、読み出された登録ペット画像データをSDRAM32の表示画像エリア32bに展開する。LCDドライバ36は、展開された登録ペット画像データをメモリ制御回路30を通して読み出し、読み出された登録ペット画像データに基づいてLCDドライバ36を駆動する。
したがって、抽出辞書EXDCが図9に示す要領で作成されたときは、猫CT1および犬DG2を表す2つの登録ペット画像が図11に示す要領でLCDモニタ38に表示される。
表示された登録ペット画像のいずれか1つを選択する選択操作が行われると、CPU26は、選択された登録ペット画像に対応する参照顔パターンの特徴量を一般辞書GLDCから読み出す。図11の例において猫CT1を表す登録ペット画像が選択された場合は、顔パターンFP_47の特徴量が一般辞書GLDCから読み出される。また、図11の例において犬DG1を表す登録ペット画像が選択された場合は、顔パターンFP_3の特徴量が一般辞書GLDCから読み出される。参照顔パターンの特徴量の読み出しが完了すると、ペット撮像タスクの下で動画取込み処理が開始される。これによって、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。また、探索画像データが探索画像エリア32cに繰り返し書き込まれる。
CPU26はまた、ペット撮像タスクと並列して実行される撮像用顔検出タスクの下で、探索画像エリア32cに格納された探索画像データから動物の顔画像を探索する。探索される顔画像は、選択操作によって選択された登録ペット画像に符合する画像である。このような撮像用顔検出タスクのために、図12に示す複数の顔検出枠FD,FD,FD,…が準備される。
顔検出枠FDは、垂直同期信号Vsyncが発生する毎に、探索画像エリア32b上を評価エリアEVAに対応してラスタ走査態様で移動する(図13参照)。顔検出枠FDのサイズは、ラスタ走査が終了する毎に“200”から“20”まで“5”刻みで縮小される。
CPU26は、顔検出枠FDに属する画像データをメモリ制御回路30を通して探索画像エリア32bから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、参照顔パターンの特徴量と照合される。照合度が基準値REFを上回ると、現時点の顔検出枠FDの位置およびサイズが顔画像のサイズおよび位置として決定され、フラグFLGpetが“0”から“1”に更新される。
ペット撮像タスクの下で、CPU26は、FLGpet=0に対応して簡易AE処理を繰り返し実行する。スルー画像の明るさは、簡易AE処理によって適度に調整される。フラグFLGpetが“1”に更新されると、CPU26は、顔枠KF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠KF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。顔枠KF1は、撮像用顔検出タスクの下で決定された顔画像の位置およびサイズに適合する態様でLCDモニタ38に表示される。
したがって、猫CT1の登録ペット画像が選択された状態で猫CT1が捉えられたとき、顔枠KF1は図14に示す要領でLCDモニタ38に表示される。また、犬DG1の登録ペット画像が選択された状態で犬DG1が捉えられたとき、顔枠KF1は図15に示す要領でLCDモニタ38に表示される。
CPU26はその後、ペット撮像タスクの下で厳格AE処理およびAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整される。AF処理が完了すると、静止画取り込み処理および記録処理が実行される。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。取り込まれた1フレームの画像データは、記録処理に関連して起動したI/F40によって静止画エリア32dから読み出され、ファイル形式で記録媒体42に記録される。顔枠KF1は、記録処理が完了した後に非表示とされる。
CPU26は、図16に示すメインタスク,図17に示すペット登録タスク,図18〜図19に示す登録用顔検出タスク,図20〜図21に示すペット撮像タスク,および図22〜図23に示す撮像用顔検出タスクを含む複数のタスクを実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
図16を参照して、ステップS1では現時点の動作モードがペット登録モードであるか否かを判別し、ステップS5では現時点の動作モードがペット撮像モードであるか否かを判別する。ステップS1でYESであれば、ステップS3でペット登録タスクを起動する。ステップS5でYESであれば、ペット画像が登録済みであるか否か(抽出辞書EXDCが作成済みであるか否か)をステップS7で判別する。
判別結果がYESであればステップS9でペット撮像タスクを起動し、判別結果がNOであればステップS11でエラーを報知する。ステップS1およびS5のいずれもNOであれば、ステップS13で他の処理を実行する。ステップS3,S9,S11またはS13の処理が完了すると、モード切り換え操作が行われたか否かをステップS15で繰り返し判別する。判別結果がNOからYESに更新されると、起動中のタスクをステップS17で停止し、その後にステップS1に戻る。
図17を参照して、ステップS21では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS23では、登録用顔検出タスクを起動する。
フラグFLG_Aは、登録用顔検出タスクの下で“0”に初期設定され、照合度が基準値REFを上回る顔パターンが発見されたときに“1”に更新される。ステップS25では、このようなフラグFLG_Aが“1”を示すか否かを判別し、判別結果がNOであれば、ステップS27で簡易AE処理を実行する。これによって、スルー画像の明るさが適度に調整される。
フラグFLG_Aが“0”から“1”に更新されると、ステップS29で厳格AE処理を実行し、ステップS31でAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整される。AF処理が完了すると、ステップS33で静止画取り込み処理を実行する。これによって、AF処理が完了した直後の1フレームの画像データが静止画エリア32dに取り込まれる。ステップS35では、静止画エリア32dに取り込まれた画像データに基づいて登録ペット画像データを作成する。
フラグFLG_Bは、登録用顔検出タスクの下で“0”に初期設定され、参照顔パターン番号が決定されたときに“1”に更新される。ステップS37では、このようなフラグFLG_Bが“1”を示すか否かを判別する。ステップS37の判別結果がNOからYESに更新されるとステップS39に進み、ステップS35で作成された登録ペット画像データを参照顔パターン番号に割り当てる。これによって、抽出辞書EXDCが新規または追加的に作成される。抽出辞書EXDCが作成されると、ステップS23に戻る。
図18を参照して、ステップS41では登録枠RF1の表示をグラフィックジェネレータ46に要求する。これによって、登録枠RF1がLCDモニタ38の中央に表示される。ステップS43ではフラグFLG_Aを“0”に設定し、ステップS45ではフラグFLG_Bを“0”に設定する。ステップS47では垂直同期信号Vsyncが発生したか否かを判別し、判別結果がNOからYESに更新されるとステップS49に進む。ステップS49では、登録枠RF1に属する一部の画像データを探索画像エリア32cから読み出し、読み出された画像データの特徴量を算出する。
ステップS51では変数Kを“1”に設定し、ステップS53ではステップS49で算出された特徴量を一般辞書GLDCに収められた顔パターンFP_Kの特徴量と照合する。ステップS55では照合度が基準値REFを上回るか否かを判別し、判別結果がNOであればそのままステップS61に進む一方、判別結果がYESであればステップS57〜S59を経てステップS61に進む。ステップS57では、現時点の顔パターン番号(=FP_K)と照合度とをレジスタRGST1に登録する。ステップS59では、照合度が基準値REFを上回る顔パターンが発見されたことを表明するべく、フラグFLG_Aを“1”に更新する。
ステップS61では変数Kが“70”に達したか否かを判別し、判別結果がNOであればステップS63で変数KをインクリメントしてからステップS53に戻る一方、判別結果がYESであればフラグFLG_Aが“1”を示すか否かをステップS65で判別する。フラグFLG_Aが“0”であればステップS47に戻り、フラグFLG_Aが“1”であればステップS67で参照顔パターン番号を決定する。参照顔パターン番号は、レジスタRGST1に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号に相当する。ステップS67の処理が完了すると、参照顔パターン番号の決定を表明するべくステップS69でフラグFLG_Bを“1”に更新し、その後に処理を終了する。
図20を参照して、ステップS71では、抽出辞書EXDCに収められた登録ペット画像データをフラッシュメモリ44から読み出し、読み出された登録ペット画像データをSDRAM32の表示画像エリア32bに展開する。この結果、1または2以上の登録ペット画像がLCDモニタ38に表示される。ステップS73では、表示された登録ペット画像のいずれか1つを選択する選択操作が行われたか否かを判別する。判別結果がNOからYESに更新されるとステップS75に進み、選択された登録ペット画像に対応する参照顔パターンの特徴量を一般辞書GLDCから読み出す。
ステップS77では動画取込み処理を実行し、ステップS79では評価エリアEVAの全域を探索エリアとして設定する。ステップS81では、顔検出枠FDのサイズの可変範囲を定義するべく、最大サイズSZmaxを“200”に設定し、最小SZminを“20”に設定する。ステップS81の処理が完了すると、ステップS83で撮像用顔検出タスクを起動する。
フラグFLGpetは、撮像用顔検出タスクの下で“0”に初期設定され、参照顔パターンと符合する顔画像が発見されたときに“1”に更新される。ステップS85ではこのようなフラグFLGpetが“1”を示すか否かを判別し、判別結果がNOである限り、ステップS87で簡易AE処理を繰り返し実行する。スルー画像の明るさは、簡易AE処理によって適度に調整される。
判別結果がNOからYESに更新されるとステップS89に進み、顔枠KF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠KF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。顔枠KF1は、検出された顔画像を囲うようにLCDモニタ38に表示される。
ステップS91では厳格AE処理を実行し、ステップS93ではAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整される。ステップS95では静止画取り込み処理を実行し、ステップS97では記録処理を実行する。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。取り込まれた1フレームの画像データは、記録処理によって、記録媒体42に記録される。記録処理が完了すると、ステップS99で顔枠KF1の非表示をグラフィックジェネレータ46に要求し、その後にステップS79に戻る。
図22を参照して、ステップS101ではフラグFLGpetを“0”に設定し、ステップS103では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、ステップS105で顔検出枠FDのサイズを“SZmax”に設定し、ステップS107で顔検出枠FDを探索エリアの左上位置に配置する。ステップS109では顔検出枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。
ステップS111では算出された特徴量を一般辞書GLDCから読み出された参照顔パターンの特徴量と照合し、ステップS113では照合度が基準値REFを上回るか否かを判別する。判別結果がYESであればステップS115に進み、判別結果がNOであればステップS119に進む。
ステップS115では、現時点の顔検出枠FDの位置およびサイズを顔画像の位置およびサイズとして決定する。この決定処理は、上述したステップS89の顔枠表示処理に反映される。顔枠KF1は、現時点の顔検出枠FDの位置およびサイズに適合する態様でLCDモニタ38に表示される。ステップS115の処理が完了すると、ステップS117でフラグFLGpetを“1”に設定し、その後に処理を終了する。
ステップS119では、顔検出枠FDが探索エリアの右下位置に到達したか否かを判別する。判別結果がNOであれば、ステップS121で顔検出枠FDを既定量だけラスタ方向に移動させ、その後にステップS109に戻る。判別結果がYESであれば、顔検出枠FDのサイズが“SZmin”以下であるか否かをステップS123で判別する。判別結果がNOであれば、ステップS125で顔検出枠FDのサイズを“5”だけ縮小させ、ステップS127で顔検出枠FDを探索エリアの左上位置に配置し、その後にステップS109に戻る。ステップS123の判別結果がYESであれば、そのままステップS103に戻る。
以上の説明から分かるように、イメージャ16は、被写界を捉える撮像面を有して生画像データを繰り返し出力する。CPU26は、イメージャ16から出力された生画像データに基づくYUV形式の画像データを一般辞書GLDCに収められた複数の顔パターンの特徴量と照合して、照合度が基準値REFを上回る1または2以上の顔パターンをレジスタRGST1に抽出する(S47~S63)。CPU26はまた、顔パターンの最初の抽出に対応してイメージャ16から出力された生画像データに基づいて登録ペット画像を作成し(S33~S35)、作成された登録ペット画像と符合する画像の探索に用いる顔パターンをレジスタRGST1に抽出された1または2以上の顔パターンの中から選択する(S67)。
このように、登録ペット画像は、照合度が基準を上回る顔パターンの最初の発見に対応してイメージャ16から出力された生画像データに基づいて作成される。これによって、登録ペット画像の作成に要する時間が短縮される。また、作成された登録ペット画像と符合する画像の探索に用いる顔パターンは、抽出された1または2以上の顔パターンの中から選択される。これによって、登録ペット画像に符合する画像の探索性能が向上する。
なお、この実施例では、図17に示すステップS29〜S35の処理と並列して、図18に示すステップS53〜S63の処理が実行される。しかし、ステップS29〜S35の処理が実行される期間にステップS53〜S63の処理を中断するようにしてもよい。この場合、図24〜図25に示すように、フラグFLG_Cを“0”に設定するステップS131をステップS29の前段に追加し、フラグFLG_Cを“1”に更新するステップS133をステップS33の後段に追加し、そしてフラグFLG_Cが“0”から“1”に更新されるまでの期間に待機するステップS135をステップS59の後段に追加する必要がある。これによって、CPU26の負荷が軽減され、登録ペット画像データの作成に要する時間がさらに短縮される。
10 …ディジタルカメラ
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ

Claims (10)

  1. 被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段、
    前記撮像手段から出力された被写界像を複数の特徴パターンの各々と照合して照合度が基準を上回る1または2以上の特徴パターンを抽出する抽出手段、
    前記抽出手段による最初の抽出に対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成手段、および
    前記作成手段によって作成された基準画像と符合する画像の探索に用いる特徴パターンを前記抽出手段によって抽出された1または2以上の特徴パターンの中から選択する選択手段を備える、電子カメラ。
  2. 前記選択手段によって選択される特徴パターンは最大照合度に対応する特徴パターンに相当する、請求項1記載の電子カメラ。
  3. 前記選択手段によって選択された特徴パターンを前記作成手段によって作成された基準画像に割り当てる割り当て手段をさらに備える、請求項1または2記載の電子カメラ。
  4. 前記作成手段の作成処理に先立って撮像条件を調整する調整手段をさらに備える、請求項1ないし3のいずれかに記載の電子カメラ。
  5. 画像登録モードが選択されたときに前記抽出手段を起動する第1起動手段をさらに備える、請求項1ないし4のいずれかに記載の電子カメラ。
  6. 前記選択手段によって選択された特徴パターンと符合する画像を前記撮像手段から出力された被写界像から探索する探索手段、
    前記探索手段による発見に対応して前記撮像手段から出力された被写界像を記録する記録手段、および
    画像記録モードが選択されたとき前記探索手段を起動する第2起動手段をさらに備える、請求項1ないし5のいずれかに記載の電子カメラ。
  7. 前記複数の特徴パターンの各々は動物の顔画像の特徴パターンに相当する、請求項1ないし6のいずれかに記載の電子カメラ。
  8. 前記抽出手段による最初の抽出から前記作成手段の作成処理が完了するまで前記抽出手段の抽出処理を制限する制限手段をさらに備える、請求項1ないし7のいずれかに記載の電子カメラ。
  9. 被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
    前記撮像手段から出力された被写界像を複数の特徴パターンの各々と照合して照合度が基準を上回る1または2以上の特徴パターンを抽出する抽出ステップ、
    前記抽出ステップによる最初の抽出に対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ、および
    前記作成ステップによって作成された基準画像と符合する画像の探索に用いる特徴パターンを前記抽出ステップによって抽出された1または2以上の特徴パターンの中から選択する選択ステップを実行させるための、撮像制御プログラム。
  10. 被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
    前記撮像手段から出力された被写界像を複数の特徴パターンの各々と照合して照合度が基準を上回る1または2以上の特徴パターンを抽出する抽出ステップ、
    前記抽出ステップによる最初の抽出に対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ、および
    前記作成ステップによって作成された基準画像と符合する画像の探索に用いる特徴パターンを前記抽出ステップによって抽出された1または2以上の特徴パターンの中から選択する選択ステップを備える、撮像制御方法。
JP2009281178A 2009-12-11 2009-12-11 電子カメラ Pending JP2011124819A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009281178A JP2011124819A (ja) 2009-12-11 2009-12-11 電子カメラ
US12/948,316 US20110141304A1 (en) 2009-12-11 2010-11-17 Electronic camera
CN2010105828316A CN102098439A (zh) 2009-12-11 2010-12-06 电子照相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009281178A JP2011124819A (ja) 2009-12-11 2009-12-11 電子カメラ

Publications (1)

Publication Number Publication Date
JP2011124819A true JP2011124819A (ja) 2011-06-23

Family

ID=44131287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009281178A Pending JP2011124819A (ja) 2009-12-11 2009-12-11 電子カメラ

Country Status (3)

Country Link
US (1) US20110141304A1 (ja)
JP (1) JP2011124819A (ja)
CN (1) CN102098439A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2639744A2 (en) 2012-03-14 2013-09-18 Omron Corporation Image processor, image processing method, control program, and recording medium
US9053395B2 (en) 2012-03-15 2015-06-09 Omron Corporation Image processor, image processing method, control program and recording medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356658B2 (en) * 2017-07-10 2019-07-16 Google Llc Packet segmentation and reassembly for mesh networks

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068149A (ja) * 2005-08-02 2007-03-15 Canon Inc 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム並びに記憶媒体
JP2007150601A (ja) * 2005-11-25 2007-06-14 Nikon Corp 電子カメラ
JP2007150604A (ja) * 2005-11-25 2007-06-14 Nikon Corp 電子カメラ
JP2008299784A (ja) * 2007-06-04 2008-12-11 Casio Comput Co Ltd 被写体判定装置及びそのプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031228A (en) * 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
US6430307B1 (en) * 1996-06-18 2002-08-06 Matsushita Electric Industrial Co., Ltd. Feature extraction system and face image recognition system
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
US8306277B2 (en) * 2005-07-27 2012-11-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus
WO2007060980A1 (ja) * 2005-11-25 2007-05-31 Nikon Corporation 電子カメラおよび画像処理装置
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP5239126B2 (ja) * 2006-04-11 2013-07-17 株式会社ニコン 電子カメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068149A (ja) * 2005-08-02 2007-03-15 Canon Inc 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム並びに記憶媒体
JP2007150601A (ja) * 2005-11-25 2007-06-14 Nikon Corp 電子カメラ
JP2007150604A (ja) * 2005-11-25 2007-06-14 Nikon Corp 電子カメラ
JP2008299784A (ja) * 2007-06-04 2008-12-11 Casio Comput Co Ltd 被写体判定装置及びそのプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2639744A2 (en) 2012-03-14 2013-09-18 Omron Corporation Image processor, image processing method, control program, and recording medium
US9076035B2 (en) 2012-03-14 2015-07-07 Omron Corporation Image processor, image processing method, control program, and recording medium
US9053395B2 (en) 2012-03-15 2015-06-09 Omron Corporation Image processor, image processing method, control program and recording medium

Also Published As

Publication number Publication date
CN102098439A (zh) 2011-06-15
US20110141304A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
JP2012003539A (ja) 画像処理装置
JP5485712B2 (ja) 電子カメラ
US8179450B2 (en) Electronic camera
JP2011193063A (ja) 電子カメラ
JP2011124819A (ja) 電子カメラ
JP5865120B2 (ja) 電子カメラ
JP5485781B2 (ja) 電子カメラ
JP2012155044A (ja) 電子カメラ
JP5785034B2 (ja) 電子カメラ
JP5709500B2 (ja) 電子カメラ
JP2011130043A (ja) 電子カメラ
JP5297766B2 (ja) 電子カメラ
JP2010161644A (ja) 電子カメラ
JP2011239121A (ja) 電子カメラ
JP2011078041A (ja) 画像処理装置および電子カメラ
JP5356162B2 (ja) 物体像探索装置
US20110109760A1 (en) Electronic camera
JP2012129796A (ja) 画像処理装置
JP2013225020A (ja) 電子カメラ
JP2013143755A (ja) 電子カメラ
JP2011221602A (ja) 顔探索装置
JP2012244278A (ja) 電子カメラ
JP2012124725A (ja) 画像処理装置
JP2012150236A (ja) 電子カメラ
JP2014045318A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121122

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140304