JP2008283502A - デジタルカメラ、及び撮影制御方法、撮影制御プログラム - Google Patents

Abstract

【課題】画像認識に基づいた自動撮影時においてもユーザーが意図したタイミングでの撮影を確実に行うことが可能なデジタルカメラ、及び撮影制御方法、撮影制御プログラムを提供する。
【解決手段】所定の撮影モードが設定されたらスルー画像表示を開始し、同時に、画面上にターゲットマークＭを表示する。ユーザーにターゲットマークＭの移動操作により、画角内の任意の位置を指定させる。その後、指定された位置に対応する特定領域２００を対象として、特定人物又は任意の人物の顔等の所定の認識対象を画像認識する処理を継続して行い、認識対象が認識できた状態となったら（ｃ）、それをトリガーとして静止画撮影等の撮影に関する所定の動作を行う。
【選択図】 図８

Description

本発明は、デジタルカメラ、及び撮影制御方法、撮影制御プログラムに関するものである。

従来、被写体をＣＣＤやＭＯＳ型の固体撮像素子を用いて撮像し画像データとして記録するデジタルカメラにおいては、被写体を画像認識することによって撮影動作を制御する方法が知られている。例えば下記特許文献１には、撮影待機状態で撮像された被写体画像において人物の顔が認識できたら、それをトリガーとして自動的に撮影を行う技術が記載されており、係る技術によれば人物の顔が写った写真を自動的に撮影することが可能である。
特開２００３−９２７００号公報

しかしながら、上記技術では、単に人物の顔が認識されたことを撮影動作のトリガーとするため、実際の撮影タイミングは必ずしも撮影者等のユーザーが意図したタイミングとはならない。例えば人物の配置を考慮した撮影を行いた場合には、ある人物が予定していた位置に着いて準備ができる以前にその人物の顔が認識されると、その時点で撮影が行われてしまうという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、画像認識に基づいた自動撮影時においてもユーザーが意図したタイミングでの撮影を確実に行うことが可能なデジタルカメラ、及び撮影制御方法、撮影制御プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係るデジタルカメラにあっては、被写体を撮像する撮像手段と、前記撮像手段により撮像された被写体画像における、使用者により指定された画角内の任意の位置に対応する特定領域を対象として所定の認識対象を画像認識する画像認識手段と、この画像認識手段による所定の認識対象の認識結果に応じて撮影に関する所定の制御を実行する撮影制御手段とを備えたことを特徴とする。

また、請求項２記載の発明に係るデジタルカメラにあっては、前記撮像手段により撮像された被写体画像を表示する表示手段と、この表示手段に表示されている被写体画像上において使用者に画角内の任意の位置を指定させる位置指定制御手段とを備えたことを特徴とする。

また、請求項３記載の発明に係るデジタルカメラにあっては、前記位置指定制御手段は、前記被写体画像上において使用者に画角内の任意の位置として領域を指定させることを特徴とする。

また、請求項４記載の発明に係るデジタルカメラにあっては、前記位置指定制御手段は、前記被写体画像上において使用者に画角内の任意の位置として線を指定させることを特徴とする。

また、請求項５記載の発明に係るデジタルカメラにあっては、前記撮像手段により撮像された被写体画像に基づき前記特定領域を特定するための所定の認識対象を画像認識する第２の画像認識手段と、この第２の画像認識手段により所定の認識対象が認識された領域を前記被写体画像における前記特定領域として設定する特定領域設定手段とを備えたことを特徴とする。

また、請求項６記載の発明に係るデジタルカメラにあっては、予め登録された画像を記憶する認識対象記憶手段を備え、前記画像認識手段は、前記認識対象記憶手段に記憶されている画像に対応する被写体部分を認識対象として、前記被写体画像における前記特定領域を対象とした画像認識を行うことを特徴とする。

また、請求項７記載の発明に係るデジタルカメラにあっては、前記画像認識手段は、予め登録されている既知の特徴を備えた被写体部分を認識対象として、前記被写体画像における前記特定領域を対象とした画像認識を行うことを特徴とする。

また、請求項８記載の発明に係るデジタルカメラにあっては、複数の候補の中から前記所定の認識対象を使用者に選択させる選択制御手段を備え、前記画像認識手段は、前記被写体画像における前記特定領域を対象として、前記複数の候補の中から使用者に選択された認識対象を画像認識することを特徴とする。

また、請求項９記載の発明に係るデジタルカメラにあっては、前記画像認識手段は、前記被写体画像における前記特定領域を対象として所定の認識対象を当該認識対象の動きの有無を含めて画像認識することを特徴とする。

また、請求項１０記載の発明に係るデジタルカメラにあっては、前記画像認識手段は、前記被写体画像における前記特定領域を対象として、複数の認識対象を個別に画像認識することを特徴とする。

また、請求項１１記載の発明に係るデジタルカメラにあっては、前記画像認識手段は、前記被写体画像における前記特定領域を対象として、動きのある被写体部分を認識対象とし当該認識対象の動きのパターンを画像認識することを特徴とする。

また、請求項１２記載の発明に係るデジタルカメラにあっては、前記撮影制御手段は、前記画像認識手段による所定の認識対象の画像認識の成否双方に応じ撮影に関する異なる制御を実行することを特徴とする。

また、請求項１３記載の発明に係るデジタルカメラにあっては、前記画像認識手段は、前記被写体画像における前記特定領域を対象として、複数の認識対象を個別に画像認識し、前記撮影制御手段は、前記画像認識手段により画像認識された認識対象にそれぞれ対応した撮影に関する異なる制御を実行することを特徴とする。

また、請求項１４記載の発明に係るデジタルカメラにあっては、前記画像認識手段は、前記被写体画像における前記特定領域を対象として、動きのある被写体部分を認識対象とし当該認識対象の動きのパターンを画像認識し、前記撮影制御手段は、前記画像認識手段により画像認識された動きのパターンの種類に対応した撮影に関する制御を実行することを特徴とする。

また、請求項１５記載の発明に係るデジタルカメラにあっては、前記撮影制御手段は、前記画像認識手段による所定の認識対象の認識結果に応じて少なくとも撮影の中止、終了のうちのいずれかの動作に関する制御を実行することを特徴とする。

また、請求項１６記載の発明に係る撮影制御方法にあっては、被写体を撮像する撮像手段を備えたデジタルカメラにおける撮影制御方法であって、画角内の任意の位置を使用者に指定させる工程と、前記撮像手段により撮像された被写体画像における、使用者により指定された画角内の任意の位置に対応する特定領域を対象として所定の認識対象を画像認識する工程と、所定の認識対象の認識結果に応じて撮影に関する所定の制御を実行する工程とを含むことを特徴とする。

また、請求項１７記載の発明にあっては、被写体を撮像する撮像手段を備えたデジタルカメラが有するコンピュータに、前記撮像手段により撮像された被写体画像における、使用者により指定された画角内の任意の位置に対応する特定領域を対象として所定の認識対象を画像認識するための手順と、所定の認識対象の認識結果に応じて撮影に関する所定の制御を行う手順とを実行させるためのプログラムとした。

また、請求項１８記載の発明に係るデジタルカメラにあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体画像を表示する表示手段と、この表示手段に表示されている被写体画像上において使用者に任意の被写体部分を指定させる部分指定制御手段と、前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の動きの有無を画像認識する画像認識手段と、この画像認識手段による認識結果に応じて撮影に関する所定の制御を実行する撮影制御手段とを備えたことを特徴とする。

また、請求項１９記載の発明に係るデジタルカメラにあっては、前記撮影制御手段は、前記画像認識手段によって、使用者により指定された被写体部分に動きがあると認識されたことに応答して撮影に関する所定の制御を実行することを特徴とする。

また、請求項２０記載の発明に係るデジタルカメラにあっては、前記撮影制御手段は、前記画像認識手段によって、使用者により指定された被写体部分がいったん動いた後、止まったと認識されたことに応答して撮影に関する所定の制御を実行することを特徴とする。

また、請求項２１記載の発明に係るデジタルカメラにあっては、前記画像認識手段は、前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の同一方向への動き量を検出する動き量検出手段を含み、この動き量検出手段により検出された動き量に基づいて、使用者により指定された被写体部分の動きの有無を認識することを特徴とする。

また、請求項２２記載の発明に係る撮影制御方法にあっては、被写体を撮像する撮像手段を備えたデジタルカメラにおける撮影制御方法であって、前記撮像手段により撮像され表示手段に表示されている被写体画像上において使用者に任意の被写体部分を指定させる工程と、前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の動きの有無を画像認識する工程と、被写体部分の動きの有無の認識結果に応じて撮影に関する所定の制御を実行する工程とを含むことを特徴とする。

また、請求項２３記載の発明にあっては、被写体を撮像する撮像手段を備えたデジタルカメラが有するコンピュータに、前記撮像手段により撮像され表示手段に表示されている被写体画像上において使用者に任意の被写体部分を指定させる手順と、前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の動きの有無を画像認識する手順と、被写体部分の動きの有無の認識結果に応じて撮影に関する所定の制御を実行する手順とを実行させるためのプログラムとした。

本発明によれば、画像認識に基づいた自動撮影時においてもユーザーが意図したタイミングでの撮影を確実に行うことが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。

（実施形態１）
図１は、各実施形態に共通するデジタルカメラの概略構成を示すブロック図である。このデジタルカメラは、本発明の撮像手段として、光学系１により結像された被写体の光学像を光電変換し撮像信号として出力するＣＣＤ２を有している。ＣＣＤ２は、タイミングジェネレータ（ＴＧ）３により生成されるタイミング信号に基づきＣＣＤ駆動回路４によって生成される駆動信号により駆動される。ＣＣＤ２の出力信号はＡ／Ｄ変換器５でデジタル信号に変換された後、タイミングジェネレータ３を介して画像処理部６へ送られる。

前記光学系１には、フォーカスレンズ及びそれを光軸上で移動させるためのレンズモータが含まれ、レンズモータが制御部７の指令に従いレンズ駆動回路８により生成される駆動信号によって駆動されることによりフォーカスレンズが光軸上での位置を制御される。

前記画像処理部６は、Ａ／Ｄ変換後の撮像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（以下、ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらにオートホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。画像処理部６で変換されたＹＵＶデータは順次ＳＤＲＡＭ９に格納される。

また、デジタルカメラは、液晶モニタにより構成される表示部１０を有している。表示部１０は本発明の表示手段であり、記録モードが設定されているときＳＤＲＡＭ９に格納されたＹＵＶデータは、ＳＤＲＡＭ９において１フレーム分が蓄積される毎に画像処理部６においてビデオ信号に変換された後、表示部１０の前記液晶モニタにおいてスルー画像として画面表示される。

そして、シャッターキーによる撮影操作があった撮影時には、ＳＤＲＡＭ９に一時記憶された画像データが、ＪＰＥＧ変換部１１においてＪＰＥＧ方式により圧縮符号化された後、外部メモリＩ／Ｆ１２を介して外部メモリ１３に静止画ファイルとして記録される。また、動画撮影中には、ＳＤＲＡＭ９に所定のフレームレートで記憶された複数の画像データがＭＰＥＧ変換部１４においてＭＰＥＧ方式により動画データとして順次圧縮符号化された後、前記外部メモリ１３に動画ファイルとして記録される。

前記外部メモリ１３は、例えば各種のメモリカードにより構成され、外部メモリ１３に記録された静止画ファイル及び動画ファイルは、再生モードにおいてユーザーの選択操作に応じて適宜読み出されてＪＰＥＧ変換部１１やＭＰＥＧ変換部１４において伸張され、ＹＵＶデータとしてＳＤＲＡＭ９に展開された後、表示部１０において静止画像や動画像として表示される。

キー入力ブロック１５は、電源キーや、デジタルカメラの基本の動作モードである記録モードと再生モードとの切り替えを行うモード切替キー、ＭＥＮＵキー、シャッターキー等の複数キーを含み、各キーの操作状態を制御部７により随時スキャンされる。ＲＴＣ（Real Time clock）１６は現在時刻を計時する内蔵時計であり、セルフタイマー撮影に際しては、制御部７がＲＴＣ１６により生成される時刻信号に基づき所定のセルフタイマー時間（撮影までの残り時間）をカウントダウンすることによりセルフタイマーとして機能する。

制御部７は、ＣＰＵ及びその周辺回路等とから構成され、デジタルカメラの各部の制御、及び撮像信号に含まれる輝度情報に基づいたＡＥ制御や、コントラスト検出方式によるＡＦ制御等を行う。制御部７に上記の種々の制御を行わせるための各種のプログラムやデータは、記憶データの書き換えが可能な不揮発性メモリであるフラッシュメモリ１７に記憶されている。

フラッシュメモリ１７は、図２示したように、前述したプログラム等が記憶されているプログラムデータ格納領域１７ａと、デジタルカメラの動作内容に関する各種の設定データであって、ユーザーにより設定されたデータや、自動的に設定されたデータを記憶するための設定データ格納領域１７ｂと、ユーザーにより登録された任意の画像データを記憶する登録画像格納領域１７ｃとが確保されている。

本実施形態において前記プログラムデータ格納領域１７ａには、制御部７を本発明の選択制御手段、画像認識手段、撮影制御手段、位置指定制御手段として機能させるための撮影制御プログラム、及び図３（ａ）に示した認識対象コマンドテーブル１００が記憶されている。認識対象コマンドテーブル１００は、後述する自動撮影モードにおいて必要に応じ使用されるデータであって、撮影待機状態において逐次取得される被写体画像から認識すべき認識対象サイン１００ａと、それに対応する撮影に関する動作命令１００ｂとから構成される。

認識対象サイン１００ａは、前記被写体画像において所定のモデルパターンと特徴が一致（又は、ほぼ一致）する部分を検出する単純な画像認識（パターン認識）によって認識可能なサインである。本実施形態では認識対象サイン１００ａとして、手で表現できるサインＡ，Ｂの２種類のサインが設定されており、図３（ｂ）に示したようにサインＡが「チョキ」、サインＢが「パー」の形の手である。なお、プログラムデータ格納領域１７ａには、サインＡ，Ｂの認識に使用されるモデルパターンのデータも記憶されている。そして、前記動作命令１００ｂにはサインＡと対応して「セルフタイマーＯＮ」が設定され、サインＢと対応して「撮影中止」が設定されている。

本実施形態においてフラッシュメモリ１７は本発明の認識対象記憶手段であり、前記登録画像格納領域１７ｃにはユーザーにより登録された特定人物の顔部分の画像データ、例えば図４に示したような複数の顔画像１０１ａ、顔画像１０１ｂ等のデータが記録されている。係る画像データは、自動撮影モードにおいて、前述した単純な画像認識（パターン認識）とは異なり、個体識別を含む詳細な画像認識による被写体画像に対する顔認識に使用される。

なお、上記画像データ（顔画像）の登録は、デジタルカメラに用意されている所定の登録モードにおいて、その時点で撮影された画像や前記外部メモリ１３における所定の記録画像を前記表示部１０に画面表示した状態で、例えばユーザーに所定のキー操作により所望する部分を領域指定させ、指定された領域の画像データを切り出して記憶したり、画像内における任意の人物の顔部分を単純な画像認識により自動的に認識し、認識した顔部分の画像データを自動的に切り出して記録することにより行われる。

次に、以上の構成からなるデジタルカメラの本発明に係る動作を説明する。図５〜図７は、デジタルカメラにおいて、記録モードの下位モードとして予め設けられている自動撮影モードが設定されたときの制御部７の処理内容を示すフローチャートである。なお、ここでは、家族写真を撮影する場合であって、フラッシュメモリ１７の登録画像格納領域１７ｃには、図４に例示したような顔画像１０１ａ，１０１ｂ、すなわち「お父さん」や「お母さん」等の顔画像が既に記録（登録）されているものとする。なお、以下の説明では撮影者がお父さんであるものとする。

以下説明すると、図５に示したように制御部７は、自動撮影モードの設定とともに直ちにＣＣＤ２による被写体画像の取り込み、及び表示部１０におけるスルー画像の表示を開始する（ステップＳＡ１）。引き続き、スルー画像に重ねてＯＳＤ（On Screen Display）機能によりターゲットマークＭ（図８（ａ）、図９（ａ）参照）を表示させ、所定のキーによるターゲットマークＭの移動操作、及び確定操作による位置指定を撮影者に要求する（ステップＳＡ２）。このとき、撮影者は画角内での自分の立ち位置等を想定して、その位置を指定する。

そして、撮影者による位置指定が完了したら（ステップＳＡ３でＹＥＳ）、指定された位置に対応する領域であって、位置指定のために移動されている前記ターゲットマークＭの表示域を被写体画像に対して後述する画像認識を行うとき処理対象とするターゲット領域として設定する（ステップＳＡ４）。すなわちターゲット領域を示す座標情報をＳＤＲＡＭ９の作業領域に記憶する（ステップＳＡ４）。

引き続き、制御部７は、上記ターゲット領域で認識すべき認識対象の種類を選択するための所定の認識対象選択画面を表示部１０に表示し、撮影者に認識対象の種類を選択させる（ステップＳＡ５）。ここで選択可能な認識対象の種類は、前述した認識対象コマンドテーブル１００に設定されているサイン、または予めユーザーにより登録されている（登録画像格納領域１７ｃに画像データが記憶されている）顔である。そして、ここで選択された認識対象の種類が顔であった場合には（ステップＳＡ６で「顔」）、図６のステップＳＡ７以降の処理（以下、顔認識撮影処理という。）に移行する。

係る顔認識撮影処理では、例えば登録画像格納領域１７ｃに記録されている顔画像の一覧、及び予め決められている撮影に関する複数の動作命令の一覧からなる所定の選択画面を表示部１０に表示し、撮影者に被写体画像内（画角内）で認識対象とすべき顔と、所望する動作命令とを選択させる（ステップＳＡ７）。なお、本実施形態において選択可能な動作命令は「シャッターＯＮ」と「セルフタイマーＯＮ」との２種類、つまり通常撮影とセルフタイマー撮影といった異なる種類の撮影動作の実行である。

そして、撮影者により顔画像と動作命令とが選択されたら（ステップＳＡ８でＹＥＳ）、選択された顔画像を認識対象として設定する。すなわち選択された顔画像のデータを登録画像格納領域１７ｃから読み出し、ＳＤＲＡＭ９の所定領域に記憶する（ステップＳＡ９）。このとき、選択された動作命令もＳＤＲＡＭ９に記憶する。

引き続き、制御部７は、ＣＣＤ２による被写体画像の取り込み、及び表示部１０におけるスルー画像の表示を開始（再開）するとともに（ステップＳＡ１０）、選択された顔画像を認識対象とし、図５のステップＳＡ４で設定した被写体画像内のターゲット領域を処理対象とする顔認識を開始する（ステップＳＡ１１）。なお、ここで開始する顔認識は、先に説明した個体識別を含む詳細な画像認識であり、係る顔認識は、例えば新たな被写体画像が取り込まれる毎（フレーム毎）や、被写体画像が所定回数取り込まれる毎（複数フレーム毎）に行う。

その後、撮影者によって選択された動作命令を確認し（ステップＳＡ１２）、確認した動作命令が「シャッターＯＮ」であった場合には、以下の処理を実行する。すなわち被写体画像内のターゲット領域における顔認識を継続して行うとともに、その間に認識対象の顔が認識できたら（ステップＳＡ１３でＹＥＳ）、それをトリガーとしてＣＣＤ２による記録用の撮像、及び撮像された画像データ圧縮、記録からなる静止画撮影処理を実行する（ステップＳＡ１８）。

一方、ステップＳＡ１２で確認した動作命令が「セルフタイマーＯＮ」であった場合には、以下の処理を実行する。すなわち被写体画像内のターゲット位置における顔認識を継続して行うとともに、その間に認識対象の顔が認識できたら（ステップＳＡ１４でＹＥＳ）、それをトリガーとしてセルフタイマー撮影に向けて所定のセルフタイマー時間（例えば１０秒）のカウントダウンを開始する（ステップＳＡ１５）。

その後、カウントダウン中にターゲット領域で認識対象の顔が継続して認識されている間に（ステップＳＡ１６でＹＥＳ）、セルフタイマー時間のカウントダウンが完了したら（ステップＳＡ１７でＹＥＳ）、その時点で、ＣＣＤ２による記録用の撮像、及び撮像された画像データ圧縮、記録からなる静止画撮影処理を実行する（ステップＳＡ１８）。

また、カウントダウン途中にターゲット領域において認識対象の顔が認識できなくなった場合については（ステップＳＡ１７でＮＯ）、その時点で全ての処理を終了する。つまりセルフタイマー撮影を中止する。

したがって、例えば撮影者がお父さんであり、ステップＳＡ７において選択画面から撮影者（お父さん）の顔が認識対象とすべき顔として選択されていた場合には、撮影者が、図８（ａ）に示したように予め画角内にターゲット領域２００（図ではターゲットマークＭと同一）を設定した後、画角内に移動するとともに、図８（ｃ）に示したようにターゲット領域２００に相当する位置（以下、単にターゲット位置ともいう）で自分の顔をカメラに向けると、その時点で、予め選択しておいた種類の撮影（通常撮影、又はセルフタイマー撮影）が自動的に行われる。これにより、撮影者が予め想定していた図８（ｄ）に示したような構図の写真を得ることができる。

また、セルフタイマー撮影に際しては、撮影に向けてカウントダウンが開始された後であっても、撮影者は必要に応じて、例えばカメラから顔を背けたり、図８（ｅ）に示したように画角内から出たりするだけで（ターゲット領域２００から出るだけでもよい）、セルフタイマー撮影を中止させることができる。

また、ステップＳＡ１１以降に行われる顔認識は個体識別を含む詳細な画像認識によるものであり、例えば図８（ｂ）に示したように、撮影者以外の人物（お母さん）の顔がターゲット領域２００に入ったとしても撮影が行われることがないため、より具体的な構図をした自動撮影を行うことができる。

一方、上記と異なり、前述した図５のステップＳＡ６において確認した認識対象の種類、すなわち撮影者によって選択された認識対象の種類がサインであった場合には、図７のステップＳＡ１９以降の処理（以下、サイン認識撮影処理という。）に移行する。

係るサイン認識撮影処理に移行すると、制御部７は直ちにＣＣＤ２による被写体画像の取り込み、及び表示部１０におけるスルー画像の表示を開始（再開）する（ステップＳＡ１９）。さらに、前述した認識対象コマンドテーブル１００に認識対象サイン１００ａとして設定されているサインＡ，Ｂを認識対象とするとともに、被写体画像内の前記ターゲット領域を処理対象とするサイン認識を開始する（ステップＳＡ２０）。なお、ここで開始するサイン認識は、先に説明した単純な画像認識（パターン認識）であり、係るサイン認識は顔認識撮影処理における顔認識の場合と同様、例えば新たな被写体画像が取り込まれる毎（フレーム毎）や、被写体画像が所定回数取り込まれる毎（複数フレーム毎）に行う。

そして、サイン認識を開始した後、任意の時点で被写体画像内のターゲット領域においてサインＡ，Ｂのいずれか一方が認識できたら（ステップＳＡ２１でＹＥＳ）、認識できたサインに対応して設定されている動作命令の内容を確認する（ステップＳＡ２３）。その際、認識できた認識対象サインがサインＡであって、確認した動作命令が「セルフタイマーＯＮ」であれば、その時点で、セルフタイマー撮影に向けて所定のセルフタイマー時間（例えば１０秒）のカウントダウンを開始する（ステップＳＡ２４）。つまりサインＡが認識できたことをトリガーとしてカウントダウンを開始する。

そして、カウントダウン開始後においても、カウントダウンが完了するまでの間は（ステップＳＡ２５でＮＯ）、サイン認識を継続して行い、その間、サインＡ，Ｂのいずれも認識できず、かつカウントダウン中であれば（ステップＳＡ２２でＹＥＳ、ステップＳＡ２５でＮＯ）、引き続きサイン認識を継続する。しかる後、カウントダウンが完了したら（ステップＳＡ２５でＹＥＳ）、その時点で、ＣＣＤ２による記録用の撮像、及び撮像された画像データ圧縮、記録からなる静止画撮影処理を実行する（ステップＳＡ２６）。

また、カウントダウン中、又はカウントダウンを開始する以前に、被写体画像内のターゲット領域において認識できた認識対象サインがサインＢであって、確認した動作命令が「撮影中止」であったときには（ステップＳＡ２１でＹＥＳ、ステップＳＡ２３で「撮影中止」）、その時点で全ての処理を終了する。つまりカウントダウン中であるか否かに関係なく、サインＢが認識できたことをトリガーとしてセルフタイマー撮影を直ちに中止する。

したがって、撮影者が認識対象の種類としてサインを選択していた場合においては、図９（ａ）に示したように予め画角内にターゲット位置を指定した後、画角内の予め予定さしていた位置に移動するとともに、図９（ｂ）に示したように画角内のターゲット領域２００に相当する位置（以下、単にターゲット位置ともいう）でサインＡ（チョキ）を出すことにより、セルフタイマー撮影を開始することができる。これにより図９（ｃ）に示したような予め想定していた通りの構図の写真を得ることができる。

また、本実施形態では、撮影に向けてカウントダウンが開始された後であっても、図９（ｄ）に示したようにターゲット位置でサインＢ（パー）を出すことにより、必要に応じてセルフタイマー撮影を中止することができる。

以上のように本実施形態においては、画角内における予め指定したターゲット位置で顔やサインをカメラ側に認識させることにより、ユーザーは、画像認識に基づいた自動撮影時（通常の撮影、及びセルフタイマー撮影）においても意図したタイミング、すなわち被写体の状態が撮影者が意図した通りの状態となったタイミングでの撮影を確実に行うことができる。

また、カメラ側には、撮影開始等のトリガーを得るための画像認識を、ユーザーに指定されたターゲット位置（ターゲット領域）のみを対象として行わせればよいため、上記画像認識に伴う処理負担（本実施形態では制御部７の処理負担）を軽減することができる。

また、セルフタイマー撮影時には、撮影に向けてカウントダウンが開始された後であっても、必要に応じてセルフタイマー撮影を中止することができるため、無駄な撮影をなくすことができ、外部メモリ１３における無駄なメモリ消費等をなくすことができる。

ここで、以上説明した本実施形態では、撮影者にスルー画像上で任意の位置を指定させるための前記ターゲットマークＭの表示域を、そのまま被写体画像に対して顔認識やサイン認識を行うとき処理対象とするターゲット領域とするもの、つまりターゲット領域の大きさが固定されているものについて説明したが、ターゲット領域の大きさを適宜変更する構成としてもよい。

例えば撮影者にターゲット位置を指定させるとき、又はそれ以前の任意の時点においてユーザーにターゲット領域の大きさを予め指定（設定）させ、それを記憶しておくようにしてもよい。その場合、前記ターゲットマークＭの大きさについては、ターゲット領域の大きさに応じて変化させてもよいし、固定したままとしてもよい。

また、ターゲット領域の大きさを自動的に変化させるようにしてもよい。例えば、撮影者がターゲット位置を指定したときスルー画像として表示している被写体画像について、前述したサイン認識と同様の単純な画像認識（パターン認識）により画角内の任意の人物の顔部分を認識し、認識した顔部分の大きさに応じてターゲット領域の大きさを自動的に設定するようにしてもよい。

さらに、例えば前記ターゲットマークＭに代えて、例えば十字型のターゲットマークを表示し、撮影者には、そのターゲットマークの中心をターゲット位置として指定させるとともに、ターゲット領域の設定に際しては、指定されたターゲット位置を中心とする所定の大きさの領域をターゲット領域として設定するようにしてもよい。

また、本実施形態では、図６に示したステップＳＡ７以降の顔認識撮影処理において認識対象とする顔（顔部分の画像データ）を単一として、それと対応する動作命令をユーザーが複数の選択候補（「シャッターＯＮ」、「セルフタイマーＯＮ」）の中から選択させる場合について説明したが、以下のようにしてもよい。

例えばユーザーに、認識対象とする顔として予め登録されている中から複数の顔を選択可能とし、各々の顔について所望する動作命令を個別に選択させるようにしてもよい。その場合、ステップＳＡ１１以降では、画角内のターゲット領域に対して、選択された複数の顔を対象とした顔認識処理を行い、認識したいずれかの顔に対応する動作命令を実行させればよい。さらに認識対象として複数の顔を選択可能とする場合には、異なる顔に対応して同一の動作命令を選択できるようにしてもよい。

また、図７に示したステップＳＡ１９以降のサイン認識撮影処理において認識対象とするサイン（認識対象サイン）の種類（サインＡ、サインＢ）、及び各サインに対応する動作命令の内容が図３（ａ）に示した認識対象コマンドテーブル１００に設定されたものであり、その内容が変更できない構成を説明したが、認識対象サインの種類や、認識対象サインに対応する動作命令の内容の一方または双方をユーザーが自由に変更できる構成としてもよい。

その場合は、例えば認識対象サインとして選択可能なサイン（そのモデルパターンのデータ）や、動作命令の内容を複数用意しておき、所望とするサインと、それと対応する動作命令とをユーザーに選択させ、それらの組み合わせ内容を示す設定データ、つまり前記認識対象コマンドテーブル１００と同様の設定データをフラッシュメモリ１７の設定データ格納領域に記憶する所定の設定モードを設けるとともに、前述したサイン認識撮影処理においては、その設定データを使用する動作を行うようにすればよい。

また、本実施形態のようにサイン、及びそれと対応する動作命令とが固定されている構成、及び上記のようにユーザーによる変更又は設定を可能とする構成のいずれの場合についても、サインと動作命令とは必ずしも１対１の関係でなくともよく、複数のサインに同一の動作命令が対応して設定されていても構わない。また、サインと動作命令との組み合わせ内容を示す設定データの数、及び具体的なサイン及び動作命令の内容についても任意である。さらに、動作命令については撮影に関するものであれば前述した「セルフタイマーＯＮ」、「撮影中止」以外の動作命令でも構わない。

また、本実施形態では、被写体画像内におけるターゲット領域において認識すべき認識対象として、撮影者に特定人物の顔またはサインのいずれか一方を選択させ、それらのいずれか一方のみをターゲット領域において認識するようにしたが、以下のようにしてもよい。すなわち撮影者によってターゲット領域が設定された後には、被写体画像内におけるターゲット領域において撮影者に特定人物の顔とサインとの双方を認識する処理を繰り返し行い、それらの認識対象のいずれかが認識できたとき、それをトリガーとして、認識できた認識対象に対応して予め決められている、撮影に関する任意の動作を行うようにしてもよい。

また、設定されたターゲット領域において認識すべき認識対象は、前述したものに限らず、例えば任意の人物の顔部分であってもよい。その場合は、前述したサイン認識と同様の単純な画像認識（パターン認識）による顔認識を行うこととなる。また、本実施形態では単純な画像認識によってサインを認識するようにしたが、本実施形態における顔認識の場合と同様、ユーザーに、予めサインとして使用する特定の状態の手等の画像を登録させ、登録されたサインを認識対象として、個体識別を含む詳細な画像認識によるサイン認識を行うようにしてもよい。

また、認識対象は、単純な画像認識や個体識別を含む詳細な画像認識により認識可能なものである必要はなく、例えば特定の色（撮影者がきている服の色や、所持品の色等）を登録できるものとし、被写体画像において特定の色部分（但し、一定面積以上）を認識対象とし、それが認識できたことをトリガーとして、その色に対応して決められている所定の撮影動作を行うようにしてもよい。
（実施形態２）

次に、本発明の第２の実施形態について説明する。本実施形態は、図１に示した構成を備えるとともに、前記フラッシュメモリ１７のプログラムデータ格納領域１７ａに、自動撮影モードにおいて以下の処理を前記制御部７に行わせるための撮影制御プログラムが記憶されているデジタルカメラに関するものである。

図１０は、本実施形態において自動撮影モードが設定されたときの制御部７の処理内容を示すフローチャートである。制御部７は、自動撮影モードの設定とともに直ちにＣＣＤ２による被写体画像の取り込み、及び表示部１０におけるスルー画像の表示を開始する（ステップＳＢ１）。

引き続き、スルー画像に重ねてＯＳＤ機能により、図１１（ａ）に示したように縦線Ｌを表示させ、所定のキーによるその縦線Ｌの左右への移動、及び確定操作による水平位置の指定を撮影者に要求する（ステップＳＢ２）。そして、撮影者による位置指定が完了したら（ステップＳＢ３でＹＥＳ）、図１１（ｂ）に示したような、そのときの位置指定ラインＬの水平方向の座標位置を指定位置としてＳＤＲＡＭ９の作業領域に記憶する（ステップＳＢ４）。つまり位置指定ラインＬを後述する処理で使用するターゲットラインとして設定する。

引き続き、画角内における移動体の認識処理を開始する（ステップＳＢ５）。すなわちスルー画像の表示中に所定のフレーム周期で新たな被写体画像が取り込まれる毎に、前回の被写体画像と今回の被写体画像とを比較し、双方の被写体画像において互いに異なる部分を移動体部分として特定する処理を開始する。

以後、上記認識処理を繰り返し行うとともに、その間には、画角内における任意の移動体が、ステップＳＢ４で記憶した指定位置を通る縦方向のターゲットラインまで移動したか否かを確認する（ステップＳＢ６）。つまり前記認識処理で特定した移動体部分が上記ターゲットラインと接するか否かを確認する。

そして、図１１（ｃ）に示すように、画角内において移動体Ａは認識できているが、その移動体ＡがターゲットラインＴＬまで移動していない状態では（ステップＳＢ６でＮＯ）、移動体の認識処理を継続して行う。その後、図１１（ｄ）に示すように、移動体ＡがターゲットラインＴＬまで移動し、それが確認できたら（ステップＳＢ６でＹＥＳ）、それをトリガーとして、ＣＣＤ２による記録用の撮像、及び撮像された画像データ圧縮、記録からなる静止画撮影処理を実行する（ステップＳＢ７）。

したがって、本実施形態によれば、撮影者が、動いているものを主たる被写体として、それが画角内の所望の位置に移動した状態の構図の写真を自動的に撮影することができるとともに、その際、意図したタイミングでの撮影を確実に行うことができる。つまり、画角内における移動体Ａの移動位置を認識するといった画像認識に基づく自動撮影においても意図したタイミングタイミングでの撮影を確実に行うことができる。

なお、本実施形態においては、撮影者による位置指定操作に応じて画角内に設定するターゲットラインＴＬを縦線としたが、ターゲットラインＴＬは横線であってもよく、さらには斜線線であっても構わない。また、撮影者により指示された位置に前記ターゲットラインＴＬを１つだけ設定するようにしたが、必要に応じてターゲットラインを複数設定可能としてもよい。

また、画角内における任意の移動体を認識し、それがターゲットラインＴＬまで移動したことをトリガーとして自動的に撮影を行うようにしたが、任意の移動体ではなく、例えば特定人物の顔部分を継続的に認識するとともに、特定人物の顔がターゲットラインＴＬまで移動したことをトリガーとして自動的に撮影を行うようにしてもよい。また、認識対象は、特定人物の顔部分のように個体識別を必要とするものに限らず、例えば任意の人物の顔部分や、特定の色を有する部分であっても構わない。

また、任意の移動体ＡがターゲットラインＴＬまで移動したことをトリガーとして静止画撮影を行う場合について説明したが、撮影に関する動作であれば静止画撮影に限らず、例えば上記トリガーを複数回の静止画撮影を連続して行う連続撮影や、動画撮影の開始用のトリガーとしてもよい。

また、前述したようにターゲットラインを複数設定可能とする場合には、例えば以下のようにしてもよい。すなわち図１２に示したように第１のターゲットラインＴＬ１と第２のターゲットラインＴＬ２を設定可能とし、任意の移動体Ａ等が第１のターゲットラインＴＬ１まで移動したことをトリガーとして連続撮影や動画撮影を開始し、さらに任意の移動体Ａ等が第２のターゲットラインＴＬ２まで移動したことをトリガーとして連続撮影や動画撮影を終了するようにしてもよい。つまり任意の移動体等が複数のターゲットラインの各々に移動したことをトリガーとして、それぞれ異なる動作を行うようにしてもよい。

さらに、本実施形態では、画角内に存在する認識対象（移動体）の位置を追跡し、それがターゲットラインまで移動したことを撮影に関する動作のトリガーとしたが、以下のようにしてもよい。例えば被写体画像における前述したターゲットラインを含む所定領域、例えばターゲットラインを左右方向または上下方向の中心とした矩形領域のみを認識領域として認識対象の認識を行うものとし、その認識領域内で認識対象が認識できたことを撮影に関する動作のトリガーとしてもよい。

（実施形態３）
次に、本発明の第３の実施形態について説明する。本実施形態は、前述した第１及び第２の実施形態とは異なる方法により位置指定された画角内の任意の位置を、後述する画像認識の処理対象とするターゲット領域として設定するデジタルカメラに関するものである。

本実施形態においてデジタルカメラは、図１に示した構成に加えて、一般的なセルフタイマー撮影時におけるカウントダウン中に制御部７の制御により点滅駆動されることによりセルフタイマーランプとして機能するＬＥＤ（図示せず）を有している。また前記フラッシュメモリ１７のプログラムデータ格納領域１７ａには、自動撮影モードにおいて前記制御部７に後述する処理を行わせることにより、それを本発明の第２の画像認識手段、及び特定領域設定手段として機能させる撮影制御プログラムが記憶されている。

以下、本実施形態において自動撮影モードが設定されたときの動作を説明する。図１３は、そのときの制御部７の処理内容を示すフローチャートである。

制御部７は、自動撮影モードの設定とともに直ちにＣＣＤ２による所定のフレームレート（３０ｆｐｓ等）での被写体画像の取り込みを開始し（ステップＳＣ１）、さらに所定のセルフタイマー時間（例えば１０秒）のカウントダウンを実行する（ステップＳＣ２）。そして、上記カウントダウンが完了した段階で、前述したＬＥＤの点滅を開始することにより、ユーザーに対して、画角内にターゲット領域を特定する処理を開始したことを報知する（ステップＳＣ３）。

引き続き、逐次取り込まれる各フレームの被写体画像に基づいて画角内で動きのある被写体領域、及びその被写体領域における任意の被写体部分の動き量を検出する処理を開始する（ステップＳＣ４）。係る被写体領域、動き量の検出方法については任意であるが、例えば以下の方法により行う。すなわち画角内を処理単位とする複数の処理領域に分け、一定期間（例えば１秒間）内に前回の被写体画像と今回の被写体画像との間で画像データを繰り返し比較する。比較に際しては、処理領域毎に互いに対応する画素同士の画素値の差分の総和を取得する。そして、一定期間において前記総和が１度でも所定の基準以上であった１又は複数の処理領域を動きのあった被写体領域とするとともに、その１又は複数の処理領域の各々において最大であったときの前記総和を合計し、その総和合計を任意の被写体部分の動き量とする。

そして、上記検出処理を行う毎に、検出した動き量が閾値以上であるか否かを判別し、閾値以上でなければ（ステップＳＣ５でＮＯ）、上記検出処理を繰り返す。一方、動き量が閾値以上であって、画角内の任意の被写体部分に動きがあり、かつその動き量が基準以上であるときには（ステップＳＣ５でＹＥＳ）、動き量が閾値以上であった被写体領域をターゲット領域として設定する。すなわちターゲット領域の座標情報を取得し、それをＳＤＲＡＭ９の作業領域に記憶する（ステップＳＣ６）。さらに、ＬＥＤの点滅状態から点灯状態に変化させることにより、ユーザーに対して、ターゲット領域の設定が完了したことを報知する（ステップＳＣ７）。

これ以後は、前記ターゲット領域における任意の被写体部分の動きの有無を逐次検出し、直近の所定時間（後述する一定時間以上）について、検出結果をＳＤＲＡＭ９の作業領域に更新記憶する（ステップＳＣ８）。なお、被写体部分の動きの有無の検出は、例えば新たな被写体画像が取り込まれる毎に前回のターゲット領域と今回のターゲット領域とにおいて画素値の差分の総和を取得し、この差分の総和が閾値以上であけば動きがあるものとし、閾値に達していなければ動きがないものとする。

また、上記動きの有無を検出する毎に、直近の所定時間内の前記検出結果に基づき、前記ターゲット領域の被写体部分に一定時間（例えば２秒間）、継続して動きがないか否かを確認し、動きがある間には（ステップＳＣ９でＮＯ）、引き続き被写体部分の動きの有無を検出する。

やがて、一定時間継続して動きがないことが確認できたら（ステップＳＣ９でＹＥＳ）、今度は、前記ターゲット領域を対象とした任意の被写体部分の動き方向の認識処理を開始する（ステップＳＣ１０）。動き方向の認識方法は任意であるが、例えば以下の方法により行う。

まず、検出を開始した当初の被写体画像のターゲット領域において、輪郭抽出により取得した輪郭線の有無に基づいて動き方向の検出に適した注目領域を設定する。以後、現在よりも１つ前の被写体画像（ｉ−１フレーム）における前記注目領域の画像データを参照画像データとしてＳＤＲＡＭ９の作業領域に記憶しておき、現在の被写体画像（ｉフレーム）に、前の注目領域を所定の画素分だけ外周方向へそれぞれずれた新たな注目領域を複数設定し、新たな注目領域の画像データと上記参照画像データとの相関演算を行う。

その際、相関度が高ければその新たな注目領域に移動後の被写体部分が存在するものとして、相関度が最大となる新たな注目領域における前の注目領域に対するずれ方向を被写体部分が動いた方向として取得する。係る動き方向の取得を複数回行い、それらを平均化した方向を最終的な動き方向とする。なお、相関度が最大となる新たな注目領域と前の注目領域とのずれ量が閾値に達していない場合は、動きが無いものとして扱う。

そして、ターゲット領域において任意の被写体部分の動き方向が認識できるまでは上記の認識処理を繰り返し行い（ステップＳＣ１１でＮＯ）、動き方向が認識できたら（ステップＳＣ１１ＹＥＳ）、その後、一定時間（例えば１、２秒）待ってから（ステップＳＣ１２でＹＥＳ）、認識した動き方向に対応する撮影に関する所定の処理であって、予め所定の動き方向に対応して決められている内容の処理を実行する（ステップＳＣ１３）。

例えば認識した動き方向が「上方向」であれば静止画撮影を行い、「左方向」であれば動画撮影を開始し、「右方向」であれば一定の時間間隔で静止画撮影を連続して行う連写動作（連続撮影）を開始し、「下方向」であれば全ての撮影を直ちに終了する。

したがって、本実施形態においては、ユーザーは、画角内の任意の位置で例えば手を動かす等の動作（合図）によって所望するターゲット位置を指定し、次に一定時間だけターゲット位置での動きを止め、しかる後、上記ターゲット位置で再び手を動かす等の動作を行うことにより、自分が意図したタイミングでの撮影を確実に行うことができる。つまり、画角内における任意の被写体部分の動きの有無を認識するといった画像認識に基づく自動撮影においても意図したタイミングタイミングでの撮影を確実に行うことができる。しかも、その際の撮影動作の具体的内容を適宜選択することができる。

また、第１の実施形態と同様、カメラ側には、撮影開始等のトリガーを得るための画像認識を、ユーザーに指定されたターゲット位置（ターゲット領域）のみを対象として行わせればよいため、上記画像認識に伴う処理負担（本実施形態では制御部７の処理負担）を軽減することができる。

特に、本実施形態では、ターゲット位置の指定を画角内において直接行わせるため、指定したターゲット位置において上記動作（合図）を確実に行わせることができる。したがって、前述したターゲット領域の大きさを必要最小限とすることができ、それによっても上記画像認識に伴う処理負担（本実施形態では制御部７の処理負担）を軽減することができる。同時に、ユーザーは、ターゲット位置の指定を画角内において直接行うため、それをスルー画像上で指定する場合に比べると、使い勝手もよい。

また、本実施形態における自動撮影モードでは、ユーザーに対して、画角内にターゲット領域を特定する処理を開始したことをＬＥＤの点滅開始により報知し、かつターゲット領域の設定が完了したことを、ＬＥＤを点滅状態から点灯状態に変化させることにより報知するため、カメラ側の処理状態を確認できるため、ユーザー等は、画角内におけるターゲット領域の指定や、その後における撮影に関する動作指示を行うタイミングを明確に知ることができ、これによっても使い勝手がよい。

ここで、本実施形態においては、画角内でのユーザー等の動き等に応じて画角内に設定したターゲット領域において任意の被写体部分の動き方向を認識するものについて説明したが、上記ターゲット領域では、任意の被写体部分の動き方向ではなく、前述した第１の実施形態と同様、予め登録されている特定の人物の顔や、任意の人物の顔部分、予め設定又は登録されている所定のサイン（認識対象サイン）、特定の色部分等を認識対象とするようにしてもよい。さらに、それらの認識対象についての動き方向を認識するようにしてもよい。

また、本実施形態においては、画角内でのユーザー等の動き等に応じて画角内にターゲット領域を設定するものについて説明したが、動き量ではなく、前述した第１の実施形態と同様、予め登録されている特定の人物の顔や、任意の人物の顔部分、予め設定又は登録されている所定のサイン（認識対象サイン）、特定の色部分等を認識し、この認識領域をターゲット領域として設定するようにしてもよい。

つまり、ターゲット領域を特定するために画像認識すべき認識対象については、動きのある被写体部分に限らず、予め決められているものであれば他の特定の被写体部分とすることができる。

また、認識対象が認識できたことをトリガーとして実行する撮影に関する処理に関しても、撮影に関する処理であれば、その内容は任意であるとともに、その内容や認識対象との対応関係が固定的に設定されている構成ではなく、ユーザーが自由に変更できる構成であってもよい。また、認識対象が認識できたことをトリガーとして実行する撮影に関する処理は、認識対象や動き方向に関係なく、特定の処理のみ（例えば静止画撮影のみ）であっても構わない。

また、本実施形態では、ユーザーに対して、画角内にターゲット領域を特定する処理を開始したことをＬＥＤの点滅開始により報知し、かつターゲット領域の設定が完了したことを、ＬＥＤを点滅状態から点灯状態に変化させることにより報知するものについて説明したが、係る報知動作は必ずしも行わずともよい。また、報知動作を行う場合には、それをＬＥＤ以外の他の報知手段によって行ってもよい。例えばデジタルカメラがスピーカーを備えた構成であれば音声や音による報知動作を行うようにしたり、一方の報知動作をＬＥＤにより行い、かつ他方の報知動作をスピーカーにより行うようにしたりしてもよい。

（実施形態４）
次に、本発明の第４の実施形態について説明する。本実施形態は、前述した第１〜第３の実施形態とは異なり、スルー画像上で指定された任意の被写体部分が動いたことをトリガーとして予め決められている撮影に関する所定の動作を行うデジタルカメラに関するものである。

本実施形態のデジタルカメラは、図１に示した構成を備えるとともに、前記フラッシュメモリ１７のプログラムデータ格納領域１７ａには、自動撮影モードにおいて前記制御部７に後述する処理を行わせることにより、それを本発明の部分指定制御手段、画像認識手段（動き量検出手段を含む）として機能させる撮影制御プログラムが記憶されている。

図１４は、本実施形態において自動撮影モードが設定されたときの制御部７の処理内容を示すフローチャートである。制御部７は、自動撮影モードの設定とともに直ちにＣＣＤ２による被写体画像の取り込み、及び表示部１０におけるスルー画像の表示を開始する（ステップＳＤ１）。引き続き、スルー画像に重ねてＯＳＤ機能により所定のポインタ（図示せず）を表示させ、所定のキーによる前記ポインタの移動操作、及び確定操作による、画角内における所望する被写体部分（例えば人物の顔や手、持ち物）の指定を撮影者に要求する（ステップＳＤ２）。

制御部７は、撮影者により任意の被写体部分が指定されたら（ステップＳＤ３でＹＥＳ）、その時点における被写体画像に、その後における指定された被写体部分の動きの検出に適する注目領域を設定し、注目領域の画像データを参照画像データとしてＳＤＲＡＭ９の作業領域に記憶する（ステップＳＤ４）。以下、係る処理を被写体ロックという。なお、上記注目領域は、例えば被写体画像に対する輪郭抽出処理により得られた輪郭線により区画される区画領域のうちで、前記ポインタの移動先（前記確定操作時の位置）を含む特定の区画領域、及びそれと隣接するとともに領域内の色の類似度合が所定の度合以上である複数の区画領域とを囲む最小矩形領域であり、その大きさは撮影者に指定される被写体部分に応じて変化する。

引き続き、制御部７は、所定のフレームレート（３０ｆｐｓ等）で取り込まれる各フレームの被写体画像を動画データとして記録する動画撮影を自動的に開始する（ステップＳＤ５）。その後、動画撮影中には、各フレームの被写体画像における前記注目領域の画像データと、前記被写体ロックに際して記録した参照画像データとの相関演算を行い、演算により取得した双方の画像データの間における相関度を、指定された被写体部分の動き量として間接的に取得する動き量検出処理を行う（ステップＳＤ６）。

そして、上記動き量検出処理により検出した動き量が閾値以上であって、指定された被写体部分が動いたと判断できたときには（ステップＳＤ７でＹＥＳ）、それをトリガーとしてＣＣＤ２による静止画記録用の撮像、及び撮像された画像データ圧縮、記録からなる静止画撮影処理を実行する（ステップＳＤ８）。

また、静止画撮影後においても動画撮影を継続するとともに、例えば撮影終了が指示されたり、規定の動画記録時間が経過したり、所定の外部メモリ１３の空き容量がなくなったりした時点で、動画撮影を含めた全ての処理を終了する。

以上のように本実施形態においては、動画撮影中において静止画撮影を自動的に行うことができるとともに、撮影者がその静止画撮影を特定の被写体部分が動いた瞬間に行わせたいときには、スルー画像上で予め所望する被写体部分を指定しておくだけで、自分が意図したタイミングでの静止画撮影を確実に行うことができる。つまり、スルー画像上で指定された任意の被写体部分の動きを認識するといった画像認識に基づく自動撮影（静止画撮影）においても意図したタイミングタイミングでの撮影を確実に行うことができる。

しかも、本実施形態では、特定の被写体部分の動きの有無を、特定の被写体部分の動き量が閾値以上であるか否かに基づき判断するため、例えば三脚等を使用することなく手持ちによる撮影を行っている場合におけるカメラ本体の揺れや、特定の被写体部分の意図とは異なる僅かな動きをトリガーとして静止画撮影が行われてしまうようなことがない。よって、撮影者が意図したタイミングでの静止画撮影をより一層確実に行うことができる。

なお、本実施形態における自動撮影モードでは、撮影者により任意の被写体部分が指定された（被写体ロックが行われた）ことをトリガーとして動画撮影を開始するようにしたが、これに限らず、動画撮影については、例えば自動撮影モードが設定されたことをトリガーとして開始するようにしたり、また、自動撮影モードが設定された後、所定のキー操作により撮影者の動画撮影開始指示があった時点で開始するようにしたりしてもよい。

また、自動撮影モードでは、例えば動画撮影は行わずに、単に撮影者に指定された被写体部分が動いたことをトリガーとする静止画撮影のみを行うようにしてもよいし、また、前述したように動画撮影を所定のキー操作に応じて開始する場合には、動画撮影が開始される以前であっても、被写体部分が動いたことをトリガーとして静止画撮影を行うようにしてもよい。

（実施形態５）
次に、本発明の第５の実施形態について説明する。本実施形態も前述した第４の実施形態と同様、スルー画像上で指定された任意の被写体部分が動いたことをトリガーとして予め決められている撮影に関する所定の動作を行うデジタルカメラに関するものである。なお、前記フラッシュメモリ１７のプログラムデータ格納領域１７ａには、自動撮影モードにおいて前記制御部７に第４の実施形態とは異なる以下の処理を行わせるための撮影制御プログラムが記憶されている。

図１５は、本実施形態において自動撮影モードが設定されたときの制御部７の処理内容を示すフローチャートである。制御部７は、自動撮影モードの設定とともに直ちにＣＣＤ２による被写体画像の取り込み、及び表示部１０におけるスルー画像の表示を開始する（ステップＳＥ１）。引き続き、スルー画像に重ねてＯＳＤ機能により所定のポインタ（図示せず）を表示させ、所定のキーによる前記ポインタの移動操作、及び確定操作による、画角内における所望する被写体部分（人物の顔や手等）の指定を撮影者に要求する（ステップＳＥ２）。ここまでは、第５の実施形態と同様である。

引き続き、制御部７は、撮影者により任意の被写体部分が指定されたら（ステップＳＥ３でＹＥＳ）、その時点における被写体画像に、その後における指定された被写体部分の動きの検出に適する第４の実施形態で説明した注目領域を設定し、その注目領域の被写体画像における位置（座標位置）をＳＤＲＡＭ９の作業領域に記憶するとともに、設定した注目領域に基づいた、指定された被写体部分の動きの量を検出する処理を開始する（ステップＳＥ４）。

上記動き量検出処理においては、現在よりも１つ前の被写体画像（ｉ−１フレーム）における前記注目領域の画像データを参照画像データとしてＳＤＲＡＭ９の作業領域に記憶しておき、現在の被写体画像（ｉフレーム）に、前の注目領域を所定の画素分だけ外周方向へそれぞれずれた新たな注目領域を複数設定し、新たな注目領域の画像データと上記参照画像データとの相関演算を行う。その際、相関度が高ければその新たな注目領域に移動後の被写体部分が存在するものとして、相関度が最大となる新たな注目領域における前の注目領域に対するずれ方向を被写体部分が動いた方向とする。

さらに、その方向に向かい、前の注目領域との距離（ずれ量）を変化させながら新たな注目領域を順に設定し、かつ新たな注目領域を設定する毎に前記相関演算を行い、相関度が最大となる新たな注目領域と前の注目領域との距離を被写体部分の動き量として取得する。しかる後、相関度が最大となる新たな注目領域の画像データを参照画像データとして更新記憶する。

引き続き、制御部７は、一定の時間間隔で静止画撮影を行う連写動作（連続撮影）を開始するとともに、ＳＤＲＡＭ９を所謂リングバッファとして使用し、連写動作に伴い取得された静止画データであって、最新の静止画データを含む直近（過去）の一定期間分の静止画データだけを更新しながらバッファリングする処理を開始する（ステップＳＥ５）。

また、上記連写動作を開始した後には、撮影者に指定された被写体部分が動いたか否かを逐次確認する（ステップＳＥ６）。係る確認は、前述した動き量検出処理の開始時に位置を記憶しておいた処理開始当初の注目領域と、被写体部分の動き量の検出に際して設定した現在の注目領域と間の距離を、指定された被写体部分における指定後の動き量として取得し、それが閾値以上であれば、指定された被写体部分が動いたと判断することにより行う。

そして、指定された被写体部分が動いたと判断できたときには（ステップＳＥ６でＹＥＳ）、それをトリガーとして、その時点でＳＤＲＡＭ９にバッファリングされている過去分の静止画データを外部メモリ１３に記録するとともに、これ以後、連写動作によって取得される新たな静止画データの外部メモリ１３への記録を開始する（ステップＳＥ７）。

また、この後には、動き量検出処理によって逐次検出している動き量に基づき、いったん動いた被写体部分の動きが止まったか否かを逐次確認する（ステップＳＥ８）。係る確認では、検出した動き量が閾値以下であれば、指定された被写体部分が停止したと判断することにより行う。

そして、被写体部分の動きが止まったと判断できたときには（ステップＳＥ８でＹＥＳ）、それをトリガーとして、その時点で連写動作を終了するとともに（ステップＳＥ９）、全ての処理を終了する。

以上のように本実施形態においては、任意の撮影タイミングを基準として、過去一定時間内における所定時間毎の静止画像と、それに続く任意の時間内における一定時間毎の静止画像を個別に記録する連写（静止画像像の連続撮影）を自動的に行うことができる。その際、撮影者は、スルー画像上で予め所望する被写体部分、例えば赤ちゃんや、サッカーのＰＫ戦でシュートを打つ選手を指定しておけば、赤ちゃんが立ち上がる瞬間や、サッカーのＰＫ戦で選手がシュートを行う瞬間といった、所望するタイミングを基準の撮影タイミングとした連写を確実に行うことができる。つまり、スルー画像上で指定された任意の被写体部分の動きを認識するといった画像認識に基づく自動撮影（静止画像像の連続撮影）においても意図したタイミングタイミングでの撮影を確実に行うことができる。

また、前述した第４の実施形態と同様、特定の被写体部分の動きの有無を、特定の被写体部分の動き量が閾値以上であるか否かに基づき判断するため、所望するタイミングを基準の撮影タイミングとした連写をより一層確実に行うことができる。

なお、本実施形態においては、過去分の静止画データをバッファリングするための連写動作を、撮影者により任意の被写体部分が指定された（被写体ロックが行われた）ことをトリガーとして開始するものについて説明したが、これに限らず、上記連写動作は、自動撮影モードが設定されたことをトリガーとして開始するようにしてもよい。

また、撮影者により指定された任意の被写体部分がいったん動いた後、その動きが止まったことが認識できたことをトリガーとして連写を自動的に終了するようにしたが、これに限らず、例えば連写による撮影回数が規定数に達したことをトリガーとして、つまり被写体部分の動きを認識することなく連写を自動的に終了するようにしてもよい。

また、自動撮影モードでは、過去一定時間を含む任意の時間内における一定時間毎の静止画像を個別に記録する連写ではなく、過去分の静止画像を含まない一定時間毎の静止画像を個別に記録する連写を行うものとしてよい。その際には、例えば撮影者により任意の被写体部分が指定された（被写体ロックが行われた）ことや、撮影者により指定された被写体部分が動いたことを連写開始のトリガーとしてもよいし、また、自動撮影モードが設定されたことや、自動撮影モードが設定された後、所定のキー操作により連写開始の指示があったことを連写開始のトリガーとしてもよい。

そして、例えば撮影者により任意の被写体部分が指定されたこと、又は自動撮影モードが設定されたこと、所定のキー操作により連写開始の指示があったことのいずれかをトリガーとして連写を開始する場合には、上記被写体部分が動いたことをトリガーとして連写を終了したり、上記被写体部分がいったん動いた後、その動きが停止したことをトリガーとして連写を終了したりすればよい。さらに、上記被写体部分が動いたことをトリガーとして連写をいったん停止し、その後、上記被写体部分の動きが止まったことをトリガーとして連写を再開し、しかる後、撮影枚数や撮影時間が所定の枚数や時間に達した時点、メモリ残量（ＳＤＲＡＭ９に予め確保したバッファ領域や外部メモリ１３の残量）がなくなった時点、所定のキー操作による撮影終了指示があった時点のいずれかの時点で連写を終了したりしてもよい。

また、上記とは異なり、撮影者により指定された被写体部分が動いたことをトリガーとして連写を開始する場合には、例えば上記被写体部分の動きが停止したことをトリガーとして連写を終了すればよい。さらに、上記被写体部分の動きが停止したことをトリガーとして連写をいったん停止した後においても被写体部分の動き量の検出を継続して行い、上記被写体部分が再び動いたことをトリガーとして連写を再開するようにしてもよい。係る場合には、撮影枚数や撮影時間が所定の枚数や時間に達した時点、メモリ残量がなくなった時点、所定のキー操作による撮影終了指示があった時点のいずれかの時点で連写を終了することとなる。

さらに、自動撮影モードでは、上述したような過去分を含む連写ではなく、任意の撮影タイミングを基準とした過去一定時間内の動画像、及び任意の撮影タイミング以降の動画像を記録する動画撮影を行うようにしてもよい。その際には、例えば基準とする撮影タイミングを、撮影者に指定された被写体部分が動いたタイミングとしてもよい。その場合においては、指定した被写体部分が動いた瞬間のフレームが確実に含まれた動画像を撮影することができる。

また、上記のような動画撮影ではなく、単にある撮影タイミング以後の任意の時間内における動画撮影を行うようにしてもよい。その際、動画撮影の開始は、例えば撮影者により任意の被写体部分が指定された（被写体ロックが行われた）ことをトリガーとして開始したり、撮影者により指定された被写体部分が動いたことをトリガーとして開始したり、また、自動撮影モードが設定されたことをトリガーとして開始したり、自動撮影モードが設定された後、所定のキー操作により動画撮影開始の指示があったことをトリガーとして開始したりすればよい。

そして、例えば撮影者により任意の被写体部分が指定されたこと、又は自動撮影モードが設定されたこと、所定のキー操作により動画撮影開始の指示があったことのいずれかをトリガーとして動画撮影を開始する場合には、上記被写体部分の動きがいったん止まったことをトリガーとして動画撮影を終了すればよい。

また、上記とは異なり、撮影者により指定された被写体部分が動いたことをトリガーとして動画撮影を開始する場合には、例えば上記被写体部分の動きが停止したことをトリガーとして動画撮影を終了すればよい。さらに、上記被写体部分の動きが停止したことをトリガーとして動画撮影をいったん停止した後においても被写体部分の動き量の検出を継続して行い、上記被写体部分が再び動いたことをトリガーとして動画撮影を再開するようにしてもよい。係る場合には、撮影時間が所定の時間に達した時点、メモリ残量がなくなった時点、所定のキー操作による撮影終了指示があった時点のいずれかの時点で動画撮影を終了することとなる。

一方、以上説明した第１〜第５の実施形態においては、制御部７を本発明の画像認識手段として機能させるデジタルカメラについて説明したが、これに限らず、デジタルカメラには、本発明の画像認識手段を構成する所定の画像認識処理回路を別途設けるようにしてもよい。また、本発明を一般的な構成を有するデジタルカメラに適用する場合について説明したが、これに限らず、本発明は携帯電話端末等の他の情報機器に内蔵されたデジタルカメラにも適用可能である。

各実施形態に共通するデジタルカメラのブロック図である。 第１の実施形態におけるフラッシュメモリ内のメモリ領域を示す概念図である。 （ａ）は、認識対象コマンドテーブルを示す概念図、（ｂ）は、認識対象サインの具体的内容を示した図である。 登録画像格納領域に記憶されている画像データを示す図である。 第１の実施形態における自動撮影モードでの動作を示すフローチャートである。 図５に続くフローチャートである。 図５に続くフローチャートである。 自動撮影モードで認識対象として顔が選択された場合の動作内容を例示する説明図である。 自動撮影モードで認識対象としてサインが選択された場合の動作内容を例示する説明図である。 第２の実施形態における自動撮影モードでの動作を示すフローチャートである。 同自動撮影モードでの動作内容を例示する説明図である。 第２の実施形態の変形例を示す図である。 第３の実施形態における自動撮影モードでの動作を示すフローチャートである。 第４の実施形態における自動撮影モードでの動作を示すフローチャートである。 第５の実施形態における自動撮影モードでの動作を示すフローチャートである。

符号の説明

２ ＣＣＤ
６ 画像処理部
７ 制御部
９ ＳＤＲＡＭ
１０ 表示部
１３ 外部メモリ
１５ キー入力ブロック
１６ ＲＴＣ
１７ フラッシュメモリ
１７ａ プログラムデータ格納領域
１７ｂ 設定データ格納領域
１７ｃ 登録画像格納領域
１００ 認識対象コマンドテーブル
１００ａ 認識対象サイン
１００ｂ 動作命令
１０１ａ 顔画像
１０１ｂ 顔画像
２００ ターゲット領域
Ａ 移動体
Ｍ ターゲットマーク
ＴＬ ターゲットライン
ＴＬ１ 第１のターゲットライン
ＴＬ２ 第２のターゲットライン

Claims (23)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像された被写体画像における、使用者により指定された画角内の任意の位置に対応する特定領域を対象として所定の認識対象を画像認識する画像認識手段と、
   この画像認識手段による所定の認識対象の認識結果に応じて撮影に関する所定の制御を実行する撮影制御手段と
   を備えたことを特徴とするデジタルカメラ。
2. 前記撮像手段により撮像された被写体画像を表示する表示手段と、
   この表示手段に表示されている被写体画像上において使用者に画角内の任意の位置を指定させる位置指定制御手段と
   を備えたことを特徴とする請求項１記載のデジタルカメラ。
3. 前記位置指定制御手段は、前記被写体画像上において使用者に画角内の任意の位置として領域を指定させることを特徴とする請求項２記載のデジタルカメラ。
4. 前記位置指定制御手段は、前記被写体画像上において使用者に画角内の任意の位置として線を指定させることを特徴とする請求項２記載のデジタルカメラ。
5. 前記撮像手段により撮像された被写体画像に基づき前記特定領域を特定するための所定の認識対象を画像認識する第２の画像認識手段と、
   この第２の画像認識手段により所定の認識対象が認識された領域を前記被写体画像における前記特定領域として設定する特定領域設定手段と
   を備えたことを特徴とする請求項１記載のデジタルカメラ。
6. 予め登録された画像を記憶する認識対象記憶手段を備え、
   前記画像認識手段は、前記認識対象記憶手段に記憶されている画像に対応する被写体部分を認識対象として、前記被写体画像における前記特定領域を対象とした画像認識を行う
   ことを特徴とする請求項１乃至５いずれか記載のデジタルカメラ。
7. 前記画像認識手段は、予め登録されている既知の特徴を備えた被写体部分を認識対象として、前記被写体画像における前記特定領域を対象とした画像認識を行うことを特徴とする請求項１乃至５いずれか記載のデジタルカメラ。
8. 複数の候補の中から前記所定の認識対象を使用者に選択させる選択制御手段を備え、
   前記画像認識手段は、前記被写体画像における前記特定領域を対象として、前記複数の候補の中から使用者に選択された認識対象を画像認識することを特徴とする請求項１乃至７いずれか記載のデジタルカメラ。
9. 前記画像認識手段は、前記被写体画像における前記特定領域を対象として所定の認識対象を当該認識対象の動きの有無を含めて画像認識することを特徴とする請求項１乃至８いずれか記載のデジタルカメラ。
10. 前記画像認識手段は、前記被写体画像における前記特定領域を対象として、複数の認識対象を個別に画像認識することを特徴とする請求項１乃至９いずれか記載のデジタルカメラ。
11. 前記画像認識手段は、前記被写体画像における前記特定領域を対象として、動きのある被写体部分を認識対象とし当該認識対象の動きのパターンを画像認識することを特徴とする請求項１乃至５いずれか記載のデジタルカメラ。
12. 前記撮影制御手段は、前記画像認識手段による所定の認識対象の画像認識の成否双方に応じ撮影に関する異なる制御を実行することを特徴とする請求項１乃至１１いずれか記載のデジタルカメラ。
13. 前記画像認識手段は、前記被写体画像における前記特定領域を対象として、複数の認識対象を個別に画像認識し、
    前記撮影制御手段は、前記画像認識手段により画像認識された認識対象にそれぞれ対応した撮影に関する異なる制御を実行する
    ことを特徴とする請求項１乃至９いずれか記載のデジタルカメラ。
14. 前記画像認識手段は、前記被写体画像における前記特定領域を対象として、動きのある被写体部分を認識対象とし当該認識対象の動きのパターンを画像認識し、
    前記撮影制御手段は、前記画像認識手段により画像認識された動きのパターンの種類に対応した撮影に関する制御を実行する
    することを特徴とする請求項１乃至５いずれか記載のデジタルカメラ。
15. 前記撮影制御手段は、前記画像認識手段による所定の認識対象の認識結果に応じて少なくとも撮影の中止、終了のうちのいずれかの動作に関する制御を実行することを特徴とする請求項１乃至１４いずれか記載のデジタルカメラ。
16. 被写体を撮像する撮像手段を備えたデジタルカメラにおける撮影制御方法であって、
    画角内の任意の位置を使用者に指定させる工程と、
    前記撮像手段により撮像された被写体画像における、使用者により指定された画角内の任意の位置に対応する特定領域を対象として所定の認識対象を画像認識する工程と、
    所定の認識対象の認識結果に応じて撮影に関する所定の制御を実行する工程と
    を含むことを特徴とする撮影制御方法。
17. 被写体を撮像する撮像手段を備えたデジタルカメラが有するコンピュータに、
    前記撮像手段により撮像された被写体画像における、使用者により指定された画角内の任意の位置に対応する特定領域を対象として所定の認識対象を画像認識するための手順と、
    所定の認識対象の認識結果に応じて撮影に関する所定の制御を行う手順と
    を実行させるためのプログラム。
18. 被写体を撮像する撮像手段と、
    この撮像手段により撮像された被写体画像を表示する表示手段と、
    この表示手段に表示されている被写体画像上において使用者に任意の被写体部分を指定させる部分指定制御手段と、
    前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の動きの有無を画像認識する画像認識手段と、
    この画像認識手段による認識結果に応じて撮影に関する所定の制御を実行する撮影制御手段と
    を備えたことを特徴とするデジタルカメラ。
19. 前記撮影制御手段は、前記画像認識手段によって、使用者により指定された被写体部分に動きがあると認識されたことに応答して撮影に関する所定の制御を実行することを特徴とする請求項１８記載のデジタルカメラ。
20. 前記撮影制御手段は、前記画像認識手段によって、使用者により指定された被写体部分がいったん動いた後、止まったと認識されたことに応答して撮影に関する所定の制御を実行することを特徴とする請求項１９記載のデジタルカメラ。
21. 前記画像認識手段は、前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の同一方向への動き量を検出する動き量検出手段を含み、この動き量検出手段により検出された動き量に基づいて、使用者により指定された被写体部分の動きの有無を認識することを特徴とする請求項１８又は１９，２０記載のデジタルカメラ。
22. 被写体を撮像する撮像手段を備えたデジタルカメラにおける撮影制御方法であって、
    前記撮像手段により撮像され表示手段に表示されている被写体画像上において使用者に任意の被写体部分を指定させる工程と、
    前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の動きの有無を画像認識する工程と、
    被写体部分の動きの有無の認識結果に応じて撮影に関する所定の制御を実行する工程と
    を含むことを特徴とする撮影制御方法。
23. 被写体を撮像する撮像手段を備えたデジタルカメラが有するコンピュータに、
    前記撮像手段により撮像され表示手段に表示されている被写体画像上において使用者に任意の被写体部分を指定させる手順と、
    前記撮像手段により撮像された被写体画像に基づき、使用者により指定された被写体部分の動きの有無を画像認識する手順と、
    被写体部分の動きの有無の認識結果に応じて撮影に関する所定の制御を実行する手順と
    を実行させるためのプログラム。

Images