JP2010171550A - 画像記録装置 - Google Patents

Abstract

【課題】
動画中から切出した静止画を記録する場合で、顔が不明な人物を確認できるようにする。
【解決手段】
顔検出装置（２０）が動画中の顔を検出する。顔画像保持装置（２４）は検出された顔の顔画像データを保持する。顔領域追跡装置（２２）は、顔検出できなくなった人物の顔領域を追跡する。静止画の取込み指示に対し、顔領域・画像特定装置（２６）は、指示されたフレーム画像に顔領域追跡中の領域がある場合、その顔画像データと顔領域を顔画像保持装置（２４）から取り込み、静止画符号化装置（３４）に供給する。静止画符号化装置（３４）は、指示されたフレーム画像をＪＰＥＧ符号化し、その所定領域に顔領域・画像特定装置（２６）からの情報を埋め込む。
【選択図】 図１

Description

本発明は、動画から静止画を切り出して記録する画像記録装置に関する。

近年、デジタルビデオカメラ又はデジタルスチルカメラ等の電子撮像装置には、被写体像の中から人物（の顔）を検出する機能が実装されたものが商品化されている。

静止画撮影の場合、被写体から顔を検出し、顔領域に対してフォーカスと露出を自動調整することで、被写体たる人物に対して適切な焦点および露出の画像を得ることができる。顔検出技術は、例えば、特許文献１に記載されている。

また、動画撮影では、被写体人物が横や後ろを向いた場合に周辺位置から顔位置を推測する技術が提案されている（特許文献２）。この技術によれば、写体人物が横や後ろを向いた場合にもフォーカス／露出の調整対象を固定でき、その結果、１クリップ内でフォーカス及び露出が急激な変化を起こさないようにすることができる。
特開２００２−２５１３８０号公報 特開２００７−０４２０７２号公報

近年の撮像素子の高画素化の流れから、動画記録される画像の解像度が上がり、動画の一部を静止画として切り出す場合でも、利用に耐える静止画を得られるようになってきている。

そのような中で、複数の人物が写っている動画から特定人物の良い表情を静止画として切り出す場合に、他の人物が正面を向いていない事がある。そのような静止画では、後日その静止画を閲覧した場合に、顔が映っていない人物が誰であったか分からないという問題があった。

このような問題は、記録済みの映像から人物の映っているフレームを静止画として記録する場合にも同様に生じうる。

本発明は、このような不都合を解消する画像記録装置を提示することを目的とする。

本発明に係る画像記録装置は、一連のフレーム画像からなる動画から静止画を選択して記録する画像記録装置であって、動画入力手段と、前記動画入力手段により入力される前記動画から人物の顔を検出する顔検出手段と、前記顔検出手段で検出された顔画像データを保持する顔画像保持手段と、前記顔検出手段による顔検出ができなくなった人物の顔領域を追跡する顔領域追跡手段と、記録すべき静止画を記録媒体に記録する記録手段であって、前記記録すべき静止画に映っている人物に対し前記顔領域追跡手段により追跡されている場合に、前記顔検出手段により顔を検出された人物を特定する顔特定情報を前記記録すべき静止画に関連付ける記録手段とを具備することを特徴とする。

本発明では、記録すべき静止画上で顔が不明な場合に、動画中に撮影されている人物の顔を特定する顔特定情報を関連付けるので、正面を向いていない人物の顔を事後的に確認できるようになる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像記録装置の一実施例の概略構成ブロック図を示す。図２は、本実施例を組み込んだビデオカメラの右側面のグリップ側から見た外観斜視図を示し、図３は、左側面の液晶モニタ側から見た外観斜視図を示す。

本体１１０の右側面の前側にズームスイッチ１１２が配置される。撮影者は、ズームスイッチ１１２をＷ側に移動させることでワイド撮影を指示し、Ｔ側に移動させることでテレ撮影を本体１１０に指示する。前面にレンズユニット１１４があり、絞りを内蔵し、フォーカス調整機能及びズーム機能を具備する。本体１１０の右側面のリストストラップ１１６と本体１１０との間に手を入れることで、撮影者は、本体１１０を安定に保持できる。本体１１０の左側面には、周知のヒンジ機構により液晶モニタ１１８が本体１１０に対して回動自在に取り付けられている。

本体１１０の背面にはビューファインダ１２０が配置される。ビューファインダ１２０は、小型液晶表示装置（ＬＣＤ）と拡大用レンズを内蔵しており、撮影者が目を近づけることによって撮影視野の構図を確認できる。

本体１１０の背面には更に、動作モードを切り換える操作スイッチを構成するモードダイアル１２２が配置される。図２及び図３において、右方向に突出した柄の部分を回転させる事により種々の動作モードを選択できる。モードダイアル１２２では、電源オフ以外に、ＶＴＲ、ＣＡＭＥＲＡ（カメラ）、ＰＨＯＴＯ（写真）又はＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮ（プログレッシブスキャン）の動作モードを選択できる。

ＰＨＯＴＯモードは、スチル映像（静止画）を記録するモードである。本実施例で採用する撮像素子は、隣接する２ラインを同時に読み出す通常モードと、１ラインずつ読み出すプログレッシブスキャンモードを選択できる。後者は，通常モードの場合の２倍の水平走査線を有することになり、いわば、通常モードに対する高解像度モードと言える。モードダイアル１２２のＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮは、撮像素子の後者のモードでの動作を指示する。プログレッシブスキャンモードは、動画の１フレーム画を高画質の静止画として切り出すときに使用される。

本体１１０の背面のポジションロックツマミ１２４は、モードダイアル１２２をロックする。これにより、電源オフを含み、動作モードが不用意に変更されないようにする。アンロックツマミ（アンロック部材）１２６により、モードダイアル１２２のロックを解除できる。スタート／ストップボタン１２８により動画記録の開始と停止を指示する。

十字ボタン１３０、決定ボタン１３２及びキャンセルボタン１３４は、メニュー画面等で撮影条件又は動作条件を指定するのに使用される。

本体１１０の上面に設置される発光ダイオード（ＬＥＤ）１３６は、その発光／点滅及び色により、本体１１０の動作及び内部処理を撮影者に視覚的に通知する。

図１を参照して、本実施例の機能要素とその動作を説明する。なお、本実施例の特徴的な動作に直接関係しない他の機能、例えば絞り、シャッタ及び測距システムに関わる機能ブロックは、図１には省略されている。

本実施例の撮像装置１０では、撮影レンズ１２が、被写体の光学像を撮像素子１４に入射し、撮像素子１４は、被写体光学像に対応する画像信号を所定レートでカメラ信号処理装置１６に出力する。カメラ信号処理装置１６は、撮像素子１４からの画像信号を一定の標準形式の映像信号に変換し、併せて，ガンマ変換及び色調整等の、ビデオカメラで周知のカメラ信号処理を施す。カメラ信号処理装置１６が、一連のフレーム画像からなる動画をフレームメモリ１８に供給する。撮像素子１４及びカメラ信号処理装置１６が、特許請求の範囲の動画入力手段に相当する。

フレームメモリ１８は、カメラ信号処理装置１６からの映像信号をフレーム画像単位で表示用、顔検出用及び記録用に記憶する。顔検出に要する時間によっては、フレームメモリ１８は、複数フレームの画像データを記憶可能である。

フレームメモリ１８に新たなフレーム画像が格納されると、顔検出装置２０が、そのフレーム画像から人物の顔を検出する。顔検出方法には、公知の種々の顔検出技術を使用しうる。例えば、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法と、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などが知られている。認識率向上のためにこれらを組み合わせて顔認識を行なうのが、一般的である。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法が、使用可能である。

顔検出装置２０は、フレーム画像に含まれる各人についての顔の位置、大きさ及び傾き等を顔領域情報として検出する。顔検出装置２０は、検出した各顔を識別する顔情報識別値を管理しており、前のフレームで検出された顔情報の近辺で検出された顔情報を同一の顔情報識別値で管理する。すなわち、同一人物として識別する。また、顔検出装置２０は、初めて検出された顔情報には新たな顔情報識別値を割り振る。直前のフレームで検出できていた顔の領域情報近辺で顔が検出できなかった場合は、顔が見えない方向を向いたと判断し、顔領域追跡装置２２に顔情報識別値、位置情報及び領域情報を通知する。また、顔検出装置２０は、検出した顔領域の画像を、位置情報及び領域情報と共に顔画像保持装置２４に登録する。

顔領域追跡装置２２は、フレームメモリ１８のフレーム画像を参照し、パターンマッチング等の既存の追跡技術を使用して、顔領域を追跡する。顔領域追跡装置２２は、追跡で検出される顔の位置情報と領域情報を、顔情報識別値と共にフレームごとに顔画像保持装置２４に通知する。顔領域追跡装置２２はまた、顔を追跡中の人物の顔相当部分を示す領域（追跡対象領域）を示す情報を対象領域特定情報として顔領域・画像特定装置２６に供給する。

顔画像保持装置２４は、顔情報識別値で識別される人物について、顔領域追跡装置２２からの追跡領域情報に従い、管理している座標情報と領域情報を更新する。顔画像保持装置２４は、顔情報識別値と関連付けて、顔領域の画像、並びに、顔の位置情報及び領域情報を保持する。図４は、顔画像保持装置２４が保持する顔情報の構造例を示す。顔情報は、顔情報識別値２４−１、検出／追跡フラグ２４−２、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５、顔領域高さ２４−６、及び顔画像データ２４−７から構成される。検出／追跡フラグは、’０’が検出を意味し、’１’が追跡を意味する。また、顔画像データ２４−７は、非圧縮の顔画像データからなる。

表示画像生成装置２８は、フレームメモリ１８に記憶される画像データを表示用にリサイズする。表示画像生成装置２８には、顔検出装置２０からの顔の位置と領域の情報、及び顔領域追跡装置２２から追跡中の顔の位置と領域の情報が供給されている。表示画像生成装置２８は、これらの顔の位置及び領域に従う位置で、検出した顔及び追跡中の顔を示す枠画像をリサイズ後のフレーム画像に重畳し、表示装置３０に印加する。表示装置３０は、図３に示す液晶モニタ１１８に相当する。表示装置３０の画面には、記録ポーズ中及び記録中に、撮影視野内の被写体像が表示される。これにより、撮影対象の構図及び記録中の被写体を視覚的に確認できる。また、顔検出された人物の顔部分及び顔追跡中の人物の顔相当部分には、顔部分を示す枠画像も同時に表示される。これにより、被写体となった人物の顔検出結果と追跡中の人物の顔相当部分を視覚的に確認できる。

顔領域・画像特定装置２６は、動画から静止画切り出しを行なう際に、顔画像保持装置２４から検出／追跡フラグが立っている顔情報の座標・領域情報及び顔画像データを取得する。

動画符号化装置３２は、動画記録時には、フレームメモリ１８からのフレーム画像を順次、ＭＰＥＧ２等の動画圧縮符号化方式で圧縮符号化する。他方、詳細は後述するが、静止画符号化装置３４は、静止画の切り出し記録モードでは、顔領域・画像特定装置２６から指示されるタイミングのフレーム画像をフレームメモリ１８から読み込んでＪＰＥＧ方式で圧縮符号化する。圧縮符号化で得られるＪＰＥＧデータに、この静止画に含まれる人物を示す顔画像データ及び画像上での座標と領域を示すデータを付加する。

記録媒体インターフェース３６は、動画符号化装置３２からの圧縮動画データ（ＭＰＥＧデータ）及び静止画符号化装置３４からの圧縮静止画データ（ＪＰＥＧデータ）を記録媒体３８に記録する。顔が隠れてしまっているような人物が撮影されている場合、顔領域・画像特定装置２６からの顔画像データ及び画像上での座標と領域を示すデータをＭＰＥＧデータに埋め込むか、又は付加して、記録媒体３８に記録しても良い。

記録媒体３８は、例えば、ハードディスク、記録可能光ディスク又は半導体メモリ等のランダムアクセス媒体からなる。

システム制御装置４０が、ユーザ又は撮影者による操作装置４２による操作又は設定、及び動作状態に応じて、以上の各部を制御する。

図５は、撮影映像のフレーム画像例を示す。フレーム画像５０−１〜５０−５の順に時間が経過しているとする。二人の人物Ａ，Ｂが撮影視野内に入っており、人物Ｂが時間の経過とともに、正面から後ろ向きに向きを変更している。

図６は、顔検出と顔追跡の動作フローチャートを示す。図５及び図６を参照して、本実施例の顔検出と顔追跡の動作を説明する。

カメラ信号処理装置１６によりフレーム画像５０−１がフレームメモリ１８に書込まれると、システム制御装置４０は図６に示すフローの開始を関係するブロックに指示する。すなわち、顔検出装置２０が、フレームメモリ１８のフレーム画像５０−１に対して顔検出処理を実行する。その結果、人物の顔が１つ以上含まれている場合（Ｓ１）、顔検出装置２０は、直前フレームの顔検出結果を確認する（Ｓ２）。フレーム画像５０−１の例では、二人の人物Ａ，Ｂの顔が検出されるので、ステップＳ２に進む。

ステップＳ２では、直前のフレームの顔検出結果と今回の顔検出結果を照合し、今回、検出された顔の近傍領域に直前のフレームでも顔が検出されているかどうかを確認する。直前のフレームでも近傍領域に顔が検出されている場合、初めて検出する顔として新たな顔情報識別値（顔ＩＤ）を割り当てる（Ｓ３）。そして、顔画像保持装置２４に対し、顔情報識別値と顔画像データを登録要求する（Ｓ４）。他方、直前のフレームでも近傍領域に顔が検出されていない場合には、顔画像保持装置２４に対し、同一の顔情報識別値で管理されている顔情報を、ステップＳ１で検出された顔画像データと顔領域で更新するように要求する（Ｓ４）。

図５に示す例では、フレーム画像５０−１は先頭フレームであり、直前のフレームが存在しないことから、人物Ａ，Ｂの顔画像に対して互いに異なる顔情報識別値、例えば，’１’と’２’が割り当てられる。そして、顔画像保持装置２４は、フレーム画像５０−１から得られる人物Ａ，Ｂの顔画像データと座標／領域情報を、顔情報識別値の下で保持する。検出／追跡フラグ２４−２は、人物Ａ，Ｂの何れに対しても、’０’（検出）がセットされる。

ここまでで、検出された顔情報に対する顔情報の更新が完了する。続いて、新規な追跡対象かどうかを判定する。すなわち、直前のフレーム上で顔検出された近傍で今回のフレームでも顔を検出されたかどうかを確認する（Ｓ５）。今回のフレームで顔が検出されていない場合、たまたま顔検出に失敗しているか、その人物は横を向いた可能性が高いので、追跡対象とする。撮像装置とその人物との間にたまたま遮蔽物（移動する車等）が入った可能性もある。顔検出装置２０は、このような追跡対象とすべき全ての顔についてその顔識別情報を、顔追跡対象として顔領域追跡装置２２に通知する。顔領域追跡装置２２は、顔検出装置２０から通知された顔情報識別値で特定される顔を顔追跡対象として登録する（Ｓ６）。この登録により、顔領域追跡装置２２は、所定の追跡アルゴリズムで、顔検出処理とは独立に、フレームメモリ１８のフレーム画像を参照して顔領域を追跡する（Ｓ７）。そして、顔領域追跡装置２２は、追跡結果を顔画像保持装置２４に通知する（Ｓ８）。

フレーム画像５０−１は先頭フレームなので、顔領域追跡対象として未登録であり、顔追跡処理（Ｓ７）は、実質的には実行されない。

フレーム画像５０−２に対する顔検出と追跡処理は、以下のようになる。すなわち、フレームメモリ１８にフレーム画像５０−２が書き込まれると、顔検出装置２０がフレーム画像５０−２に対して顔検出処理を実行する（Ｓ１）。フレーム画像５０−２では、人物Ａの顔は検出されるは、人物Ｂは横向きであり、その顔は検出されない。人物Ａの顔が検出されたので、ステップＳ２に進む。

ステップＳ２では、フレーム画像５０−２で検出された顔（人物Ａ）に対し、直前のフレーム画像５０−１でも近傍に顔が検出されている。従って、新たな顔情報識別値が割り当てられることはない。フレーム画像５０−２で検出された人物Ａ（顔情報識別値＝１）に対し、顔画像保持装置２４に顔画像と座標／領域の更新を要求する（Ｓ４）。

フレーム画像５０−２では、フレーム画像５０−１で顔検出された人物Ｂの顔の近傍で顔が検出されないので（Ｓ５）、顔情報識別値＝２で特定される顔が顔追跡対象となる（Ｓ６）。顔領域追跡装置２２は、顔情報識別値＝２に対して顔追跡処理を実行する（Ｓ７）。具体的には、直前のフレーム画像５０−１で検出された顔領域から所定の近傍領域で、パターンマッチング処理により顔画像に類似する領域を抽出し、顔追跡領域として設定し、追跡を実行する。

顔領域追跡装置２２は、顔画像保持装置２４が管理する顔情報識別値＝２の顔情報で、顔領域を特定するための情報を顔追跡領域の情報で更新する（Ｓ８）。具体的には、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５、顔領域高さ２４−６が追跡領域に応じて更新され、検出／追跡フラグ２４−２が、追跡を意味する’１’に更新される。このとき、顔画像データ２４−７は更新されず、最後に顔検出されたときの顔画像が保持され続ける。

動画中から静止画を切り出す処理を説明する。図７はその動作フローチャートを示す。

操作装置４２の静止画記録を指示する撮影者の指示に応じて（Ｓ１１）、システム制御装置４０は、静止画符号化装置３４にフレームメモリ１８のフレーム画像の符号化を指示する（Ｓ１２）。この指示に応じて、静止画符号化装置３４は、フレームメモリ１８の現在のフレーム画像をＪＰＥＧ方式で符号化する。撮影者の指示が一般に遅れがちであることを考慮すると、撮影者の指示から一定時間前のフレーム画像を静止画記録の対象としてもよい。また、複数のフレーム画像を静止画記録の対象としてもよい。

顔領域・画像特定装置２６は、顔画像保持装置２４に問い合わせて、符号化したフレーム画像に対して顔追跡領域が設定されているかどうかを確認する（Ｓ１３）。例えば、フレーム画像５０−５が静止画記録の対象となった場合、人物Ｂに対して、先に説明した手順で顔追跡領域が設定され、顔領域追跡装置２２が、人物Ｂの顔部分を追跡している。

フレーム画像５０−５の場合、顔画像保持装置２４には、２つの顔情報が登録されている。人物Ａの顔情報（顔情報識別値＝１）では、検出／追跡フラグ２４−２が’０’であり、人物Ｂの顔情報（顔情報識別値＝２）では、検出／追跡フラグ２４−２が’１’である。検出／追跡フラグ２４−２が’１’の場合、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５及び顔領域高さ２４−６で特定される顔領域が、顔追跡領域を示す。

顔領域・画像特定装置２６は顔画像保持装置２４から検出／追跡フラグ２４−２が’１’である顔情報の顔領域情報で顔追跡領域を特定し（Ｓ１４）、その顔画像データを取得する（Ｓ１５）。顔追跡領域は、先に説明したように、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５及び顔領域高さ２４−６により規定される。

顔領域・画像特定装置２６は取得した顔追跡領域情報と顔画像データを顔特定情報として静止画符号化装置３４に供給する。静止画符号化装置３４は、この顔特定情報情報をＪＰＥＧデータに付加して、ＪＰＥＧファイルを生成する（Ｓ１６）。記録媒体インターフェース３６は、生成されたＪＰＥＧファイルを記録媒体３８に記録する（Ｓ１７）。

静止画記録対象のフレーム画像に顔追跡領域がない場合（Ｓ１３）、記録媒体インターフェース３６は、ステップＳ１２で生成されたＪＰＥＧデータからなるＪＥＰＧファイルを記録媒体３８に記録する（Ｓ１７）。

図８は、ＪＰＥＧデータのフォーマットを示す。ＪＰＥＧフォーマットは、圧縮データの開始を示すＳＯＩから始まり、圧縮データの終了を示すＥＯＩで終了する。アプリケーションデータセグメントＡＰＰ０〜ＡＰＰ１５がＪＰＥＧの拡張用に準備されている。また、量子化テーブルＤＱＴ、ハフマンテーブルＤＨＴ、フレームヘッダＳＯＦ、スキャンヘッダＳＯＳ及び圧縮データは、本実施例の特徴的な動作とは関係しないので、説明を省略する。

顔情報の登録には、アプリケーションデータセグメントＡＰＰ０〜ＡＰＰ１５を使用する。アプリケーションデータセグメントＡＰＰ０−ＡＰＰ２は、それぞれＪＦＩＦ、Ｅｘｉｆ拡張情報及びＦｌａｓｈＰｉｘ（商標）用に予約されている。図9は、アプリケーションデータセグメント３−１５への顔情報の登録例であり、マーカ識別子（０ｘＦＦ）とアプリケーションマーカ（０ｘＥ３-Ｆ）から始まる。顔追跡領域ｘ座標６２−３、顔追跡領域ｙ座標６２−４、顔追跡領域幅６２−５、及び顔追跡領域高さ６２−６には、追跡領域特定処理Ｓ１４で取得した顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５及び顔領域高さ２４−６がそれぞれ登録される。また、画像の幅６２−７及び画像の高さ６２−８には、顔情報取得処理（Ｓ１５）で取得した顔画像データ２４−７の幅と高さが登録される。顔画像データ２４−７を静止画符号化装置３４で符号化して得られる圧縮顔画像データを圧縮データ６２−９に登録する。このようにして、動画から切り出した静止画のアプリケーションデータセグメントに、顔を追跡している人物の顔画像を登録できる。

このようにして静止画を記録することで、動画から切出した静止画中に正面を向いていない人物が写っている場合に、その人物を判別可能な顔画像を関連づけて記録することができる。これにより、後日、その静止画を再生した場合に、その正面を向いていない人物を容易に識別できる。

動画記録の説明を省略したが、上述の静止画の切り出しを動画記録中に並列に実行してもよいことは明らかである。勿論、動画記録する予定の無い撮像素子１４からの画像信号の１フレームを所望のタイミングで静止画として記録する場合にも、適用できる。

また、本実施例から動画符号化装置３２を除外することで、デジタルスチルカメラとして構成することができる。この場合、電源オン後またはシャッタレリーズの半押し操作後の、撮影準備中（シャッタチャンス待ち）の状態で、上述のように、撮影視野内の人物の顔を追跡し、顔画像データを保持する。シャッタレリーズの全押し操作に応じて静止画を取り込む。そして、取込まれた静止画像に顔が不明な人物が写る場合、上述の実施例と同様の処理で当該人物の顔画像データを特定して当該静止画像に付加したものを記録媒体に記録する。

上記実施例では、顔画像保持装置２４は、顔画像を見失う直前の顔画像データを保持することになる。これに対し、顔画像保持装置２４を、同一人物に対して検出される顔画像データを逐次的に比較し、最も正面に近い顔画像データを、静止画への付加用に保持するようにしてもよい。これにより、静止画に付加した顔画像は、最も正面を向いた、人物を判別しやすいものとなる。より正面に近い画像かどうかは、例えば，２つの目の間隔、顔画像の面積、又は顔画像の横幅等を指標とすることで、容易に判別できる。

撮像素子１４及びカメラ信号処理装置１６の部分を他の映像ソースからの映像信号を取り込む手段に変更しても、同様の作用効果を得ることができる。図１０は、外部の映像ソースからの映像信号から静止画を切出して記録する画像記録装置の実施例の概略構成ブロック図を示す。図１と同じ作用を奏する要素には同じ符号を付してある。

図１０に示す画像記録装置２１０では、映像取込み装置２１４が、外部の映像ソースからの映像情報を取込む。本実施例では、映像取込み装置２１４は、例えば、デジタル放送され録画された映像情報を再生する手段又はデジタル放送を受信する手段であり、ＭＰＥ２−ＴＳ形式の圧縮映像データを復号化装置２１６に出力する。復号化装置２１６は、映像取込み装置２１４からの圧縮映像データを復号化し、各フレームの画像データを順次、フレームメモリ１８に書き込んでいく。

フレームメモリ１８以降の動作は、実施例１のフレームメモリ１８以降の動作と同じであるので、これ以上の説明を省略する。復号化装置２１６で復号化された映像データを記録媒体３８に記録しないので、動画符号化装置３２は省略されている。映像取込み装置２１４で取り込んだ映像信号を録画する場合には、勿論、動画符号化装置３２を設ければよい。

実施例１、２では、切出した静止画で、顔が見えない人物の顔画像データを静止画ファイルに埋め込んだ。しかし、この方法では、顔画像データを埋め込む領域の容量に制限があるので、顔が見えない人物が増えると、対応できなくなる。この問題を解決するには、顔画像データを別ファイル化してもよい。別の解決法として、通信手段を介してアクセス可能なサーバに顔画像データをアップロードしておき、そのサーバに保存された顔画像データにアクセスするための記録位置情報（パス）を静止画に埋め込むか、関連付けてもよい。

図１１は、そのように図１に示す実施例を変更した構成の概略構成ブロック図を示す。図１１に示す撮像装置１０ａには、通信装置４４が追加されている。顔画像保持装置２４ａは、適宜に、保持する顔画像情報を通信装置４４を介して顔画像サーバ４６にＦＴＰ（File Transfer Protocol）等を使ってアップロードし、顔画像サーバ４６から顔情報をダウンロードする。

図１２は、本実施例により静止画記録動作のフローチャートを示す。ステップＳ１１〜Ｓ１４は、図７と同じである。図７のステップＳ１５の代わりに、顔画像保持装置２４ａは、顔追跡領域に関連付けられた顔情報を、通信装置４４を介して顔画像サーバ４６にアップロードし（Ｓ１５ａ）。そして、顔画像サーバ４６上でのパスを取得し、顔画像へのパスと、顔領域の情報（座標値と幅、高さ）を顔領域・画像特定装置２６ａに供給する。顔領域・画像特定装置２６ａは、顔画像データの代わりにパスを静止画符号化装置３４の所定エリアに埋め込ませる（Ｓ１６ａ）。

このように、顔画像データの代わりに顔画像サーバ上のパスが埋め込まれたＪＰＥＧファイルが、記録媒体３８に記録される（Ｓ１７）。

本実施例では、顔画像データ（の圧縮データ）の代わりに顔画像サーバのパスを埋め込むので、正面を向いていない人物が複数人、又はより多くなっても、対応可能であり、静止画ファイルサイズの肥大化を防止できる。

本発明の第１実施例の概略構成ブロック図である。 本実施例の外観斜視図である。 本実施例の別の方向から見た外観斜視図である。 顔情報の構成例を示す図である。 映像例である。 顔検出と追跡の動作フローチャートである。 静止画記録動作のフローチャートである。 静止画ファイルのフォーマット例の説明図である。 顔領域情報フォーマット例の説明図である。 第２実施例の概略構成ブロック図である。 第３実施例の概略構成ブロック図である。 図１１に示す実施例の静止画記録動作のフローチャートである。

１０，１０ａ：撮像装置
１２：撮影レンズ
１４：撮像素子
１６：カメラ信号処理回路
１８：フレームメモリ
２０：顔検出装置
２２：顔領域追跡装置
２４，２４ａ：顔画像保持装置
２６，２６ａ：顔領域・画像特定装置
２８：表示画像生成装置
３０：表示装置
３２：動画符号化装置
３４：静止画符号化装置
３６：記録媒体インターフェース
３８：記録媒体
４０：システム制御装置
４４：通信装置
４６：顔画像サーバ
１１０：本体
１１２：ズームスイッチ
１１４：レンズユニット
１１６：リストストラップ
１１８：液晶モニタ
１２０：ビューファインダ
１２２：モードダイアル
１２４：ポジションロックツマミ
１２６：アンロックツマミ（アンロック部材）
１２８：スタート／ストップボタン
１３０：十字ボタン
１３２：決定ボタン
１３４：キャンセルボタン
１３６：発光ダイオード（ＬＥＤ）
２１０：画像記録装置
２１４：映像取込み装置
２１６：復号化装置
２１８：フレームメモリ

Claims (5)

1. 一連のフレーム画像からなる動画から静止画を選択して記録する画像記録装置であって、
   動画入力手段と、
   前記動画入力手段により入力される前記動画から人物の顔を検出する顔検出手段と、
   前記顔検出手段で検出された顔画像データを保持する顔画像保持手段と、
   前記顔検出手段による顔検出ができなくなった人物の顔領域を追跡する顔領域追跡手段と、
   記録すべき静止画を記録媒体に記録する記録手段であって、前記記録すべき静止画に映っている人物に対し前記顔領域追跡手段により追跡されている場合に、前記顔検出手段により顔を検出された人物を特定する顔特定情報を前記記録すべき静止画に関連付ける記録手段
   とを具備することを特徴とする画像記録装置。
2. 前記顔画像保持手段は、人物ごとに異なる識別値を割り当てて前記顔画像データを保持することを特徴とする請求項１に記載の画像記録装置。
3. 前記記録手段は、前記記録すべき静止画をＪＰＥＧ方式で圧縮する静止画符号化手段を具備し、顔特定情報をＪＰＥＧフォーマットのアプリケーションデータセグメントに記録することを特徴とする請求項１又は２に記載の画像記録装置。
4. 前記動画入力手段が、光学像を画像信号に変換する撮像手段と、前記撮像手段からの画像信号から前記動画を生成する手段とを具備することを特徴とする請求項１乃至３の何れか１項に記載の画像記録装置。
5. 更に、顔画像サーバと通信する通信手段を具備し、
   前記記録手段は、前記特定情報として前記顔画像サーバに保存された顔画像データの記録位置情報を前記記録すべき静止画に関連付ける
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像記録装置。

Images