JP2010028407A - 映像記録装置及び映像記録方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】動画記録用画素数よりも高い解像度で撮像された原画像から人物の顔などの特徴点を含む部分的な領域からなる部分画像を好適に記録する。
【解決手段】本願の請求項１に記載の発明によれば、原画像から検出された１以上の特徴点の一覧をユーザに提示し、ユーザからの特徴点の選択又は選択切り替え操作に応じて特徴点を含む部分画像を切り出して、部分画像の符号化処理並びに記録メディアへの記録処理を行なう。すなわち、動画記録前や動画記録中において、検出している特徴点の一覧からユーザが記録対象を選択することが可能となるので、ユーザが記録したい顔を記録することができる。
【選択図】 図１

Description

本発明は、デジタルビデオカメラの撮影映像などの記録処理を行なう映像記録装置及び映像記録方法、並びにコンピュータ・プログラムに係り、特に、顔検出や顔認識といった画像認識技術を利用して撮影映像などの記録処理を行なう映像記録装置及び映像記録方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、動画記録用画素数よりも高い解像度で撮像された原画像から人物の顔などの特徴点を含む部分的な領域からなる部分画像を記録する映像記録装置及び映像記録方法、並びにコンピュータ・プログラムに係り、特に、複数の特徴点を含む原画像からユーザが所望する特徴点を含む部分画像を記録する映像記録装置及び映像記録方法、並びにコンピュータ・プログラムに関する。

ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。デジタルビデオカメラの記録機器にハード・ディスクを用いる場合、多数の高画質画像データのデジタル記録や、記録データへのランダム・アクセスが可能であり、また、コンピュータに接続してファイル操作したりコンピュータ上で画像編集を行なったりすることができる。

デジタルカメラにはカメラワークの自動化技術が導入されている。例えば、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正、オート・シャッタなどである。ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。

さらに最近では、画像認識エンジンをデジタルカメラに搭載されるようになってきている。画像認識エンジンにより、撮影画像の中から特徴点を含む領域を特定することができる。ここで言う特徴点は、さまざまな意味を持つことができるが、基本的には人の顔に相当する。デジタルカメラに顔認識技術を導入するのは、撮影対象となるのは、もっぱら人物、その中でも人の顔部分のケースが多いことに依拠する。顔認識結果に基づき、顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった人物や顔の部分の画像品質を向上するための技術へと展開することができる。

デジタルカメラでは動画記録用画素数よりも高い解像度で撮像するのが一般的である。このことを利用して、画像から顔や人物の領域を検出し、その領域を部分高画質符号化あるいは部分拡大符号化することにより、顔を鮮明に記録することができる（例えば、特許文献１を参照のこと）。

また、動画記録用画素数よりも高い解像度で撮像する撮像手段と、撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する全体画像生成手段と、原画像の一部分から動画記録用画素数の画像を生成する部分画像生成手段と、全体画像から構成される全体動画と部分画像から構成される部分動画とを関連付けて記録する記録手段とを備えた動画記録装置について提案がなされている（例えば、特許文献２を参照のこと）。この動画記録装置によれば、全体の様子を画角に収めて撮影を行なうだけで、全体と部分（アップ）の２種類の動画が自動的に記録されるので、撮影者によるズーム操作などは不要となり、撮影及び記録の簡単化が図られる。また、顔認識技術を利用して、原画像に含まれるサイズの大きい顔を含む部分画像を生成したり、全体画像から検出された顔が登録済みの顔と一致するときには部分画像を生成したりするようにして、画角内に大勢の人物が入っている場合でも所望の人物（登録者） の部分動画のみを記録することができる。

しかしながら、上記の動画記録装置は、原画像中の顔のサイズが大きい順や、登録済みの顔を特徴点として選択する方法に頼る場合、家庭用ビデオカメラなどの商品での実施を考慮した場合に不都合が生じる。

例えば、ユーザによってはあらかじめ撮影対象を決めていない場合もあり、記録したい顔が登録済みであるとは限らないという問題がある。また、多人数がカメラから等距離に並んでいる場合などにおいては顔のサイズがほぼ均一となってしまい、ユーザが記録したい顔を記録できる保証がないという問題がある。

特開２００３−２１９３９６号公報

特開２００６−１０９１１９号公報

本発明の目的は、顔検出や顔認識といった画像認識技術を利用して撮影映像などの記録処理を好適に行なうことができる、優れた映像記録装置及び映像記録方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、動画記録用画素数よりも高い解像度で撮像された原画像から人物の顔などの特徴点を含む部分的な領域からなる部分画像を好適に記録することができる、優れた映像記録装置及び映像記録方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、複数の特徴点を含む原画像からユーザが所望する特徴点を含む部分画像を好適に記録することができる、優れた映像記録装置及び映像記録方法、並びにコンピュータ・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
動画記録用画素数よりも高い解像度で撮像して原画像を取得する撮像部と、
撮像により得られた原画像から１以上の特徴点を検出する特徴点検出部と、
前記原画像からユーザが選択した特徴点を含む部分画像を切り出す部分画像切り出し部と、
前記部分画像切り出し部が切り出した前記部分画像を符号化処理する画像符号化部と、
前記符号化処理された前記部分画像を記録メディアに記録する記録部と、
を具備することを特徴とする映像記録装置である。

本願の請求項１に記載の発明によれば、ユーザからの特徴点の選択又は選択切り替え操作に応じて特徴点を含む部分画像を切り出して、部分画像の符号化処理並びに記録メディアへの記録処理を行なう。すなわち、動画記録前や動画記録中において、検出している特徴点の中からユーザが記録対象を選択することが可能となるので、ユーザが記録したい顔を記録することができる。

また、本願の請求項２に記載の発明によれば、部分画像切り出し部は、特徴点がほぼ一定の位置となるように切り出し領域を決定する。

また、本願の請求項３に記載の発明によれば、原画像から検出された１以上の特徴点の一覧をユーザに提示し、ユーザからの特徴点の選択又は選択切り替え操作に応じて特徴点を含む部分画像を切り出して、部分画像の符号化処理並びに記録メディアへの記録処理を行なう。すなわち、動画記録前や動画記録中において、検出している一覧表示された特徴点の候補の中からユーザが記録対象を選択することが可能となるので、ユーザが記録したい顔を記録することができる。

また、本願の請求項４に記載の発明は、部分画像として切り出す特徴点を変更する特徴点変更部をさらに備えているので、動画記録に用いる特徴点を切り換えることができる。

また、本願の請求項５に記載の発明では、前記画像符号化部は、所定の枚数の画面を符号化単位とした符号化処理を行なっており、前記特徴点変更部によって部分画像として切り出すべき特徴点が第１の特徴点から第２の特徴点に切り換えられた時点で、前記画像符号化部では前記第１の特徴点に係る部分画像について符号化単位における符号化処理の途中である場合には、前記画像符号化部が当該符号化単位の符号化処理を終了した後に、前記第２の特徴点に係る部分画像の動画記録処理（すなわち、前記部分画像切り出し部による前記第２の特徴点に係る部分画像の切り出し、前記画像符号化部による符号化処理、及び、前記記録部による記録処理）を再開する。したがって、動画記録を一時停止した後、変更後の特徴点で動画記録を再開することができ、記録した後の編集が必要なく便利である。

また、本願の請求項６に記載の発明では、前記画像符号化部は、所定の枚数の画面を単位とした符号化処理を行なっており、前記特徴点変更部によって部分画像として切り出すべき特徴点が第１の特徴点から第２の特徴点に切り換えられた際に、前記画像符号化部は、当該切り換え時点において符号化処理の途中となっている符号化単位についての符号化処理を終了させるまでの間の前記第２の特徴点に係る部分画像をバッファリングし、当該符号化単位についての符号化処理が終了してからバッファリングされた前記第２の特徴点に係る部分画像の符号化処理を開始する。このような場合、動画記録に用いる特徴点の変更を行なう際に、動画記録を一時停止することなく、変更後の特徴点を新たな１つのチャプタ又はファイルとして動画記録を再開することができる。また、記録した後の編集が必要なく便利である。

また、本願の請求項７に記載の発明は、
動画記録用画素数よりも高い解像度で撮像された原画像を取得する原画像取得ステップと、
前記原画像から１以上の特徴点を検出する特徴点検出ステップと、
前記原画像からユーザが選択した特徴点を含む部分画像を切り出す部分画像切り出しステップと、
前記部分画像切り出しステップにおいて切り出した前記部分画像を符号化処理する画像符号化ステップと、
前記符号化処理された前記部分画像を記録メディアに記録する記録ステップと、
を具備することを特徴とする映像記録方法である。

また、本願の請求項８に記載の発明は、動画像を記録するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
動画記録用画素数よりも高い解像度で撮像された原画像を取得する原画像取得手段、
撮像により得られた原画像から１以上の特徴点を検出する特徴点検出手段、 前記原画像からユーザが選択した特徴点を含む部分画像を切り出す部分画像切り出し手段、
前記部分画像切り出し手段が切り出した前記部分画像を符号化処理する画像符号化手段、
前記符号化処理された前記部分画像を記録メディアに記録する記録手段、
として実行させるためのコンピュータ・プログラムである。

本願の請求項８に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本願の請求項８に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本願の請求項１に係る映像記録装置と同様の作用効果を得ることができる。

本発明によれば、顔検出や顔認識といった画像認識技術を利用して撮影映像などの記録処理を好適に行なうことができる、優れた映像記録装置及び映像記録方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、動画記録用画素数よりも高い解像度で撮像された原画像から人物の顔などの特徴点を含む部分的な領域からなる部分画像を好適に記録することができる、優れた映像記録装置及び映像記録方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、複数の特徴点を含む原画像からユーザが所望する特徴点を含む部分画像を好適に記録することができる、優れた映像記録装置及び映像記録方法、並びにコンピュータ・プログラムを提供することができる。

本願の請求項１、７、８に記載の発明によれば、動画記録前や動画記録中において、検出している特徴点の一覧からユーザが記録対象を選択することが可能となるので、ユーザが記録したい顔を記録することができる。

本願の請求項２に記載の発明によれば、部分画像切り出し部は、特徴点がほぼ一定の位置となるように切り出し領域を決定することができる。

本願の請求項３に記載の発明によれば、動画記録前や動画記録中において、検出している一覧表示された特徴点の候補の中からユーザが記録対象を選択することが可能となるので、ユーザが記録したい顔を記録することができる。

本願の請求項４に記載の発明によれば、動画記録に用いる人物を撮影の途中で切り換えること、すなわち、動画記録中に追尾対象となる人物を変更することができる。

本願の請求項５に記載の発明によれば、動画記録に用いる特徴点の変更を行なう際に、動画記録を一時停止した後、変更後の特徴点で動画記録を再開することができる。このような場合、記録した後の編集が必要なく便利である。

本願の請求項６に記載の発明によれば、動画記録に用いる特徴点の変更を行なう際に、動画記録を一時停止することなく、変更後の特徴点を新たな１つのチャプタ又はファイルとして動画記録を再開することができる。このような場合、記録した後の編集が必要なく便利である。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用した映像記録装置として動作することができる装置の一例として、デジタルビデオカメラの構成を模式的に示している。図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、光学系１０を介して入力される画像をデジタル処理して記録するようになっている。

光学系１０は、被写体からの光を撮像素子１１の撮像面に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動（例えば、被写体のフォーカス合わせやアイリス）を制御する。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列された撮像面を有し、被写体からの入射光を電気信号に変換する。受光側には、例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ：アナログ前処理）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。

ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。

タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。

カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施すことによって、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。

解像度変換部（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｔｅｒ）１８は、撮影画像をモニタ・ディスプレイ２５にスルー画像として表示出力するか、又は動画像若しくは静止画として記録メディア２６に保存するかに応じて、画像のサイズの変更を行なう。

画像コーデック処理部１９は、ＲＧＢ表色系の画像信号を、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）表色系からなる画像信号に変換した後、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの符号化圧縮処理を行なう。ＹＵＶ表色系へ色空間変換することで、輝度に対する解像度は高いが色に対する解像度が低いという人間の視感度特性を利用して、データ圧縮を行ない易くなる。

なお、ＭＰＥＧ符号化方式では、何枚かの画面を１まとまりにしたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）構造が採用されている。ＧＯＰ内ではフレーム内符号化したＩ／ＩＤＲピクチャ、フレーム間順方向予測符号化したＰピクチャ、双方向予測符号化したＢピクチャというタイプの異なる画面が所定の規則で配列されている（図２を参照のこと）。動画像ストリームは、ＧＯＰ単位でランダム・アクセスが可能である。

メモリ制御部２０は、撮影した画像情報などのデータを、フレーム・バッファとして使用するメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。

メディア制御部２２は、記録メディア２６へのデータの書き込みや読み出し、具体的には動画像データや静止画データの記録並びに再生を行なう。ここで言う記録メディア２６は、例えばハード・ディスクのような大容量記録装置であり、メディア制御部２２と記録メディア２６を１つのユニットとしてハード・ディスク・ドライブを構成する。また、記録メディア２６の他の例は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）のような交換型の記録メディアであり、この場合のメディア制御部２２は、ＤＶＤドライブに相当する。また、記録メディア２６のさらに他の例はメモリスティック（登録商標）などの着脱可能な記録メディアであり、この場合の２６を装填するためのスロットを備えるものとする。

ＡＦＥ部１２からカメラＤＳＰ部１６へ入力される撮影画像は、カメラＤＳＰ部１６が符号化処理して記録メディア２６に記録する動画記録用画素数よりも高い解像度である（図３を参照のこと）。以下では、動画記録用画素数より高い解像度となる撮影画像のことを「原画像」と呼ぶ。また、本実施形態では、原画像から人物の顔などの特徴点を含む領域を「部分画像」として記録する機能を備えているが、その詳細については後述に譲る。

モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やその他のタイプの薄型表示パネルなどで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データ（スルー画像）や、メモリ装置２４に保持されている画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。

また、モニタ・ディスプレイ２５上には、スルー画像が表示される他、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）として表示出力される。ここで言うスルー画像は、例えば動画記録用画素数より高い解像度となる原画像であるが、部分画像をスルー表示しても良い。

また、モニタ・ディスプレイ２５の表面にはタッチセンサが重畳されており、タッチパネルを兼ねている。タッチパネルが認識する座標と表示パネルに表示する座標は同一である。したがって、ユーザは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面上に表示された、サムネイル画像やその他のＧＵＩ部品などを直接指定することができる。

デジタルビデオカメラ１には、画像認識技術が搭載されており、撮影された原画像に含まれる人物の顔などの特徴点を検出することができる（後述）。モニタ・ディスプレイ２５に特徴点を一覧表示し、ユーザは上記のタッチパネルを介して、部分画像として記録したい人物を選択することができるが、その詳細については後述に譲る。

カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。また、ＵＩ部２８は、ユーザが指示入力を行なうための操作機能や、スピーカやＬＥＤランプなどの出力機能を備えている。

ＣＰＵ２９は、ユーザ操作に応じて当該装置全体の動作を統括的に制御するが、その他、画像認識などの処理を行なう。あるいは、制御部２７がＣＰＵ２９以外に、画像認識専用のエンジン（図示しない）を搭載する構成であっても良い。

デジタルビデオカメラ１は、画像を撮像して得た画像データを記録メディア２６に保存する動画像撮影モード、静止画撮影モードを持ち、撮影モードに応じて、シャッター・キー操作が示す指示内容が異なる。また、撮影モード以外に、記録メディア２６に記録されているデータをモニタ２５に再生出力するＶＴＲモードなどを備えている。

このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。そして、メラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。

デジタルビデオカメラ１は、動画記録用画素数よりも高い解像度で撮像する（前述並びに図３を参照のこと）。例えば、画像認識技術と組み合わせて、原画像から検出された人物の顔などの特定の特徴点に着目した部分画像を原画像から切り出して、部分（アップ）の動画を記録することができる。このような場合、撮影者によるズーム操作などは不要となり、撮影及び記録の簡単化が図られる。

ここで、特徴点として検出したい人物の顔を、登録済みの顔や、原画像に含まれるサイズの大きい画像を自動選択するようにしてもよいが、このような場合、ユーザが記録したい顔を記録できる保証がないという問題がある。そこで、本実施形態では、原画像から検出された１以上の特徴点の一覧をユーザに提示し、ユーザからの特徴点の選択又は選択切り替え操作に応じて特徴点を含む部分画像を切り出して、部分画像の符号化処理並びに記録メディアへの記録処理を行なうようにしている。これによって、動画記録前や動画記録中において、検出している特徴点の一覧からユーザが記録対象を選択することが可能となるので、ユーザが記録したい顔を記録することができる。

図４には、デジタルビデオカメラ１において、原画像中のユーザが指定した部分画像を符号化並びに記録処理するための機能的構成の一例を模式的に示している。当該機能は、実際には、ＣＰＵ２９が他の回路モジュールとの協働的動作によって実現する。図示の例では、原画像入力部１０１と、特徴点検出部１０２と、特徴点一覧提示部１０３と、特徴点選択入力部１０４と、部分画像切り出し部１０５と、画像符号化部１０６と、記録部１０７で当該機能が構成されている。

原画像入力部１０１は、ＡＦＥ部１２から、動画記録用画素数よりも高い解像度で撮像された原画像を入力する。

特徴点検出部１０２は、画像認識エンジン（前述）撮像により得られた原画像に含まれる、１以上の特徴点を検出する。ここで言う特徴点の代表例は、人物の顔である。なお、顔認識システムは、例えば、顔画像の位置を検出して検出顔として抽出する顔検出処理と、検出顔から主要な顔器官の位置を検出する顔器官検出処理と、検出顔の識別（人物の特定）を行なう顔識別処理で構成される。顔検出処理では、入力画像から顔の大きさや位置を検出して、検出顔として抽出する。また、顔器官検出処理では、検出顔から目の中心や目頭、目尻、鼻、眉毛といった顔器官を発見する。そして、顔検出された検出された顔器官の位置に基づく位置合わせや回転の補正を行なった後に、顔識別処理では検出顔の識別（人物の認識など）を行なう。顔認識処理の詳細については、例えば本出願人に既に譲渡されている特願２００７−３１７７３０号明細書を参照されたい

特徴点一覧提示部１０３と特徴点選択入力部１０４は、具体的には、タッチパネルが重畳されたモニタ・ディスプレイ２５で構成され、特徴点検出部により検出された特徴点の一覧を画面表示する。そして、ユーザは、当該一覧表示画面上で、部分（アップ）の動画を記録したい特徴点を直接選択し、さらに一旦選択した後でも選択切り替え操作を行なうことができる。

図５には、特徴点を人物の顔とした場合の、スルー画像上で特徴点を特徴点一覧提示部１０３により一覧表示した様子を示している。図示の例では、Ａ〜Ｅの合計４人の人物の検出顔が特徴点として検出されている。そして、各顔を囲った領域が切り出し可能な部分画像としてボタン化されており、ユーザ（撮影者）はいずれかのボタンに触れることで、部分画像を選択することができる。

部分画像切り出し部１０５は、原画像から前記ユーザが選択した特徴点を含む部分画像を切り出す。図６には、図５に示した一覧画面から特徴点選択入力部１０４により人物Ａが選択された場合の部分画像の一例を示している。部分画像切り出し部１０５は、特徴点がほぼ一定の位置となるように切り出し領域を決定するようにする。図示の例では、人物Ａを囲む周辺領域を含んだ部分画像が切り出されているが、本発明の要旨は切り出すべきサイズを特定するものではない。

画像符号化部１０６は、画像コーデック処理部１９に相当し、部分画像切り出し部１０５が切り出した部分画像を符号化処理する。本実施形態では、ＭＰＥＧ符号化方式が採用されており、所定の枚数の画面を１まとまりとしたＧＯＰ単位で符号化処理が実施される（前述）。

記録部１０７は、メディア制御部２２に相当し、画像符号化部１０６によって符号化処理された部分画像を、ＨＤＤなどの記録メディア２６に記録する処理を行なう。

図７には、原画像表示及び特徴点表示を行なうための処理手順をフローチャートの形式で示している。

モニタ・ディスプレイ２５上のタッチパネル操作などにより、特徴点の表示要求があると（ステップＳ１）、まず、撮影された領域全体すなわち原画像を表示する（ステップＳ２）。

また、特徴点検出部１０２が起動して、原画像に含まれる特徴点すなわち人物の顔の個数、並びに、各検出顔の原画像中の位置及び画素サイズを取得する（ステップＳ３）。

そして、特徴点一覧提示部１０３は、先行ステップＳ２で取得された各検出顔の原画像中の位置及び画素サイズに応じて、各検出顔がボタン化された一覧画面（図５を参照のこと）を表示出力する（ステップＳ４）。

図８には、部分画像を動画記録するための処理手順をフローチャートの形式で示している。

ユーザは、特徴点選択入力部１０４を介して、原画像の中から動画記録を行ないたい特徴点すなわち人物を選択する（ステップＳ１１）。

部分画像切り出し部１０５は、先行ステップＳ１１における特徴点の選択操作に応答して、該選択された特徴点の、原画像中の位置及び画素サイズから、動画記録すべき切り出し位置と画素サイズを計算する（ステップＳ１２）。そして、原画像入力部１０１から供給される原画像から動画記録すべき切り出し位置と画素サイズを設定する（ステップＳ１３）。

そして、カメラＤＳＰ部１６における動作モードを、動画記録モードへ切り換える（ステップＳ１４）。

画像符号化部１０６は、部分画像切り出し部１０５から供給される部分画像の動画符号化処理を実施する（ステップＳ１５）。本実施形態では、ＭＰＥＧ符号化方式が採用されており、所定の枚数の画面を１まとまりとしたＧＯＰ単位で符号化処理が行なわれる。

次いで、記録部１０７は、ＧＯＰ単位で符号化される動画像を逐次記録メディア２６へ記録していく（ステップＳ１６）。

特徴点が人物やその他の動物である場合、特徴点が原画像内の特定の位置にとどまることはないため、追従処理が必要となる。図９には、動画記録中に特徴点が移動したときの処理手順をフローチャートの形式で示している。

動画記録中に、追従対象となっている特徴点の位置が変化したことが検出されると（ステップＳ２１）、特徴点検出部１０２は、当該特徴点すなわち人物の顔の現在の原画像中の位置及び画素サイズを改めて取得する（ステップＳ２２）。

次いで、部分画像切り出し部１０５は、原画像から部分画像を切り出す位置及び画素サイズを再計算する（ステップＳ２３）。

そして、部分画像切り出し部１０５は、原画像入力部１０１から供給される原画像から動画記録すべき切り出し位置と画素サイズを再度設定する（ステップＳ２４）。

ユーザ（撮影者）はモニタ・ディスプレイ２５に表示されている各検出顔がボタン化された一覧画面（図５を参照のこと）から、特徴点すなわち動画記録したい人物を指定することができるが、さらに動画記録中であっても、同一覧画面を介して別の特徴点を指定することで、動画記録する特徴点すなわち人物を変更することができる。

動画像の符号化方式としてＭＰＥＧ符号化方式が採用されている場合には、所定の枚数の画面を１まとまりとしたＧＯＰ単位で符号化処理が実施される（前述）。このような場合、ＧＯＰの間で特徴点の変更が指示されても、ＧＯＰ単位の間では部分画像の位置及びサイズを変更することはできない。すなわち、次の特徴点の動画記録を即座に開始することはできない。

そこで、本実施形態では、例えば動画記録の対象が人物Ａから人物Ｄへと切り換わったときには、当該時点のＧＯＰについて画像符号化処理が終了するまでの間は、人物Ｄについての部分画像の動画記録を開始せず、人物Ａの最後のＧＯＰについて符号化処理が終了してから人物Ｄについての部分画像の動画記録を再開するようにする（図１０を参照のこと）。

このような場合、動画記録を一時停止した後、変更後の特徴点で動画記録を再開することができ、記録した後の編集が必要なく便利である。

あるいは、本実施形態では、例えば動画記録の対象が人物Ａから人物Ｄへと切り換わったときには、当該時点のＧＯＰについて画像符号化処理が終了するまでの間は、人物Ｄについての部分画像の動画記録を開始しないがバッファリングしておくようにする。そして、人物Ａの最後のＧＯＰについて符号化処理が終了したときには、バッファから部分画像を読み出して、人物の切り替えが指示された時点から人物Ｄについての部分画像の動画記録を再開するようにする（図１１を参照のこと）。

このような場合、動画記録に用いる特徴点の変更を行なう際に、動画記録を一時停止することなく、変更後の特徴点を新たな１つのチャプタ又はファイルとして動画記録を再開することができる。また、記録した後の編集が必要なく便利である（なお、ここで言う「チャプタ」とは、ユーザから見える最小の編集単位のことである。例えば、動画像ストリーム中に再生区間を示すエントリ・マークを配置することで、エントリ・マークで挟まれた再生区間がチャプタとなる）。

図１２並びに図１３には、動画記録する対象となる特徴点を人物Ａから人物Ｄに変更する際の処理手順をフローチャートの形式で示している。但し、図１１に示したように、動画記録に用いる特徴点の変更を行なう際に、動画記録動作を一時停止することなく、変更後の特徴点を新たな１つのチャプタ又はファイルとして動画記録を再開する場合の例とする。

図１２には、変更前の特徴点についてＧＯＰ単位での符号化処理が終了するまでの間、変更後の特徴点についてフレーム・キャプチャした部分画像フレームをバッファリングする処理手順を示している。

部分画像切り出し部１０５は、現在の選択内容に従って、人物Ａに係る部分画像を原画像から切り出して、フレーム・キャプチャ処理を行なう（ステップＳ３１）。

そして、画像符号化部１０６は、キャプチャされたフレームが所定枚数のＧＯＰ単位に到達する度に（ステップＳ３２）、ＭＰＥＧ方式による画像符号化処理を実施する（ステップＳ３３）。

ここで、特徴点選択入力部１０３から、特徴点一覧提示部１０３を通じて、動画記録する対象となる特徴点を人物Ａから人物Ｄに変更する旨の要求が入力されたときには（ステップＳ３４のＹｅｓ）、フレーム・キャプチャされた部分画像の未符号化のままのフレームが存在するか、言い換えれば、ＧＯＰ単位での符号化処理の途中であるかどうかをチェックする（ステップＳ３５）。

ここで、ＧＯＰ単位での符号化処理が終了していれば（ステップＳ３５のＹｅｓ）、当該処理を終了し、人物Ｄに係る部分画像の動画記録処理へと移行する。

一方、ＧＯＰ単位での符号化処理の途中であるときには（ステップＳ３５のＮｏ）、部分画像切り出し部１０５が人物Ａに係る部分画像を原画像から切り出して、フレーム・キャプチャ処理を継続して行なう（ステップＳ３６）。また、部分画像切り出し部１０５は、人物Ｄに係る部分画像も原画像から切り出して、フレーム・キャプチャ処理を平行して行ない、キャプチャしたフレームをバッファリングする（ステップＳ３６）。

画像符号化部１０６は、キャプチャされたフレームが所定枚数のＧＯＰ単位に到達すると（ステップＳ３８のＹｅｓ）、ＭＰＥＧ方式による画像符号化処理を実施し（ステップＳ３９）、記録部１０７は記録メディア２６へ符号化画像を記録する。そして、当該処理を終了し、人物Ｄに係る部分画像の動画記録処理へと移行する。

図１３には、変更前の特徴点についてＧＯＰ単位での符号化処理が終了した以降に、バッファリングしておいた変更後の特徴点についての記録動作を開始するための処理手順を示している。

部分画像切り出し部１０５は、人物Ｂに係る部分画像を原画像から切り出して、フレーム・キャプチャ処理を行ない、引き続きこれをバッファリングする（ステップＳ４１）。

次いで、バッファリングされたフレームが所定枚数のＧＯＰ単位に到達したかどうかをチェックする（ステップＳ４２）。

ここで、バッファリングされたフレームが所定枚数のＧＯＰ単位にまだ到達していないときには（ステップＳ４２のＮｏ）、ステップＳ４１に戻り、部分画像切り出し部１０５による人物Ｂに係る部分画像を原画像から切り出して、フレーム・キャプチャ処理、並びにフレームのバッファリングを引き続き行なう。

一方、バッファリングされたフレームが所定枚数のＧＯＰ単位に到達すると（ステップＳ４２のＹｅｓ）、画像符号化部１０６は、バッファからフレームを読み出して、ＭＰＥＧ方式による画像符号化処理を実施し（ステップＳ４３）、記録部１０７は記録メディア２６へ符号化画像を記録する。

そして、バッファリングされたキャプチャ・フレームについて記録処理が終了した以降は、図１２に示したと同様の処理手順を起動すればよい。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、動画像を撮影するデジタルビデオカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。動画像の記録機能を備えた各種の情報機器にも、同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明を適用した映像記録装置として動作することができる装置の一例として、デジタルビデオカメラの構成を模式的に示した図である。 図２は、ＭＰＥＧ符号化方式におけるＧＯＰ構造を模式的に示した図である 図３は、ＡＦＥ部１２からカメラＤＳＰ部１６へ入力される撮影画像は、カメラＤＳＰ部１６が符号化処理して記録メディア２６に記録する動画記録用画素数よりも高い解像度であることを説明するための図である。 図４は、原画像中のユーザが指定した部分画像を符号化並びに記録処理するための機能的構成を模式的に示した図である。 図５は、特徴点を人物の顔とした場合の、スルー画像上で特徴点を特徴点一覧提示部１０３により一覧表示した様子を示した図である。 図６は、図５に示した一覧画面から特徴点選択入力部１０４により人物Ａが選択された場合の部分画像の一例を示した図である。 図７は、原画像表示及び特徴点表示を行なうための処理手順を示したフローチャートである。 図８は、部分画像を動画記録するための処理手順を示したフローチャートである。 図９は、動画記録中に特徴点が移動したときの処理手順を示したフローチャートである。 図１０は、動画記録する対象となる特徴点を変更する際の処理手順を説明するための図である。 図１１は、動画記録する対象となる特徴点を変更する際の処理手順を説明するための図である。 図１２は、動画記録する対象となる特徴点を変更する際の処理手順を示したフローチャートである。 図１３は、動画記録する対象となる特徴点を変更する際の処理手順を示したフローチャートである。

符号の説明

１…デジタルビデオカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…ＵＩ部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部
１０１…原画像入力部
１０２…特徴点検出部
１０３…特徴点一覧提示部
１０４…特徴点選択入力部
１０５…部分画像切り出し部
１０６…画像符号化部
１０７…記録部

Claims (8)

1. 動画記録用画素数よりも高い解像度で撮像して原画像を取得する撮像部と、
   撮像により得られた原画像から１以上の特徴点を検出する特徴点検出部と、
   前記原画像からユーザが選択した特徴点を含む部分画像を切り出す部分画像切り出し部と、
   前記部分画像切り出し部が切り出した前記部分画像を符号化処理する画像符号化部と、
   前記符号化処理された前記部分画像を記録メディアに記録する記録部と、
   を具備することを特徴とする映像記録装置。
2. 前記部分画像切り出し部は、特徴点がほぼ一定の位置となるように切り出し領域を決定する、
   ことを特徴とする請求項１に記載の映像記録装置。
3. 前記特徴点検出部により検出された１以上の特徴点をユーザに提示して、前記ユーザからの特徴点の選択又は選択切り替え操作を受け付ける特徴点提示部をさらに備え、
   前記部分画像切り出し部は、提示された１以上の特徴点の候補の中からユーザが選択した特徴点を含む部分画像を切り出す、
   ことを特徴とする請求項１に記載の映像記録装置。
4. 部分画像として切り出す特徴点を変更する特徴点変更部をさらに備える、
   ことを特徴とする請求項１に記載の映像記録装置。
5. 前記画像符号化部は、所定の枚数の画面を符号化単位とした符号化処理を行なっており、
   前記特徴点変更部によって部分画像として切り出すべき特徴点が第１の特徴点から第２の特徴点に切り換えられた時点で、前記画像符号化部では前記第１の特徴点に係る部分画像について符号化単位における符号化処理の途中である場合には、前記画像符号化部が当該符号化単位の符号化処理を終了した後に、前記第２の特徴点に係る部分画像の動画記録処理を再開する、
   ことを特徴とする請求項４に記載の映像記録装置。
6. 前記画像符号化部は、所定の枚数の画面を単位とした符号化処理を行なっており、
   前記特徴点変更部によって部分画像として切り出すべき特徴点が第１の特徴点から第２の特徴点に切り換えられた際に、前記画像符号化部は、当該切り換え時点において符号化処理の途中となっている符号化単位についての符号化処理を終了させるまでの間の前記第２の特徴点に係る部分画像をバッファリングし、当該符号化単位についての符号化処理が終了してからバッファリングされた前記第２の特徴点に係る部分画像の符号化処理を開始する、
   ことを特徴とする請求項４に記載の映像記録装置。
7. 動画記録用画素数よりも高い解像度で撮像された原画像を取得する原画像取得ステップと、
   前記原画像から１以上の特徴点を検出する特徴点検出ステップと、
   前記原画像からユーザが選択した特徴点を含む部分画像を切り出す部分画像切り出しステップと、
   前記部分画像切り出しステップにおいて切り出した前記部分画像を符号化処理する画像符号化ステップと、
   前記符号化処理された前記部分画像を記録メディアに記録する記録ステップと、
   を具備することを特徴とする映像記録方法。
8. 動画像を記録するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
   動画記録用画素数よりも高い解像度で撮像された原画像を取得する原画像取得手段、
   撮像により得られた原画像から１以上の特徴点を検出する特徴点検出手段、
   前記原画像からユーザが選択した特徴点を含む部分画像を切り出す部分画像切り出し手段、
   前記部分画像切り出し手段が切り出した前記部分画像を符号化処理する画像符号化手段、
   前記符号化処理された前記部分画像を記録メディアに記録する記録手段、
   として実行させるためのコンピュータ・プログラム。