JP2011041154A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 動画像を分割した場合であっても、分割された動画像に対して頭出しのための付加情報を容易に生成する為の技術を提供すること。
【解決手段】 ＣＰＵ２３０は、分割フレーム位置を境界にして動画ファイルを分割することで、先頭フレームを含む先頭分割動画ファイルと、そのほかの分割動画ファイルと、を生成する。そしてＣＰＵ２３０は、そのほかの分割動画ファイルから再生順において最初に被写体が登場するフレームの位置を検出し、検出した位置を記したファイルを新規顔情報管理ファイルとして生成する。そしてＣＰＵ２３０は記録再生制御回路２２３を制御して、生成した新規顔情報管理ファイルをそのほかの分割動画ファイルと関連付けて記録媒体２５０に格納する。
【選択図】 図１

Description

本発明は、動画像を記録するための技術に関するものである。

動画像を撮影し、撮影した動画像をメモリカードなどの記録媒体に記録するビデオカメラ等の装置が、従来から知られている。この種の装置においては、記録した動画像信号に対して頭出しのための付加情報を付加して記録しておき、再生時に、簡単に所望の位置に頭出しができる機能を持つものがある。例えば、動画像の記録中、一定の間隔（数分ごと）に頭出しのための位置情報を記録する方法や、再生中にユーザが指示した位置を頭出しのための位置として記録する方法などがある。

また近年では、記録中に被写体の顔等、特定の被写体を検出する機能を持つカメラも登場している（特許文献１）。この様なカメラでは、動画像信号の中で顔などを検出した位置を記録しておき、頭出しなどに使うことが考えられている。また従来の装置では、記録媒体に記録した動画像信号を所望の位置で分割する編集機能を持つものが知られている。

特開２０００−３５０１２４号公報

上記の様に、記録した動画像信号を分割した場合、頭出しのための付加情報も、それぞれの分割動画像信号に付加されていることが望ましい。しかしながら従来は、分割前の動画像に付加されていた頭出しのための位置情報が、分割された動画像については付加されず、そのため、再生時に良好な頭出しができない、という問題があった。

本発明は上記の問題に鑑みて成されたものであり、動画像を分割した場合であっても、分割された動画像に対して頭出しのための付加情報を容易に生成する為の技術を提供する。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、動画ファイルを取得する手段と、前記動画ファイルの再生順において最初に特定の被写体が登場するフレームの位置を記した位置情報管理ファイルを取得する手段と、前記動画ファイルの分割フレーム位置を指定する手段と、前記分割フレーム位置を境界にして前記動画ファイルを分割することで、先頭フレームを含む先頭分割動画ファイルと、そのほかの分割動画ファイルと、を生成する手段と、前記そのほかの分割動画ファイルから前記再生順において最初に前記特定の被写体が登場するフレームの位置を検出し、検出した位置を記したファイルを新規位置情報管理ファイルとして生成し、生成した新規位置情報管理ファイルを前記そのほかの分割動画ファイルと関連付けてメモリに格納する第１の格納制御手段とを備えることを特徴とする。

本発明の構成によれば、動画像を分割した場合であっても、分割された動画像に対して頭出しのための付加情報を容易に生成することができる。

デジタルカメラ２００のハードウェア構成例を示すブロック図。 前半動画ファイルと後半動画ファイルとについて説明する図。 前半動画ファイル、後半動画ファイルそれぞれの顔情報管理ファイルを説明する図。 前半動画ファイルの顔情報管理ファイルを作成する処理のフローチャート。 後半動画ファイルの顔情報管理ファイルを作成する処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

先ず、本実施形態に係る撮像装置（画像処理装置）としてのデジタルカメラ２００について、図１を用いて説明する。外界の光は、レンズ２０１を介して固体センサ２０２に入光する。レンズ２０１は、モータ２０４により駆動される。ＣＰＵ２３０は、オートフォーカス機能やズーム機能を実現させるべくモータ２０４に制御信号を送出するので、モータ２０４はこの制御信号に基づいてレンズ２０１を移動させる。ズーム機能ではレンズ２０１を駆動し、被写体を広角（ワイド）または望遠（テレ）で撮像可能なようにする。

固体センサ２０２はレンズ２０１を介して入光した光を動画像信号（アナログ信号）に変換する。この動画像信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換される。このデジタル信号は、輝度Ｙ、色差Ｃｒ、Ｃｂを色成分として有するデジタル動画像信号、若しくはＲＧＢを色成分として有するデジタル動画像信号として、ＣＰＵ２３０に入力される。

ＣＰＵ２３０はこのデジタル動画像信号に対して色分離、白バランス補正、ガンマ補正、アパーチャ補正などの基本処理と、操作キー２１２を用いて設定された画像サイズ、画質調整、位置調整などの付加処理とを施す。更にＣＰＵ２３０は、この処理済みのデジタル信号としての動画像データに対して、予め設定された圧縮方法や圧縮パラメータに従ってＭＰＥＧ、ＭＪＰＥＧ、ＪＰＥＧ、ＪＰＥＧ２０００、Ｈ２６４等の画像圧縮処理を施し、動画像圧縮データを生成する。この動画像圧縮データは、データストリーム形式のファイルとして生成する。

一方、外界の音声は、マイク２０９により収集され、音声信号（アナログ信号）としてマイクアンプ２１０に入力される。マイクアンプ２１０は、この音声信号を増幅させる。Ａ／Ｄコンバータ２１１は、この増幅された音声信号をデジタル信号に変換する。ＣＰＵ２３０は、デジタル信号としての音声データを取得するとこの音声データに対して、操作キー２１２を用いて設定された音質調整等の付加処理を行い、更に予め設定された圧縮方法や圧縮パラメータに従って音声圧縮処理を行い、音声圧縮データを生成する。この音声圧縮データは、データストリーム形式のファイルとして生成する。なお、動画像圧縮データと音声圧縮データとは別個のデータストリーム形式のファイルとして生成しても良いが、本実施形態では、これらを１つのデータストリーム形式の動画ファイルとして生成する。

操作キー２１２は、各種の操作指示をＣＰＵ２３０に対して入力するためのもので、ボタン群などにより構成されている。表示ドライバ２１３は、ＣＰＵ２３０により処理された画像データ等の各種のデータから、表示器２１４に適した形式の映像信号を生成して表示器２１４に供給する。表示器２１４は、ＬＣＤ、ＥＶＦ等により構成されており、表示ドライバ２１３から送出された映像信号に基づく表示を行う。

スピーカドライバ２１５は、ＣＰＵ２３０により処理された音声データから、スピーカ２１６に適した音声信号を生成する。生成した音声信号に基づく音声は、スピーカ２１６から出力される。

外部入出力端子２１７は、パーソナルコンピュータ等の外部機器との情報のやり取りを行うための端子である。記録再生制御回路２２３は、ソケット２２５に装着されている記録媒体２５０に対するデータの読み書きを行う。例えば記録再生制御回路２２３は、ＣＰＵ２３０が生成したデータストリーム形式のファイルを記録媒体２５０に書き込んだり、記録媒体２５０に記録されているデータストリーム形式のファイルを読み出したりする。

なお、記録媒体２５０は、ソケット２２５のような装着、排出機構によりビデオカメラ２００に対して容易に着脱可能な記憶装置であっても良く、また、デジタルカメラ２００と一体型の記憶装置であっても良い。

ＣＰＵ２３０は、デジタルカメラ２００を構成する各部の動作制御を行うと共に、デジタルカメラ２００が行うものとして説明する各処理（撮像処理、データ再生処理、顔検出処理、符号化／復号処理等）を実行する。なお、ＣＰＵ２３０内に備わっている不図示のメモリには、顔検出プログラム３００の他、ＣＰＵ２３０が行うものとして後述する各処理をＣＰＵ２３０に実行させるためのコンピュータプログラムが格納されている。

ＣＰＵ２３０が顔検出プログラム３００を実行することで、Ａ／Ｄコンバータ２０３から取得した動画像信号中の各フレームの画像から特定の被写体としての顔を検出する処理を実現する。若しくは記録再生制御回路２２３が記録媒体２５０から読み出した動画ファイルを復号し、復号した動画像データ中の各フレームの画像から顔を検出する処理を実現する。

なお、本実施形態では、顔検出処理を、ＣＰＵ２３０が顔検出プログラム３００を実行することで実現するが、顔検出処理用の回路をデジタルカメラ２００に設け、この回路により顔検出処理を実現させても良い。

メモリ２２２は、ＣＰＵ２３０が各処理を実行する際に用いるワークエリアや、様々なデータを記憶するためのエリアを有する。センサ２２４は、デジタルカメラ２００の外界をセンシングするための各種のセンサにより構成されている。電源２２１は、デジタルカメラ２００の電源装置として機能するものである。

ここで本実施形態では上述の通り、動画像や音声はデータストリーム形式のファイルとして記録される。本実施形態では、記録媒体２５０に記録する各種のファイルを、ＵＤＦ、ＦＡＴ等のファイルシステムに従って管理する。ファイルシステムとは、ファイルの管理を行うための管理情報とファイルデータからなる構造体系を意味する。このファイルシステムを共通化することによって、異なった記憶媒体あるいは記録再生機器でも記録再生できる。

なお、本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録した一つのシーンの動画像データと音声データとを圧縮して一つのデータストリーム形式の動画ファイルとして記録媒体２５０に記録する。

なお、このデータストリーム形式の動画ファイルは、外部入出力端子２１７を介して外部機器に送出しても良い。また、ＣＰＵ２３０が動画ファイルを復号した結果、復号した動画像については表示ドライバ２１３を介して表示器２１４に表示し、復号した音声データについてはスピーカドライバ２１５を介してスピーカ２１６から音として出力しても良い。

ここで本実施形態では、撮影開始後、ＣＰＵ２３０はＡ／Ｄコンバータ２０３から動画像を受けると、最初に顔が登場するフレームを検出し、その検出したフレームのフレーム位置を示す位置情報を検出する。例えば、撮影を開始した後、動画像の先頭フレームから順に各フレームについて顔検出を行った結果、初めてＡさんの顔を検出したフレームがＸフレーム目である場合、Ｘフレーム目のフレームの位置情報を検出することになる。その後、（Ｘ＋１）フレーム目以降でＡさんの顔を検出しても、撮影を停止するまでは、Ａさんについての位置情報の検出は行わない。その後、今度はＢさんの顔をＹ（Ｙ＞Ｘ）フレーム目で初めて検出した場合、Ｙフレーム目の位置情報を検出することになる。このように、登場する顔毎に、撮影開始後に初めて登場したフレームの位置情報を検出する。そしてこのように顔毎に検出した位置情報を記した顔情報管理ファイル（位置情報管理ファイル）を生成する。この顔情報管理ファイルは、記録再生制御回路２２３によって、動画ファイルと共に記録媒体２５０に記録される。なお、動画ファイル中のヘッダには、この動画ファイルについて作成した顔情報管理ファイルを識別するための情報（顔情報管理ファイルのファイル名や識別情報）が書き込まれる。これにより、動画ファイルと顔情報管理ファイルとを関連付けて記録媒体２５０に記録することができる。

次に、本実施形態の特徴となる、データストリーム形式の動画ファイルのファイル分割について説明する。本実施形態では、記録媒体２５０に対して記録された一つの動画ファイルを、ユーザが任意のフレーム位置で分割する。これにより、元の動画ファイルを２つの分割動画ファイル（複数の分割動画ファイル）に分割する。

即ち、ユーザが操作キー２１２を操作して動画像再生指示を入力すると、ＣＰＵ２３０は記録再生制御回路２２３を制御して記録媒体２５０から対象となる動画ファイルを読み出して復号し、動画像についてはこれを再生して表示器２１４に表示する。ユーザは表示器２１４に表示された動画像を確認すると、操作キー２１２を操作して、分割したいフレーム位置（分割フレーム位置）で動画像再生を一時停止し、操作キー２１２を操作してファイル分割を指示する。するとＣＰＵ２３０は、動画ファイルを分割フレーム位置で二つのファイルに分割する。

その際、動画像データをMPEGなどのフレーム間符号化にて符号化していた場合、分割フレーム位置におけるフレームが前後のフレームと相関があるB、Pピクチャであることがある。そのような場合は、分割フレーム位置として指定されたフレームを含むグループオブピクチャ（GOP）の先頭のＩピクチャの位置を新たな分割フレーム位置とし、この分割フレーム位置でファイル分割を行う。なお、ファイルの分割処理については、この他、ＭＰＥＧファイルを分割するための公知の技術を用いることができる。

本実施形態では説明を簡単にするために、１つの動画ファイルを２つのファイルに分割する場合について説明するが、分割数が３以上であっても、以下の説明は同様に適用することができる。分割数が３以上の場合については後述する。

また、一つの動画ファイルを二つに分割した結果、記録媒体２５０に記録するファイルが一つ増えることになる。本実施形態では、分割した２つの分割動画フレームのうち動画ファイルの先頭フレームを含む前半動画ファイル（先頭分割動画ファイル）には、分割前の元の動画ファイルと同じファイル名を割り当てる。また、もう一方の分割動画像ファイルである後半動画ファイルについては、新たにファイル名を割り当て、新たな動画ファイルとして記録媒体２５０に記録する。即ち、元の動画ファイルに含まれていた顔情報を管理するための管理ファイルは前半動画ファイルの顔情報管理ファイルとして記録媒体２５０に記録される。しかし、後半動画ファイルは前半動画ファイルとは別個のファイルであるため、後半動画ファイルの顔情報管理ファイルは存在しない。

このように、後半動画ファイルには、分割フレーム位置以降（分割フレーム以降）で最初に顔が登場するフレームのフレーム位置（登場フレーム位置）を記した顔情報管理ファイルがない。また、前半動画ファイルの顔情報管理ファイルには、分割フレーム位置以降のフレーム位置が記されている可能性があり、このフレーム位置は後半動画ファイル中のフレームであるため、このフレーム位置の記述は不要となる。

そこで本実施形態では、動画ファイルを分割した場合には、前半動画ファイル、後半動画ファイルのそれぞれについて、最初に顔が登場したフレームのフレーム位置を示す位置情報を含む顔情報管理ファイルを生成する。もちろん、それぞれの顔情報管理ファイルを１つの顔情報管理ファイルにまとめても良い。次に、１つの動画ファイルを２つの動画ファイル（前半動画ファイルと後半動画ファイル）に分割した場合における前半動画ファイル、後半動画ファイルについて、図２を用いて説明する。

図２（ａ）には、動画ファイルを復号した場合の動画像１２０１を示している。動画像１２０１においてフレーム１２０１ａは、動画像１２０１の再生順において顔Ａが最初に登場したフレームで、フレーム１２０１ｂはこの再生順において顔Ｂが最初に登場したフレームである。この場合における動画ファイルの顔情報管理ファイルには、フレーム１２０１ａのフレーム位置、フレーム１２０１ｂのフレーム位置が記されていることになる。

図２（ｂ）、図２（ｃ）はそれぞれ、動画像１２０１をフレーム１２０１ｃを境界にして分割した場合における前半動画ファイル１２０２、後半動画ファイル１２０３を示している。前半動画ファイル１２０２中には顔Ａが最初に登場したフレーム１２０１ａは含まれているものの、顔Ｂが最初に登場したフレーム１２０１ｂは含まれていない。従って、前半動画ファイル１２０２の顔情報管理ファイルは、顔Ａが最初に登場したフレーム１２０１ａの位置情報を管理する必要はあるものの、顔Ｂが最初に登場したフレーム１２０１ｂの位置情報については管理する必要はない。一方、後半動画ファイル１２０３中には顔Ｂが最初に登場したフレーム１２０１ｂは含まれている。更に後半動画ファイル１２０３の先頭フレーム（分割フレーム位置におけるフレーム）１２０１ｃには、顔Ａが登場している。

図２（ｄ）、図２（ｅ）はそれぞれ、動画像１２０１をフレーム１２０１ｄを境界にして分割した場合における前半動画ファイル１２０４、後半動画ファイル１２０５を示している。前半動画ファイル１２０４中には顔Ａが最初に登場したフレーム１２０１ａは含まれているものの、顔Ｂが最初に登場したフレーム１２０１ｂは含まれていない。従って、前半動画ファイル１２０４の顔情報管理ファイルは、顔Ａが最初に登場したフレーム１２０１ａの位置情報を管理する必要はあるものの、顔Ｂが最初に登場したフレーム１２０１ｂの位置情報については管理する必要はない。一方、後半動画ファイル１２０５中には、顔Ａが映っているフレームは存在せず、顔Ｂが最初に登場したフレーム１２０１ｂは含まれている。

このように、分割前の元の動画ファイルを分割フレーム位置で２つのファイルに分割した場合、分割フレーム位置以降で初めて登場する顔のフレームは当然ながら、前半動画ファイルには含まれておらず後半動画ファイルに含まれていることになる。また、後半動画ファイルについては、そもそも顔情報管理ファイルが無い。

従って本実施形態ではＣＰＵ２３０は、指定された分割フレーム位置で動画ファイルを前半動画ファイルと後半動画ファイルとに分割した場合は、元の動画ファイルの顔情報管理ファイルに分割フレーム位置以降のフレーム位置が記されているか否かを判断する。そして記されていれば、このフレーム位置を顔情報管理ファイルから削除する（変更する）ことで、この顔情報管理ファイルを更新し、更新後の顔情報管理ファイルを前半動画ファイルの顔情報管理ファイルとする。

またＣＰＵ２３０は、後半動画ファイルの顔情報管理ファイルを新規顔情報管理ファイル（新規位置情報管理ファイル）として作成する。この新規顔情報管理ファイルを作成するためには、ＣＰＵ２３０は、後半動画ファイルにおいて最初に顔が登場するフレーム位置を、顔毎（Ａさんの顔、Ｂさんの顔、等）に取得し、取得したフレーム位置を新規顔情報管理ファイルに登録する。これにより、前半動画ファイルと後半動画ファイルのそれぞれに対応する顔情報管理ファイルを作成することができる。次に、前半動画ファイルと後半動画ファイルのそれぞれに対応する顔情報管理ファイルについて、図３を用いて説明する。

図３（ａ）には、図２（ａ）に示した動画像１２０１に対応する（元の動画ファイルに対応する）顔情報管理ファイル３０１を示している。動画像１２０１では顔Ａが最初に登場したフレームがフレーム１２０１ａであるので、顔情報管理ファイル３０１には、このフレーム１２０１ａの位置情報「００：０１：１５：００」が、顔Ａの顔ＩＤ（＝１）と共に登録されている。また、動画像１２０１では顔Ｂが最初に登場したフレームがフレーム１２０１ｂであるので、顔情報管理ファイル３０１には、このフレーム１２０１ｂの位置情報「００：０１：３０：００」が、顔Ｂの顔ＩＤ（＝２）と共に登録されている。なお、顔情報管理ファイルには、動画ファイルの再生時において先頭からの経過時間：分：秒：フレームの順に記述する。顔情報管理ファイル３０１では、顔Ａが先頭から１分１５秒０フレームの位置に登場し、顔Ｂが先頭から１分３０秒０フレームの位置に登場している。

図３（ｂ）には、図２（ｂ）に示した前半動画ファイル１２０２の顔情報管理ファイル３０２と、図２（ｃ）に示した後半動画ファイル１２０３の顔情報管理ファイル３０３とが示されている。顔情報管理ファイル３０２は顔情報管理ファイル３０１から作成したものである。即ち、顔Ｂが最初に登場したフレーム１２０１ｂの位置が分割フレーム１２０１ｃの位置より時間的に後の位置である。従って、顔情報管理ファイル３０２は、顔情報管理ファイル３０１から顔ＢのＩＤと顔Ｂが最初に登場したフレームの位置とを削除したことで得られる。

一方、後半動画ファイル１２０３では、顔Ａがフレーム１２０１ｃで最初に登場しており、顔Ｂがフレーム１２０１ｂで最初に登場している。そのため、顔情報管理ファイル３０３には、顔ＡのＩＤと顔Ａが後半動画ファイル１２０３で最初に登場したフレーム１２０１ｃの位置、顔ＢのＩＤと顔Ｂが後半動画ファイル１２０３で最初に登場したフレーム１２０１ｂの位置が登録されている。ここで、後半動画ファイルについて作成する新規顔情報管理ファイルに登録するフレーム位置は、動画ファイルの先頭フレームからのフレーム位置を、後半動画ファイルの先頭フレームからの相対的な位置に変換したものである。これは以降に説明する新規顔情報管理ファイルについても同様である。

図３（ｃ）には、図２（ｄ）に示した前半動画ファイル１２０４の顔情報管理ファイル３０４と、図２（ｅ）に示した後半動画ファイル１２０５の顔情報管理ファイル３０５とが示されている。顔情報管理ファイル３０４は顔情報管理ファイル３０１から作成したものである。即ち、顔Ｂが最初に登場したフレーム１２０１ｂの位置が分割フレーム１２０１ｃの位置より時間的に後の位置である。従って、顔情報管理ファイル３０４は、顔情報管理ファイル３０１から顔ＢのＩＤと顔Ｂが最初に登場したフレームの位置とを削除したことで得られる。

一方、後半動画ファイル１２０５では、顔Ａは登場せず、顔Ｂがフレーム１２０１ｂで最初に登場している。そのため、顔情報管理ファイル３０５には、顔ＢのＩＤと顔Ｂが後半動画ファイル１２０３で最初に登場したフレーム１２０１ｂの位置が登録されている。

次に、動画ファイルを指定された分割フレーム位置で前半動画ファイルと後半動画ファイルとに分割した場合に、前半動画ファイル、後半動画ファイルのそれぞれに対する顔情報管理ファイルを作成する処理について図４，５のフローチャートを用いて説明する。

先ず、前半動画ファイルの顔情報管理ファイルを作成する処理について、同処理のフローチャートを示す図４を用いて説明する。先ずステップＳ３０１ではＣＰＵ２３０は、記録再生制御回路２２３に対して、記録媒体２５０に記録されている動画ファイルの顔情報管理ファイルを読み出すよう指示する。従って記録再生制御回路２２３は、指示された顔情報管理ファイルを記録媒体２５０から読み出し、メモリ２２２に送出する。

次に、ステップＳ３０２ではＣＰＵ２３０は、ステップＳ３０１でメモリ２２２に読み出された顔情報管理ファイルに記されているそれぞれのフレーム位置を参照し、分割フレーム位置よりも時間的に後のフレーム位置が記されているか否かを判断する。係る判断の結果、記されていないと判断した場合には、ＣＰＵ２３０はこの顔情報管理ファイルを前半動画ファイル用の顔情報管理ファイルとして記録再生制御回路２２３に送出する。記録再生制御回路２２３は、この顔情報管理ファイルを前半動画ファイル用の顔情報管理ファイルとして記録媒体２５０に記録する。ここで「顔情報管理ファイルを前半動画ファイル用の顔情報管理ファイルとして記録媒体２５０に記録する」とは、顔情報管理ファイルを前半動画ファイルと関連付けて記録することを意味している。

一方、ステップＳ３０２における判断の結果、記されていると判断した場合には、処理はステップＳ３０３に進む。ステップＳ３０３では、ＣＰＵ２３０は、顔情報管理ファイルから、分割フレーム位置よりも時間的に後のフレーム位置と、対応する顔ＩＤを削除してこの顔情報管理ファイルを更新する。そしてＣＰＵ２３０は、この更新した顔情報管理ファイルを記録再生制御回路２２３に送出する。記録再生制御回路２２３は、この更新された顔情報管理ファイルを前半動画ファイル用の顔情報管理ファイルとして記録媒体２５０に記録する（第２の格納制御）。

次に、後半動画ファイルの顔情報管理ファイル（新規顔情報管理ファイル）を作成する処理について、同処理のフローチャートを示す図５を用いて説明する。先ずステップＳ５０１では、ＣＰＵ２３０は、記録再生制御回路２２３に対して後半動画ファイルの取得指示を送出する。すると記録再生制御回路２２３は、後半動画ファイルを記録媒体２５０から読み出してメモリ２２２に出力するので、ＣＰＵ２３０はこの後半動画ファイルを復号して後半動画像を得る。ＣＰＵ２３０は、この後半動画像を再生すべく、この後半動画像を構成する各フレームの画像を再生順に順次表示ドライバ２１３に送出する。

次に、ステップＳ５０２では、ＣＰＵ２３０は、これから表示ドライバ２１３に送出する着目フレームの画像に対して顔検出処理を行う。係る顔検出処理の結果、検出した顔が、後半動画像を再生してから初めて登場した顔である場合には、処理をステップＳ５０３に進める。ステップＳ５０３では、この着目フレームのフレーム位置をメモリ２２２に書き込む。一方、顔検出処理の結果、何も顔が検出されなかった場合、若しくは既に検出した顔を検出した場合には、処理をステップＳ５０４に進める。

ステップＳ５０４では、ＣＰＵ２３０は、後半動画像の再生を開始してからの経過時間Ｔ１を計時し、この経過時間Ｔ１が規定時間（所定時間）θよりも大きいか否かを判断する。係る判断は、再生時間を判断するためのものであるので、ステップＳ５０４で行う判断処理はこれに限定するものではない。係る判断の結果、Ｔ１＞θであれば処理をステップＳ５０５に進め、Ｔ１≦θであれば、次のフレームについてステップＳ５０２以降の処理を行う。

ステップＳ５０５では、ＣＰＵ２３０は、後半動画像の再生を停止する。この時点では、後半動画ファイルにおいて先頭から規定時間分のフレームしか顔検出を行っていないため、規定時間以降のフレームに顔が登場していてもこの顔が初めて登場するフレームのフレーム位置については管理できなくなる。そこでステップＳ５０６では、ＣＰＵ２３０は、記録再生制御回路２２３に対して、記録媒体２５０に記録されている動画ファイルの顔情報管理ファイル（図４のフローチャートでの処理による更新前の顔情報管理ファイル）を読み出すよう指示する。この読み出す対象の顔情報管理ファイルは、オリジナルのコピーであっても良い。記録再生制御回路２２３は、ＣＰＵ２３０により指示された顔情報管理ファイルを記録媒体２５０から読み出し、メモリ２２２に送出する。そしてＣＰＵ２３０は、この読み出された顔情報管理ファイルに記されているそれぞれのフレーム位置を参照する。

次に、ステップＳ５０７では、ＣＰＵ２３０は、ステップＳ５０６で参照した結果、顔情報管理ファイルに分割フレーム位置よりも時間的に後のフレーム位置が記されているか否かを判断する。係る判断の結果、記されていないと判断した場合には、処理はステップＳ５０９に進む。一方、記されていると判断した場合には、処理はステップＳ５０８に進む。

ステップＳ５０８では、ＣＰＵ２３０は、顔情報管理ファイルにおいて分割フレーム位置よりも時間的に後のフレーム位置を取得し、メモリ２２２に書き込む。ステップＳ５０７から直接ステップＳ５０９に処理が進んだ場合、ステップＳ５０９ではＣＰＵ２３０は、ステップＳ５０３でメモリ２２２に書き込んだフレーム位置を記した新規顔情報管理ファイルを、後半動画ファイル用の顔情報管理ファイルとして作成する。一方、ステップＳ５０７からステップＳ５０８を介してステップＳ５０９に処理が進んだ場合、ＣＰＵ２３０は次の処理を行う。即ち、ＣＰＵ２３０は、ステップＳ５０３及びステップＳ５０８でメモリ２２２に書き込んだフレーム位置を記した新規顔情報管理ファイルを、後半動画ファイル用の顔情報管理ファイルとして作成する。

なお、上述の通り、新規顔情報管理ファイルに登録するフレーム位置は、動画ファイルの先頭フレームからのフレーム位置を、後半動画ファイルの先頭フレームからの相対的な位置に変換したものである。

そしてステップＳ５０９では更に、作成した新規顔情報管理ファイルを後半動画ファイル用の顔情報管理ファイルとして記録再生制御回路２２３に送出する。記録再生制御回路２２３は、この新規顔情報管理ファイルを後半動画ファイル用の顔情報管理ファイルとして記録媒体２５０に記録する（第１の格納制御）。ここで「顔情報管理ファイルを後半動画ファイル用の顔情報管理ファイルとして記録媒体２５０に記録する」とは、顔情報管理ファイルを後半動画ファイルと関連付けて記録することを意味している。

＜変形例１＞
上記の説明では、動画ファイルを２分割した場合の顔情報管理ファイルの作成処理について説明したが、動画ファイルをｎ（ｎ＞２）分割した場合におけるそれぞれの分割動画ファイルの顔情報管理ファイルの作成についても処理は同様である。

先頭分割動画ファイルの顔情報管理ファイルの作成については上述の通りである。再生順において２番目以降のそのほかの分割動画ファイル（他分割動画ファイル）については先ず、他分割動画ファイルの先頭フレーム位置から終端フレーム位置までの間で最初に顔が登場するフレーム位置を顔毎に取得する。この取得方法については上記の実施形態と同様である。そして次に、この取得したフレーム位置を記した顔情報管理ファイルを作成する。

＜変形例２＞
上記の実施形態では、記録媒体２５０に記録されている動画ファイルが分割された場合について説明した。しかし、非圧縮の動画像データと、これに対応する顔情報管理ファイルとが存在し、この非圧縮の動画像データが分割された場合であっても、復号処理が必要ないだけで、上記説明は同様に適用することができる。

＜変形例３＞
上記の本実施形態では、後半動画ファイルの先頭フレームから規定時間分だけを再生して最初に顔が登場するフレーム位置を検出したが、後半動画ファイルに含まれる全てのフレームを再生して、最初に顔が登場するフレームの位置を検出するようにしても良い。この場合、動画ファイルの顔情報管理ファイルを参照する必要はない。

更に、動画ファイルの顔情報管理ファイルに分割フレーム位置以降のフレーム位置が記されている場合には、後半動画ファイルを再生する場合に、この分割フレーム位置以降のフレーム位置までを再生して顔検出を行うようにしても良い。また上記の実施形態では、被写体を顔としているが、顔以外の対象物を被写体としても良く、その場合であっても本実施形態は同様に適用することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 動画ファイルを取得する手段と、
   前記動画ファイルの再生順において最初に特定の被写体が登場するフレームの位置を記した位置情報管理ファイルを取得する手段と、
   前記動画ファイルの分割フレーム位置を指定する手段と、
   前記分割フレーム位置を境界にして前記動画ファイルを分割することで、先頭フレームを含む先頭分割動画ファイルと、そのほかの分割動画ファイルと、を生成する手段と、
   前記そのほかの分割動画ファイルから前記再生順において最初に前記特定の被写体が登場するフレームの位置を検出し、検出した位置を記したファイルを新規位置情報管理ファイルとして生成し、生成した新規位置情報管理ファイルを前記そのほかの分割動画ファイルと関連付けてメモリに格納する第１の格納制御手段と
   を備えることを特徴とする画像処理装置。
2. 更に、
   前記位置情報管理ファイルに前記分割フレーム位置以降の位置が記されていれば、該位置を前記位置情報管理ファイルから削除して前記位置情報管理ファイルを更新し、更新した前記位置情報管理ファイルを前記先頭分割動画ファイルと関連付けて前記メモリに格納する第２の格納制御手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の格納制御手段は、
   前記そのほかの分割動画ファイルの先頭から規定時間分だけ再生して最初に前記特定の被写体が登場するフレームを検出し、検出したフレームの位置を前記新規位置情報管理ファイルに登録すると共に、
   前記位置情報管理ファイルに記されている前記分割フレーム位置以降のフレーム位置を、前記そのほかの分割動画像ファイルの先頭フレームからの相対的なフレーム位置に変換し、変換したフレーム位置を前記新規位置情報管理ファイルに登録する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置が有する動画ファイルの取得手段が、動画ファイルを取得する工程と、
   前記画像処理装置が有する位置情報管理ファイルの取得手段が、前記動画ファイルの再生順において最初に特定の被写体が登場するフレームの位置を記した位置情報管理ファイルを取得する工程と、
   前記画像処理装置が有する指定手段が、前記動画ファイルの分割フレーム位置を指定する工程と、
   前記画像処理装置が有する生成手段が、前記分割フレーム位置を境界にして前記動画ファイルを分割することで、先頭フレームを含む先頭分割動画ファイルと、そのほかの分割動画ファイルと、を生成する工程と、
   前記画像処理装置が有する格納制御手段が、前記そのほかの分割動画ファイルから前記再生順において最初に前記特定の被写体が登場するフレームの位置を検出し、検出した位置を記したファイルを新規位置情報管理ファイルとして生成し、生成した新規位置情報管理ファイルを前記そのほかの分割動画ファイルと関連付けてメモリに格納する格納制御工程と
   を備えることを特徴とする画像処理方法。
5. 更に、
   前記位置情報管理ファイルに前記分割フレーム位置以降の位置が記されていれば、該位置を前記位置情報管理ファイルから削除して前記位置情報管理ファイルを更新し、更新した前記位置情報管理ファイルを前記先頭分割動画ファイルと関連付けて前記メモリに格納する工程を備えることを特徴とする請求項４に記載の画像処理方法。
6. コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
8. 分割の指示に応じて、元の動画像における指定されたフレームを境界にして前記元の動画像を複数の動画像に分割する分割手段と、
   前記分割の指示に応じて、前記分割された複数の動画像のうち、前記境界のフレーム以降の動画像において特定の被写体が登場するフレームの位置を検出する検出手段と、
   前記検出手段が検出した特定の被写体の登場フレーム位置を示す位置情報を生成する位置情報の処理手段と
   を備えることを特徴とする画像処理装置。
9. 前記元の動画像は記録媒体に記録されており、前記分割された複数の動画像と前記位置情報の処理手段により生成された位置情報とを前記記録媒体に記録する記録手段を更に備えることを特徴とする請求項８に記載の画像処理装置。
10. 前記記録媒体には、前記元の動画像における前記特定の被写体が登場するフレームの位置を示す位置情報が記録されており、前記位置情報の処理手段は、前記境界のフレームの位置に基づいて前記記録されている位置情報を変更することにより、前記分割された複数の動画像のうち前記境界のフレームよりも前の動画像についての前記位置情報を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記記録媒体から動画像を再生する再生手段を更に備え、
    前記位置情報の処理手段は、前記分割の指示に応じて、前記再生手段に前記境界のフレーム以降の動画像を前記記録媒体から再生させて、前記再生された前記境界のフレーム以降の動画像における特定の被写体の登場フレーム位置を検出することを特徴とする請求項９に記載の画像処理装置。
12. 前記位置情報の処理手段は、前記再生手段に前記境界のフレーム以降の動画像を先頭から所定時間だけ再生させて前記特定の被写体の登場フレーム位置を検出することを特徴とする請求項１１に記載の画像処理装置。
13. 記録媒体に記録された元の動画像と、前記元の動画像における特定の被写体の登場フレーム位置を示す位置情報とを処理する画像処理装置であって、
    分割の指示に応じて、前記元の動画像において指定されたフレームを境界にして前記元の動画像を前半と後半の動画像に分割して前記記録媒体に記録し、前記境界のフレームに基づいて前記位置情報を変更することにより前記前半の動画像における前記特定の被写体の登場フレーム位置を示す位置情報を生成して前記記録媒体に記録すると共に、前記後半の動画像における前記特定の被写体の登場フレーム位置を検出することにより前記後半の動画像における前記特定の被写体の登場フレーム位置を示す位置情報を生成して前記記録媒体に記録することを特徴とする画像処理装置。
14. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の分割手段が、分割の指示に応じて、元の動画像における指定されたフレームを境界にして前記元の動画像を複数の動画像に分割する分割工程と、
    前記画像処理装置の検出手段が、前記分割の指示に応じて、前記分割された複数の動画像のうち、前記境界のフレーム以降の動画像において特定の被写体が登場するフレームの位置を検出する検出工程と、
    前記画像処理装置の処理手段が、前記検出工程で検出した特定の被写体の登場フレーム位置を示す位置情報を生成する位置情報の処理工程と
    を備えることを特徴とする画像処理方法。
15. 記録媒体に記録された元の動画像と、前記元の動画像における特定の被写体の登場フレーム位置を示す位置情報とを処理する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の処理手段が、
    分割の指示に応じて、前記元の動画像において指定されたフレームを境界にして前記元の動画像を前半と後半の動画像に分割して前記記録媒体に記録し、前記境界のフレームに基づいて前記位置情報を変更することにより前記前半の動画像における前記特定の被写体の登場フレーム位置を示す位置情報を生成して前記記録媒体に記録すると共に、前記後半の動画像における前記特定の被写体の登場フレーム位置を検出することにより前記後半の動画像における前記特定の被写体の登場フレーム位置を示す位置情報を生成して前記記録媒体に記録することを特徴とする画像処理方法。

Images