JP2007110193A - 画像処理装置 - Google Patents

Abstract

【課題】動画像において目的とする対象物が登場する一シーンを的確に検出する。
【解決手段】領域選択受付部６０１において、動画像ファイル保持部２３１に保持された動画像を構成する何れかのフレームおよびそのフレームの領域の選択を受け付ける。選択されたフレームおよびそのフレームの領域に基づいて、テンプレート画像生成部３１２はテンプレート画像を生成する。画像照合部３１３は、テンプレート画像に類似する画像を含んだフレームを動画像ファイル保持部２３１より探索する。テンプレート画像に類似する画像を含んだフレームが探索されると、シーン変化検出部３１４はそのフレームの前後に時系列に並んだフレームを取得して、隣り合うフレームにおける各画素の画素値の分布の差分の積算値を算出する。その積算値が所定の閾値を超えた場合にシーンの変化があったものとしてシーンが検出される。
【選択図】図３

Description

本発明は、シーンの検出を行う画像処理装置に関し、特に選択された対象物を含むシーンの検出を行う画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、メモリの価格の低減やメモリに関する技術の発達により、デジタルスチルカメラおよびデジタルビデオカメラ等の撮像装置におけるメモリの容量は増加している。これに伴い、撮像装置に保持される動画像の数も増えている。このような状況下においては、ユーザーが閲覧したい動画像の所定のシーンを探し出す技術が必要とされる。従来、デジタルスチルカメラおよびデジタルビデオカメラ等の撮像装置において撮像した動画像からユーザーの所望する対象物を中心としたシーンを検出することは難しかった。

このような問題点を解決するものとして、動画像を構成するフレームの領域を選択してその領域に囲まれた画像が含まれるフレームを探し出し、その探し出したフレームが連続していると考えられる区間を一つのシーンとして選定して、その区間にキーワードを付与して動画像のシーンの検索に用いる技術が提案されている（例えば、特許文献１参照。）。この技術によれば、一つのシーンを選定する際に、探し出したフレームが連続する部分区間同士の間隔等に所定の条件を設定し、その所定の条件が満たされた場合にその部分区間同士を結合して一つのシーンとするものとしている。この技術においては、部分区間同士を結合する所定の条件として、ある部分区間と他の部分区間との間に位置するフレームの枚数が所定枚数以下であること等が開示されている。また、ユーザーの所望する対象物の画像をテンプレート画像とし、そのテンプレート画像と動画像を構成するフレームとを照合してそのテンプレート画像に類似する画像を含んだフレームの集まりを一つのシーンとする技術も提案されている。
特開平５−２０４９９０号公報（図１）

上述の探し出したフレームが連続していると考えられる区間を一つのシーンとして選定する技術では、所定の条件、例えばある部分区間と他の部分区間との間に位置するフレームの枚数が所定枚数以下であることが満たされている場合にはシーンの内容に関係なく一つのシーンとして結合されてしまうため、場合によっては明らかに無関係な場面まで一つのシーンに含められてしまうおそれがある。また、テンプレート画像と動画像を構成するフレームとを照合してそのテンプレート画像に類似する画像を含んだフレームの集まりを一つのシーンとする技術では、動画像において被写体が一時的に別の方向を向いた等のフレームはテンプレート画像に類似する画像を含んだフレームとして扱われないため、本来一塊であるはずのシーンが分割されてしまうことがあり得る。

そこで、本発明は、動画像において目的とする対象物が登場する一シーンを的確に検出する画像処理装置を提供することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画像ファイルを保持する動画像ファイル保持手段と、上記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、上記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手段と、上記動画像ファイル保持手段より上記フレームを取得して上記フレームの各々と上記テンプレート画像とを照合し上記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、上記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段とを具備することを特徴とする画像処理装置である。これにより、動画像においてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。

また、この第１の側面において、上記画像照合手段は、上記フレームの取得において時系列に所定数置きに並んだフレームを上記動画像ファイル保持手段より取得することを特徴とするものである。これにより、ユーザーの所望する対象物が含まれるフレームの探索を高速に行わせるという作用をもたらす。

また、この第１の側面において、上記シーン変化検出手段は、上記画像照合手段において探索されたフレームの前後に時系列に並んだフレームを上記動画像ファイル保持手段より取得するフレーム取得手段と、上記フレーム取得手段によって取得されたフレームを構成する各画素の画素値の分布を生成する画素値分布生成手段と、上記時系列に隣り合うフレームにおける上記画素値の分布の差分を積算した分布差分積算値を算出する分布差分積算値算出手段と、上記分布差分積算値が所定の閾値を超えているか否かを判断して上記分布差分積算値が所定の閾値を超えている場合には上記シーンが変化したものとして上記所定の閾値を超えた上記分布差分積算値に対応するフレームを上記シーンの開始フレームまたは終了フレームと判断するシーン変化判断手段とを具備することを特徴とするものである。これにより、動画像を構成するフレームの各画素の画素値の分布という視覚的要素に基づいてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。動画像を構成するフレームの各画素の画素値の分布という視覚的要素を対象物が登場する一シーンの検出に用いれば、ユーザーの感覚に適合するシーンの検出が可能となる。

また、上記フレーム取得手段は、上記画像照合手段において探索されたフレームの前後に時系列に所定数置きに並んだフレームを上記動画像ファイル保持手段より取得することを特徴とするものである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンの検出を高速に行わせるという作用をもたらす。

また、上記画素値分布生成手段は、上記画素値としてＹＵＶを用いて表される量を用い、上記フレーム取得手段によって取得されたフレームを構成する各画素のＹＵＶそれぞれの成分の分布を生成し、上記分布差分積算値算出手段は、上記分布差分積算値として、上記時系列に隣り合うフレームにおける上記ＹＵＶそれぞれの成分に関する分布の差分を上記ＹＵＶそれぞれの成分毎に積算したＹ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値を算出し、上記シーン変化判断手段は、上記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値のそれぞれに対して設定された上記所定の閾値を超えているか否かを判断して上記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値の何れか一つが所定の閾値を超えている場合には上記シーンが変化したものとして上記所定の閾値を超えた上記Ｙ成分分布差積算値、Ｕ成分分布差積算値またはＶ成分分布差積算値に対応するフレームを上記シーンの開始フレームまたは終了フレームと判断することを特徴とするものである。これにより、動画像を構成するフレームの各画素のＹＵＶの分布という視覚的要素に基づいてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。

また、この第１の側面において、上記動画像ファイルを構成するフレームを縮小するフレーム縮小手段をさらに具備し、上記動画像ファイル保持手段は、上記フレーム縮小手段において縮小されたフレームをさらに保持し、上記領域選択受付手段は、上記縮小されたフレームの何れか一つに対する所定の領域の選択を受け付け、上記画像照合手段は、上記縮小されたフレームと上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含む上記縮小されたフレームを探索し、上記シーン変化検出手段は、上記縮小されたフレームを用いて上記画像照合手段において探索された縮小されたフレームを含むシーンの開始および終了を検出することを特徴とするものである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンの検出を高速に行わせるという作用をもたらす。すなわち、シーンの検出に用いるフレームは縮小されたフレームを用いるため、シーンの検出における演算量が低減されてシーンの検出を高速に行うことができる。

また、上記フレーム縮小手段は、時系列に並んだ上記フレームを所定数置きに縮小することを特徴とするものである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンの検出をさらに高速に行わせるという作用をもたらす。

また、この第１の側面において、上記動画像ファイル保持手段に保持された上記動画像ファイルより上記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、上記動画像ファイル情報取得手段によって取得された上記動画像ファイル情報および上記シーン変化検出手段によって検出された上記シーンの開始および終了に関する情報を上記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、上記動画像ファイルに対応する動画像の開始および終了に関する情報および上記シーンの開始および終了に関する情報に基づいて上記動画像が再生される全時間に対する上記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段とをさらに具備することを特徴とするものである。これにより、一つの動画像ファイルの総再生時間中における各シーンの時間的な位置を把握させるシーン時間位置表示を生成させるという作用をもたらす。

また、上記動画像ファイル情報取得手段は、上記動画像ファイルに対応する動画像の開始および終了に関する情報として上記動画像ファイルに含まれるフレーム数を取得し、上記シーン情報テーブルは、上記シーン検出手段によって検出された上記シーンの開始および終了に関する情報として上記シーンの開始フレーム番号および終了フレーム番号を保持し、上記シーン時間位置表示生成手段は、上記動画像ファイルに含まれるフレーム数、上記シーンの開始フレーム番号および終了フレーム番号に基づいて上記シーン時間位置表示を生成することを特徴とするものである。これにより、動画像ファイルに含まれるフレーム数、シーンの開始フレーム番号および終了フレーム番号に基づいて、一つの動画像ファイルの総再生時間中における各シーンの時間的な位置を把握させるシーン時間位置表示を生成させるという作用をもたらす。

また、上記シーン時間位置表示生成手段は、前のシーンの終了および次のシーンの開始が連続する場合には上記前のシーンおよび上記次のシーンを一つのシーンとして上記シーン時間位置表示を生成することを特徴とするものである。これにより、不自然に分割されたシーン同士を結合して一つのシーンを生成させるという作用をもたらす。

また、本発明の第２の側面は、被写体を撮像して動画像ファイルを生成する撮像手段と、上記動画像ファイルを保持する動画像ファイル保持手段と、上記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、上記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手段と、上記動画像ファイル保持手段より上記フレームを取得して上記フレームの各々と上記テンプレート画像とを照合し上記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、上記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段と、上記動画像ファイル保持手段に保持された上記動画像ファイルより上記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、上記動画像ファイル情報取得手段によって取得された上記動画像ファイル情報および上記シーン変化検出手段によって検出された上記シーンの開始および終了に関する情報を上記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、上記動画像ファイルに対応する動画像の開始および終了に関する情報および上記シーンの開始および終了に関する情報に基づいて上記動画像が再生される全時間に対する上記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段と、上記シーン時間位置表示を表示する表示手段とを具備することを特徴とする画像処理装置である。これにより、撮像された動画像においてユーザーの所望する対象物が登場する一シーンを的確に検出させ、その結果を表示させるという作用をもたらす。

また、本発明の第３の側面は、動画像ファイルを保持する動画像ファイル保持手段を備えた画像処理装置において以下の手順を実行する処理方法または以下の手順をコンピュータに実行させるプログラムであって、上記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、上記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手順と、上記動画像ファイル保持手段より上記フレームを取得して上記フレームの各々と上記テンプレート画像とを照合し上記テンプレート画像に類似する画像を含むフレームを探索する画像照合手順と、上記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手順とを具備することを特徴とする処理方法またはこれらの手順をコンピュータに実行させるプログラムである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。

本発明によれば、動画像において目的とする対象物が登場する一シーンを的確に検出することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。なお、本発明の実施の形態においては、画像処理装置の一例として撮像装置について説明する。

図１は、本発明の実施の形態における撮像装置１００の一例である撮像装置１００ａおよび１００ｂの外観図である。撮像装置１００ａは、主として静止画像を撮像するものであり、撮像装置１００ｂは、主として動画像を撮像するものである。

図１（ａ）は、撮像装置１００ａの正面図である。撮像装置１００ａは、レンズ部１１０ａから被写体を撮像する。そして、撮像装置１００ａは、シャッター部１２０ａが押下されると静止画像ファイルを生成する。図１（ｂ）は、撮像装置１００ａの背面図である。レンズ部１１０ａによって捕らえられた被写体の動きはディスプレイ部１３０ａに映し出される。また、生成された静止画像ファイルもディスプレイ部１３０ａに映し出される。

図１（ｃ）は、撮像装置１００ｂの正面図である。撮像装置１００ｂは、レンズ部１１０ｂから被写体を撮像する。そして、撮像装置１００ｂは、（図示しない）録画ボタンが押下されると動画像ファイルを生成する。図１（ｄ）は、撮像装置１００ｂの背面図である。レンズ部１１０ｂによって捕らえられた被写体の動きはディスプレイ部１３０ｂに映し出される。また、生成された動画像ファイルもディスプレイ部１３０ｂに映し出される。また、撮像装置１００ｂは、静止画像ファイルも生成する機能を有しており、生成された静止画像ファイルもディスプレイ部１３０ｂに映し出される。

本発明の実施の形態においては、まず、撮像装置１００ａまたは１００ｂにより生成された動画像ファイルを構成するフレームの何れかに基づいてテンプレート画像を生成する。そして、この生成されたテンプレート画像に類似する画像を含むフレーム（以下、テンプレート画像類似フレームと呼ぶ。）を動画像ファイルより探索する。次に、テンプレート画像類似フレームを含む動画像の一シーンの開始時と終了時を動画像ファイルより検出する。この検出結果は、動画像ファイルが再生される全時間に対するシーンの時間的な位置を示す表示（以下、シーン時間位置表示と呼ぶ。）として出力される。

図２は、本発明の実施の形態における撮像装置１００の構成を示す図である。本発明の実施の形態における撮像装置１００は、撮像部１０と、記録再生処理部２０と、制御部３０と、バス４０と、キー入力部５０と、タッチパネル部６０、記憶装置７０とを備える。

撮像部１０は、撮像素子部１１と、撮像制御部１２と、画像処理部１３とを備える。撮像素子部１１は、内部に、被写体を撮像するためのレンズ群（図１におけるレンズ部１１０ａおよび１１０ｂに対応）、絞り調整機構、フォーカス調整機構および例えばＣＣＤ（Charge Coupled Devices）などの撮像素子などを備えており、レンズ群を通じた像がＣＣＤなどの撮像素子の結像面に結像される。撮像素子部１１は、シャッター操作に応じて制御部３０からバス４０を通じて供給される画像取り込みタイミング信号を受けて、撮像素子の結像面に結像されている被写体像を撮像信号に変換し、画像処理部１３に供給する。

撮像制御部１２は、制御部３０からバス４０を通じて供給される制御信号を受けて、撮像素子部１１に供給する制御信号を生成する。また、撮像制御部１２は、生成した制御信号を撮像素子部１１に供給して、ズーム制御、シャッター制御および露出制御などを行う。

画像処理部１３は、制御部３０からバス４０を通じて供給される制御信号に基づいて、撮像信号についてガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行う。

記録再生処理部２０は、画像符号化／復号部２１と、記録制御部２２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２３とを備える。画像符号化／復号部２１は、撮像部１０からバス４０を通じて供給される画像信号などを符号化し多重化して圧縮データに変換する符号化機能を有する。また、画像符号化／復号部２１は、圧縮データから画像信号を復号する復号機能を有する。

記録制御部２２は、画像符号化／復号部２１から圧縮データを受けて記憶装置７０に書き込む。また、記録制御部２２は、記憶装置７０から圧縮データを読み出して画像符号化／復号部２１に供給する。なお、記憶装置７０は、撮像装置１００に外付けされたものでも内蔵されたものであってもよい。また、記憶装置７０としては、フラッシュメモリ（Flash memory）をカード型にパッケージしたメモリカード、ハードディスク等の磁気ディスク、ＤＶＤ等の光ディスク（Optical Disk）およびＭＯ等の光磁気ディスク（Magneto-Optical disk）のいずれかが想定されるが、これに限るものではない。ＳＤＲＡＭ２３は、符号化／復号部２１における符号化または復号のための作業領域として利用される。

制御部３０は、システム制御部３１と、入力制御部３２と、表示制御部３３と、出力画像処理部３４と、外部機器制御部３５と、ネットワーク制御部３６とを備える。

システム制御部３１は、制御部３０全体の処理を司るものである。入力制御部３２に接続されるキー入力部５０には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー（図１におけるシャッター部１２０ａに対応）、動画撮影用キーなどの複数のキーが設けられている。また、入力制御部３２に接続されるタッチパネル入力部６２は、表示部６１に表示されるメニューの選択や画像データの所定領域の指定を受け付けるものである。

入力制御部３２は、キー入力部５０およびタッチパネル入力部６２からの操作信号をシステム制御部３１に伝える。システム制御部３１は、キー入力部５０およびタッチパネル入力部６２においていずれのキー等が操作されたかを判別し、その判別結果に応じた制御処理を行う。

表示制御部３３に接続される表示部６１は、例えばＬＣＤ（Liquid Crystal Display）などにより構成され、システム制御部３１の制御の下に、撮像部１０からバス４０を通じて供給される画像信号や、記憶装置７０から読み出された画像信号を表示する。なお、表示部６１は、図１におけるディスプレイ部１３０ａおよび１３０ｂに対応するものである。

出力画像処理部３４は、画像データ再生時において画像データに所定の修飾処理を施すものである。修飾処理とは、例えば画像データの色補正等が想定される。なお、出力画像処理部３４で行われる画像データに対する処理をシステム制御部３１で行うように構成してもよい。

外部機器制御部３５に接続される外部機器８０は、例えばパーソナルコンピュータ（Personal Computer）等が想定されるが、これに限るものではない。なお、外部機器８０と外部機器制御部３５との間は、例えばＵＳＢ（Universal Serial Bus）ケーブルによって接続されることが想定されるが、これに限るものではない。外部機器制御部３５は、撮像装置１００と外部機器８０との間のデータのやりとりを制御するものである。

ネットワーク制御部３６は、撮像装置１００とネットワーク網９０との間でやりとりされるデータを制御するものである。なお、ネットワーク網としては、インターネットやＬＡＮ（Local Area Network）が想定されるが、これに限るものではない。

図３は、本発明の実施の形態におけるシーン検出機能の構成を示す図である。このシーン検出機能は、動画像ファイルを保持する動画像ファイル保持部２３１と、フレーム縮小部３１１と、領域選択受付部６０１と、テンプレート画像生成部３１２と、画像照合部３１３と、シーン変化検出部３１４と、動画像ファイル情報取得部３１９と、シーン情報テーブル３２０と、シーン時間位置表示生成部３２１とを備える。

フレーム縮小部３１１は、動画像ファイル保持部２３１に保持された動画像ファイルを構成するフレームを所定の縮小率で縮小するものである。フレーム縮小部３１１は、動画像ファイルを構成するフレーム全てを縮小してもよく、また、時系列に並んだフレームを所定数置きに縮小してもよい。縮小されたフレームは、動画像ファイル保持部２３１において保持される。

領域選択受付部６０１は、動画像ファイル保持部２３１に保持された動画像ファイルを構成するフレームのうち何れか一つのフレームの選択およびその選択したフレームにおいてテンプレート画像として切り出すべき領域の選択を受け付けるものである。領域選択受付部６０１において選択を受け付ける対象となるフレームは、フレーム縮小部３１１において縮小されたフレームであってもよい。

テンプレート画像生成部３１２は、領域選択受付部６０１において選択を受け付けられたテンプレート画像として切り出すべき領域をフレームから切り出すことによってテンプレート画像を生成するものである。なお、領域選択受付部６０１において選択を受け付けたフレームがフレーム縮小部３１１において縮小されたフレームである場合、テンプレート画像生成部３１２は、その縮小されたフレームよりテンプレート画像として切り出すべき領域を切り出す。

また、テンプレート画像生成部３１２は、上記切り出すことによって生成されたテンプレート画像を所定の倍率で拡大および縮小した画像も生成する。この拡大および縮小した画像もテンプレート画像として用いられる。また、テンプレート画像生成部３１２は、上記切り出すことによって生成されたテンプレート画像、拡大および縮小した画像を所定角度回転させた画像も生成する。この所定角度回転させた画像もテンプレート画像として用いられる。

画像照合部３１３は、動画像ファイル保持部２３１よりフレームを取得して、そのフレームの各々とテンプレート画像とを照合してテンプレート画像類似フレームを探索するものである。画像照合部３１３は、テンプレート画像類似フレームを探索するとその旨をフレーム取得部３１５に通知し、一旦テンプレート画像類似フレームの探索を中止する。

なお、テンプレート画像がフレーム縮小部３１１において縮小されたフレームに基づいて生成されたものである場合、画像照合部３１３が動画像ファイル保持部２３１より取得するフレームは、フレーム縮小部３１１において縮小されたフレームである。フレーム縮小部３１１において縮小されたフレームとテンプレート画像とを照合することによって、テンプレート画像とフレームとの照合に要する演算量が低減されるため、高速な照合が可能となる。

また、画像照合部３１３においてテンプレート画像とフレーム縮小部３１１によって縮小されたフレームとを照合してテンプレート画像類似フレームの候補を探索した後に、再度、テンプレート画像と縮小されていないフレームとを照合して、テンプレート画像類似フレームの候補をテンプレート画像類似フレームとして採用してよいかどうかを判断する構成にしてもよい。

シーン変化検出部３１４は、画像照合部３１３において探索されたテンプレート画像類似フレームを含むシーンの開始および終了を検出するものであり、フレーム取得部３１５と、画素値分布生成部３１６と、分布差分積算値算出部３１７と、シーン変化判断部３１８とを備える。

フレーム取得部３１５は、画像照合部３１３において探索されたテンプレート画像類似フレームの前後に時系列に並んだフレームを動画像ファイル保持部２３１より取得するものである。すなわち、フレーム取得部３１５は、画像照合部３１３において探索されたテンプレート画像類似フレームより時間的に前（過去）に位置するフレーム（以下、後方シーンフレームと呼ぶ。）および画像照合部３１３において探索されたテンプレート画像類似フレームより時間的に後（未来）に位置するフレーム（以下、前方シーンフレームと呼ぶ。）を取得する。フレーム取得部３１５においては、前方シーンフレームおよび後方シーンフレームの何れを先に取得するようにしてもよい。

フレーム取得部３１５は、画像照合部３１３においてテンプレート画像類似フレームが探索された場合に画像照合部３１３からその旨の通知を受ける。そして、フレーム取得部３１５は、その旨の通知を受けると動画像ファイル保持部２３１より前方シーンフレームまたは後方シーンフレームの何れかの取得を開始する。

フレーム取得部３１５において前方シーンフレームが先に取得される場合は、後述するシーン変化判断部３１８においてシーンの変化があったと判断されるとその旨の通知がフレーム取得部３１５にされる。フレーム取得部３１５は、この通知を受けると前方シーンフレームの取得を中止して、後方シーンフレームの取得を開始する。後方シーンフレームの取得を開始した後に、後述するシーン変化判断部３１８においてシーンの変化があったと判断されてその旨の通知を受けると、フレーム取得部３１５は後方シーンフレームの取得を中止する。

なお、フレーム取得部３１５において取得されるフレームは、フレーム縮小部３１１において縮小されていないフレームであってもよく、またフレーム縮小部３１１において縮小されたフレームであってもよい。また、上記述べたように、フレーム縮小部３１１において時系列に並んだフレームを所定数置きに縮小する場合もあり、この場合、フレーム取得部３１５は時系列に所定数置きに並んだ縮小されたフレームを取得する。

画素値分布生成部３１６は、フレーム取得部３１５によって取得されたフレームを構成する各画素の画素値の分布を生成するものである。ここで、画素値とは、画素の輝度[0]や色差などをいい、例えば、ＹＵＶなどがこれに該当する。画素値としてＹ成分（輝度）に８ビットを割り当てる場合、０乃至２５５の範囲の値を有することになる。この場合、画素値分布生成部３１６は、各画素のＹ成分（輝度）の分布を、フレーム取得部３１５によって取得されたフレーム毎に生成する。なお、上記においては画素値がＹ成分（輝度）である場合を例にとって説明したが、画素値がＵ成分（輝度信号と青色成分の差）またはＶ成分（輝度信号と赤色成分の差）である場合の分布も同様に生成できる。

分布差分積算値算出部３１７は、時系列に隣り合うフレームにおける画素値の分布の差分を積算した分布差分積算値を算出するものである。例えば、画素値としてＹ成分（輝度）を用いた場合を考える。この場合、分布差分積算値算出部３１７は時系列に隣り合うフレームにおいて、例えばＹ成分（輝度）が０である画素の分布の差分を算出する。そして、分布差分積算値算出部３１７は、この差分の算出を全てのＹ成分（輝度）の範囲について行い、全ての差分を積算した分布差分積算値を算出する。これを画素値分布生成部３１６において生成された全てのフレームに対して行う。なお、上記においては画素値がＹ成分（輝度）である場合を例にとって説明したが、画素値がＵ成分（輝度信号と青色成分の差）またはＶ成分（輝度信号と赤色成分の差）である場合の分布も同様に生成できる。

シーン変化判断部３１８は、分布差分積算値が所定の閾値を超えているか否かを判断するものである。シーン変化判断部３１８において分布差分積算値が所定の閾値を超えていると判断されると、その分布差分積算値に対応する時系列に隣り合ったフレームにおいてシーンが変化したものと判断され、シーン情報テーブル３２０にそのフレームに関する情報が書き込まれる。シーン情報テーブル３２０に書き込まれるそのフレームに関する情報には、例えばそのフレームのフレーム番号が含まれる。

なお、分布差分積算値がＹ成分（輝度）、Ｕ成分（輝度信号と青色成分の差）およびＶ成分（輝度信号と赤色成分の差）について算出された場合、分布差分積算値はＹ成分（輝度）に関する分布差分積算値、Ｕ成分（輝度信号と青色成分の差）に関する分布差分積算値およびＶ成分（輝度信号と赤色成分の差）に関する分布差分積算値が存在することになるが、この場合それぞれの分布差分積算値について所定の閾値が設定されることになる。そして、Ｙ成分（輝度）に関する分布差分積算値、Ｕ成分（輝度信号と青色成分の差）に関する分布差分積算値およびＶ成分（輝度信号と赤色成分の差）に関する分布差分積算値の何れか一つがそれぞれの分布差分積算値に対して設定された閾値を超えた場合は、上記と同様にその分布差分積算値に対応する時系列に隣り合ったフレームにおいてシーンが変化したものと判断してもよい。これにより、Ｙ成分（輝度）のみならず、Ｕ成分（輝度信号と青色成分の差）およびＶ成分（輝度信号と赤色成分の差）も加味したシーンの検出をすることになるため、シーン検出における精度が向上する。

シーン変化判断部３１８においてシーンの変化があったと判断された場合、シーン変化判断部３１８はその旨をフレーム取得部３１５および画像照合部３１３に通知する。なお、シーン変化判断部３１８は、一つのシーンに対してシーンの開始および終了の２回分シーンの変化を判断するため、一つのシーンに対してフレーム取得部３１５および画像照合部３１３への通知は２回行われる。

フレーム取得部３１５において、例えば先に後方シーンフレームを取得するように設定されていた場合、１回目の通知はシーンの開始を検出した旨の通知となるが、フレーム取得部３１５はこの通知を受けると後方シーンフレームの取得を中止して、前方シーンフレームの取得を開始する。そして、２回目の通知はシーンの終了を検出した旨の通知となるが、フレーム取得部３１５はこの通知を受けると前方シーンフレームの取得を中止する。

また、画像照合部３１３はシーン変化判断部３１８からの１回目の通知を受けても特に何の処理も行わないが、２回目の通知を受け取ると一旦中止していたテンプレート画像類似フレームの探索を開始する。この場合、画像照合部３１３において照合を開始するフレームは、シーンの終了に対応するフレームの次のフレームである。

動画像ファイル情報取得部３１９は、動画像ファイル保持部２３１に保持された動画像ファイルより動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得するものである。そして、動画像ファイル情報取得部３１９は、取得した動画像ファイル情報をシーン情報テーブル３２０に書き込む。なお、動画像ファイルに対応する動画像の開始および終了に関する情報としては、例えば動画像ファイルの開始フレーム番号および終了フレーム番号や、動画像ファイルに対応する動画像を構成する総フレーム数が想定されるが、これに限るものではない。

シーン情報テーブル３２０は、動画像ファイル情報取得部３１９によって取得された動画像ファイル情報およびシーン変化検出部３１４によって検出されたシーンの開始および終了に関する情報を動画像ファイル毎に対応付けて保持するものである。なお、シーン変化検出部３１４によって検出されたシーンの開始および終了に関する情報としては、例えばシーンの開始フレーム番号および終了フレーム番号が想定されるが、これに限るものではない。

シーン時間位置表示生成部３２１は、シーン情報テーブル３２０に保持された動画像ファイルに対応する動画像の開始および終了に関する情報およびシーンの開始および終了に関する情報に基づいて、動画像が再生される全時間に対するシーンの時間的な位置を示す表示であるシーン時間位置表示を生成するものである。

なお、動画像ファイルに対応する動画像において複数のシーンが検出され、あるシーンの最終フレームと他のシーンの開始フレームとが時系列に隣り合う場合、シーン時間位置表示生成部３２１はその２つのシーンを結合させて一つのシーンとしてシーン時間位置表示を生成してもよい。

図４は、本発明の実施の形態においてテンプレート画像の領域を選択する様子を示す図である。図４（ａ）は、動画像ファイルを再生する様子を示す図である。再生ボタン６２１を選択すると動画像ファイルは動画表示部６１１において再生され、停止ボタン６２２を選択すると動画像ファイルの再生は停止される。早送りをする場合は早送りボタン６２４を選択し、巻き戻しをする場合は巻戻しボタン６２５を選択する。

動画像ファイルを再生させている際に所望の画像を含むフレームを見つけた場合、停止ボタン６２２を選択する。これにより、動画表示部６１１には停止ボタン６２２を選択した際に表示されていたフレームが表示される。さらに別のフレームを表示させたい場合には、再生ボタン６２１、早送りボタン６２４および巻戻しボタン６２５を選択して所望のフレームを表示させる。

所望の画像を含むフレームを動画表示部６１１に表示させた後に領域ボタン６２３を選択すると、表示画面６００には図４（ｂ）に示す領域選択画像表示６１２が表示される。なお、本発明の実施の形態においては、操作方式として表示画面を直接押下することによって操作の入力を行うタッチパネル方式を想定しているが、これに限るものではない。

図４（ｂ）は、図４（ａ）において説明した操作を行った後にフレームの領域を選択する様子を示す図である。領域選択画像表示６１２に表示されたフレームの領域の選択は、例えばスタイラス５０１により点６１３を選択した後に、スタイラス５０２により点６１４を選択する。スタイラス５０２により点６１４を選択すると、点６１３および点６１４を結んだ線を対角線とする領域６１５が表示される。この選択した領域６１５に含まれる画像がテンプレート画像になる。

領域６１５が表示された後に、ＯＫボタン６２６を選択すると、テンプレート画像が生成される。一方、領域６１５が表示された後に違う領域を選択する場合は、戻るボタン６２７を選択して、再び領域選択画像表示６１２に表示されたフレーム対して上記と同様の操作を行うことによって領域を選択する。

図５は、本発明の実施の形態におけるテンプレート画像生成のイメージを示す図である。フレームにおける領域が選択されると、テンプレート画像生成部３１２においてフレームにおける選択された領域は切り出され、図５（ａ）に示すテンプレート画像６３１が生成される。

また、テンプレート画像生成部３１２は、テンプレート画像６３１を拡大および縮小した画像であるテンプレート画像６３１ａ乃至６３１ｄも生成する。テンプレート画像６３１ａ乃至６３１ｄは、それぞれテンプレート画像６３１を、例えば１．２１倍、１．１倍、１．０倍、０．９０９倍、０．８２６倍したものが想定される。なお、図５（ａ）においては、テンプレート画像６３１以外のテンプレート画像データは４つしかないが、これに限るものではなくいくつあってもよい。

ここで、１．２１、１．１、１．０、０．９０９、０．８２６の数列は、（１．１）^２、（１．１）^１、（１．１）^０、（１．１）^−１、（１．１）^−２であり、すなわち、公比が１．１の等比数列である。なお、公比を大きくするとテンプレート画像を用いて画像の探索を行う際に探索漏れを生じる可能性が高くなり、一方、公比を小さくするとテンプレート画像を用いて画像の探索を行う際に演算量が増えるという弊害が生じる。このため、公比は、１．１程度が好ましいが、これに限るものではなく、例えば１．０９や１．２等でも良い。

また、テンプレート画像として、テンプレート画像６３１を拡大および縮小した画像データのみならず、図５（ｂ）に示すように、さらに回転させたテンプレート画像６３２をも生成してもよい。

図６は、フレーム６３３とテンプレート画像６３１とを照合する様子を示す図である。フレーム６３３よりテンプレート画像６３１と類似する部分を探索する際には、テンプレート画像６３１とフレーム６３３とを照合する。照合した結果、フレーム６３３中にテンプレート画像６３１と一致または類似する部分があれば、そのフレーム６３３は、図１において説明したテンプレート画像類似フレームと判断される。

テンプレート画像６３１とフレーム６３３とを照合するに際して、図６に示すように例えば、フレーム６３３の左上端より照合を開始する。そして、例えば図６に示した右矢印方向に所定画素（例えば、１ピクセル）ずつずらしてテンプレート画像６３１とフレーム６３３とを照合する。この際、テンプレート画像６３１に類似する画像がフレーム６３３に含まれているか否かの評価は、例えば相互相関関数を用いて行う。この相互相関関数により算出された値が所定の閾値を超えた場合に、テンプレート画像６３１に類似する画像がフレーム６３３に含まれていると評価される。

所定画素ずらしながら右端まで照合が完了すると、次は、下矢印に所定画素（例えば、１ピクセル）ずらして、左端から右端までテンプレート画像６３１とフレーム６３３の照合を行う。また、フレーム６３３からテンプレート画像６３１と類似する部分を探索する際には、テンプレート画像６３１以外にも、図５で説明したテンプレート画像６３１を拡大および縮小したテンプレート画像６３１ａ乃至６３１ｄ、および、テンプレート画像６３１を所定角度回転させたテンプレート画像６３２についても上記説明した照合を行う。

なお、フレーム６３３からテンプレート画像６３１と類似する部分を探索する方法は、上記のようにフレーム６３３の全ての部分について照合を行う以外にも、遺伝的アルゴリズム（ＧＡ：Genetic Algorithm[0]）を利用してフレーム６３３においてテンプレート画像６３１と類似する部分を探索してもよい。

図７は、本発明の実施の形態におけるシーン検出の様子を示す図である。本発明の実施の形態におけるシーン検出は、まずユーザーの選択によって生成されたテンプレート画像６３１と動画像ファイルを構成するフレームとを照合することから始まる。照合の結果、図７（ａ）に示すようにテンプレート画像６３１に類似する画像がフレーム６３３の領域６３３ａにおいて探索されると、そのフレーム６３３はテンプレート画像類似フレームとされる。

図７（ｂ）は、テンプレート画像類似フレームとシーンの検出の様子を示す図である。図７（ａ）においてテンプレート画像６３１に対応するテンプレート画像類似フレームであるフレーム６３３が探索されると、次にフレーム６３３の前後に時系列に並んだフレームを解析してシーンが変化するフレームを検出する処理が行われる。

この場合、フレーム取得部３１５において、例えばフレーム６３３より時間的に前（過去）に位置する後方シーンフレーム６３４ａが取得され、画素値分布生成部３１６において後方シーンフレーム６３４ａを構成する各画素の画素値の分布が生成される。そして、フレーム取得部３１５において後方シーンフレーム６３４ｂがさらに取得され、同様に画素値分布生成部３１６において後方シーンフレーム６３４ｂを構成する各画素の画素値の分布が生成される。

次に、分布差分積算値算出部３１７において、後方シーンフレーム６３４ａを構成する各画素の画素値の分布および後方シーンフレーム６３４ｂを構成する各画素の画素値の分布の差分の積算値である分布差分積算値が算出される。この分布差分積算値が所定の閾値を超えているか否かがシーン変化判断部３１８において判断される。

以上の処理が順次、後方シーンフレーム６３４ｃ乃至６３４ｆについても行われる。そして、後方シーンフレーム６３４ｅと後方シーンフレーム６３４ｆとの分布差分積算値がシーン変化判断部３１８において所定の閾値を超えていると判断されると、後方シーンフレーム６３４ｅがシーンの開始フレームと判断される。

シーンの開始フレームが検出されると、次にシーンの終了フレームの検出処理が行われる。この場合、フレーム取得部３１５においてフレーム６３３より時間的に後（未来）に位置する前方シーンフレーム６３５ａ乃至前方シーンフレーム６３５ｈが取得され、後方シーンフレーム６３４ａ乃至６３４ｆで説明したのと同様の処理が前方シーンフレーム６３５ａ乃至前方シーンフレーム６３５ｈにおいても行われる。

そして、前方シーンフレーム６３５ｇと前方シーンフレーム６３５ｈとの分布差分積算値がシーン変化判断部３１８において所定の閾値を超えていると判断されると、前方シーンフレーム６３５ｇがシーンの終了フレームと判断される。

これにより、後方シーンフレーム６３４ｆからフレーム６３３で構成される後方シーンとフレーム６３３から前方シーンフレーム６３５ｇで構成される前方シーンフレームとを一体にした一つのシーンが検出されたことになる。

一つのシーンが検出されると、次のシーンを探索するために再びテンプレート画像とフレームの照合が開始される。この場合、テンプレート画像と照合が開始されるフレームはシーンの最終フレームの次のフレームから行われる。図７（ｂ）においてシーンの最終フレームは前方シーンフレーム６３５ｇであるため、テンプレート画像６３１との照合が開始されるフレームは前方シーンフレーム６３５ｈである。

図８は、本発明の実施の形態におけるフレームを構成する各画素の画素値の分布の生成の様子を示す図である。図８（ａ）は、時系列に連続するｎ番目に並んだフレーム６３６ａおよびｎ＋１番目に並んだフレーム６３６ｂを示す図である。

フレーム６３６ａがフレーム取得部３１５によって取得されると、画素値分布生成部３１６においてフレーム６３６ａを構成する各画素の画素値の分布が生成される。画素値として輝度を考えた場合における各画素の輝度の分布の一例を図８（ｂ）に示す。この図８（ｂ）に示す各画素の輝度の分布の生成方法の一例を以下に述べる。まず、図８（ａ）に示したフレーム６３６ａの画素ａ１からｋ８における各画素の輝度を解析する。各画素における輝度を解析することによってフレーム６３６ａの画素ａ１からｋ８における各画素の輝度を求め、次に輝度毎に整理して各輝度を示す画素の数を求める。すなわち、輝度が０である画素の数、乃至、輝度が２５５である画素の数をそれぞれ求める。これにより、横軸に輝度ｘをとり、縦軸に輝度ｘに対応する画素の数Ｈ_ｎ（ｘ）をとった各画素の輝度の分布が図８（ｂ）のように生成される。

同様に、フレーム６３６ｂがフレーム取得部３１５によって取得されると、画素値分布生成部３１６においてフレーム６３６ｂを構成する各画素の画素値の分布が生成される。画素値として輝度を考えた場合における各画素の輝度の分布の一例を図８（ｃ）に示す。図８（ｃ）の場合も図８（ｂ）の場合と同様に、横軸に輝度ｘをとり、縦軸に輝度ｘに対応する画素の数Ｈ_ｎ＋１（ｘ）をとった各画素の輝度の分布が図８（ｃ）のように生成される。

そして、分布差分積算値算出部３１７において以下の数１に示す式に基づいて輝度に関する分布差分積算値ＦＨＤが算出される。なお、数１は、任意のフレームにおける輝度ｘに対応する画素の数Ｈ_ｎ（ｘ）とその任意のフレームと時系列に隣り合うフレームにおける輝度ｘに対応する画素の数Ｈ_ｎ＋１（ｘ）との差の絶対値を全ての画素値について積算したものである。

この輝度に関する分布差分積算値ＦＨＤが所定の閾値を超えた場合にその輝度に関する分布差分積算値ＦＨＤに対応するフレームでシーンの変化があったものと判断され、シーンの開始または終了が検出されたことになる。

なお、図８においては、画素値として輝度を考えた場合について説明したが、画素値として色差を考えた場合も同様の方法により、各画素の色差の分布を生成して色差に関する分布差分積算値ＦＨＤを算出することができる。輝度に関する分布差分積算値ＦＨＤと色差に関する分布差分積算値ＦＨＤとを算出する構成にした場合、輝度に関する分布差分積算値ＦＨＤと色差に関する分布差分積算値ＦＨＤとにおいて別々の閾値を設定することとすれば、輝度と色差を適切に考慮したシーン変化の検出が可能となる。

図９は、動画像ファイルを構成するフレームの集まりであるフレーム群と縮小されたフレームとの対応を示す図である。フレーム縮小部３１１において縮小されるフレームは、図３において説明したように動画像ファイルを構成するフレーム全てであってもよいし、図９に示すように動画像ファイルを構成するフレームの一部であってもよい。

例えば、フレーム縮小部３１１において３つ置きに並んだフレーム６３７ａ乃至６３７ｈを縮小して縮小フレーム６３８ａ乃至６３８ｈを生成する。この場合、動画像ファイル保持部２３１には、フレーム群および縮小フレーム６３８ａ乃至６３８ｈが保持される。

上記説明したようにこの縮小されたフレームを用いて画像の照合や分布差分積算値を算出する場合、画素の数が低減されるため、画像照合部３１３、画素値分布生成部３１６および分布差分積算値算出部３１７における演算量も低減される。これにより、高速なシーン検出が可能となる。

図１０は、本発明の実施の形態におけるシーン情報テーブル３２０の内容を示す図である。シーン情報テーブル３２０は、動画像ファイルのファイル名を表すファイル名３２０１と、総フレーム数３２０２と、シーン情報３２１０とを含む。

総フレーム数３２０２は、動画像ファイルに対応する動画像を構成するフレームの総数である。この総フレーム数３２０２は動画像ファイルの再生時間を示す情報である。また、動画像ファイルの再生時間を示す情報として、総フレーム数３２０２の代わりに動画像ファイルに対応する動画像の開始フレーム番号および終了フレーム番号をシーン情報テーブル３２０に保持させる構成であってもよい。

シーン情報３２１０は、動画像ファイルを構成する動画像に含まれるシーンの開始と終了に関する情報である。この動画像ファイルを構成する動画像に含まれるシーンの開始と終了に関する情報としては、シーンの開始フレーム番号および終了フレーム番号が想定される。このシーン情報３２１０は、シーンの数だけ保持されることになる。

図１１は、本発明の実施の形態におけるシーン時間位置表示を示す図である。図１１（ａ）は、表示画面６００に表示されたシーン時間位置表示群６４０を示す図である。図４（ｂ）においてフレームの領域を選択した後にＯＫボタン６２６を選択すると、シーン検出等の処理が行われ、表示画面６００は図１１（ａ）に示すようにシーン時間位置表示群６４０が表示される。

図１１（ａ）においては、表示の一例として一度に３つの動画像ファイルに対応するシーン時間位置表示６４１乃至６４３が表示されるようになっている。シーン検出は、動画像ファイル保持部２３１に保持された全ての動画像ファイルに対して行われ、シーン時間位置表示も動画像ファイルの数だけ生成される。図１１（ａ）においてはファイルＡに対するシーン時間位置表示６４１とファイルＢに対するシーン時間位置表示６４２とファイルＣに対するシーン時間位置表示６４３とがシーン時間位置表示群６４０として表示されている。

他の動画像ファイルについてシーン時間位置表示を表示させたい場合は、「次へ」ボタン６５１または「戻る」ボタン６５２を選択すると、例えば（図示しない）ファイルＤに対するシーン時間位置表示等が表示画面６００に表示される。そして、シーン時間位置表示群６４０において着色表示された部分の何れかを選択した後に再生ボタン６５３を選択すると、そのシーンに対応する動画像が再生される。

図１１（ｂ）は、シーン時間位置表示群６４０に表示されたファイルＡに対応するシーン時間位置表示６４１の構成を示す図である。シーン時間位置表示６４１中の開始位置６６１から終了位置６６２までの長さがファイルＡの総再生時間である。

ファイルＡにおいては２つのシーンが検出されており、まずシーン＃１の６６３ａは動画像ファイルを構成するフレーム中においてテンプレート画像類似フレームとして探索されたフレームの位置を示す。また、シーン＃１の６６４ａは、シーン＃１の終了フレームの位置を示す。また、シーン＃１の６６５ａは、シーン＃１の開始フレームの位置を示す。６６５ａから６６３ａまでの長さで表される後方シーンと６６３ａから６６４ａまでの長さで表される前方シーンとでシーン＃１を構成する。

シーン＃２についても同様で、シーン＃２の６６３ｂは動画像ファイルを構成するフレーム中においてテンプレート画像類似フレームとして探索されたフレームの位置を示す。また、シーン＃２の６６４ｂは、シーン＃２の終了フレームの位置を示す。また、シーン＃２の６６５ｂは、シーン＃２の開始フレームの位置を示す。６６５ｂから６６３ｂまでの長さで表される後方シーンと６６３ｂから６６４ｂまでの長さで表される前方シーンとでシーン＃２を構成する。

図１２は、本発明の実施の形態におけるシーンの結合の様子を示す図である。図１２（ａ）に示すシーン情報テーブル３２０においてシーン＃１の終了フレーム番号とシーン＃２の開始フレーム番号が連続している。このシーン情報テーブル３２０に基づいて生成されたシーン時間位置表示が図１２（ｂ）に示すシーン時間位置表示６７０である。

このシーン時間位置表示６７０においてはシーン＃１の開始フレームの位置が位置６７３で終了フレームの位置が位置６７４である。また、シーン＃２の開始フレームの位置が位置６７４で終了フレームの位置が位置６７５である。このように２つのシーンが連続している場合、一つのシーンが様々な要因で２つのシーンに分かれてしまった可能性が高い。したがって、２つのシーンが連続している場合、その２つのシーンをまとめて一つのシーンとして扱うことが望ましい。

そこで、本発明の実施の形態では、２つのシーンが連続している場合、２つのシーンを一つのシーンとして処理する。具体的には、図１２（ａ）のようなシーン情報テーブル３２０がある場合、シーン時間位置表示生成部３２１において図１２（ｃ）のようにシーン情報テーブル３２０を書き換える。すなわち、シーン＃１の終了番号フレームをシーン＃２の終了番号フレームに書換え、シーン＃２を消去する。これにより、このシーン情報テーブル３２０に基づいて生成されるシーン時間位置表示は、一つのシーンのみを表示することになる。

なお、図１２（ｃ）に示したようにシーン情報テーブル３２０の内容を書き換えることなく、２つのシーンが連続している場合は一つのシーンとして図１２（ｄ）に示すシーン時間位置表示をシーン時間位置表示生成部３２１において生成するように構成してもよい。

次に本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１３は、本発明の実施の形態におけるシーン検出の流れを示す図である。まず、動画像ファイルを構成するフレームより所望のフレームの選択を受け付けた後、そのフレームの領域の選択を受け付ける（ステップＳ９１１）。ステップＳ９１１において選択された領域に基づいてテンプレート画像生成部３１２においてテンプレート画像が生成される（ステップＳ９１２）。具体的には、テンプレート画像生成部３１２において選択された領域をフレームから切り出すことによってテンプレート画像が生成される。また、この切り出された画像を拡大または縮小した画像もテンプレート画像として生成される。

次に、画像照合部３１３は、動画像ファイル保持部２３１に保持された動画像ファイルよりテンプレート画像と照合すべきフレームを取得する（ステップＳ９１３）。本発明の実施の形態においては、テンプレート画像と照合すべきフレームとして取得されるフレームは２通りある。１つ目は、シーンの終了フレームの次に位置するフレームである。このフレームが取得されるのは、シーンの検出が行われた場合である。２つ目は、直前に照合が行われたフレームの次に位置するフレームである。このフレームが取得されるのは、画像照合部３１３においてテンプレート画像類似フレームが探索されなかった場合である。そして、画像照合部３１３は、ステップＳ９１３において取得したフレームとテンプレート画像とを照合する（ステップＳ９１４）。

ステップＳ９１４における照合の後に、フレーム中の任意の画像とテンプレート画像との類似する度合い（スコア）が所定の閾値を超えたか否かが画像照合部３１３において判断される（ステップＳ９１５）。フレーム中の画像とテンプレート画像との類似する度合い（スコア）が所定の閾値を超えたと判断されると、シーン変化検出部３１４はそのフレームの前に時系列に並んだフレームを取得して、シーンが開始するフレームの検出を行う（ステップＳ９１６）。

次に、シーン変化検出部３１４はそのフレームの後に時系列に並んだフレームを取得して、シーンが終了するフレームの検出を行う（ステップＳ９１７）。以上のステップＳ９１６および９１７の処理によりシーンの開始と終了が検出され、一シーンが検出されたことになる。なお、ステップＳ９１６とステップＳ９１７とはどちらを先に行ってもよい。

次に、ステップＳ９１６において検出されたシーンの最終フレームが、動画像ファイルの最終フレームに当たるか否かが判断される（ステップＳ９１８）。ステップＳ９１６において検出されたシーンの最終フレームが、動画像ファイルの最終フレームに該当しないと判断されると、ステップＳ９１３においてシーンの最終フレームの次のフレームが取得されてステップＳ９１４以下の処理が行われる。

一方、そのシーンの最終フレームが動画像ファイルの最終フレームに該当すると判断されると、ステップＳ９１３から９１７までの処理を行っていない動画像ファイルが動画像ファイル保持部２３１に保持されているか否かが判断される（ステップＳ９１９）。ステップＳ９１３から９１７までの処理を行っていない動画像ファイルが動画像ファイル保持部２３１に保持されていると判断されると、ステップＳ９１３に戻る。一方、ステップＳ９１３から９１７までの処理を行っていない動画像ファイルが動画像ファイル保持部２３１に保持されていないと判断されると、シーン検出処理は終了する。

また、ステップＳ９１５において画像照合部３１３においてフレーム中の画像とテンプレート画像との類似する度合い（スコア）が所定の閾値を超えないと判断されると、そのフレームはテンプレート画像類似フレームとされず、ステップＳ９１６および９１７のシーン検出処理は行われない。この場合は、次にステップＳ９１４において照合したフレームが動画像ファイルの最終フレームに当たるか否かが判断される（ステップＳ９１８）。

ステップＳ９１４において照合したフレームが動画像ファイルの最終フレームに該当しないと判断されると、ステップＳ９１３に戻り、そのフレームの次に位置するフレームが取得されてステップＳ９１４以下の処理が行われる。一方、ステップＳ９１４において照合したフレームが動画像ファイルの最終フレームに該当すると判断されると、ステップＳ９１３から９１７までの処理を行っていない動画像ファイルがあるか否かがステップＳ９１９において判断される。ステップＳ９１９における処理は上記説明した通りである。

このように、本発明の実施の形態によれば、動画ファイルを構成する何れかのフレームに含まれる対象物を領域選択受付部６０１において選択することによってテンプレート画像を生成することができ、そのテンプレート画像に含まれる対象物が登場する一シーンをフレームの各画素の画素値の分布に基づいてシーン変化検出部３１４によって検出することができる。そして、フレームの各画素の画素値の分布に基づいてシーンの検出を行うことによって、人間の視覚的感覚に基づいたシーン検出ができるため、動画像において目的とする対象物が登場する一シーンを的確に検出することができる。また、検出に用いるフレームをフレーム縮小部３１１によって縮小することによって、画像照合部３１３におけるテンプレート画像に類似する画像を含むフレームの探索処理の演算量およびシーン変化検出部３１４におけるシーン変化検出処理の演算量を低減することができるため、高速なシーン検出が可能となる。

本発明の実施の形態では、撮像装置を例に説明したが、その他画像に関する処理を行うことができる電子機器において本発明を適用することは可能である。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、動画像ファイル保持手段は、例えば動画像ファイル保持部２３１に対応する。また、領域選択受付手段は、例えば領域選択受付部６０１に対応する。また、テンプレート画像生成手段は、例えばテンプレート画像生成部３１２に対応する。また、画像照合手段は、例えば画像照合部３１３に対応する。また、シーン変化検出手段は、例えばシーン変化検出部３１４に対応する。

また、請求項３において、フレーム取得手段は、例えばフレーム取得部３１５に対応する。また、画素値分布生成手段は、例えば画素値分布生成部３１６に対応する。また、分布差分積算値算出手段は、例えば分布差分積算値算出部３１７に対応する。また、シーン変化判断手段は、例えばシーン変化判断部３１８に対応する。

また、請求項６において、フレーム縮小手段は、例えばフレーム縮小部３１１に対応する。

また、請求項８において、動画像ファイル情報取得手段は、例えば動画像ファイル情報取得部３１９に対応する。また、シーン情報テーブルは、例えばシーン情報テーブル３２０に対応する。また、シーン時間位置表示生成手段は、例えばシーン時間位置表示生成部３２１に対応する。

また、請求項１１において、撮像手段は例えば撮像部１０に対応する。動画像ファイル保持手段は、例えば動画像ファイル保持部２３１に対応する。また、領域選択受付手段は、例えば領域選択受付部６０１に対応する。また、テンプレート画像生成手段は、例えばテンプレート画像生成部３１２に対応する。また、画像照合手段は、例えば画像照合部３１３に対応する。また、シーン変化検出手段は、例えばシーン変化検出部３１４に対応する。動画像ファイル情報取得手段は、例えば動画像ファイル情報取得部３１９に対応する。また、シーン情報テーブルは、例えばシーン情報テーブル３２０に対応する。また、シーン時間位置表示生成手段は、例えばシーン時間位置表示生成部３２１に対応する。また、表示手段は、例えば表示部６１に対応する。

また、請求項１２および１３において、動画像ファイル保持手段は、例えば動画像ファイル保持部２３１に対応する。また、領域選択受付手順は、例えばステップＳ９１１に対応する。また、テンプレート画像生成手順は、例えばステップＳ９１２に対応する。また、画像照合手順は、例えばステップＳ９１３乃至９１５に対応する。また、シーン変化検出手順は、例えばステップＳ９１６および９１７に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置１００の一例である撮像装置１００ａおよび１００ｂの外観図である。 本発明の実施の形態における撮像装置１００の構成を示す図である。 本発明の実施の形態におけるシーン検出機能の構成を示す図である。 本発明の実施の形態においてテンプレート画像の領域を選択する様子を示す図である。 本発明の実施の形態におけるテンプレート画像生成のイメージを示す図である。 フレーム６３３とテンプレート画像６３１とを照合する様子を示す図である。 本発明の実施の形態におけるシーン検出の様子を示す図である。 本発明の実施の形態におけるフレームを構成する各画素の画素値の分布の生成の様子を示す図である。 動画像ファイルを構成するフレームの集まりであるフレーム群と縮小されたフレームとの対応を示す図である。 本発明の実施の形態におけるシーン情報テーブル３２０の内容を示す図である。 本発明の実施の形態におけるシーン時間位置表示を示す図である。 本発明の実施の形態におけるシーンの結合の様子を示す図である。 本発明の実施の形態におけるシーン検出の流れを示す図である。

符号の説明

１０ 撮像部
１１ 撮像素子部
１２ 撮像制御部
１３ 画像処理部
２０ 記録再生処理部
２１ 画像符号化／復号部
２２ 記録制御部
２３ ＳＤＲＡＭ
３０ 制御部
３１ システム制御部
３２ 入力制御部
３３ 表示制御部
３４ 出力画像処理部
３５ 外部機器制御部
３６ ネットワーク制御部
４０ バス
５０ キー入力部
６０ タッチパネル部
６１ 表示部
６２ タッチパネル入力部
７０ 記憶装置
８０ 外部機器
９０ ネットワーク網
１００、１００ａ、１００ｂ 撮像装置
１１０ａ、１１０ｂ レンズ部
１２０ａ シャッター部
１３０ａ、１３０ｂ ディスプレイ部
２３１ 動画像ファイル保持部
３１１ フレーム縮小部
３１２ テンプレート画像生成部
３１３ 画像照合部
３１４ シーン変化検出部
３１５ フレーム取得部
３１６ 画素値分布生成部
３１７ 分布差分積算値算出部
３１８ シーン変化判断部
３１９ 動画像ファイル情報取得部
３２０ シーン情報テーブル
３２１ シーン時間位置表示生成部
６０１ 領域選択受付部

Claims (13)

1. 動画像ファイルを保持する動画像ファイル保持手段と、
   前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、
   前記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手段と、
   前記動画像ファイル保持手段より前記フレームを取得して前記フレームの各々と前記テンプレート画像とを照合し前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、
   前記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段と
   を具備することを特徴とする画像処理装置。
2. 前記画像照合手段は、前記フレームの取得において時系列に所定数置きに並んだフレームを前記動画像ファイル保持手段より取得することを特徴とする請求項１記載の画像処理装置。
3. 前記シーン変化検出手段は、
   前記画像照合手段において探索されたフレームの前後に時系列に並んだフレームを前記動画像ファイル保持手段より取得するフレーム取得手段と、
   前記フレーム取得手段によって取得されたフレームを構成する各画素の画素値の分布を生成する画素値分布生成手段と、
   前記時系列に隣り合うフレームにおける前記画素値の分布の差分を積算した分布差分積算値を算出する分布差分積算値算出手段と、
   前記分布差分積算値が所定の閾値を超えているか否かを判断して前記分布差分積算値が所定の閾値を超えている場合には前記シーンが変化したものとして前記所定の閾値を超えた前記分布差分積算値に対応するフレームを前記シーンの開始フレームまたは終了フレームと判断するシーン変化判断手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
4. 前記フレーム取得手段は、前記画像照合手段において探索されたフレームの前後に時系列に所定数置きに並んだフレームを前記動画像ファイル保持手段より取得することを特徴とする請求項３記載の画像処理装置。
5. 前記画素値分布生成手段は、前記画素値としてＹＵＶを用いて表される量を用い、前記フレーム取得手段によって取得されたフレームを構成する各画素のＹＵＶそれぞれの成分の分布を生成し、
   前記分布差分積算値算出手段は、前記分布差分積算値として、前記時系列に隣り合うフレームにおける前記ＹＵＶそれぞれの成分に関する分布の差分を前記ＹＵＶそれぞれの成分毎に積算したＹ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値を算出し、
   前記シーン変化判断手段は、前記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値のそれぞれに対して設定された前記所定の閾値を超えているか否かを判断して前記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値の何れか一つが所定の閾値を超えている場合には前記シーンが変化したものとして前記所定の閾値を超えた前記Ｙ成分分布差積算値、Ｕ成分分布差積算値またはＶ成分分布差積算値に対応するフレームを前記シーンの開始フレームまたは終了フレームと判断することを特徴とする請求子３記載の画像処理装置。
6. 前記動画像ファイルを構成するフレームを縮小するフレーム縮小手段をさらに具備し、
   前記動画像ファイル保持手段は、前記フレーム縮小手段において縮小されたフレームをさらに保持し、
   前記領域選択受付手段は、前記縮小されたフレームの何れか一つに対する所定の領域の選択を受け付け、
   前記画像照合手段は、前記縮小されたフレームと前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含む前記縮小されたフレームを探索し、
   前記シーン変化検出手段は、前記縮小されたフレームを用いて前記画像照合手段において探索された縮小されたフレームを含むシーンの開始および終了を検出することを特徴とする請求項１記載の画像処理装置。
7. 前記フレーム縮小手段は、時系列に並んだ前記フレームを所定数置きに縮小することを特徴とする請求項６記載の画像処理装置。
8. 前記動画像ファイル保持手段に保持された前記動画像ファイルより前記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、
   前記動画像ファイル情報取得手段によって取得された前記動画像ファイル情報および前記シーン変化検出手段によって検出された前記シーンの開始および終了に関する情報を前記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、
   前記動画像ファイルに対応する動画像の開始および終了に関する情報および前記シーンの開始および終了に関する情報に基づいて前記動画像が再生される全時間に対する前記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段と
   をさらに具備することを特徴とする請求項１記載の画像処理装置。
9. 前記動画像ファイル情報取得手段は、前記動画像ファイルに対応する動画像の開始および終了に関する情報として前記動画像ファイルに含まれるフレーム数を取得し、
   前記シーン情報テーブルは、前記シーン検出手段によって検出された前記シーンの開始および終了に関する情報として前記シーンの開始フレーム番号および終了フレーム番号を保持し、
   前記シーン時間位置表示生成手段は、前記動画像ファイルに含まれるフレーム数、前記シーンの開始フレーム番号および終了フレーム番号に基づいて前記シーン時間位置表示を生成することを特徴とする請求項８記載の画像処理装置。
10. 前記シーン時間位置表示生成手段は、前のシーンの終了および次のシーンの開始が連続する場合には前記前のシーンおよび前記次のシーンを一つのシーンとして前記シーン時間位置表示を生成することを特徴とする請求項８記載の画像処理装置。
11. 被写体を撮像して動画像ファイルを生成する撮像手段と、
    前記動画像ファイルを保持する動画像ファイル保持手段と、
    前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、
    前記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手段と、
    前記動画像ファイル保持手段より前記フレームを取得して前記フレームの各々と前記テンプレート画像とを照合し前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、
    前記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段と、
    前記動画像ファイル保持手段に保持された前記動画像ファイルより前記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、
    前記動画像ファイル情報取得手段によって取得された前記動画像ファイル情報および前記シーン変化検出手段によって検出された前記シーンの開始および終了に関する情報を前記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、
    前記動画像ファイルに対応する動画像の開始および終了に関する情報および前記シーンの開始および終了に関する情報に基づいて前記動画像が再生される全時間に対する前記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段と、
    前記シーン時間位置表示を表示する表示手段と
    を具備することを特徴とする画像処理装置。
12. 動画像ファイルを保持する動画像ファイル保持手段を備えた画像処理装置における処理方法であって、
    前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、
    前記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手順と、
    前記動画像ファイル保持手段より前記フレームを取得して前記フレームの各々と前記テンプレート画像とを照合し前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手順と、
    前記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手順と
    を具備することを特徴とする処理方法。
13. 動画像ファイルを保持する動画像ファイル保持手段を備えた画像処理装置において、
    前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、
    前記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手順と、
    前記動画像ファイル保持手段より前記フレームを取得して前記フレームの各々と前記テンプレート画像とを照合し前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手順と、
    前記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手順と
    を実行させることを特徴とするプログラム。

Images