JP2006217045A

JP2006217045A - インデックス画像生成装置及びインデックス画像を生成するプログラム

Info

Publication number: JP2006217045A
Application number: JP2005025223A
Authority: JP
Inventors: Hiroshi Matsuzaki; 弘松▲崎▼
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-02-01
Filing date: 2005-02-01
Publication date: 2006-08-17

Abstract

【課題】ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできるインデックス画像生成装置を提供すること。
【解決手段】演算処理装置１０内のシーンチェンジフレーム抽出部２３で連続するフレームから第１のインデックス画像を抽出し、映像セグメンテーション部２４にて抽出したシーンの変化の位置で区切った映像セグメントに分割する。主要フレーム抽出部２６にて、上記分割した映像セグメントから第２のインデックス画像を抽出すると、上記第１のインデックス画像と第２のインデックス画像を表示装置１２に表示する。そして、指示装置１４にて第１のインデックス画像及び第２のインデックス画像から指定画像を選択すると、選択した指定画像に関連する画像を各映像セグメントから再検索してインデックス画像を更新する。
【選択図】図１

Description

本発明は、連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置及びインデックス画像を生成するプログラムに関するものである。

近年、デジタル情報が至る場面で利用されている。これらの情報はテキスト情報のみならず、画像、映像等の容量の膨大なデータに関しても様々な分野で利用されている。そして、今後、ストレージデバイスの容量増大に伴い、大量の画像・映像の中からユーザの要求に満足するデータを検索・表示する技術の重要性は、益々高まることが必至である。

ところで、画像を検索する場合、キーワードによらず、画像からその様々な特徴を算出し、これらの特徴を比較することにより類似する特徴を有する画像を検索する類似画像検索システムも多数提案されている。この技術は静止画像に限ることなく、動画像からの類似シーン検索や、特徴画像の抽出によるインデックス画像生成技術にも応用されている。

動画像からシーンチェンジを検出してインデックス画像を作成し、動画像に概要を付与して概要とインデックス画像の間のリンクを作成しておいた上で、概要を読んでから関連のあるインデックス画像を選択してインデックス画像で示される各シーンを見ることができる技術が知られている（例えば、特許文献１参照）。これは、概要によって動画像のストーリーやシーンの内容を把握しながら所望のシーンを探すことができる技術である。

また、パーソナルなダイジェスト映像を生成する場合に、イベント情報を参照して映像の意味的な区間を抽出し、その区間の意味的特徴量計算を行い、特徴量の大きな映像シーンを選択してダイジェストの生成を行う技術が知られている（例えば、特許文献２参照）。更に、この特許文献２は、特徴量計算の際に、同時に各属性に関連付けられたカテゴリの嗜好情報を参照し、対応する嗜好情報の好きな度合いを用いて特徴量の値を増減させることにより、ユーザの嗜好を反映させたダイジェストを生成するものである。

更に、フレーム特徴検出手段により検出されたフレーム単位の特徴量に対してフレーム内の位置に基づく重み付けにより修正し、修正後のフレーム間の特徴量変化を示す修正フレーム間特徴量算出手段により算出された修正フレーム間特徴量に基づいて動画像インデックスを生成する手段によりインデックス画像を生成する手法が述べられている（例えば、特許文献３参照）。
特開２００３−３２６２０号公報特開２００２−２３２８２８号公報特開平６―２６８９６０号公報

ところが、上記特許文献１に記載の技術に於いて述べられている方法では、概要を記述するためにテキスト情報を入力する必要がある。そのため、手動での操作を行わなければならず、映像が長くなる程、操作が煩わしくなり、また、処理の時間も膨大なものとなってしまう。

また、上記特許文献２に記載されている技術では、嗜好情報を入力する際にカテゴリや項目名を指定する必要があり、表示された画像とカテゴリのようなテキスト情報との対応付けをユーザが設定する必要がある。これらによって煩わしさが生じたり、またはユーザが設定したいと思うカテゴリが存在しないという不都合も生じることとなる。また、この特許文献２に於いては、特徴の大きな画像をダイジェストシーンとして抽出しているが、必ずしも特徴が大きな画像がダイジェストとして適切とは限らず、ユーザが望む適切なダイジェストシーン（インデックス画像）を抽出するのに必ずしも好適なものではなかった。

更に、上記特許文献３では、フレーム内の位置に基づいた重みの設定を行っているが、実際の映像では、時間方向に対する特徴変化の度合いが多様に変化するため、フレーム間でのインデックス画像生成に対する適応性が失われてしまい、適切なインデックス画像生成ができない。

従って、本発明は上記課題に鑑みてなされたものであり、ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできるインデックス画像生成装置及びインデックス画像を生成するプログラムを提供することを目的とする。

すなわち、請求項１に記載の発明は、連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置に於いて、上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第１のインデックス画像として抽出する第１の抽出手段と、上記第１の抽出手段で抽出された第１のインデックス画像の位置で上記映像を映像セグメントに分割する分割手段と、上記分割手段で分割された上記映像セグメントから少なくとも１枚以上のフレームを第２のインデックス画像として抽出する第２の抽出手段と、上記第１のインデックス画像及び上記第２のインデックス画像を表示する表示手段と、上記表示手段で表示した上記第１のインデックス画像及び上記第２のインデックス画像からユーザの評価に基づく少なくとも１枚のフレームを指定画像として選択する選択手段と、上記選択手段で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第１のインデックス画像または上記第２のインデックス画像を更新する更新手段と、を具備することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明に於いて、上記第１の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第１のインデックス画像を抽出することを特徴とする。

請求項３に記載の発明は、請求項１に記載の発明に於いて、上記第２の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第２のインデックス画像を抽出することを特徴とする。

請求項４に記載の発明は、請求項２若しくは３に記載の発明に於いて、上記閾値は、各特徴に対応して設定されていることを特徴とする。

請求項５に記載の発明は、請求項２に記載の発明に於いて、上記第１の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも１種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より大きいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも１枚のフレームを上記第１のインデックス画像として抽出することを特徴とする。

請求項６に記載の発明は、請求項３に記載の発明に於いて、上記第２の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも１種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より小さいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも１枚のフレームを上記第２のインデックス画像として抽出することを特徴とする。

請求項７に記載の発明は、請求項２に記載の発明に於いて、上記第１の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする。

請求項８に記載の発明は、請求項３に記載の発明に於いて、上記第２の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする。

請求項９に記載の発明は、請求項７に記載の発明に於いて、上記第１の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする。

請求項１０に記載の発明は、請求項８に記載の発明に於いて、上記第２の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする。

請求項１１に記載の発明は、請求項１に記載の発明に於いて、上記選択手段は、それぞれ異なる映像セグメントから抽出された複数の上記第１のインデックス画像若しくは上記第２のインデックス画像を上記指定画像として選択し、上記更新手段は、複数の上記指定画像の特徴に基づいて、上記異なる映像セグメントそれぞれから上記指定画像に関連するフレームを再検索することを特徴とする。

請求項１２に記載の発明は、請求項２乃至１１の何れか１に記載の発明に於いて、各フレーム内で当該フレームの特徴を算出するための領域の位置及び大きさを設定し、当該領域内の画像データを基に当該フレームの特徴を算出する特徴算出手段を更に具備することを特徴とする。

請求項１３に記載の発明は、請求項１２に記載の発明に於いて、上記特徴算出手段は、上記フレーム内の特徴量の分布に応じて上記領域の位置及び大きさを適応的に設定することを特徴とする。

請求項１４に記載の発明は、請求項１に記載の発明に於いて、上記第２の抽出手段は、各フレームから主要被写体の検出を行い、上記フレーム間に於ける上記主要被写体の状態を検出し、主要被写体が所定の状態にあるフレームを上記第２のインデックス画像として抽出することを特徴とする。

請求項１５に記載の発明は、連続する複数のフレームから成る映像からインデックス画像を生成するプログラムであって、上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第１のインデックス画像として抽出する第１の手順と、上記第１の手順で抽出された第１のインデックス画像の位置で上記映像を映像セグメントに分割する第２の手順と、上記第２の手順で分割された上記映像セグメントから少なくとも１枚以上のフレームを第２のインデックス画像として抽出する第３の手順と、上記第１のインデックス画像及び上記第２のインデックス画像を表示する第４の手順と、上記第４の手順で表示した上記第１のインデックス画像及び上記第２のインデックス画像からユーザの評価に基づく少なくとも１枚のフレームを指定画像として選択する第５の手順と、上記第５の手順で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第１のインデックス画像または上記第２のインデックス画像を更新する第６の手順と、を具備することを特徴とする。

本発明によれば、ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできる映像インデックス生成装置及びインデックス画像を生成するプログラムを提供することができる。

以下、図面を参照して本発明に係るインデックス画像生成装置の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による画像情報表示装置１のシステム全体の構成を示すブロック図である。画像情報表示装置１は、本発明のインデックス画像生成装置に相当するものである。

図１に於いて、この画像情報表示装置１は、演算処理装置１０と、映像・画像データベース１１と、表示装置１２と、入力装置１３と、指示装置１４とを有して構成される。

上記映像・画像データベース１１には、表示装置１２表示されるべく複数の映像・画像が蓄積されている。表示装置１２は、上記映像・画像データベース１１より取得されたデータ処理結果を表示するためのものである。

入力装置１３は、この画像情報表示装置１の入力操作を行うためのもので、例えばキーボード等のデバイスから構成される。同様に、指示装置１４は、画像情報表示装置に対する指示操作を行うためのもので、例えばマウス等のポインティングデバイスから構成される。

演算処理装置１０は、映像読み込み部２１と、フレーム間比較・解析部２２と、シーンチェンジフレーム抽出部２３と、映像セグメンテーション部２４と、セグメント内解析部２５と、主要フレーム抽出部２６と、指定画像選択・解析部２７と、インデックス画像再設定部２８とを有して構成される。演算処理装置１０は、ＣＰＵ等によって実現され、図示しない記憶部に記憶したプログラムを実行することで、インデックス画像を生成するためのインデックス生成処理を行う。

図２は、演算処理装置１０で実行するインデックス生成処理の流れを示す。

上記映像読み込み部２１では、映像・画像データベース１１から映像データを読み込み（ステップＳ１）、連続するフレームの抽出が行われる。尚、ここで抽出されるフレームは、連続するものに限られず、時系列的に関連したものであれば、例えば１コマおき等であってもよい。

フレーム間比較・解析部２２では、映像読み込み部２１で抽出されたフレームの特徴の算出、及びフレーム間の特徴の変化の算出を行うと共に、インデックス画像を抽出するためにフレームの特徴の統計量や特徴の変化の統計量の算出を行う（ステップＳ２）。尚、フレーム間比較・解析部２２で算出した特徴や特徴の変化の統計量等は、演算処理装置１０のメモリ（図示せず）上にマッピングしておくことも可能であるが、容量が膨大になることもあるため、ハードディスク（図示せず）に蓄積しておくことも可能である。

ここで、フレームの特徴としては、カラーヒストグラム、解像度を変換した画像（例えば、１６×１６の解像度に落とした画像）、エッジ分布のヒストグラム（画像処理によるエッジ算出を行った後でその画素値をヒストグラム化したもの）、エッジの方向に対するヒストグラム（設定された方向の数のエッジ算出を行い、画素毎に最大値をとる方向のヒストグラムとして表したもの）等が考えられる。更には、カラーヒストグラム、エッジ分布のヒストグラム、エッジ方向に対するヒストグラムに関しては、フレーム内でヒストグラムを算出するための領域を指定して、指定した領域について算出したヒストグラムをフレームの特徴とすることも考えられる。さらに、テクスチャ特徴としての、共分散行列や、モーメント等、フレームの特徴としてフレームの画像データから得られる様々な特徴、またはそれらの組み合わせを利用することが可能である。

これらのフレームの特徴は、それぞれヒストグラムや複数の要素を有する特徴として表されるため、それぞれベクトルとして表現することができ、フレーム間の特徴の変化を複数のフレーム間でのベクトルの差分として定義することができる。

シーンチェンジフレーム抽出部２３は、フレーム間比較・解析部２２で算出したフレームの特徴や統計量から算出される特徴量に基づいて、映像のシーンの変化の位置を示すフレームであるシーンチェンジフレームを抽出する。シーンチェンジフレームは、本発明の第１のインデックス画像に相当する。

特徴量とは、時系列的に並んだ複数のフレームに於いて、各フレームの特徴の変化の様子を示すものであり、例えば、複数のフレームから得られるフレーム間の複数種類の特徴の変化量そのもの、または複数のフレームから得られるフレーム間の特徴の統計量、または複数のフレームから得られるフレーム間の特徴の変化の統計量、または、複数のフレームから得られるフレーム間の特徴の統計量の変化量等である。尚、統計量は、平均や標準偏差、分散等で求められるものである。

シーンチェンジフレーム抽出部２３は、映像中の各フレームの特徴量を算出し、各フレームの特徴量とシーンチェンジフレームを抽出するために設定された閾値とを比較することにより、映像の中から、条件に合致するフレームをシーンチェンジフレームとして抽出する（ステップＳ３）。

尚、シーンチェンジフレームを抽出する際には、単に隣接するフレーム（隣り合う２つのフレーム）から得る特徴の変化等の特徴量を用いるのではなく、映像中の対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレームの特徴の変化の統計量や、特徴の統計量の変化等を特徴量として算出して、シーンチェンジフレームを抽出すると好適である。尚、「対象とするフレーム近傍の複数のフレーム」とは、当該対象とするフレームを含む場合と含まない場合両方を意味する。また、「対象とするフレーム近傍の複数のフレーム」は、必ずしもすべてのフレームが対象とするフレームに対して時系列的に連続している必要はなく、対象とするフレームに対して間欠的に離れた時点の複数のフレームであってもよい。

シーンチェンジフレーム抽出部２３は、対象とするフレームについて算出した特徴量と、設定された閾値とを比較して、対象とするフレームの特徴量が設定された閾値よりも大きいときに、当該対象とするフレームを、シーンチェンジフレームとして抽出する。このとき、当該対象とするフレームではなく、対象とするフレーム近傍の複数のフレームうちのいずれかを、シーンチェンジフレームとして抽出してもよい。

シーンチェンジフレームとしては、フレーム間でフレームの特徴が大きく変化する位置のフレームが適当である場合が多いと考えられる。そのため、本実施形態では、シーンチェンジフレームを抽出する際には、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも大きい時点（位置）にあるフレームを、映像の中からシーンチェンジフレームとして抽出している。

尚、シーンチェンジフレームを抽出するための閾値は、複数種類の特徴に対して、各々設定されている。

シーンチェンジフレームを抽出すべき時点（位置）のフレームであっても、ある複数種類の特徴のうちの一部の特徴の変化が大きくない場合もあり得る。本実施形態のように、複数種類の特徴についての特徴量と、各特徴に応じた閾値を用いて、一部の特徴についての特徴量が、設定された閾値よりも大きいときに、当該対象となるフレームを、シーンチェンジフレームとして抽出するようにすることで、インデックス画像として適切なシーンチェンジフレームを生成することが可能となる。

映像セグメンテーション部２４は、上記シーンチェンジフレーム抽出部２３がシーンチェンジフレームを抽出した後、シーンチェンジフレームの位置で映像の分割を行うことで、映像のセグメンテーションを行う。すなわち、映像セグメンテーション部２４は、映像をシーンチェンジフレームの位置で分割した映像セグメントを生成する（ステップＳ４）。ここで、映像セグメンテーション部２４は、シーンチェンジフレームの間隔も考慮して、シーンチェンジフレーム同士の時間間隔が狭すぎる場合等には、生成した複数の映像セグメントを統合する処理を、ステップＳ４で追加して行ってもよい。

次に、映像セグメント内解析部２５と主要フレーム抽出部２６は、上述のフレーム間比較・解析部２２で算出した各種特徴や統計量を用いて、映像セグメンテーション部２４で生成した映像セグメント内の連続するフレームの特徴の解析を行い、各映像セグメントから主要フレームの抽出条件に従って主要フレームの抽出を行う（ステップＳ５）。主要フレームは、本発明の第２のインデックス画像に相当する。

映像セグメント内解析部２５は、各映像セグメントの中のフレームを対象とするフレームとして順次設定し、対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレーム間の特徴量を算出する。そして、主要フレーム抽出部２６が、セグメント内解析部２５で算出した特徴量と、主要フレームを抽出するために設定された閾値とを比較して、特徴量が閾値よりも小さい位置のフレームを検出し、主要フレームとして抽出する。例えば、フレーム間の特徴の変化が小さい位置のフレームを主要フレームとして抽出したり、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての標準偏差や、分散から得る特徴量が閾値よりも小さいときに、当該対象とするフレームを主要フレームとして抽出したりする。

或いは、セグメント内解析部２５で、各フレームに於ける主要被写体の状態を判断して、主要フレーム抽出部２６が主要被写体の状態が所定の状態になっているか否かに応じて主要フレームを抽出するようにしてもよい。すなわち、主要被写体が中心にあると判断したフレーム、主要被写体の大きさが所定の大きさとなっていると判断したフレーム、主要被写体にピントが合った状態であると判断したフレーム、主要被写体が正面を向いていると判断したフレーム、主要被写体の動きの小さな場面であると判断したフレーム、主要被写体として特徴的なオブジェクトが写っている場面であると判断したフレーム等、多様な状態をセグメント内解析部２５で判断して、主要フレーム抽出部２６が主要フレームを抽出するようにすることができる。

上述のように、シーンチェンジフレームとしては、フレーム間でフレームの特徴が大きく変化する位置のフレームが適当である場合が多いため、シーンチェンジフレームを抽出する際には、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも大きい位置にあるフレームをシーンチェンジフレームとして抽出した。一方で、主要フレームとしては、フレーム間でフレームの特徴の変化が比較的小さい位置のフレームが適当である場合が多い。このため、本実施形態では、主要フレームを抽出する際には、シーンチェンジフレームを抽出する場合と異なり、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも小さい位置にあるフレームを、主要フレームとして抽出している。

尚、主要フレームを抽出するための閾値は、複数種類の特徴に対して、各々設定されている。

演算処理装置１０は、ステップＳ３に於いてシーンチェンジフレーム抽出部２３で抽出したシーンチェンジフレームと、ステップＳ５に於いて主要フレーム抽出部２６で抽出した主要フレームとを、表示装置１２に表示する。

図３は、シーンチェンジフレームと主要フレームとを、表示装置１２に表示した画面例である。図３に示した例では、表示装置１２上に、シーンチェンジフレームと主要フレームとをマトリクス状に表示している。対象としている映像４０は、ステップＳ４で映像セグメント（１）〜（ｎ）に展開されているものであって、図３に示したように、シーンチェンジフレームの表示欄４１に、シーンチェンジフレームとして、シーンチェンジフレーム（０）〜（ｎ）を表示している。また、主要フレームの表示欄４２には、各映像セグメント（１）〜（ｎ）の主要フレームｆｒａｍｅ（１）〜（ｍ_n）を、各映像セグメント（１）〜（ｎ）に関連付けて表示している。

本実施形態では、シーンチェンジフレームや主要フレームを表示した後で、表示されたシーンチェンジフレームや主要フレームからユーザによる主観や嗜好に基づいた画像の選択を受け付ける。ユーザは、ポインティングデバイス等の指示装置１４、または入力装置１３を利用して、表示装置１２上に表示されたシーンチェンジフレームや主要フレームの中から画像の選択を行う。このとき、少なくとも２つの異なる映像セグメントに属するフレーム（シーンチェンジフレームまたは主要フレーム）を選択する。ユーザにより選択されたフレームは、指定画像として演算処理装置１０で扱われ、指定画像を特定する情報が指定画像選択・解析部２７に入力される。

指定画像選択・解析部２７は、指定画像を特定する情報を基に映像・画像データベース１１から指定画像を選択し（ステップＳ６）、指定画像の特徴等の解析及び新たなインデックス画像の再検索を行う（ステップＳ７）。

指定画像選択・解析部２７は、映像・画像データベース１１から選択した指定画像から得られる複数種類の特徴に関して、平均値や標準偏差等の統計量を算出する。そして、算出した統計量を基に、新たなインデックス画像の再検索のための検索条件の設定を行う。既にステップＳ３に於いて抽出したシーンチェンジフレームや、ステップＳ５に於いて抽出した主要フレームも含めて、各映像セグメント内のフレームから、指定画像に関連するフレームとして、指定画像に類似するフレームの抽出を行う。尚、ここでいう「類似」とは、同等または近似した特徴または特徴量をフレーム同士が有していることをいう。尚、新たなインデックス画像の抽出は、各映像セグメントから行う。

新たなインデックス画像の再検索のための検索条件として、指定画像に類似するフレームを新たなインデックス画像として抽出するための条件を設定する。例えば次のように設定する。まず、ユーザが選択したｐ枚の指定画像から得られるｍ種類の特徴について、標準偏差σ_i（ｉ＝１〜ｍ）を算出する。そして、映像セグメント内の各フレームの特徴をベクトルとして表した特徴ベクトルの各項目を標準偏差σ_iで除した値を要素とする特徴ベクトルのユークリッド距離や、マハラノビス距離を算出する。ユークリッド距離や、マハラノビス距離が小さなものから設定されたｒ枚のフレームを新たなインデックス画像として抽出する。

インデックス画像再設定部２８は、指定画像選択・解析部２７で検索された新たなインデックス画像で、既にステップＳ３に於いて抽出したシーンチェンジフレームや、ステップＳ５に於いて抽出した主要フレームを更新する（ステップＳ８）。尚、指定画像選択・解析部２７で検索された新たなインデックス画像と、既にステップＳ３に於いて抽出したシーンチェンジフレームや、ステップＳ５に於いて抽出した主要フレームの中から、ユーザの再選択を受けて、再選択された画像で、既にステップＳ３に於いて抽出したシーンチェンジフレームや、ステップＳ５に於いて抽出した主要フレームを更新するようにしてもよい。

このように本実施形態では、新たなインデックス画像の再検索を、各映像セグメントから行うことで、各映像セグメントから、ユーザの嗜好に合ったインデックス画像を生成することができる。また、ユーザは、表示装置１２に表示された画像を選択するだけですむため、ユーザにとって簡便にインデックス画像を生成することができる。

以上説明した本実施形態によれば、以下のような効果を有する。

本実施形態では、映像を映像セグメントに分割することにより類似したシーン単位へ映像を分割することができる。また、映像セグメントからは主要シーンを検出するため、映像の内容を、映像全てを通して視聴すること無く概要を把握することができる。また、選択手段で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第１のインデックス画像（シーンチェンジフレーム）または第２のインデックス画像（主要フレーム）を更新するため、ユーザの評価に応じて、最初に表示された第１のインデックス画像シーンチェンジフレーム）や第２のインデックス画像（主要フレーム）に代わるフレームを新たなインデックス画像として提供することができる。したがって、ユーザは最初に表示された第１のインデックス画像シーンチェンジフレーム）や第２のインデックス画像（主要フレーム）の中から、好みのフレームを選択するだけで、ユーザに必要以上に負担をかけずに、各ユーザ毎に適したインデックス画像の生成と表示を行うことが可能となる。

また、フレームの特徴としても多種類の特徴量を定義することができるが、１種類の特徴量に基づいてインデックス画像を生成しても、映像には様々なタイプのものがあり、映像によっては適切なインデックス画像を生成でない場合がある。そこで、本実施形態では、対象とするフレーム近傍の複数のフレームの複数種類の特徴についての統計量から特徴量を算出して、この特徴量を基にインデックス画像の抽出を行っているため、適正なインデックス画像を抽出しやすくなっている。さらに、映像毎に有効な特徴を用いることにより効果的なインデックスの生成を行うことができる。

また、特徴量と閾値を比較してインデックス画像を抽出する際に、閾値を特徴の種類に応じて設定することで、適正なインデックス画像を抽出できるようになっている。

また、ユーザの主観や嗜好により選択された指定画像に基づいて、各映像セグメントから新たなインデックス画像の再検索を行う場合に、指定画像はユーザの主観や嗜好を反映しているため、指定画像が異なる映像セグメントに含まれる場合であっても、対象とする映像セグメント内の再検索を行う際に、ユーザの主観・嗜好を反映した検索を行うことができ、従って、よりユーザの主観・嗜好を反映したインデックスの生成を行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。

図４は、本発明の第２の実施形態を示すもので、画像情報表示装置２のシステム全体の構成を示すブロック図である。画像情報表示装置２は、本発明のインデックス画像生成装置に相当するものである。

尚、本第２の実施形態に於いては、画像情報表示装置２の構成及び基本的な動作については、図１に示される第１の実施形態の画像情報表示装置１の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。

図４に示されるように、この第２の実施形態に於ける画像情報表示装置２は、図１に示される第１の実施形態の画像情報表示装置に於いて、演算処理装置１０に相当する演算処理装置３０内に特徴重要度設定部３１及び３２を追加して、シーンチェンジフレーム抽出部２３、主要フレーム抽出部２６の代わりにシーンチェンジフレーム抽出部３３、主要フレーム抽出部３６を備えた構成となっている。画像情報表示装置２は、基本的には、画像情報表示装置１と同様に、図示しない記憶部に記憶したプログラムを実行することで、図２と同様のインデックス生成処理を行うものであるが、図２のステップＳ３でシーンチェンジフレームを抽出する際の具体的処理手順、ステップＳ５で主要フレームを抽出する際の具体的処理手順が異なる。

シーンチェンジフレームや、主要フレームを抽出するための最適な条件は映像毎に異なると考えられる。このため、シーンチェンジフレームを抽出するために設定された閾値や主要フレームを抽出するために設定された閾値として、どのような映像に対しても予め設定された同一の閾値を用いたのでは、過検出や未検出等の不都合が生じやすい。本実施形態では、フレームの特徴やフレーム毎の特徴の変化が映像毎に特有であることに注目して、その特徴を有効に加味することにより、多様な映像に対して良好なシーンチェンジフレームや、主要フレームの生成が可能となっている。すなわち、本実施形態では、シーンチェンジフレームや主要フレームを抽出するための条件の設定を行うために各特徴の重み係数を用いることとして、この各特徴に対する重み係数の設定を特徴重要度設定部３１及び３２で行う。

特徴重要度設定部３１及び３２は、対象とするフレーム近傍の複数のフレームの複数種類の特徴についての統計量（各特徴の平均値、標準偏差等）から、各特徴に対する重み係数を設定する。尚、特徴についての統計量とは、特徴の統計量や、フレーム間の特徴の変化の統計量である。このような重み係数の設定は映像毎に行う。シーンチェンジフレーム抽出部３３、主要フレーム抽出部３６では、シーンチェンジフレームの検出や主要フレームの抽出を各映像から行う際の抽出条件に、各映像に設定される重み係数を反映させる。

図５のフローチャートを参照して、シーンチェンジフレームを抽出する処理について説明する。図５の処理は、特徴重要度設定部３１及びシーンチェンジフレーム抽出部３３が、シーンチェンジフレームを抽出する処理であり、図２のステップＳ３に相当する処理であるが、その具体的手順が上述の第１の実施形態のステップＳ３と異なる。尚、フレームの特徴や特徴量としては、上述の第１の実施形態と同様のものを用いることができる。

図５の処理は、Ｎ枚のフレームで構成される映像からシーンチェンジフレームを抽出するためのシーンチェンジフレーム抽出処理の流れを示すものであり、映像内のフレームの順序ｉでの繰り返し演算を行うループとなっている。

先ず、ステップＳ１１にて、対象とするｉ番目のフレームと隣り合うか、または、対象とするｉ番目のフレーム近傍の複数のフレームの複数種類の特徴を算出する。ステップＳ１１では、複数種類の特徴を算出する代わりに、上述のステップＳ２で算出した特徴をメモリから読み出すようにしてもよい。

次いで、ステップＳ１２にて、ｉ番目のフレーム近傍の複数のフレームの複数種類の特徴についての統計量、すなわち平均、標準偏差等の算出を行う。尚、ここで算出される特徴についての統計量は、上述のように、特徴の統計量、またはフレーム間の特徴の変化の統計量である。そして、ステップＳ１３では、ステップＳ１２で算出された統計量より、各特徴に対する重み係数を設定する。

ステップＳ１３に於ける、シーンチェンジフレームを抽出するための重み係数の設定法としては、様々な方法が考えられるが、要は、重要度の高い特徴には高い重み係数を設定し、重要度の低い特徴には低い重み係数を設定する。例えば、各フレームに於ける各特徴について、同等の値（近い値）を示す特徴に対しては重要度が高いと考え、各フレームの標準偏差σや分散Ｖの大きさ等に基づいて、その逆数を重み係数とする方法が考えられる。他にも、対象とするｉ番目のフレーム近傍の複数のフレームよりも広範囲で（映像中の広い時間帯から選んだ数多くのフレームから）算出した標準偏差σ₀や分散Ｖ₀を用いて、σ₀／σ、Ｖ₀／Ｖを算出して、これを重み係数とする方法が考えられる。さらに、特徴量が大きくなるフレームの近傍や、フレーム間の特徴量の変化が大きくなるフレームの近傍では、重要度が高いと考えられるため、特徴量の平均や特徴量の変化の平均を重み係数として設定することもできる。

次に、ステップＳ１４に於いて、ｉ番目のフレームがシーンチェンジ検出条件を満たすか否かの判断を行う。シーンチェンジ検出条件としては、予め設定されたシーンチェンジフレームを抽出するための閾値に対して、上記ステップＳ１３で設定された重み係数を乗ずることにより、対象とするフレーム毎に適応的に条件が設定されることとなる。この理由を図６を用いて説明する。

図６は、対象とするフレーム毎の重み係数を説明するための説明図である。図６に示されるように、映像内のｊで示される時点（位置）のフレーム（ｊ）の特徴に対するフレーム（ｊ＋１）の特徴の変化は、映像内のｊ’で示される時点（位置）のフレーム（ｊ’）の特徴に対するフレーム（ｊ’＋１）の特徴の変化と異なるのが一般的である。何故なら、各フレームの画像がまったく同一ということは稀だからである。本実施形態では、フレームの特徴の変化が、このように各映像内の時間と共に変化することを利用して、フレーム特徴の重み係数を適応的に変化させている。すなわち、ステップＳ１３では、対象とするフレーム毎に重み係数を設定するため、対象とするフレーム毎に固有の重み係数が設定されることになる。したがって、本実施形態では、上述のように、シーンチェンジフレームを抽出するための閾値に対して、上記ステップＳ１３で設定された対象とするフレーム毎に固有の重み係数を乗ずることで、対象とするフレーム毎に適応的に抽出条件が設定されることとなる。

そして、対象とするフレームについて特徴量を算出し、算出した特徴量が、対象とするフレームの重み係数を乗じた閾値よりも大きい場合に、当該対象とするフレームがシーンチェンジ検出条件を満たすものとして、当該対象とするフレームをシーンチェンジフレームとして抽出する。尚、特徴量としてフレーム間の特徴の変化を扱う場合には、特徴毎に閾値との比較を行い、それらの比較結果についての論理和や論理積をシーンチェンジ検出条件としてもよい。また、各特徴の特徴ベクトルに重み係数を乗じてユークリッド距離やマハラノビスの距離を求めて、閾値と比較するシーンチェンジ検出条件としてもよい。

また、ステップＳ１１では、上述した第１の実施形態と同様に、単に隣接するフレームから得る特徴の変化等の特徴量を用いるのではなく、映像中の対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレームの特徴の変化の統計量や、特徴の統計量の変化を特徴量として算出して、シーンチェンジフレームを抽出すると好適である。例えば、比較の対象とする２枚のフレームで、それぞれ近傍の設定された枚数のフレームの特徴の平均や標準偏差を算出した上で、これらの値の比較を行うことにより、ロバスト性が出てくる可能性がある。このような設定は、予めシステムに設定しておいてもよいし、ユーザが選択する手段を設けておいてもよい。

具体的には、対象とするフレーム近傍のフレームの数をｔとして、ｕ個の特徴ｆ_i（ｔ）（ｉ：０〜u）がある時に、すべてのフレームの特徴ｆ_iについて、下記（１）式に示される平均、下記（２）式に示される標準偏差等を算出することで特徴量として、各特徴に対する重み係数ｗ_iを予め各特徴に対して設定された閾値に対して乗じた上で、各特徴の特徴量と、対象とするフレームに固有の閾値との比較を行う。

上記ステップＳ１４に於いて、シーンチェンジ検出条件を満たす場合には、続くステップＳ１５に移行して、対象とするｉ番目のフレームをシーンチェンジフレームとして登録する。一方、シーンチェンジ検出条件を満たさない場合には、ループして次のフレームを対象とした処理を繰り返す。以上のシーンチェンジフレーム抽出処理を終えると、図２のステップＳ４へ移行して、上述の実施形態と同様に、映像セグメントの生成を行う。

次に、図７のフローチャートを参照して、各映像セグメント内での主要シーンの抽出処理について説明する。図７の処理は、特徴重要度設定部３２及び主要フレーム抽出部３６が、主要フレームを抽出する処理であり、図２のステップＳ５に相当する処理であるが、その具体的手順が上述の第１の実施形態のステップＳ５と異なる。尚、フレームの特徴や特徴量としては、上述の第１の実施形態と同様のものを用いることができる。

図７は、図２のステップＳ４と同様のセグメンテーションが行われた後、各映像セグメント内の主要フレームを抽出する処理を説明するフローチャートであり、映像セグメントの数Ｍだけ、各映像セグメントに対して行う処理である。図７に示す各映像セグメントに対する処理は、各映像セグメント内のｍ枚のフレームに対して、各映像セグメント内のフレームの順序ｊでの繰り返し演算を行うループとなっている。映像（映像セグメント）の内容を把握できる程度の枚数のインデックスを抽出することにより、映像全体を視聴することなく、抽出された数枚のフレームを見るだけで映像全体の内容を把握することができるようになる。

先ず、ステップＳ２１にて、対象とするｊ番目のフレームと隣り合うか、または、対象とするｊ番目のフレーム近傍の複数のフレームの複数種類の特徴を算出する。ステップＳ２１では、複数種類の特徴を算出する代わりに、上述のステップＳ２で算出した特徴をメモリから読み出すようにしてもよい。

続くステップＳ２２にて、ｊ番目のフレーム近傍の複数のフレームの複数種類の特徴についての統計量、すなわち平均、標準偏差等の算出を行う。そして、ステップＳ２３では、ステップＳ２２で算出された統計量より、各特徴に対する重み係数を設定する。

ステップＳ２３に於ける、主要フレームを抽出するための重み係数の設定法としては、様々な方法が考えられるが、要は、重要度の高い特徴には高い重み係数を設定し、重要度の低い特徴には低い重み係数を設定する。例えば、各フレームに於ける各特徴について、同等の（近い）値を示す特徴に関しては重要度が高いと考え、各フレームの標準偏差σや分散Ｖの大きさ等に基づいて、その逆数を重み係数とする方法が考えられる。他にも、対象とするｉ番目のフレーム近傍の複数のフレームよりも広範囲で（映像中の広い時間帯から選んだ数多くのフレームから）算出した標準偏差σ₀や分散Ｖ₀を用いて、σ₀／σ、Ｖ₀／Ｖを算出して、これを重み係数とする方法が考えられる。

次に、ステップＳ２４に於いて、ｊ番目のフレームが主要フレーム検出条件を満たすか否かの判断を行う。図５のステップＳ１４では、シーンチェンジ検出条件を満たすか否かの判断のために、算出した特徴量が対象とするフレームの重み係数を乗じた閾値よりも大きい場合にシーンチェンジ検出条件を満たすものとしていたが、ステップＳ２４の主要フレーム検出条件を満たすか否かの判断としては、逆に算出した特徴量が対象とするフレームの重み係数を乗じた閾値よりも小さい場合に主要フレーム検出条件を満たすと判断するのが妥当となる。すなわち、主要フレームというのは、映像の変化がないような場面が多いと考えられるからである。

尚、特徴量としてフレーム間の特徴の変化を扱う場合には、特徴毎に閾値との比較を行い、それらの比較結果についての論理和や論理積を主要フレーム検出条件としてもよい。また、各特徴の特徴ベクトルに重み係数を乗じてユークリッド距離やマハラノビスの距離を求めて、閾値と比較する主要フレーム検出条件としてもよい。

また、ステップＳ２１では、上述した第１の実施形態と同様に、単に隣接するフレームから得る特徴の変化等の特徴量を用いるのではなく、映像中の対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレームの特徴の変化の統計量や、特徴の統計量の変化を特徴量として算出して、主要フレームを抽出すると好適である。例えば、比較の対象とする２枚のフレームで、それぞれ近傍の設定された枚数のフレームの特徴の平均や標準偏差を算出した上で、これらの値の比較を行うことにより、ロバスト性が出てくる可能性がある。このような設定は、予めシステムに設定しておいてもよいし、ユーザが選択する手段を設けておいてもよい。

上記ステップＳ２４に於いて、主要フレーム検出条件を満たす場合には、続くステップＳ２５に移行して、対象とするｊ番目のフレームを主要フレームとして登録する。一方、主要フレーム検出条件を満たさない場合には、ループして次のフレームを対象とした処理を繰り返す。

ループが終了すると、ステップＳ２６では、抽出した主要フレームの数を予め設定したｍ_i個に減じるじて登録する処理を行う。尚、ｍ_i個は、各映像セグメントに対して個別に設定する値でも、すべての映像セグメントに対して共通に設定する値でも構わない。各映像セグメントに対して個別に設定する場合には、例えば、各映像セグメントの長さ（各映像セグメント内のフレーム数）に応じて設定すればよい。尚、抽出された主要フレームがｍ_i個に満たない場合には、ステップＳ２６の処理は省略される。

以上の主要フレームを抽出する処理を終えると、上述の第１の実施形態と同様に、演算処理装置１０は、図５の処理で抽出したシーンチェンジフレームと、図７の処理で抽出した主要フレームとを、表示装置１２に表示する。そして、上述の第１の実施形態と同様に、ステップＳ６以降の処理を行う。

以上に説明した本実施形態では、上述の第１の実施形態に加えて、以下の効果を有している。

すなわち、特徴についての統計量は各特徴に対して異なる値をとることになるが、これらの値の大小とその特徴の重み係数には関連性があることになる。本実施形態では、このような特徴毎の統計量に従って各特徴に対する閾値の値を適応的に変化させることにより、各映像毎の適切な閾値が設定されることとなり、結果として得られるインデックス画像としても適切なものが得られることになる。

更に、ユーザが、各特徴に対する重み係数の設定を行う手段を提供しておくことにより、よりユーザに対する適切なインデックス画像の生成を行うことが可能となる。

また、映像内のフレームの有する特徴は、フレームが進むのに従って、各特徴の重み係数の順次変化してくるものである。それ故、インデックス画像を抽出する際に、対象とするフレームに応じた適切な重み係数を各特徴に対して設定することにより、映像中のフレーム毎にインデックス画像として抽出すべきか否かの適切な比較・判断を行うことが可能となり、より適切なインデックス画像の生成を行うことが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

第３の実施形態としては、上述した第１及び第２の実施形態にて抽出されたインデックス画像（シーンチェンジフレーム、主要フレーム）から、ユーザが各自の主観や嗜好に合ったフレームを指定する手段と、指定されたフレームの各特徴量の統計量から統合検索条件を設定して、新たなインデックス画像を抽出する手段とを有している。この場合、フレームを指定する手段はポインティングデバイス等の指示装置１４、または入力装置１３である。統合索条件を設定して、新たなインデックス画像を抽出する手段は指定画像選択・解析部２７である。

尚、本第３の実施形態に於いては、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第１の実施形態の画像情報表示装置１、または第２の実施形態の画像情報表示装置２の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。

ユーザが、ポインティングデバイス等の指示装置１４、または入力装置１３を利用して、表示装置１２上に表示されたインデックス画像（シーンチェンジフレーム、主要フレーム）の中から各自の主観や嗜好に合ったフレームの選択を行い、指定画像選択・解析部２７が、指定画像（ユーザによって選択された画像）を特定する情報を基に映像・画像データベース１１から指定画像を選択する（ステップＳ６）点は、上述の第１の実施形態で既に説明したとおりである。

以下、指定画像選択・解析部２７が、統合索条件を設定して、新たなインデックス画像の再検索を行う処理について、図８のフローチャートを参照して説明する。図８のフローチャートでは、ユーザがｐ枚の画像を選択し、指定画像の数がｐである場合について説明する。図８のフローチャートでは、指定された枚数（ｐ）の画像に対して繰り返し処理が行われる。

先ず、ステップＳ３１にて、指定画像に対し、その画像が属する映像セグメント内で類似するフレームの検索が行われる。類似するフレームの検索は、指定画像であるフレームの特徴に基づいて、当該指定画像が属する映像セグメントから、当該指定画像に類似するフレームを検索することで行われる。各映像セグメント内のフレームから、指定画像と類似するフレームの抽出方法は、上述の第１の実施形態で説明したとおりである。尚、指定画像と類似するフレームの抽出に於いては、上述した第２の実施形態で説明した各特徴に対する重み係数を考慮した検索条件を用いることも有効な手段である。

ステップＳ３１で類似するフレームの抽出ができなかった場合（ステップＳ３２：ＮＯ）には、ループして次の指定画像について同様に、ステップＳ３１、ステップＳ３２の処理を行う。上記ステップＳ３１に於いて、類似するフレームが抽出された（ステップＳ３２：ＹＥＳ）ならば、ステップＳ３３に移行する。

ステップＳ３３では、ステップＳ３１で抽出されたフレームとその映像セグメント内で既に抽出されている主要フレーム（以下これらのフレームをまとめて「統合フレーム群」と言う。）とから、新たなインデックス画像を抽出するためのフレームの検索条件である統合検索条件の設定を行い、設定した統合検索条件に基づいて、新たなインデックス画像の抽出を行う。

新たなインデックス画像の再検索のための統合検索条件としては、統合フレーム群に類似するフレームを新たなインデックス画像として抽出するための条件を設定する。例えば次のように設定する。まず、統合フレーム群から得られるｍ種類の特徴について、標準偏差σ_i（ｉ＝１〜ｍ）を算出する。そして、映像セグメント内の各フレームの特徴をベクトルとして表した特徴ベクトルの各項目を標準偏差σ_iで除した値を要素とする特徴ベクトルのユークリッド距離や、マハラノビス距離を算出する。ユークリッド距離や、マハラノビス距離が小さなものから設定されたｒ枚のフレームを新たなインデックス画像として抽出する。

尚、統合条件の設定では、重み係数を考慮することもできる。例えば、統合フレーム群について、各フレームの複数種類の特徴についての統計量、すなわち平均値、標準偏差、分散を利用して、重み係数を設定する手法が用いられる。つまり、統合フレーム群の複数種類の特徴についての各統計量から、各特徴が、重要度の高い特徴か重要度の低い特徴かを判定し、重要度の高い特徴には高い重み係数を設定し、重要度の低い特徴には低い重み係数を設定する。例えば、各フレームで同等の値（近い値）を示す特徴に対しては重要度が高いと考え、各フレームの標準偏差σや分散Ｖの大きさ等に基づいて、その逆数を重み係数とする方法が考えられる。そして、重み係数の高い特徴を重点的に考慮して、新たなインデックス画像の抽出を行う。

ステップＳ３３で新たなインデックス画像の抽出ができなかった場合（ステップＳ３４：ＮＯ）には、ループして次の指定画像について同様に、ステップＳ３１〜ステップＳ３４の処理を行う。上記ステップＳ３３に於いて、新たなインデックス画像が抽出された（ステップＳ３４：ＹＥＳ）ならば、ステップＳ３５に移行する。

ステップＳ３５では、新たなインデックス画像で、既にステップＳ３に於いて抽出したシーンチェンジフレームや、ステップＳ５に於いて抽出した主要フレームを更新する。尚、抽出する新たなインデックス画像の枚数に制限を設けている場合には、ステップＳ３３で抽出した新たなインデックス画像の中から制限された枚数のみを用いて、更新を行う。すなわち、本実施形態では、ステップＳ３１〜ステップＳ３４で、第１の実施形態のステップＳ７に相当する処理を行い、ステップＳ３５で、第１の実施形態のステップＳ８に相当を行うものである。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。

本第４の実施形態では、各フレームの特徴を算出する際に、フレーム内で特徴の算出を行う領域を設定する方法について主に説明する。

尚、本第４の実施形態に於いては、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第１の実施形態の画像情報表示装置１、または第２の実施形態の画像情報表示装置２の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。

フレーム内に於いて、重要と考えられる領域と重要でない領域が混在することはよくあることであるが、重要な領域に限って特徴の算出を行うことにより効率的なシーンチェンジフレームの抽出や主要フレームの抽出が可能となると考えられる。特に、フレームの中央というのは重要な被写体が写っていることがいることが多い。したがって、図９に示されるように、フレーム全体６０に対して、中央の一定の領域６１に関して特徴を算出すると好適である。領域６１の設定は、演算処理装置１０が行う。フレーム間比較・解析部２２等では、設定された領域６１の画像データを用いてフレームの特徴を求めて、フレーム間の特徴の変化の算出や、特徴の統計量や、特徴の変化の統計量の算出を行う。

領域６１の大きさに関しては、ユーザが予め設定できるようにしておくことも可能であるし、また、中心から特徴量を算出していき、特徴量の大きさに閾値を設けておいて該閾値を基準に領域の大きさを決定することもできる。更には、特に中心に限らず、ユーザが領域の位置、及び大きさを、ポインティングデバイス等の指示装置１４、または入力装置１３を利用して設定することも可能である。

以上に説明した本実施形態では、上述の第１の実施形態や、第２の実施形態に加えて、以下の効果を有している。

すなわち、特徴を算出する場合、通常画像全体を用いることになるが、映像によっては、主要被写体の位置が比較的一定の位置にあり、それ以外の領域の変化はほとんどないという場面も想定することができる。このような場合、動きの少ない領域の特徴を算出しても有効に利用することができない場合がある。本実施形態では、主要な被写体、動きのある被写体が存在すると考えられる領域を設定する手段をユーザに提供し、ユーザが指定した範囲での特徴の算出を行うことにより、ユーザが興味のある範囲でのフレームの特徴を算出し、ユーザの好みに応じたインデックス画像の生成ができると共に、特徴を算出するための領域が小さくなることにより演算量を減少させて、処理時間の短縮を行うことができる。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。

本第５の実施形態でも、上述の第４の実施形態と同様に、各フレームの特徴を算出する際に、フレーム内で特徴の算出を行う領域を設定する方法について主に説明する。

尚、本第５の実施形態にでは、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第１の実施形態の画像情報表示装置１、または第２の実施形態の画像情報表示装置２の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。

本第５の実施形態では、フレーム全体から、特徴量の大きな領域や主要被写体が写っている領域を検出し、その領域を含むように領域６１の位置、大きさを設定する。領域６１の設定は、演算処理装置１０が行う。

演算処理装置１０は、図１０に示すように、フレーム全体６０に対して、その画像データから特徴の大きな領域６３を検出する。この領域６３の大きさは、適応的に設定することも可能である。例えば、画素値が所定の閾値より高い領域を領域６３として設定したり、空間周波数の高周波成分を多く含む領域を領域６３として設定したり、特定の色を示す画素が密集している領域を領域６３として設定したり、様々な条件で領域６３を設定することができる。

さらに、領域６３を含むような領域６４のように、フレーム内の一定の領域を設定した上で、領域６４内での特徴算出を行い、その中から領域６３を上述の方法で設定することもできる。また、上記領域６４を設定する際には、設定しようとする領域６３の大きさに対して一定の割合で大きさを決定することもできる。さらに、設定した領域６４内の特徴の分布に応じて、領域６４の上下左右に追加する領域幅を設定して、領域６４の領域を適応的に変化させることも可能である。

また、領域６３や、領域６４としては、１つの領域のみでなく複数に分かれた領域を設定することも可能である。

尚、フレームから主要被写体を検出する方法としては、例えば、エッジや、コーナ点、画像複雑度等の算出に於いて、特徴量の大きな位置を探索することにより、その近傍領域を主要被写体領域と仮定する方法等を用いることが可能である。

本実施形態では、特徴を算出するための領域を設定する際に、フレーム内の特徴分布を考慮して、特徴を算出するための領域が自動的に設定される。これにより、例えば特徴の大きな位置であったり、主要な被写体の動きが大きな位置であったりと重要な特徴が算出される可能性のある位置を、特徴を算出するための領域として自動的に設定することが可能となる。

また、映像毎に、特徴を算出するための領域は変化させたほうが好ましいこともあるため、特徴を算出のための領域を設定する際に、フレーム内での特徴の大きな領域や、動きの大きな領域等を検出することにより、映像毎に適応的に、インデックス画像を生成するための最適な特徴の算出を行うことができる。

（第６の実施形態）
次に、本発明の第６の実施形態について説明する。

本第６の実施形態は、図１１（ａ）及び（ｂ）に示されるように、主要被写体を先ず認識した上で、その主要被写体の位置や、被写体その輪郭線を画像処理により求め、これらを特徴として抽出することによりシーンチェンジフレーム、または主要フレームの抽出に利用する方法について主に説明する。

尚、本第６の実施形態に於いては、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第１の実施形態の画像情報表示装置１、または第２の実施形態の画像情報表示装置２の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。

図１１（ａ）に示されるように、例えばフレーム全体７０に於いて人体や人物７１の顔等の輪郭の検出は、テンプレートマッチング等での検出の技術が進んでおり、比較的精度良く行うことが可能である。このとき、輪郭線に沿った法線ベクトルの集合を算出しその方向に対するヒストグラムを特徴ベクトルとして利用することができる。主要被写体７３はフレーム７０内で重要な特徴となり得るため、主要被写体７３そのものに特化して特徴の算出の対象とする。

すなわち、主要フレーム等の抽出のためには、主要被写体は重要な特徴であり、この主要被写体の変化を重点的に注目することにより、効果的なインデックス画像の生成を行うことができる。

以上、本発明の実施形態について上述の第１〜第６の実施形態を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形実施が可能であるのは勿論である。

本発明の第１の実施形態によるインデックス画像生成装置のシステム全体の構成を示すブロック図である。インデックス生成処理の流れを示すフローチャートである。マトリクス上に表示されたインデックス画像の例を示した図である。本発明の第２の実施形態を示すもので、インデックス画像生成装置のシステム全体の構成を示すブロック図である。インデックス画像生成装置のシーンチェンジの検出処理について説明するフローチャートである。時間と共に変化するフレームの特徴量の変化を説明する図である。インデックス画像生成装置に於いて映像セグメント内の主要フレームを抽出する処理を説明するフローチャートである。本発明の第３の実施形態によるインデックス画像生成装置に於いて行われる新たなインデックス画像の再検索の処理を説明するフローチャートである。本発明の第４の実施形態によるインデックス画像生成装置に於いて特徴の算出を行う領域を設定する方法について説明する図である。本発明の第５の実施形態によるインデックス画像生成装置に於いて特徴の算出を行う領域を設定する方法について説明する図である。本発明の第６の実施形態によるインデックス画像生成装置で主要被写体を特徴とする場合を説明する図である。

符号の説明

１、２…画像情報表示装置（インデックス画像生成装置）、１０、３０…演算処理装置、１１…映像・画像データベース、１２…表示装置、１３…入力装置、１４…指示装置、２１…映像読み込み部、２２…フレーム間比較・解析部、２３…シーンチェンジフレーム抽出部、２４…映像セグメンテーション部、２５…セグメント内解析部、２６…主要フレーム抽出部、２７…指定画像選択・解析部、２８…インデックス画像再設定部、３１、３２…特徴重要度設定部。

Claims

連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置に於いて、
上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第１のインデックス画像として抽出する第１の抽出手段と、
上記第１の抽出手段で抽出された第１のインデックス画像の位置で上記映像を映像セグメントに分割する分割手段と、
上記分割手段で分割された上記映像セグメントから少なくとも１枚以上のフレームを第２のインデックス画像として抽出する第２の抽出手段と、
上記第１のインデックス画像及び上記第２のインデックス画像を表示する表示手段と、
上記表示手段で表示した上記第１のインデックス画像及び上記第２のインデックス画像からユーザの評価に基づく少なくとも１枚のフレームを指定画像として選択する選択手段と、
上記選択手段で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第１のインデックス画像または上記第２のインデックス画像を更新する更新手段と、
を具備することを特徴とするインデックス画像生成装置。
上記第１の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第１のインデックス画像を抽出することを特徴とする請求項１に記載のインデックス画像生成装置。
上記第２の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第２のインデックス画像を抽出することを特徴とする請求項１に記載のインデックス画像生成装置。
上記閾値は、各特徴に対応して設定されていることを特徴とする請求項２若しくは請求項３に記載のインデックス画像生成装置。
上記第１の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも１種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より大きいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも１枚のフレームを上記第１のインデックス画像として抽出することを特徴とする請求項２に記載のインデックス画像生成装置。
上記第２の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも１種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より小さいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも１枚のフレームを上記第２のインデックス画像として抽出することを特徴とする請求項３に記載のインデックス画像生成装置。
上記第１の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする請求項２に記載のインデックス画像生成装置。
上記第２の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする請求項３に記載のインデックス画像生成装置。
上記第１の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする請求項７に記載のインデックス画像生成装置。
上記第２の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする請求項８に記載のインデックス画像生成装置。
上記選択手段は、それぞれ異なる映像セグメントから抽出された複数の上記第１のインデックス画像若しくは上記第２のインデックス画像を上記指定画像として選択し、
上記更新手段は、複数の上記指定画像の特徴に基づいて、上記異なる映像セグメントそれぞれから上記指定画像に関連するフレームを再検索することを特徴とする請求項１に記載のインデックス画像生成装置。
各フレーム内で当該フレームの特徴を算出するための領域の位置及び大きさを設定し、当該領域内の画像データを基に当該フレームの特徴を算出する特徴算出手段を更に具備することを特徴とする請求項２乃至１１の何れか１に記載のインデックス画像生成装置。
上記特徴算出手段は、上記フレーム内の特徴量の分布に応じて上記領域の位置及び大きさを適応的に設定することを特徴とする請求項１２に記載のインデックス画像生成装置。
上記第２の抽出手段は、各フレームから主要被写体の検出を行い、上記フレーム間に於ける上記主要被写体の状態を検出し、主要被写体が所定の状態にあるフレームを上記第２のインデックス画像として抽出することを特徴とする請求項１に記載のインデックス画像生成装置。
連続する複数のフレームから成る映像からインデックス画像を生成するプログラムであって、
上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第１のインデックス画像として抽出する第１の手順と、
上記第１の手順で抽出された第１のインデックス画像の位置で上記映像を映像セグメントに分割する第２の手順と、
上記第２の手順で分割された上記映像セグメントから少なくとも１枚以上のフレームを第２のインデックス画像として抽出する第３の手順と、
上記第１のインデックス画像及び上記第２のインデックス画像を表示する第４の手順と、
上記第４の手順で表示した上記第１のインデックス画像及び上記第２のインデックス画像からユーザの評価に基づく少なくとも１枚のフレームを指定画像として選択する第５の手順と、
上記第５の手順で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第１のインデックス画像または上記第２のインデックス画像を更新する第６の手順と、
を具備することを特徴とするインデックス画像を生成するプログラム。