JP2006217045A - インデックス画像生成装置及びインデックス画像を生成するプログラム - Google Patents
インデックス画像生成装置及びインデックス画像を生成するプログラム Download PDFInfo
- Publication number
- JP2006217045A JP2006217045A JP2005025223A JP2005025223A JP2006217045A JP 2006217045 A JP2006217045 A JP 2006217045A JP 2005025223 A JP2005025223 A JP 2005025223A JP 2005025223 A JP2005025223 A JP 2005025223A JP 2006217045 A JP2006217045 A JP 2006217045A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- index image
- feature
- image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G06F19/00—
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
【課題】ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできるインデックス画像生成装置を提供すること。
【解決手段】演算処理装置10内のシーンチェンジフレーム抽出部23で連続するフレームから第1のインデックス画像を抽出し、映像セグメンテーション部24にて抽出したシーンの変化の位置で区切った映像セグメントに分割する。主要フレーム抽出部26にて、上記分割した映像セグメントから第2のインデックス画像を抽出すると、上記第1のインデックス画像と第2のインデックス画像を表示装置12に表示する。そして、指示装置14にて第1のインデックス画像及び第2のインデックス画像から指定画像を選択すると、選択した指定画像に関連する画像を各映像セグメントから再検索してインデックス画像を更新する。
【選択図】 図1
【解決手段】演算処理装置10内のシーンチェンジフレーム抽出部23で連続するフレームから第1のインデックス画像を抽出し、映像セグメンテーション部24にて抽出したシーンの変化の位置で区切った映像セグメントに分割する。主要フレーム抽出部26にて、上記分割した映像セグメントから第2のインデックス画像を抽出すると、上記第1のインデックス画像と第2のインデックス画像を表示装置12に表示する。そして、指示装置14にて第1のインデックス画像及び第2のインデックス画像から指定画像を選択すると、選択した指定画像に関連する画像を各映像セグメントから再検索してインデックス画像を更新する。
【選択図】 図1
Description
本発明は、連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置及びインデックス画像を生成するプログラムに関するものである。
近年、デジタル情報が至る場面で利用されている。これらの情報はテキスト情報のみならず、画像、映像等の容量の膨大なデータに関しても様々な分野で利用されている。そして、今後、ストレージデバイスの容量増大に伴い、大量の画像・映像の中からユーザの要求に満足するデータを検索・表示する技術の重要性は、益々高まることが必至である。
ところで、画像を検索する場合、キーワードによらず、画像からその様々な特徴を算出し、これらの特徴を比較することにより類似する特徴を有する画像を検索する類似画像検索システムも多数提案されている。この技術は静止画像に限ることなく、動画像からの類似シーン検索や、特徴画像の抽出によるインデックス画像生成技術にも応用されている。
動画像からシーンチェンジを検出してインデックス画像を作成し、動画像に概要を付与して概要とインデックス画像の間のリンクを作成しておいた上で、概要を読んでから関連のあるインデックス画像を選択してインデックス画像で示される各シーンを見ることができる技術が知られている(例えば、特許文献1参照)。これは、概要によって動画像のストーリーやシーンの内容を把握しながら所望のシーンを探すことができる技術である。
また、パーソナルなダイジェスト映像を生成する場合に、イベント情報を参照して映像の意味的な区間を抽出し、その区間の意味的特徴量計算を行い、特徴量の大きな映像シーンを選択してダイジェストの生成を行う技術が知られている(例えば、特許文献2参照)。更に、この特許文献2は、特徴量計算の際に、同時に各属性に関連付けられたカテゴリの嗜好情報を参照し、対応する嗜好情報の好きな度合いを用いて特徴量の値を増減させることにより、ユーザの嗜好を反映させたダイジェストを生成するものである。
更に、フレーム特徴検出手段により検出されたフレーム単位の特徴量に対してフレーム内の位置に基づく重み付けにより修正し、修正後のフレーム間の特徴量変化を示す修正フレーム間特徴量算出手段により算出された修正フレーム間特徴量に基づいて動画像インデックスを生成する手段によりインデックス画像を生成する手法が述べられている(例えば、特許文献3参照)。
特開2003−32620号公報
特開2002−232828号公報
特開平6―268960号公報
ところが、上記特許文献1に記載の技術に於いて述べられている方法では、概要を記述するためにテキスト情報を入力する必要がある。そのため、手動での操作を行わなければならず、映像が長くなる程、操作が煩わしくなり、また、処理の時間も膨大なものとなってしまう。
また、上記特許文献2に記載されている技術では、嗜好情報を入力する際にカテゴリや項目名を指定する必要があり、表示された画像とカテゴリのようなテキスト情報との対応付けをユーザが設定する必要がある。これらによって煩わしさが生じたり、またはユーザが設定したいと思うカテゴリが存在しないという不都合も生じることとなる。また、この特許文献2に於いては、特徴の大きな画像をダイジェストシーンとして抽出しているが、必ずしも特徴が大きな画像がダイジェストとして適切とは限らず、ユーザが望む適切なダイジェストシーン(インデックス画像)を抽出するのに必ずしも好適なものではなかった。
更に、上記特許文献3では、フレーム内の位置に基づいた重みの設定を行っているが、実際の映像では、時間方向に対する特徴変化の度合いが多様に変化するため、フレーム間でのインデックス画像生成に対する適応性が失われてしまい、適切なインデックス画像生成ができない。
従って、本発明は上記課題に鑑みてなされたものであり、ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできるインデックス画像生成装置及びインデックス画像を生成するプログラムを提供することを目的とする。
すなわち、請求項1に記載の発明は、連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置に於いて、上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第1のインデックス画像として抽出する第1の抽出手段と、上記第1の抽出手段で抽出された第1のインデックス画像の位置で上記映像を映像セグメントに分割する分割手段と、上記分割手段で分割された上記映像セグメントから少なくとも1枚以上のフレームを第2のインデックス画像として抽出する第2の抽出手段と、上記第1のインデックス画像及び上記第2のインデックス画像を表示する表示手段と、上記表示手段で表示した上記第1のインデックス画像及び上記第2のインデックス画像からユーザの評価に基づく少なくとも1枚のフレームを指定画像として選択する選択手段と、上記選択手段で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第1のインデックス画像または上記第2のインデックス画像を更新する更新手段と、を具備することを特徴とする。
請求項2に記載の発明は、請求項1に記載の発明に於いて、上記第1の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第1のインデックス画像を抽出することを特徴とする。
請求項3に記載の発明は、請求項1に記載の発明に於いて、上記第2の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第2のインデックス画像を抽出することを特徴とする。
請求項4に記載の発明は、請求項2若しくは3に記載の発明に於いて、上記閾値は、各特徴に対応して設定されていることを特徴とする。
請求項5に記載の発明は、請求項2に記載の発明に於いて、上記第1の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも1種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より大きいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも1枚のフレームを上記第1のインデックス画像として抽出することを特徴とする。
請求項6に記載の発明は、請求項3に記載の発明に於いて、上記第2の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも1種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より小さいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも1枚のフレームを上記第2のインデックス画像として抽出することを特徴とする。
請求項7に記載の発明は、請求項2に記載の発明に於いて、上記第1の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする。
請求項8に記載の発明は、請求項3に記載の発明に於いて、上記第2の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする。
請求項9に記載の発明は、請求項7に記載の発明に於いて、上記第1の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする。
請求項10に記載の発明は、請求項8に記載の発明に於いて、上記第2の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする。
請求項11に記載の発明は、請求項1に記載の発明に於いて、上記選択手段は、それぞれ異なる映像セグメントから抽出された複数の上記第1のインデックス画像若しくは上記第2のインデックス画像を上記指定画像として選択し、上記更新手段は、複数の上記指定画像の特徴に基づいて、上記異なる映像セグメントそれぞれから上記指定画像に関連するフレームを再検索することを特徴とする。
請求項12に記載の発明は、請求項2乃至11の何れか1に記載の発明に於いて、各フレーム内で当該フレームの特徴を算出するための領域の位置及び大きさを設定し、当該領域内の画像データを基に当該フレームの特徴を算出する特徴算出手段を更に具備することを特徴とする。
請求項13に記載の発明は、請求項12に記載の発明に於いて、上記特徴算出手段は、上記フレーム内の特徴量の分布に応じて上記領域の位置及び大きさを適応的に設定することを特徴とする。
請求項14に記載の発明は、請求項1に記載の発明に於いて、上記第2の抽出手段は、各フレームから主要被写体の検出を行い、上記フレーム間に於ける上記主要被写体の状態を検出し、主要被写体が所定の状態にあるフレームを上記第2のインデックス画像として抽出することを特徴とする。
請求項15に記載の発明は、連続する複数のフレームから成る映像からインデックス画像を生成するプログラムであって、上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第1のインデックス画像として抽出する第1の手順と、上記第1の手順で抽出された第1のインデックス画像の位置で上記映像を映像セグメントに分割する第2の手順と、上記第2の手順で分割された上記映像セグメントから少なくとも1枚以上のフレームを第2のインデックス画像として抽出する第3の手順と、上記第1のインデックス画像及び上記第2のインデックス画像を表示する第4の手順と、上記第4の手順で表示した上記第1のインデックス画像及び上記第2のインデックス画像からユーザの評価に基づく少なくとも1枚のフレームを指定画像として選択する第5の手順と、上記第5の手順で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第1のインデックス画像または上記第2のインデックス画像を更新する第6の手順と、を具備することを特徴とする。
本発明によれば、ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできる映像インデックス生成装置及びインデックス画像を生成するプログラムを提供することができる。
以下、図面を参照して本発明に係るインデックス画像生成装置の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態による画像情報表示装置1のシステム全体の構成を示すブロック図である。画像情報表示装置1は、本発明のインデックス画像生成装置に相当するものである。
図1は、本発明の第1の実施形態による画像情報表示装置1のシステム全体の構成を示すブロック図である。画像情報表示装置1は、本発明のインデックス画像生成装置に相当するものである。
図1に於いて、この画像情報表示装置1は、演算処理装置10と、映像・画像データベース11と、表示装置12と、入力装置13と、指示装置14とを有して構成される。
上記映像・画像データベース11には、表示装置12表示されるべく複数の映像・画像が蓄積されている。表示装置12は、上記映像・画像データベース11より取得されたデータ処理結果を表示するためのものである。
入力装置13は、この画像情報表示装置1の入力操作を行うためのもので、例えばキーボード等のデバイスから構成される。同様に、指示装置14は、画像情報表示装置に対する指示操作を行うためのもので、例えばマウス等のポインティングデバイスから構成される。
演算処理装置10は、映像読み込み部21と、フレーム間比較・解析部22と、シーンチェンジフレーム抽出部23と、映像セグメンテーション部24と、セグメント内解析部25と、主要フレーム抽出部26と、指定画像選択・解析部27と、インデックス画像再設定部28とを有して構成される。演算処理装置10は、CPU等によって実現され、図示しない記憶部に記憶したプログラムを実行することで、インデックス画像を生成するためのインデックス生成処理を行う。
図2は、演算処理装置10で実行するインデックス生成処理の流れを示す。
上記映像読み込み部21では、映像・画像データベース11から映像データを読み込み(ステップS1)、連続するフレームの抽出が行われる。尚、ここで抽出されるフレームは、連続するものに限られず、時系列的に関連したものであれば、例えば1コマおき等であってもよい。
フレーム間比較・解析部22では、映像読み込み部21で抽出されたフレームの特徴の算出、及びフレーム間の特徴の変化の算出を行うと共に、インデックス画像を抽出するためにフレームの特徴の統計量や特徴の変化の統計量の算出を行う(ステップS2)。尚、フレーム間比較・解析部22で算出した特徴や特徴の変化の統計量等は、演算処理装置10のメモリ(図示せず)上にマッピングしておくことも可能であるが、容量が膨大になることもあるため、ハードディスク(図示せず)に蓄積しておくことも可能である。
ここで、フレームの特徴としては、カラーヒストグラム、解像度を変換した画像(例えば、16×16の解像度に落とした画像)、エッジ分布のヒストグラム(画像処理によるエッジ算出を行った後でその画素値をヒストグラム化したもの)、エッジの方向に対するヒストグラム(設定された方向の数のエッジ算出を行い、画素毎に最大値をとる方向のヒストグラムとして表したもの)等が考えられる。更には、カラーヒストグラム、エッジ分布のヒストグラム、エッジ方向に対するヒストグラムに関しては、フレーム内でヒストグラムを算出するための領域を指定して、指定した領域について算出したヒストグラムをフレームの特徴とすることも考えられる。さらに、テクスチャ特徴としての、共分散行列や、モーメント等、フレームの特徴としてフレームの画像データから得られる様々な特徴、またはそれらの組み合わせを利用することが可能である。
これらのフレームの特徴は、それぞれヒストグラムや複数の要素を有する特徴として表されるため、それぞれベクトルとして表現することができ、フレーム間の特徴の変化を複数のフレーム間でのベクトルの差分として定義することができる。
シーンチェンジフレーム抽出部23は、フレーム間比較・解析部22で算出したフレームの特徴や統計量から算出される特徴量に基づいて、映像のシーンの変化の位置を示すフレームであるシーンチェンジフレームを抽出する。シーンチェンジフレームは、本発明の第1のインデックス画像に相当する。
特徴量とは、時系列的に並んだ複数のフレームに於いて、各フレームの特徴の変化の様子を示すものであり、例えば、複数のフレームから得られるフレーム間の複数種類の特徴の変化量そのもの、または複数のフレームから得られるフレーム間の特徴の統計量、または複数のフレームから得られるフレーム間の特徴の変化の統計量、または、複数のフレームから得られるフレーム間の特徴の統計量の変化量等である。尚、統計量は、平均や標準偏差、分散等で求められるものである。
シーンチェンジフレーム抽出部23は、映像中の各フレームの特徴量を算出し、各フレームの特徴量とシーンチェンジフレームを抽出するために設定された閾値とを比較することにより、映像の中から、条件に合致するフレームをシーンチェンジフレームとして抽出する(ステップS3)。
尚、シーンチェンジフレームを抽出する際には、単に隣接するフレーム(隣り合う2つのフレーム)から得る特徴の変化等の特徴量を用いるのではなく、映像中の対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレームの特徴の変化の統計量や、特徴の統計量の変化等を特徴量として算出して、シーンチェンジフレームを抽出すると好適である。尚、「対象とするフレーム近傍の複数のフレーム」とは、当該対象とするフレームを含む場合と含まない場合両方を意味する。また、「対象とするフレーム近傍の複数のフレーム」は、必ずしもすべてのフレームが対象とするフレームに対して時系列的に連続している必要はなく、対象とするフレームに対して間欠的に離れた時点の複数のフレームであってもよい。
シーンチェンジフレーム抽出部23は、対象とするフレームについて算出した特徴量と、設定された閾値とを比較して、対象とするフレームの特徴量が設定された閾値よりも大きいときに、当該対象とするフレームを、シーンチェンジフレームとして抽出する。このとき、当該対象とするフレームではなく、対象とするフレーム近傍の複数のフレームうちのいずれかを、シーンチェンジフレームとして抽出してもよい。
シーンチェンジフレームとしては、フレーム間でフレームの特徴が大きく変化する位置のフレームが適当である場合が多いと考えられる。そのため、本実施形態では、シーンチェンジフレームを抽出する際には、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも大きい時点(位置)にあるフレームを、映像の中からシーンチェンジフレームとして抽出している。
尚、シーンチェンジフレームを抽出するための閾値は、複数種類の特徴に対して、各々設定されている。
シーンチェンジフレームを抽出すべき時点(位置)のフレームであっても、ある複数種類の特徴のうちの一部の特徴の変化が大きくない場合もあり得る。本実施形態のように、複数種類の特徴についての特徴量と、各特徴に応じた閾値を用いて、一部の特徴についての特徴量が、設定された閾値よりも大きいときに、当該対象となるフレームを、シーンチェンジフレームとして抽出するようにすることで、インデックス画像として適切なシーンチェンジフレームを生成することが可能となる。
映像セグメンテーション部24は、上記シーンチェンジフレーム抽出部23がシーンチェンジフレームを抽出した後、シーンチェンジフレームの位置で映像の分割を行うことで、映像のセグメンテーションを行う。すなわち、映像セグメンテーション部24は、映像をシーンチェンジフレームの位置で分割した映像セグメントを生成する(ステップS4)。ここで、映像セグメンテーション部24は、シーンチェンジフレームの間隔も考慮して、シーンチェンジフレーム同士の時間間隔が狭すぎる場合等には、生成した複数の映像セグメントを統合する処理を、ステップS4で追加して行ってもよい。
次に、映像セグメント内解析部25と主要フレーム抽出部26は、上述のフレーム間比較・解析部22で算出した各種特徴や統計量を用いて、映像セグメンテーション部24で生成した映像セグメント内の連続するフレームの特徴の解析を行い、各映像セグメントから主要フレームの抽出条件に従って主要フレームの抽出を行う(ステップS5)。主要フレームは、本発明の第2のインデックス画像に相当する。
映像セグメント内解析部25は、各映像セグメントの中のフレームを対象とするフレームとして順次設定し、対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレーム間の特徴量を算出する。そして、主要フレーム抽出部26が、セグメント内解析部25で算出した特徴量と、主要フレームを抽出するために設定された閾値とを比較して、特徴量が閾値よりも小さい位置のフレームを検出し、主要フレームとして抽出する。例えば、フレーム間の特徴の変化が小さい位置のフレームを主要フレームとして抽出したり、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての標準偏差や、分散から得る特徴量が閾値よりも小さいときに、当該対象とするフレームを主要フレームとして抽出したりする。
或いは、セグメント内解析部25で、各フレームに於ける主要被写体の状態を判断して、主要フレーム抽出部26が主要被写体の状態が所定の状態になっているか否かに応じて主要フレームを抽出するようにしてもよい。すなわち、主要被写体が中心にあると判断したフレーム、主要被写体の大きさが所定の大きさとなっていると判断したフレーム、主要被写体にピントが合った状態であると判断したフレーム、主要被写体が正面を向いていると判断したフレーム、主要被写体の動きの小さな場面であると判断したフレーム、主要被写体として特徴的なオブジェクトが写っている場面であると判断したフレーム等、多様な状態をセグメント内解析部25で判断して、主要フレーム抽出部26が主要フレームを抽出するようにすることができる。
上述のように、シーンチェンジフレームとしては、フレーム間でフレームの特徴が大きく変化する位置のフレームが適当である場合が多いため、シーンチェンジフレームを抽出する際には、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも大きい位置にあるフレームをシーンチェンジフレームとして抽出した。一方で、主要フレームとしては、フレーム間でフレームの特徴の変化が比較的小さい位置のフレームが適当である場合が多い。このため、本実施形態では、主要フレームを抽出する際には、シーンチェンジフレームを抽出する場合と異なり、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも小さい位置にあるフレームを、主要フレームとして抽出している。
尚、主要フレームを抽出するための閾値は、複数種類の特徴に対して、各々設定されている。
演算処理装置10は、ステップS3に於いてシーンチェンジフレーム抽出部23で抽出したシーンチェンジフレームと、ステップS5に於いて主要フレーム抽出部26で抽出した主要フレームとを、表示装置12に表示する。
図3は、シーンチェンジフレームと主要フレームとを、表示装置12に表示した画面例である。図3に示した例では、表示装置12上に、シーンチェンジフレームと主要フレームとをマトリクス状に表示している。対象としている映像40は、ステップS4で映像セグメント(1)〜(n)に展開されているものであって、図3に示したように、シーンチェンジフレームの表示欄41に、シーンチェンジフレームとして、シーンチェンジフレーム(0)〜(n)を表示している。また、主要フレームの表示欄42には、各映像セグメント(1)〜(n)の主要フレームframe(1)〜(mn )を、各映像セグメント(1)〜(n)に関連付けて表示している。
本実施形態では、シーンチェンジフレームや主要フレームを表示した後で、表示されたシーンチェンジフレームや主要フレームからユーザによる主観や嗜好に基づいた画像の選択を受け付ける。ユーザは、ポインティングデバイス等の指示装置14、または入力装置13を利用して、表示装置12上に表示されたシーンチェンジフレームや主要フレームの中から画像の選択を行う。このとき、少なくとも2つの異なる映像セグメントに属するフレーム(シーンチェンジフレームまたは主要フレーム)を選択する。ユーザにより選択されたフレームは、指定画像として演算処理装置10で扱われ、指定画像を特定する情報が指定画像選択・解析部27に入力される。
指定画像選択・解析部27は、指定画像を特定する情報を基に映像・画像データベース11から指定画像を選択し(ステップS6)、指定画像の特徴等の解析及び新たなインデックス画像の再検索を行う(ステップS7)。
指定画像選択・解析部27は、映像・画像データベース11から選択した指定画像から得られる複数種類の特徴に関して、平均値や標準偏差等の統計量を算出する。そして、算出した統計量を基に、新たなインデックス画像の再検索のための検索条件の設定を行う。既にステップS3に於いて抽出したシーンチェンジフレームや、ステップS5に於いて抽出した主要フレームも含めて、各映像セグメント内のフレームから、指定画像に関連するフレームとして、指定画像に類似するフレームの抽出を行う。尚、ここでいう「類似」とは、同等または近似した特徴または特徴量をフレーム同士が有していることをいう。尚、新たなインデックス画像の抽出は、各映像セグメントから行う。
新たなインデックス画像の再検索のための検索条件として、指定画像に類似するフレームを新たなインデックス画像として抽出するための条件を設定する。例えば次のように設定する。まず、ユーザが選択したp枚の指定画像から得られるm種類の特徴について、標準偏差σi (i=1〜m)を算出する。そして、映像セグメント内の各フレームの特徴をベクトルとして表した特徴ベクトルの各項目を標準偏差σi で除した値を要素とする特徴ベクトルのユークリッド距離や、マハラノビス距離を算出する。ユークリッド距離や、マハラノビス距離が小さなものから設定されたr枚のフレームを新たなインデックス画像として抽出する。
インデックス画像再設定部28は、指定画像選択・解析部27で検索された新たなインデックス画像で、既にステップS3に於いて抽出したシーンチェンジフレームや、ステップS5に於いて抽出した主要フレームを更新する(ステップS8)。尚、指定画像選択・解析部27で検索された新たなインデックス画像と、既にステップS3に於いて抽出したシーンチェンジフレームや、ステップS5に於いて抽出した主要フレームの中から、ユーザの再選択を受けて、再選択された画像で、既にステップS3に於いて抽出したシーンチェンジフレームや、ステップS5に於いて抽出した主要フレームを更新するようにしてもよい。
このように本実施形態では、新たなインデックス画像の再検索を、各映像セグメントから行うことで、各映像セグメントから、ユーザの嗜好に合ったインデックス画像を生成することができる。また、ユーザは、表示装置12に表示された画像を選択するだけですむため、ユーザにとって簡便にインデックス画像を生成することができる。
以上説明した本実施形態によれば、以下のような効果を有する。
本実施形態では、映像を映像セグメントに分割することにより類似したシーン単位へ映像を分割することができる。また、映像セグメントからは主要シーンを検出するため、映像の内容を、映像全てを通して視聴すること無く概要を把握することができる。また、選択手段で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第1のインデックス画像(シーンチェンジフレーム)または第2のインデックス画像(主要フレーム)を更新するため、ユーザの評価に応じて、最初に表示された第1のインデックス画像シーンチェンジフレーム)や第2のインデックス画像(主要フレーム)に代わるフレームを新たなインデックス画像として提供することができる。したがって、ユーザは最初に表示された第1のインデックス画像シーンチェンジフレーム)や第2のインデックス画像(主要フレーム)の中から、好みのフレームを選択するだけで、ユーザに必要以上に負担をかけずに、各ユーザ毎に適したインデックス画像の生成と表示を行うことが可能となる。
また、フレームの特徴としても多種類の特徴量を定義することができるが、1種類の特徴量に基づいてインデックス画像を生成しても、映像には様々なタイプのものがあり、映像によっては適切なインデックス画像を生成でない場合がある。そこで、本実施形態では、対象とするフレーム近傍の複数のフレームの複数種類の特徴についての統計量から特徴量を算出して、この特徴量を基にインデックス画像の抽出を行っているため、適正なインデックス画像を抽出しやすくなっている。さらに、映像毎に有効な特徴を用いることにより効果的なインデックスの生成を行うことができる。
また、特徴量と閾値を比較してインデックス画像を抽出する際に、閾値を特徴の種類に応じて設定することで、適正なインデックス画像を抽出できるようになっている。
また、ユーザの主観や嗜好により選択された指定画像に基づいて、各映像セグメントから新たなインデックス画像の再検索を行う場合に、指定画像はユーザの主観や嗜好を反映しているため、指定画像が異なる映像セグメントに含まれる場合であっても、対象とする映像セグメント内の再検索を行う際に、ユーザの主観・嗜好を反映した検索を行うことができ、従って、よりユーザの主観・嗜好を反映したインデックスの生成を行うことが可能となる。
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。
次に、本発明の第2の実施形態を説明する。
図4は、本発明の第2の実施形態を示すもので、画像情報表示装置2のシステム全体の構成を示すブロック図である。画像情報表示装置2は、本発明のインデックス画像生成装置に相当するものである。
尚、本第2の実施形態に於いては、画像情報表示装置2の構成及び基本的な動作については、図1に示される第1の実施形態の画像情報表示装置1の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
図4に示されるように、この第2の実施形態に於ける画像情報表示装置2は、図1に示される第1の実施形態の画像情報表示装置に於いて、演算処理装置10に相当する演算処理装置30内に特徴重要度設定部31及び32を追加して、シーンチェンジフレーム抽出部23、主要フレーム抽出部26の代わりにシーンチェンジフレーム抽出部33、主要フレーム抽出部36を備えた構成となっている。画像情報表示装置2は、基本的には、画像情報表示装置1と同様に、図示しない記憶部に記憶したプログラムを実行することで、図2と同様のインデックス生成処理を行うものであるが、図2のステップS3でシーンチェンジフレームを抽出する際の具体的処理手順、ステップS5で主要フレームを抽出する際の具体的処理手順が異なる。
シーンチェンジフレームや、主要フレームを抽出するための最適な条件は映像毎に異なると考えられる。このため、シーンチェンジフレームを抽出するために設定された閾値や主要フレームを抽出するために設定された閾値として、どのような映像に対しても予め設定された同一の閾値を用いたのでは、過検出や未検出等の不都合が生じやすい。本実施形態では、フレームの特徴やフレーム毎の特徴の変化が映像毎に特有であることに注目して、その特徴を有効に加味することにより、多様な映像に対して良好なシーンチェンジフレームや、主要フレームの生成が可能となっている。すなわち、本実施形態では、シーンチェンジフレームや主要フレームを抽出するための条件の設定を行うために各特徴の重み係数を用いることとして、この各特徴に対する重み係数の設定を特徴重要度設定部31及び32で行う。
特徴重要度設定部31及び32は、対象とするフレーム近傍の複数のフレームの複数種類の特徴についての統計量(各特徴の平均値、標準偏差等)から、各特徴に対する重み係数を設定する。尚、特徴についての統計量とは、特徴の統計量や、フレーム間の特徴の変化の統計量である。このような重み係数の設定は映像毎に行う。シーンチェンジフレーム抽出部33、主要フレーム抽出部36では、シーンチェンジフレームの検出や主要フレームの抽出を各映像から行う際の抽出条件に、各映像に設定される重み係数を反映させる。
図5のフローチャートを参照して、シーンチェンジフレームを抽出する処理について説明する。図5の処理は、特徴重要度設定部31及びシーンチェンジフレーム抽出部33が、シーンチェンジフレームを抽出する処理であり、図2のステップS3に相当する処理であるが、その具体的手順が上述の第1の実施形態のステップS3と異なる。尚、フレームの特徴や特徴量としては、上述の第1の実施形態と同様のものを用いることができる。
図5の処理は、N枚のフレームで構成される映像からシーンチェンジフレームを抽出するためのシーンチェンジフレーム抽出処理の流れを示すものであり、映像内のフレームの順序iでの繰り返し演算を行うループとなっている。
先ず、ステップS11にて、対象とするi番目のフレームと隣り合うか、または、対象とするi番目のフレーム近傍の複数のフレームの複数種類の特徴を算出する。ステップS11では、複数種類の特徴を算出する代わりに、上述のステップS2で算出した特徴をメモリから読み出すようにしてもよい。
次いで、ステップS12にて、i番目のフレーム近傍の複数のフレームの複数種類の特徴についての統計量、すなわち平均、標準偏差等の算出を行う。尚、ここで算出される特徴についての統計量は、上述のように、特徴の統計量、またはフレーム間の特徴の変化の統計量である。そして、ステップS13では、ステップS12で算出された統計量より、各特徴に対する重み係数を設定する。
ステップS13に於ける、シーンチェンジフレームを抽出するための重み係数の設定法としては、様々な方法が考えられるが、要は、重要度の高い特徴には高い重み係数を設定し、重要度の低い特徴には低い重み係数を設定する。例えば、各フレームに於ける各特徴について、同等の値(近い値)を示す特徴に対しては重要度が高いと考え、各フレームの標準偏差σや分散Vの大きさ等に基づいて、その逆数を重み係数とする方法が考えられる。他にも、対象とするi番目のフレーム近傍の複数のフレームよりも広範囲で(映像中の広い時間帯から選んだ数多くのフレームから)算出した標準偏差σ0 や分散V0 を用いて、σ0 /σ、V0 /Vを算出して、これを重み係数とする方法が考えられる。さらに、特徴量が大きくなるフレームの近傍や、フレーム間の特徴量の変化が大きくなるフレームの近傍では、重要度が高いと考えられるため、特徴量の平均や特徴量の変化の平均を重み係数として設定することもできる。
次に、ステップS14に於いて、i番目のフレームがシーンチェンジ検出条件を満たすか否かの判断を行う。シーンチェンジ検出条件としては、予め設定されたシーンチェンジフレームを抽出するための閾値に対して、上記ステップS13で設定された重み係数を乗ずることにより、対象とするフレーム毎に適応的に条件が設定されることとなる。この理由を図6を用いて説明する。
図6は、対象とするフレーム毎の重み係数を説明するための説明図である。図6に示されるように、映像内のjで示される時点(位置)のフレーム(j)の特徴に対するフレーム(j+1)の特徴の変化は、映像内のj’で示される時点(位置)のフレーム(j’)の特徴に対するフレーム(j’+1)の特徴の変化と異なるのが一般的である。何故なら、各フレームの画像がまったく同一ということは稀だからである。本実施形態では、フレームの特徴の変化が、このように各映像内の時間と共に変化することを利用して、フレーム特徴の重み係数を適応的に変化させている。すなわち、ステップS13では、対象とするフレーム毎に重み係数を設定するため、対象とするフレーム毎に固有の重み係数が設定されることになる。したがって、本実施形態では、上述のように、シーンチェンジフレームを抽出するための閾値に対して、上記ステップS13で設定された対象とするフレーム毎に固有の重み係数を乗ずることで、対象とするフレーム毎に適応的に抽出条件が設定されることとなる。
そして、対象とするフレームについて特徴量を算出し、算出した特徴量が、対象とするフレームの重み係数を乗じた閾値よりも大きい場合に、当該対象とするフレームがシーンチェンジ検出条件を満たすものとして、当該対象とするフレームをシーンチェンジフレームとして抽出する。尚、特徴量としてフレーム間の特徴の変化を扱う場合には、特徴毎に閾値との比較を行い、それらの比較結果についての論理和や論理積をシーンチェンジ検出条件としてもよい。また、各特徴の特徴ベクトルに重み係数を乗じてユークリッド距離やマハラノビスの距離を求めて、閾値と比較するシーンチェンジ検出条件としてもよい。
また、ステップS11では、上述した第1の実施形態と同様に、単に隣接するフレームから得る特徴の変化等の特徴量を用いるのではなく、映像中の対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレームの特徴の変化の統計量や、特徴の統計量の変化を特徴量として算出して、シーンチェンジフレームを抽出すると好適である。例えば、比較の対象とする2枚のフレームで、それぞれ近傍の設定された枚数のフレームの特徴の平均や標準偏差を算出した上で、これらの値の比較を行うことにより、ロバスト性が出てくる可能性がある。このような設定は、予めシステムに設定しておいてもよいし、ユーザが選択する手段を設けておいてもよい。
具体的には、対象とするフレーム近傍のフレームの数をtとして、u個の特徴fi (t)(i:0〜u)がある時に、すべてのフレームの特徴fi について、下記(1)式に示される平均、下記(2)式に示される標準偏差等を算出することで特徴量として、各特徴に対する重み係数wi を予め各特徴に対して設定された閾値に対して乗じた上で、各特徴の特徴量と、対象とするフレームに固有の閾値との比較を行う。
上記ステップS14に於いて、シーンチェンジ検出条件を満たす場合には、続くステップS15に移行して、対象とするi番目のフレームをシーンチェンジフレームとして登録する。一方、シーンチェンジ検出条件を満たさない場合には、ループして次のフレームを対象とした処理を繰り返す。以上のシーンチェンジフレーム抽出処理を終えると、図2のステップS4へ移行して、上述の実施形態と同様に、映像セグメントの生成を行う。
次に、図7のフローチャートを参照して、各映像セグメント内での主要シーンの抽出処理について説明する。図7の処理は、特徴重要度設定部32及び主要フレーム抽出部36が、主要フレームを抽出する処理であり、図2のステップS5に相当する処理であるが、その具体的手順が上述の第1の実施形態のステップS5と異なる。尚、フレームの特徴や特徴量としては、上述の第1の実施形態と同様のものを用いることができる。
図7は、図2のステップS4と同様のセグメンテーションが行われた後、各映像セグメント内の主要フレームを抽出する処理を説明するフローチャートであり、映像セグメントの数Mだけ、各映像セグメントに対して行う処理である。図7に示す各映像セグメントに対する処理は、各映像セグメント内のm枚のフレームに対して、各映像セグメント内のフレームの順序jでの繰り返し演算を行うループとなっている。映像(映像セグメント)の内容を把握できる程度の枚数のインデックスを抽出することにより、映像全体を視聴することなく、抽出された数枚のフレームを見るだけで映像全体の内容を把握することができるようになる。
先ず、ステップS21にて、対象とするj番目のフレームと隣り合うか、または、対象とするj番目のフレーム近傍の複数のフレームの複数種類の特徴を算出する。ステップS21では、複数種類の特徴を算出する代わりに、上述のステップS2で算出した特徴をメモリから読み出すようにしてもよい。
続くステップS22にて、j番目のフレーム近傍の複数のフレームの複数種類の特徴についての統計量、すなわち平均、標準偏差等の算出を行う。そして、ステップS23では、ステップS22で算出された統計量より、各特徴に対する重み係数を設定する。
ステップS23に於ける、主要フレームを抽出するための重み係数の設定法としては、様々な方法が考えられるが、要は、重要度の高い特徴には高い重み係数を設定し、重要度の低い特徴には低い重み係数を設定する。例えば、各フレームに於ける各特徴について、同等の(近い)値を示す特徴に関しては重要度が高いと考え、各フレームの標準偏差σや分散Vの大きさ等に基づいて、その逆数を重み係数とする方法が考えられる。他にも、対象とするi番目のフレーム近傍の複数のフレームよりも広範囲で(映像中の広い時間帯から選んだ数多くのフレームから)算出した標準偏差σ0 や分散V0 を用いて、σ0 /σ、V0 /Vを算出して、これを重み係数とする方法が考えられる。
次に、ステップS24に於いて、j番目のフレームが主要フレーム検出条件を満たすか否かの判断を行う。図5のステップS14では、シーンチェンジ検出条件を満たすか否かの判断のために、算出した特徴量が対象とするフレームの重み係数を乗じた閾値よりも大きい場合にシーンチェンジ検出条件を満たすものとしていたが、ステップS24の主要フレーム検出条件を満たすか否かの判断としては、逆に算出した特徴量が対象とするフレームの重み係数を乗じた閾値よりも小さい場合に主要フレーム検出条件を満たすと判断するのが妥当となる。すなわち、主要フレームというのは、映像の変化がないような場面が多いと考えられるからである。
尚、特徴量としてフレーム間の特徴の変化を扱う場合には、特徴毎に閾値との比較を行い、それらの比較結果についての論理和や論理積を主要フレーム検出条件としてもよい。また、各特徴の特徴ベクトルに重み係数を乗じてユークリッド距離やマハラノビスの距離を求めて、閾値と比較する主要フレーム検出条件としてもよい。
また、ステップS21では、上述した第1の実施形態と同様に、単に隣接するフレームから得る特徴の変化等の特徴量を用いるのではなく、映像中の対象とするフレーム近傍の複数のフレームの複数種類の特徴について、それらのフレームの特徴の変化の統計量や、特徴の統計量の変化を特徴量として算出して、主要フレームを抽出すると好適である。例えば、比較の対象とする2枚のフレームで、それぞれ近傍の設定された枚数のフレームの特徴の平均や標準偏差を算出した上で、これらの値の比較を行うことにより、ロバスト性が出てくる可能性がある。このような設定は、予めシステムに設定しておいてもよいし、ユーザが選択する手段を設けておいてもよい。
上記ステップS24に於いて、主要フレーム検出条件を満たす場合には、続くステップS25に移行して、対象とするj番目のフレームを主要フレームとして登録する。一方、主要フレーム検出条件を満たさない場合には、ループして次のフレームを対象とした処理を繰り返す。
ループが終了すると、ステップS26では、抽出した主要フレームの数を予め設定したmi 個に減じるじて登録する処理を行う。尚、mi 個は、各映像セグメントに対して個別に設定する値でも、すべての映像セグメントに対して共通に設定する値でも構わない。各映像セグメントに対して個別に設定する場合には、例えば、各映像セグメントの長さ(各映像セグメント内のフレーム数)に応じて設定すればよい。尚、抽出された主要フレームがmi 個に満たない場合には、ステップS26の処理は省略される。
以上の主要フレームを抽出する処理を終えると、上述の第1の実施形態と同様に、演算処理装置10は、図5の処理で抽出したシーンチェンジフレームと、図7の処理で抽出した主要フレームとを、表示装置12に表示する。そして、上述の第1の実施形態と同様に、ステップS6以降の処理を行う。
以上に説明した本実施形態では、上述の第1の実施形態に加えて、以下の効果を有している。
すなわち、特徴についての統計量は各特徴に対して異なる値をとることになるが、これらの値の大小とその特徴の重み係数には関連性があることになる。本実施形態では、このような特徴毎の統計量に従って各特徴に対する閾値の値を適応的に変化させることにより、各映像毎の適切な閾値が設定されることとなり、結果として得られるインデックス画像としても適切なものが得られることになる。
更に、ユーザが、各特徴に対する重み係数の設定を行う手段を提供しておくことにより、よりユーザに対する適切なインデックス画像の生成を行うことが可能となる。
また、映像内のフレームの有する特徴は、フレームが進むのに従って、各特徴の重み係数の順次変化してくるものである。それ故、インデックス画像を抽出する際に、対象とするフレームに応じた適切な重み係数を各特徴に対して設定することにより、映像中のフレーム毎にインデックス画像として抽出すべきか否かの適切な比較・判断を行うことが可能となり、より適切なインデックス画像の生成を行うことが可能となる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
次に、本発明の第3の実施形態について説明する。
第3の実施形態としては、上述した第1及び第2の実施形態にて抽出されたインデックス画像(シーンチェンジフレーム、主要フレーム)から、ユーザが各自の主観や嗜好に合ったフレームを指定する手段と、指定されたフレームの各特徴量の統計量から統合検索条件を設定して、新たなインデックス画像を抽出する手段とを有している。この場合、フレームを指定する手段はポインティングデバイス等の指示装置14、または入力装置13である。統合索条件を設定して、新たなインデックス画像を抽出する手段は指定画像選択・解析部27である。
尚、本第3の実施形態に於いては、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第1の実施形態の画像情報表示装置1、または第2の実施形態の画像情報表示装置2の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
ユーザが、ポインティングデバイス等の指示装置14、または入力装置13を利用して、表示装置12上に表示されたインデックス画像(シーンチェンジフレーム、主要フレーム)の中から各自の主観や嗜好に合ったフレームの選択を行い、指定画像選択・解析部27が、指定画像(ユーザによって選択された画像)を特定する情報を基に映像・画像データベース11から指定画像を選択する(ステップS6)点は、上述の第1の実施形態で既に説明したとおりである。
以下、指定画像選択・解析部27が、統合索条件を設定して、新たなインデックス画像の再検索を行う処理について、図8のフローチャートを参照して説明する。図8のフローチャートでは、ユーザがp枚の画像を選択し、指定画像の数がpである場合について説明する。図8のフローチャートでは、指定された枚数(p)の画像に対して繰り返し処理が行われる。
先ず、ステップS31にて、指定画像に対し、その画像が属する映像セグメント内で類似するフレームの検索が行われる。類似するフレームの検索は、指定画像であるフレームの特徴に基づいて、当該指定画像が属する映像セグメントから、当該指定画像に類似するフレームを検索することで行われる。各映像セグメント内のフレームから、指定画像と類似するフレームの抽出方法は、上述の第1の実施形態で説明したとおりである。尚、指定画像と類似するフレームの抽出に於いては、上述した第2の実施形態で説明した各特徴に対する重み係数を考慮した検索条件を用いることも有効な手段である。
ステップS31で類似するフレームの抽出ができなかった場合(ステップS32:NO)には、ループして次の指定画像について同様に、ステップS31、ステップS32の処理を行う。上記ステップS31に於いて、類似するフレームが抽出された(ステップS32:YES)ならば、ステップS33に移行する。
ステップS33では、ステップS31で抽出されたフレームとその映像セグメント内で既に抽出されている主要フレーム(以下これらのフレームをまとめて「統合フレーム群」と言う。)とから、新たなインデックス画像を抽出するためのフレームの検索条件である統合検索条件の設定を行い、設定した統合検索条件に基づいて、新たなインデックス画像の抽出を行う。
新たなインデックス画像の再検索のための統合検索条件としては、統合フレーム群に類似するフレームを新たなインデックス画像として抽出するための条件を設定する。例えば次のように設定する。まず、統合フレーム群から得られるm種類の特徴について、標準偏差σi (i=1〜m)を算出する。そして、映像セグメント内の各フレームの特徴をベクトルとして表した特徴ベクトルの各項目を標準偏差σi で除した値を要素とする特徴ベクトルのユークリッド距離や、マハラノビス距離を算出する。ユークリッド距離や、マハラノビス距離が小さなものから設定されたr枚のフレームを新たなインデックス画像として抽出する。
尚、統合条件の設定では、重み係数を考慮することもできる。例えば、統合フレーム群について、各フレームの複数種類の特徴についての統計量、すなわち平均値、標準偏差、分散を利用して、重み係数を設定する手法が用いられる。つまり、統合フレーム群の複数種類の特徴についての各統計量から、各特徴が、重要度の高い特徴か重要度の低い特徴かを判定し、重要度の高い特徴には高い重み係数を設定し、重要度の低い特徴には低い重み係数を設定する。例えば、各フレームで同等の値(近い値)を示す特徴に対しては重要度が高いと考え、各フレームの標準偏差σや分散Vの大きさ等に基づいて、その逆数を重み係数とする方法が考えられる。そして、重み係数の高い特徴を重点的に考慮して、新たなインデックス画像の抽出を行う。
ステップS33で新たなインデックス画像の抽出ができなかった場合(ステップS34:NO)には、ループして次の指定画像について同様に、ステップS31〜ステップS34の処理を行う。上記ステップS33に於いて、新たなインデックス画像が抽出された(ステップS34:YES)ならば、ステップS35に移行する。
ステップS35では、新たなインデックス画像で、既にステップS3に於いて抽出したシーンチェンジフレームや、ステップS5に於いて抽出した主要フレームを更新する。尚、抽出する新たなインデックス画像の枚数に制限を設けている場合には、ステップS33で抽出した新たなインデックス画像の中から制限された枚数のみを用いて、更新を行う。すなわち、本実施形態では、ステップS31〜ステップS34で、第1の実施形態のステップS7に相当する処理を行い、ステップS35で、第1の実施形態のステップS8に相当を行うものである。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
次に、本発明の第4の実施形態について説明する。
本第4の実施形態では、各フレームの特徴を算出する際に、フレーム内で特徴の算出を行う領域を設定する方法について主に説明する。
尚、本第4の実施形態に於いては、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第1の実施形態の画像情報表示装置1、または第2の実施形態の画像情報表示装置2の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
フレーム内に於いて、重要と考えられる領域と重要でない領域が混在することはよくあることであるが、重要な領域に限って特徴の算出を行うことにより効率的なシーンチェンジフレームの抽出や主要フレームの抽出が可能となると考えられる。特に、フレームの中央というのは重要な被写体が写っていることがいることが多い。したがって、図9に示されるように、フレーム全体60に対して、中央の一定の領域61に関して特徴を算出すると好適である。領域61の設定は、演算処理装置10が行う。フレーム間比較・解析部22等では、設定された領域61の画像データを用いてフレームの特徴を求めて、フレーム間の特徴の変化の算出や、特徴の統計量や、特徴の変化の統計量の算出を行う。
領域61の大きさに関しては、ユーザが予め設定できるようにしておくことも可能であるし、また、中心から特徴量を算出していき、特徴量の大きさに閾値を設けておいて該閾値を基準に領域の大きさを決定することもできる。更には、特に中心に限らず、ユーザが領域の位置、及び大きさを、ポインティングデバイス等の指示装置14、または入力装置13を利用して設定することも可能である。
以上に説明した本実施形態では、上述の第1の実施形態や、第2の実施形態に加えて、以下の効果を有している。
すなわち、特徴を算出する場合、通常画像全体を用いることになるが、映像によっては、主要被写体の位置が比較的一定の位置にあり、それ以外の領域の変化はほとんどないという場面も想定することができる。このような場合、動きの少ない領域の特徴を算出しても有効に利用することができない場合がある。本実施形態では、主要な被写体、動きのある被写体が存在すると考えられる領域を設定する手段をユーザに提供し、ユーザが指定した範囲での特徴の算出を行うことにより、ユーザが興味のある範囲でのフレームの特徴を算出し、ユーザの好みに応じたインデックス画像の生成ができると共に、特徴を算出するための領域が小さくなることにより演算量を減少させて、処理時間の短縮を行うことができる。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。
次に、本発明の第5の実施形態について説明する。
本第5の実施形態でも、上述の第4の実施形態と同様に、各フレームの特徴を算出する際に、フレーム内で特徴の算出を行う領域を設定する方法について主に説明する。
尚、本第5の実施形態にでは、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第1の実施形態の画像情報表示装置1、または第2の実施形態の画像情報表示装置2の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
本第5の実施形態では、フレーム全体から、特徴量の大きな領域や主要被写体が写っている領域を検出し、その領域を含むように領域61の位置、大きさを設定する。領域61の設定は、演算処理装置10が行う。
演算処理装置10は、図10に示すように、フレーム全体60に対して、その画像データから特徴の大きな領域63を検出する。この領域63の大きさは、適応的に設定することも可能である。例えば、画素値が所定の閾値より高い領域を領域63として設定したり、空間周波数の高周波成分を多く含む領域を領域63として設定したり、特定の色を示す画素が密集している領域を領域63として設定したり、様々な条件で領域63を設定することができる。
さらに、領域63を含むような領域64のように、フレーム内の一定の領域を設定した上で、領域64内での特徴算出を行い、その中から領域63を上述の方法で設定することもできる。また、上記領域64を設定する際には、設定しようとする領域63の大きさに対して一定の割合で大きさを決定することもできる。さらに、設定した領域64内の特徴の分布に応じて、領域64の上下左右に追加する領域幅を設定して、領域64の領域を適応的に変化させることも可能である。
また、領域63や、領域64としては、1つの領域のみでなく複数に分かれた領域を設定することも可能である。
尚、フレームから主要被写体を検出する方法としては、例えば、エッジや、コーナ点、画像複雑度等の算出に於いて、特徴量の大きな位置を探索することにより、その近傍領域を主要被写体領域と仮定する方法等を用いることが可能である。
以上に説明した本実施形態では、上述の第1の実施形態や、第2の実施形態に加えて、以下の効果を有している。
本実施形態では、特徴を算出するための領域を設定する際に、フレーム内の特徴分布を考慮して、特徴を算出するための領域が自動的に設定される。これにより、例えば特徴の大きな位置であったり、主要な被写体の動きが大きな位置であったりと重要な特徴が算出される可能性のある位置を、特徴を算出するための領域として自動的に設定することが可能となる。
また、映像毎に、特徴を算出するための領域は変化させたほうが好ましいこともあるため、特徴を算出のための領域を設定する際に、フレーム内での特徴の大きな領域や、動きの大きな領域等を検出することにより、映像毎に適応的に、インデックス画像を生成するための最適な特徴の算出を行うことができる。
(第6の実施形態)
次に、本発明の第6の実施形態について説明する。
次に、本発明の第6の実施形態について説明する。
本第6の実施形態は、図11(a)及び(b)に示されるように、主要被写体を先ず認識した上で、その主要被写体の位置や、被写体その輪郭線を画像処理により求め、これらを特徴として抽出することによりシーンチェンジフレーム、または主要フレームの抽出に利用する方法について主に説明する。
尚、本第6の実施形態に於いては、本発明のインデックス画像生成装置に相当する画像情報表示装置の構成及び基本的な動作については、第1の実施形態の画像情報表示装置1、または第2の実施形態の画像情報表示装置2の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
図11(a)に示されるように、例えばフレーム全体70に於いて人体や人物71の顔等の輪郭の検出は、テンプレートマッチング等での検出の技術が進んでおり、比較的精度良く行うことが可能である。このとき、輪郭線に沿った法線ベクトルの集合を算出しその方向に対するヒストグラムを特徴ベクトルとして利用することができる。主要被写体73はフレーム70内で重要な特徴となり得るため、主要被写体73そのものに特化して特徴の算出の対象とする。
以上に説明した本実施形態では、上述の第1の実施形態や、第2の実施形態に加えて、以下の効果を有している。
すなわち、主要フレーム等の抽出のためには、主要被写体は重要な特徴であり、この主要被写体の変化を重点的に注目することにより、効果的なインデックス画像の生成を行うことができる。
以上、本発明の実施形態について上述の第1〜第6の実施形態を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形実施が可能であるのは勿論である。
1、2…画像情報表示装置(インデックス画像生成装置)、10、30…演算処理装置、11…映像・画像データベース、12…表示装置、13…入力装置、14…指示装置、21…映像読み込み部、22…フレーム間比較・解析部、23…シーンチェンジフレーム抽出部、24…映像セグメンテーション部、25…セグメント内解析部、26…主要フレーム抽出部、27…指定画像選択・解析部、28…インデックス画像再設定部、31、32…特徴重要度設定部。
Claims (15)
- 連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置に於いて、
上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第1のインデックス画像として抽出する第1の抽出手段と、
上記第1の抽出手段で抽出された第1のインデックス画像の位置で上記映像を映像セグメントに分割する分割手段と、
上記分割手段で分割された上記映像セグメントから少なくとも1枚以上のフレームを第2のインデックス画像として抽出する第2の抽出手段と、
上記第1のインデックス画像及び上記第2のインデックス画像を表示する表示手段と、
上記表示手段で表示した上記第1のインデックス画像及び上記第2のインデックス画像からユーザの評価に基づく少なくとも1枚のフレームを指定画像として選択する選択手段と、
上記選択手段で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第1のインデックス画像または上記第2のインデックス画像を更新する更新手段と、
を具備することを特徴とするインデックス画像生成装置。 - 上記第1の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第1のインデックス画像を抽出することを特徴とする請求項1に記載のインデックス画像生成装置。
- 上記第2の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての統計量から当該対象とするフレームの特徴の変化の様子を示す特徴量を算出し、上記映像に含まれる複数のフレームについての上記特徴量と所定の閾値とを比較することで、上記第2のインデックス画像を抽出することを特徴とする請求項1に記載のインデックス画像生成装置。
- 上記閾値は、各特徴に対応して設定されていることを特徴とする請求項2若しくは請求項3に記載のインデックス画像生成装置。
- 上記第1の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも1種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より大きいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも1枚のフレームを上記第1のインデックス画像として抽出することを特徴とする請求項2に記載のインデックス画像生成装置。
- 上記第2の抽出手段は、対象とするフレーム近傍の複数のフレームから得られる少なくとも1種類以上の特徴から算出した上記特徴量が、当該特徴に対して設定された閾値より小さいときに、当該対象とするフレーム若しくは当該複数のフレームから選ばれる少なくとも1枚のフレームを上記第2のインデックス画像として抽出することを特徴とする請求項3に記載のインデックス画像生成装置。
- 上記第1の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする請求項2に記載のインデックス画像生成装置。
- 上記第2の抽出手段は、上記複数種類の特徴のうちの各特徴に応じた重み係数との関連性により上記閾値に対して設定される値と上記特徴量とを比較することで、上記閾値と上記特徴量との比較を行うことを特徴とする請求項3に記載のインデックス画像生成装置。
- 上記第1の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする請求項7に記載のインデックス画像生成装置。
- 上記第2の抽出手段は、上記対象とするフレーム近傍の複数のフレームから得られる特徴についての統計量に応じて、当該対象とするフレーム毎に上記重み係数の設定を行うことを特徴とする請求項8に記載のインデックス画像生成装置。
- 上記選択手段は、それぞれ異なる映像セグメントから抽出された複数の上記第1のインデックス画像若しくは上記第2のインデックス画像を上記指定画像として選択し、
上記更新手段は、複数の上記指定画像の特徴に基づいて、上記異なる映像セグメントそれぞれから上記指定画像に関連するフレームを再検索することを特徴とする請求項1に記載のインデックス画像生成装置。 - 各フレーム内で当該フレームの特徴を算出するための領域の位置及び大きさを設定し、当該領域内の画像データを基に当該フレームの特徴を算出する特徴算出手段を更に具備することを特徴とする請求項2乃至11の何れか1に記載のインデックス画像生成装置。
- 上記特徴算出手段は、上記フレーム内の特徴量の分布に応じて上記領域の位置及び大きさを適応的に設定することを特徴とする請求項12に記載のインデックス画像生成装置。
- 上記第2の抽出手段は、各フレームから主要被写体の検出を行い、上記フレーム間に於ける上記主要被写体の状態を検出し、主要被写体が所定の状態にあるフレームを上記第2のインデックス画像として抽出することを特徴とする請求項1に記載のインデックス画像生成装置。
- 連続する複数のフレームから成る映像からインデックス画像を生成するプログラムであって、
上記フレームの特徴を基に上記映像のシーンの変化の位置を示すフレームを第1のインデックス画像として抽出する第1の手順と、
上記第1の手順で抽出された第1のインデックス画像の位置で上記映像を映像セグメントに分割する第2の手順と、
上記第2の手順で分割された上記映像セグメントから少なくとも1枚以上のフレームを第2のインデックス画像として抽出する第3の手順と、
上記第1のインデックス画像及び上記第2のインデックス画像を表示する第4の手順と、
上記第4の手順で表示した上記第1のインデックス画像及び上記第2のインデックス画像からユーザの評価に基づく少なくとも1枚のフレームを指定画像として選択する第5の手順と、
上記第5の手順で選択された上記指定画像に関連するフレームを上記各映像セグメントから再検索して、当該指定画像に関連するフレームで上記第1のインデックス画像または上記第2のインデックス画像を更新する第6の手順と、
を具備することを特徴とするインデックス画像を生成するプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005025223A JP2006217045A (ja) | 2005-02-01 | 2005-02-01 | インデックス画像生成装置及びインデックス画像を生成するプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005025223A JP2006217045A (ja) | 2005-02-01 | 2005-02-01 | インデックス画像生成装置及びインデックス画像を生成するプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006217045A true JP2006217045A (ja) | 2006-08-17 |
Family
ID=36979924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005025223A Pending JP2006217045A (ja) | 2005-02-01 | 2005-02-01 | インデックス画像生成装置及びインデックス画像を生成するプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006217045A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008155974A1 (ja) | 2007-06-20 | 2008-12-24 | Olympus Corporation | 画像抽出装置、画像抽出プログラムおよび画像抽出方法 |
WO2009013940A1 (ja) * | 2007-07-20 | 2009-01-29 | Olympus Corporation | 画像抽出装置、画像抽出プログラムおよび画像抽出方法 |
JP2009160298A (ja) * | 2008-01-09 | 2009-07-23 | Olympus Corp | シーン変化検出装置およびシーン変化検出プログラム |
US7668869B2 (en) * | 2006-04-03 | 2010-02-23 | Digitalsmiths Corporation | Media access system |
JP2010263327A (ja) * | 2009-04-30 | 2010-11-18 | Kddi Corp | 特徴量算出装置およびプログラム |
JP2012178048A (ja) * | 2011-02-25 | 2012-09-13 | Fujitsu Ltd | プログラム及び画像処理装置 |
CN113079420A (zh) * | 2020-01-03 | 2021-07-06 | 北京三星通信技术研究有限公司 | 视频生成方法、装置、电子设备及计算机可读存储介质 |
CN114359645A (zh) * | 2022-01-12 | 2022-04-15 | 中国平安人寿保险股份有限公司 | 基于特征区域的图像拓展方法、装置、设备及存储介质 |
-
2005
- 2005-02-01 JP JP2005025223A patent/JP2006217045A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7668869B2 (en) * | 2006-04-03 | 2010-02-23 | Digitalsmiths Corporation | Media access system |
WO2008155974A1 (ja) | 2007-06-20 | 2008-12-24 | Olympus Corporation | 画像抽出装置、画像抽出プログラムおよび画像抽出方法 |
US8254720B2 (en) | 2007-07-20 | 2012-08-28 | Olympus Corporation | Image extracting apparatus, computer program product, and image extracting method |
WO2009013940A1 (ja) * | 2007-07-20 | 2009-01-29 | Olympus Corporation | 画像抽出装置、画像抽出プログラムおよび画像抽出方法 |
JP2009027558A (ja) * | 2007-07-20 | 2009-02-05 | Olympus Corp | 画像抽出装置および画像抽出プログラム |
JP2009160298A (ja) * | 2008-01-09 | 2009-07-23 | Olympus Corp | シーン変化検出装置およびシーン変化検出プログラム |
EP2233062A1 (en) * | 2008-01-09 | 2010-09-29 | Olympus Corporation | Scene change detection device and scene change detection program |
EP2233062A4 (en) * | 2008-01-09 | 2011-05-25 | Olympus Corp | SCENE CHANGE DETECTION DEVICE AND SCENE CHANGE DETECTION PROGRAM |
JP2010263327A (ja) * | 2009-04-30 | 2010-11-18 | Kddi Corp | 特徴量算出装置およびプログラム |
JP2012178048A (ja) * | 2011-02-25 | 2012-09-13 | Fujitsu Ltd | プログラム及び画像処理装置 |
CN113079420A (zh) * | 2020-01-03 | 2021-07-06 | 北京三星通信技术研究有限公司 | 视频生成方法、装置、电子设备及计算机可读存储介质 |
CN114359645A (zh) * | 2022-01-12 | 2022-04-15 | 中国平安人寿保险股份有限公司 | 基于特征区域的图像拓展方法、装置、设备及存储介质 |
CN114359645B (zh) * | 2022-01-12 | 2024-05-21 | 中国平安人寿保险股份有限公司 | 基于特征区域的图像拓展方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104572804B (zh) | 一种视频物体检索的方法及其系统 | |
JP5358083B2 (ja) | 人物画像検索装置及び画像検索装置 | |
US7623711B2 (en) | White space graphs and trees for content-adaptive scaling of document images | |
JP2006217045A (ja) | インデックス画像生成装置及びインデックス画像を生成するプログラム | |
JP5212610B2 (ja) | 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム | |
EP2043047A2 (en) | Image display apparatus and computer program product | |
EP2568429A1 (en) | Method and system for pushing individual advertisement based on user interest learning | |
US8213741B2 (en) | Method to generate thumbnails for digital images | |
JP2007286864A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2006331460A (ja) | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム | |
JP2000285253A (ja) | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 | |
KR101697933B1 (ko) | 키워드 검출장치, 그 제어방법 및 제어 프로그램, 및 표시기기 | |
JP7509144B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2011018238A (ja) | 画像検索システム及び画像検索方法 | |
CN105894362A (zh) | 一种推荐视频中的相关物品的方法及装置 | |
JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
JP5356289B2 (ja) | 画像検索システム | |
US9202286B2 (en) | Image processing apparatus, computer-readable medium storing an image processing program, and image processing method | |
JP5116017B2 (ja) | 動画検索方法およびシステム | |
JP4993678B2 (ja) | 対話型動画像監視方法、対話型動画像監視装置および対話型動画像監視プログラム | |
JP2010245983A (ja) | 映像構造化装置,映像構造化方法および映像構造化プログラム | |
US20070133906A1 (en) | Information processing apparatus, data analyzing method and information recording medium | |
CN110933520B (zh) | 一种基于螺旋摘要的监控视频展示方法及存储介质 | |
US9224069B2 (en) | Program, method and apparatus for accumulating images that have associated text information | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091104 |