JP2011254240A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】映像のシーン構成を容易に把握可能にする、画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】一連の画像からなる動画のデータに基づき動画中のシーン遷移を検出するシーン遷移検出部１３と、各シーンに属する一連の画像から所定数の代表画像Ｉを抽出する代表画像抽出部１７と、各シーンにおいて２以上の代表画像が抽出された場合、代表画像を主画像Ｍと副画像Ｓに区分する代表画像区分部１９と、副画像を縮退表示するために、副画像を操作して縮退表示画像Ｄを生成する縮退表示画像生成部２１と、複数のシーンの代表画像をシーン遷移順に並べて表示し、かつ、各シーンにおいて、２以上の代表画像が抽出された場合に主画像とともに縮退表示画像を表示し、１の代表画像が抽出された場合に代表画像を表示する代表画像表示部２３とを備える。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

映像表現において、通常の映像は、多数のシーンから構成されている。映像表現では、制作者の意図に応じて、例えば同じような内容のシーンを時間的に隔てて構成する等、シーン構成（絵コンテとも称する。）に工夫を凝らす場合がある。

ところで、映像のシーン構成を把握するために、制作者以外の利用者が映像を複数のシーンに区分するシーン割り（カット割りとも称する。）作業を行う場合がある。この場合、制作者の意図を把握していない利用者は、各シーンを逐一仕分けせざるをえず、多大な作業負担を余儀なくされることになる。

また、シーン割りされた映像を概観するために、各シーンに属する代表画像を表示する場合がある。この場合、各シーンに属する代表画像が通常類似しているので、代表画像は、主画像と主画像に類似する副画像に区分される。そして、通常、主画像が表示される一方、副画像は、全て表示されるか、全く表示されない。

ここで、副画像が全て表示される場合、代表画像の表示が煩雑となる一方、全く表示されない場合、映像の遷移等の情報が失われてしまうことになる。よって、いずれの場合も、映像の利用者は、シーン割りされた映像を概観することができず、映像のシーン構成を容易に把握することができなくなってしまう。

そこで、本発明は、映像のシーン構成を容易に把握可能にする、画像処理装置、画像処理方法およびプログラムを提供しようとするものである。

本発明のある観点によれば、一連の画像からなる動画のデータに基づき動画中のシーン遷移を検出するシーン遷移検出部と、各シーンに属する一連の画像から所定数の代表画像を抽出する代表画像抽出部と、各シーンにおいて２以上の代表画像が抽出された場合、代表画像を主画像と副画像に区分する代表画像区分部と、副画像を縮退表示するために、副画像を操作して縮退表示画像を生成する縮退表示画像生成部と、複数のシーンの代表画像をシーン遷移順に並べて表示し、かつ、各シーンにおいて、２以上の代表画像が抽出された場合に主画像とともに縮退表示画像を表示し、１の代表画像が抽出された場合に代表画像を表示する代表画像表示部とを備える画像処理装置が提供される。

上記縮退表示画像生成部は、副画像の画像領域を変化領域と無変化領域に区分し、副画像に含まれる無変化領域の画像のみを操作して縮退表示画像を生成してもよい。

上記縮退表示画像は、副画像に含まれる無変化領域の画像を減色化して生成されてもよい。

上記縮退表示画像は、副画像に含まれる無変化領域の画像を低階調化して生成されてもよい。

上記縮退表示画像は、副画像に含まれる無変化領域の画像を省略して生成されてもよい。

上記縮退表示画像は、副画像に含まれる変化領域の画像のみを切出して生成されてもよい。

上記縮退表示画像は、副画像に含まれる無変化領域の画像を減色化または低階調化し、変化領域と変化領域を囲む一部の無変化領域の画像を切出して生成されてもよい。

上記縮退表示画像は、副画像全体を縮小化して生成されてもよい。

上記縮退表示画像は、副画像全体を減色化して生成されてもよい。

上記縮退表示画像は、副画像全体を低階調化して生成されてもよい。

上記代表画像抽出部は、各シーンの長さに応じた数の代表画像を抽出してもよい。

上記複数のシーンの代表画像は、シーン毎に改行してシーン遷移順に並べて表示されてもよい。

上記各シーンの代表画像の特徴量に基づき、複数のシーンをシーングループに区分するシーン区分部をさらに備えてもよい。

上記シーン区分部は、シーングループの区分結果に基づき、複数のシーンを所定の連続性を伴って対をなすシーンペアに区分してもよい。

上記シーングループを表す情報は、各シーンの代表画像の属性情報として、動画のデータに関連付けて記憶されてもよい。

上記シーンペアを表す情報は、各シーンの代表画像の属性情報として、動画のデータに関連付けて記憶されてもよい。

また、本発明の別の観点によれば、一連の画像からなる動画のデータに基づき動画中のシーン遷移を検出するステップと、各シーンに属する一連の画像から所定数の代表画像を抽出するステップと、各シーンにおいて２以上の代表画像が抽出された場合、代表画像を主画像と副画像に区分するステップと、副画像を縮退表示するために、副画像を操作して縮退表示画像を生成するステップと、複数のシーンの代表画像をシーン遷移順に並べて表示し、かつ、各シーンにおいて、２以上の代表画像が抽出された場合に主画像とともに縮退表示画像を表示し、１の代表画像が抽出された場合に代表画像を表示するステップとを含む画像処理方法が提供される。

また、本発明の別の観点によれば、上記画像処理方法をコンピュータに実行させるためのプログラムが提供される。なお、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。

以上説明したように本発明によれば、映像のシーン構成を容易に把握可能にする、画像処理装置、画像処理方法およびプログラムを提供することができる。

本発明の実施形態に係る画像処理方法の概要を示す図である。 本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 シーン割り処理の対象となる代表画像の一例を示す図である。 シーン割り処理の手順を示すフロー図である。 シーン割り処理の結果の一例を示す図である。 シーン割り処理の結果の一例を代表画像とともに示す図である。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 表示対象となる代表画像の一例を示す図である。 代表画像からの主画像の選別結果の一例を示す図である。 代表画像からの主画像の選別結果の他の例を示す図である。 副画像全体の操作による副画像の縮退表示の態様１を示す図である。 副画像全体の操作による副画像の縮退表示の態様２を示す図である。 副画像全体の操作による副画像の縮退表示の態様３を示す図である。 副画像全体の操作による副画像の縮退表示の他の一例を示す図である。 副画像全体の操作による副画像の縮退表示の他の一例を示す図である。 本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。 無変化領域の画像のみの操作による副画像の縮退表示を示す図である。 無変化領域の画像のみの操作による副画像の縮退表示の態様１を示す図である。 無変化領域の画像のみの操作による副画像の縮退表示の態様２を示す図である。 無変化領域の画像のみの操作による副画像の縮退表示の態様３を示す図である。 無変化領域の画像のみの操作による副画像の縮退表示の態様４を示す図である。 無変化領域の画像のみの操作による副画像の縮退表示の態様５を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［１．画像処理方法の概要］
まず、図１を参照して、本発明の実施形態に係る画像処理方法の概要について説明する。

図１に示すように、ある実施形態に係る画像処理方法では、まず、一連の画像からなる動画のデータ（動画データ）に基づき動画中のシーン遷移が検出される（ステップＳ１）。また、シーン遷移の検出結果（シーン遷移情報）に基づき各シーンに属する一連の画像から所定数の代表画像Ｉ（Ｉ：代表画像の総称）が抽出される（Ｓ３）。代表画像Ｉとは、各シーンに属する一連の画像から所定の基準に従って抽出される画像である。

各シーンにおいて２以上の代表画像Ｉが抽出された場合、代表画像Ｉが主画像Ｍ（Ｍ：主画像の総称）と副画像Ｓ（Ｓ：副画像の総称）に区分され（Ｓ５）、副画像Ｓを縮退表示するために、副画像Ｓを操作して縮退表示画像Ｄ（Ｄ：縮退表示画像の総称）が生成される（Ｓ７）。そして、複数のシーンの代表画像Ｉがシーン遷移順に並べて表示される。ここで、各シーンにおいて、２以上の代表画像Ｉが抽出された場合に主画像Ｍとともに縮退表示画像Ｄが表示され、１の代表画像Ｉが抽出された場合に代表画像Ｉが主画像Ｍとして表示される（Ｓ９）。

主画像Ｍとは、代表画像Ｉから所定の基準に従って選別される画像であり、副画像Ｓとは、代表画像Ｉのうち主画像Ｍ以外の全ての画像であり、主画像Ｍに類似している。縮退表示画像Ｄとは、詳細は後述するが、副画像Ｓに比べて主画像Ｍが強調して表示されるように、副画像Ｓの少なくとも一部を操作して生成される画像である。

これにより、主画像Ｍとともに縮退表示画像Ｄが表示されるので、代表画像Ｉの表示が煩雑とならず、かつ、映像の遷移等の情報が失われない。よって、映像の利用者は、シーン割りされた映像を概観可能となり、映像のシーン構成を容易に把握することができる。

また、他の実施形態に係る画像処理方法では、副画像Ｓの画像領域が変化領域と無変化領域に区分され、副画像Ｓに含まれる無変化領域の画像Ｓａ（Ｓａ：副画像Ｓに含まれる無変化領域の画像の総称）のみを操作して縮退表示画像Ｄが生成される。変化領域とは、副画像Ｓの画像領域のうち、相前後する副画像Ｓ間で画像情報が所定閾値以上に変化している画像領域であり、無変化領域とは、同様に画像情報が所定閾値以上に変化していない画像領域である。

そして、複数のシーンの代表画像Ｉがシーン遷移順に並べて表示される。ここで、各シーンにおいて２以上の代表画像Ｉが抽出された場合、主画像Ｍとともに、副画像Ｓに含まれる無変化領域の画像Ｓａのみが操作された縮退表示画像Ｄが表示される。

これにより、主画像Ｍとともに、副画像Ｓに含まれる無変化領域の画像Ｓａのみが操作された縮退表示画像Ｄが表示されるので、映像の遷移等の情報が強調して表示される。よって、映像の利用者は、シーン割りされた画像を映像の遷移を参照しつつ概観可能となり、映像のシーン構成を容易に把握することができる。

［２．画像処理装置の構成］
つぎに、図２から図６を参照して、本発明の実施形態に係る画像処理装置について説明する。

図２に示すように、画像処理装置は、データ取得部１１、シーン遷移検出部１３、シーン区分部１５、代表画像抽出部１７、代表画像区分部１９、縮退表示画像生成部２１、代表画像表示部２３、データ記憶部２５を含んで構成される。

データ取得部１１は、一連の画像からなる動画のデータ（動画データ）を取得し、シーン遷移検出部１３および代表画像抽出部１７に供給する。なお、動画データは、データ記憶部２５から取得されてもよく、通信手段等（不図示）を通じて外部装置（不図示）から取得されてもよい。

シーン遷移検出部１３は、動画データに基づき動画中のシーン遷移を検出し、検出結果をシーン区分部１５に供給する。シーン遷移とは、映像中におけるシーンの移り変わりを意味する。シーン遷移は、相前後する画像の特徴量Ｓを求め、特徴量Ｓの類似度に基づき検出される。画像の特徴量Ｓとしては、色ヒストグラムや顔画像の検出結果等を用いることができる。ここで、相前後する画像の間で特徴量Ｓの類似度が所定の閾値未満となる場合、シーン遷移が検出される。

シーン区分部１５は、詳細は後述するが、各シーンに属する代表画像Ｉの特徴量Ｓに基づき、複数のシーンをシーングループおよびシーンペアに区分し、区分結果を代表画像抽出部１７に供給する。シーングループとは、互いに類似するシーンからなるシーングループであり、シーンペアとは、所定の連続性を伴って対をなす２以上のシーンからなる。また、シーン区分部１５は、シーングループやシーンペアを表す属性情報を代表画像Ｉに付加する。属性情報は、後述するように、データ記憶部２５や外部装置等に供給されてもよい。

代表画像抽出部１７は、各シーンに属する一連の画像から所定数の代表画像Ｉを抽出し、代表画像区分部１９に供給する。代表画像Ｉとは、各シーンに属する一連の画像から所定の基準に従って抽出される画像である。代表画像Ｉは、シーン毎に１つの画像として抽出されてもよく、２以上の画像として抽出されてもよく、シーン長に応じた数の画像として抽出されてもよい。なお、シーン長に応じた数の画像を抽出する場合、シーン長に比例する数の画像が抽出されてもよく、シーン長に応じて段階的に設定された数の画像が抽出されてもよい。これにより、代表画像の数によりシーンの長さを表すことができる。

代表画像区分部１９は、各シーンにおいて２以上の代表画像Ｉが抽出された場合、代表画像Ｉを主画像Ｍと副画像Ｓに区分し、主画像Ｍを代表画像表示部２３に供給し、副画像Ｓを縮退表示画像生成部２１に供給する。主画像Ｍとは、代表画像Ｉから所定の基準に従って選別される画像であり、副画像Ｓとは、代表画像Ｉのうち主画像Ｍ以外の全ての画像であり、主画像Ｍに類似している。なお、各シーンにおいて１の代表画像Ｉのみが抽出された場合、代表画像Ｉが主画像Ｍのみから構成されることになる。

縮退表示画像生成部２１は、詳細は後述するが、副画像Ｓを縮退表示するために、副画像Ｓを操作して縮退表示画像Ｄを生成し、代表画像表示部２３に供給する。ここで、縮退表示画像Ｄは、副画像Ｓ全体を操作して生成されてもよく、副画像Ｓに含まれる無変化領域の画像Ｓａのみを操作して生成されてもよい。縮退表示画像Ｄとは、副画像Ｓに比べて主画像Ｍが強調して表示されるように、副画像Ｓの少なくとも一部を操作することで生成される画像である。副画像Ｓは、副画像Ｓの画像領域のうち、相前後する副画像Ｓ間で画像情報が所定閾値以上に変化している変化領域と、画像情報が所定閾値以上に変化していない無変化領域に区分される。

代表画像表示部２３は、複数のシーンの代表画像Ｉをシーン遷移順に並べて表示し、かつ、各シーンにおいて、２以上の代表画像Ｉが抽出された場合に主画像Ｍとともに縮退表示画像Ｄを表示し、１の代表画像Ｉが抽出された場合に代表画像Ｉを主画像Ｍとして表示する。

データ記憶部２５は、動画データおよび動画データに付属するデータを記憶している。データ記憶部２５には、シーン区分部１５による処理結果が代表画像Ｉの属性情報として、動画データに関連付けて記憶されてもよい。また、データ記憶部２５には、主画像Ｍおよび縮退表示画像Ｄのデータが動画データに関連付けて記憶されてもよい。属性情報は、後述するように動画検索データとして、画像処理装置内部または画像処理装置から属性情報を供給された外部装置上で利用されてもよい。

ここで、上記機能構成において、データ取得部１１、シーン遷移検出部１３、シーン区分部１５、代表画像抽出部１７、代表画像区分部１９および縮退表示画像生成部２１は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成され、代表画像表示部２３は液晶ディスプレイ等の表示装置により構成され、データ記憶部２５はフラッシュメモリ等の不揮発性メモリ、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置等により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。

［３．第１の実施形態（映像のシーン割り処理）］
つぎに、図３から図６を参照して、映像のシーン割り処理について説明する。

図３には、シーン割り処理の対象となる代表画像Ｉ１〜Ｉ１４が示されている。代表画像Ｉ１〜Ｉ１４は、一連の画像からなる動画のデータからシーン１〜１４のシーン遷移が検出され、各シーンに属する一連の画像から抽出される。この場合、代表画像Ｉ１〜Ｉ１４は、各シーンに属する一連の画像から所定の基準に従って１の代表画像Ｉとして抽出される。

ここで、図３に示すように、代表画像Ｉ１、Ｉ１４が互いに類似し、代表画像Ｉ３、Ｉ５、Ｉ７が互いに類似し、代表画像Ｉ４、Ｉ６が互いに類似し、代表画像Ｉ８、Ｉ１０、Ｉ１２が互いに類似し、代表画像Ｉ９、Ｉ１１、Ｉ１３が互いに類似し、代表画像Ｉ２が他の代表画像Ｉ１、Ｉ３〜Ｉ１４と類似していない。

シーン割り処理は、シーン区分部１５により図４に示す手順に従って行われる。まず、シーングループＩＤおよびシーンペアＩＤが初期化される（ステップＳ１１）。次に、一連の画像からなる動画のデータから、処理対象となる画像が取得されて画像の特徴量Ｓが生成され（Ｓ１５）、特徴量Ｓの類似度に基づきシーン遷移が検出される（Ｓ１７）。なお、動画データから全ての画像が取得されると（Ｓ１３）、シーン割り処理が終了する。

第１のシーン遷移が検出されると（Ｓ１７）、特徴量Ｓを伴うシーン１の代表画像Ｉ１が抽出される（Ｓ１９）。ここで、代表画像Ｉの特徴量Ｓとしては、色ヒストグラムや顔画像の検出結果等を用いることができる。そして、代表画像Ｉ１の特徴量Ｓと比較される他の特徴量Ｓが未だ得られていないので（Ｓ２１における否定分岐）、特徴量Ｓ１（＝代表画像Ｉ１の特徴量Ｓ）のシーングループ１が生成され、シーングループＩＤ＝１、シーングループ内ＩＤ＝１、デフォルトのシーンペアＩＤ＝１が代表画像Ｉ１に付与される（Ｓ３９、Ｓ４１、Ｓ３７）。

第２のシーン遷移が検出されると（Ｓ１７）、特徴量Ｓを伴うシーン２の代表画像Ｉ２が抽出される（Ｓ１９）。そして、代表画像Ｉ２の特徴量Ｓが代表画像１の特徴量Ｓ１と比較され（Ｓ２３）、特徴量Ｓと特徴量Ｓ１が類似しないと判定される（Ｓ２５における否定分岐）。よって、特徴量Ｓ２＝Ｓのシーングループ２が生成され、シーングループＩＤ＝２、シーングループ内ＩＤ＝１が代表画像Ｉ２に付与される（Ｓ３９、Ｓ４１）。また、シーングループが新たに生成されているので、従前のシーンペアＩＤ＝１が付与される（Ｓ３７）。

同様に、第３のシーン遷移が検出されると（Ｓ１７）、シーン３の代表画像Ｉ３は、代表画像Ｉ３の特徴量Ｓに基づき特徴量Ｓ３（＝代表画像Ｉ３の特徴量Ｓ）のシーングループ３が生成され、シーングループＩＤ＝３、シーングループ内ＩＤ＝１、シーンペアＩＤ＝１を付与される（Ｓ３９、Ｓ４１、Ｓ３７）。同様に、第４のシーン遷移が検出されると（Ｓ１７）、シーン４の代表画像Ｉ４は、代表画像Ｉ４の特徴量Ｓに基づき特徴量Ｓ４（＝代表画像Ｉ４の特徴量Ｓ）のシーングループ４が生成され、シーングループＩＤ＝４、シーングループ内ＩＤ＝１、シーンペアＩＤ＝１を付与される（Ｓ３９、Ｓ４１、Ｓ３７）。

第５のシーン遷移が検出されると（Ｓ１７）、特徴量Ｓを伴うシーン５の代表画像Ｉ５が抽出される。そして、代表画像Ｉ５の特徴量Ｓが代表画像Ｉ１〜Ｉ４の特徴量Ｓ１〜Ｓ４と比較され、特徴量Ｓと特徴量Ｓ３が類似すると判定される（Ｓ２５における肯定分岐）。よって、代表画像Ｉ５は、シーングループＩＤ＝３を付与されるとともに（Ｓ２９）、シーングループＩＤ＝３のシーングループ内ＩＤが１増分され、シーングループ内ＩＤ＝２を付与される（Ｓ３１）。また、シーン遷移の前後でシーングループＩＤが４から３に減少しているので（Ｓ３３における肯定分岐）、他のシーンペアの開始が検出され、シーンペアＩＤ＝１が１増分され（Ｓ３５）、シーンペアＩＤ＝２が付与される（Ｓ３７）。

同様に、第６のシーン遷移が検出されると（Ｓ１７）、シーン６の代表画像Ｉ６は、代表画像Ｉ６の特徴量Ｓに基づいて、特徴量Ｓ４を有するシーングループ４に分類され、シーングループＩＤ＝４を付与されるとともに（Ｓ２９）、シーングループＩＤ＝４のシーングループ内ＩＤが１増分され、シーングループ内ＩＤ＝２を付与される（Ｓ３１）。また、シーン遷移の前後でシーングループＩＤが３から４に増加しているので（Ｓ３３における否定分岐）、従前のシーンペアＩＤ＝２が付与される（Ｓ３７）。

そして、第７〜第１４のシーン遷移について同様な処理が行われることで（Ｓ１７）、代表画像Ｉ１〜Ｉ１４を含む動画は、図５に示すようにシーン割りされる。つまり、代表画像Ｉ１、Ｉ１４がシーングループ１に分類され、代表画像Ｉ２がシーングループ２に分類され、代表画像Ｉ３、Ｉ５、Ｉ７がシーングループ３に分類され、代表画像Ｉ４、Ｉ６がシーングループ４に分類され、代表画像Ｉ８、Ｉ１０、Ｉ１２がシーングループ５に分類され、代表画像Ｉ９、Ｉ１１、Ｉ１３がシーングループ６に分類される。

また、代表画像Ｉ１、Ｉ１４にシーングループ内ＩＤ＝１、２が各々に付与され、代表画像Ｉ２にシーングループ内ＩＤ＝１が付与され、代表画像Ｉ３、Ｉ５、Ｉ７にシーングループ内ＩＤ＝１、２、３が各々に付与され、代表画像Ｉ４、Ｉ６にシーングループ内ＩＤ＝１、２が各々に付与され、代表画像Ｉ８、Ｉ１０、Ｉ１２にシーングループ内ＩＤ＝１、２、３が各々に付与され、代表画像Ｉ９、Ｉ１１、Ｉ１３にシーングループ内ＩＤ＝１、２、３が各々に付与される。

また、第１のシーンペアをなす代表画像Ｉ１、Ｉ２、Ｉ３、Ｉ４にシーンペアＩＤ＝１が付与され、第２のシーンペアをなす代表画像Ｉ５、Ｉ６にシーンペアＩＤ＝２が付与され、第３のシーンペアをなす代表画像Ｉ７、Ｉ８、Ｉ９にシーンペアＩＤ＝３が付与され、第４のシーンペアをなす代表画像Ｉ１０、Ｉ１１にシーンペアＩＤ＝４が付与され、第５のシーンペアをなす代表画像Ｉ１２、Ｉ１３にシーンペアＩＤ＝５が付与され、第６のシーンペアをなす代表画像Ｉ１４にシーンペアＩＤ＝６が付与される。

ここで、特徴量Ｓの比較に際しては、直前のシーンに属する代表画像ＩのシーングループＩＤ、シーンペアＩＤから予測される所定のシーンの特徴量Ｓに基づく比較が優先的に行われてもよい。例えば、第７のシーン遷移が検出された場合、直前のシーン６に属する代表画像Ｉ６のシーングループＩＤ＝４およびシーンペアＩＤ＝２よりシーングループＩＤ＝３を予測し、シーングループＩＤ＝４に対応する特徴量Ｓ４に基づく比較よりも、シーングループＩＤ＝３に対応する特徴量Ｓ３に基づく比較が優先的に行われてもよい。

代表画像Ｉ１〜Ｉ１４には、シーングループＩＤ、シーングループ内ＩＤおよびシーンペアＩＤが属性情報として付加される。属性情報は、各シーン１〜１４に属する代表画像Ｉ１〜Ｉ１４の属性情報として、代表画像Ｉ１〜Ｉ１４を含む動画データに関連付けてデータ記憶部２５等に記憶される。そして、このような属性情報を含む動画データベースを画像処理装置の内部または外部に構築することで、属性情報を検索条件とする動画検索が可能となる。これにより、従来にない、映像のシーン構成を考慮した動画検索を実現することができる。

図６には、シーン割り処理の結果が代表画像Ｉ１〜Ｉ１４とともに表示されている。シーン割り処理の結果は、代表画像表示部２３により表示される。図６には、シーン割り処理の結果を連番ＩＤ＝１〜１４を用いて表す場合（図６の上部）と、シーングループＩＤおよびシーングループ内ＩＤからなるＩＤを用いて表す場合（図６の下部）が対比して示されている。

従来のように連番ＩＤを用いてシーン割り処理の結果を表す場合、代表画像Ｉ１〜Ｉ１４には、連番ＩＤ＝１〜１４が順に付与される。一方、前述したようにシーングループＩＤおよびシーングループ内ＩＤからなるＩＤを用いてシーン割り処理の結果を表す場合、互いに類似する代表画像Ｉがシーングループに分類され、分類結果を示すＩＤが付与される。

つまり、代表画像Ｉ１、Ｉ１４にＩＤ＝１−１、１−２が各々に付与され、代表画像Ｉ２にＩＤ＝２−１が付与され、代表画像Ｉ３、Ｉ５、Ｉ７にＩＤ＝３−１、３−２、３−３が各々に付与され、代表画像Ｉ４、Ｉ６にＩＤ＝４−１、４−２が各々に付与され、代表画像Ｉ８、Ｉ１０、Ｉ１２にＩＤ＝５−１、５−２、５−３が各々に付与され、代表画像Ｉ９、Ｉ１１、Ｉ１３にＩＤ＝６−１、６−２、６−３が各々に付与される。ここで、ＩＤのうちハイフンの前の番号がシーングループＩＤを表し、ハイフンの後ろの番号がシーングループ内ＩＤを表している。

これにより、シーングループＩＤ＝３のシーン３、５、７とシーングループＩＤ＝４のシーン４、６によるシーン繰返しを表すためのシーン構成を容易に把握することができる。また、シーングループＩＤ＝５のシーン８、１０、１２とシーングループＩＤ＝６のシーン９、１１、１３によるシーン切返しを表すためのシーン構成を容易に把握することができる。さらに、１度のみ表現されるシーン（シーン２）や、時間的に隔てて構成されるシーン（シーン１、１４）を把握することもできる。

以上説明したように、本発明の第１の実施形態に係る画像処理装置および画像処理方法によれば、各シーンに属する代表画像Ｉの特徴量Ｓに基づき、複数のシーンをシーングループおよびシーンペアに分類することで、映像のシーン構成を容易に把握することができる。また、分類結果を代表画像Ｉの属性情報として、動画データとともに記憶することで、映像のシーン構成を考慮した動画検索を実現することができる。

［４．第２の実施形態（副画像全体の操作による副画像の縮退表示）］
つぎに、図７から図１２Ａ、１２Ｂを参照して、本発明の第２の実施形態に係る画像処理装置について説明する。

図７に示すように、第２の実施形態に係る画像処理装置では、縮退表示画像生成部２１において、代表画像Ｉの副画像Ｓ全体を操作して縮退表示画像Ｄが生成される（２７）。縮退表示画像生成部２１では、副画像Ｓ全体に対して縮小化、減色化、低階調化等の操作が行われる。

第２の実施形態に係る画像処理装置は、各シーンにおいて２以上の代表画像Ｉが抽出される場合に、利用者がシーン割りされた映像を概観可能となるように、各シーンの代表画像Ｉを表示するための処理を行う。第２の実施形態では、後述するように、代表画像Ｉの主画像Ｍが表示されるとともに、代表画像Ｉの副画像Ｓが副画像Ｓ全体を操作して縮退表示される。

まず、各シーンに属する一連の画像から、例えばシーン長に応じた数等、所定数の代表画像Ｉが抽出される。つぎに、各シーンにおいて２以上の代表画像Ｉが抽出された場合、代表画像Ｉは、主画像Ｍと主画像Ｍに類似する１以上の副画像Ｓに区分される。

図８には、表示対象となる代表画像Ｉの一例が示されている。図８に示す例では、シーン１の３つの代表画像Ｉ１−１、Ｉ１−２、Ｉ１−３、シーン２の２つの代表画像Ｉ２−１、Ｉ２−２およびシーン３の１つの代表画像Ｉ３−１が表示対象となる。ここで、シーン１、２では、２以上の代表画像Ｉが抽出されているので、代表画像Ｉが主画像Ｍと副画像Ｓに区別され、シーン３では、１の代表画像Ｉが抽出されているので、代表画像Ｉが主画像Ｍとして区別される。

図９には、代表画像Ｉからの主画像Ｍの選別結果の一例が示されている。図９に示す例では、代表画像Ｉは、例えば、各シーンに属する一連の画像から所定の間隔（ｎフレーム毎等）で抽出される。この場合、代表画像Ｉは、各シーンに属する一連の画像のうち、シーン毎に割当てられたフレーム番号ｆがｆ＝Ｃ（Ｃ:任意のフレーム番号）、ｆ＝Ｃ＋ｎ、ｆ＝Ｃ＋２ｎ…の画像として抽出される。もちろん、シーンの長さが短いと、フレーム番号ｆ＝Ｃの画像のみが抽出される場合や、ｆ＝Ｃ＝１の場合もある。

そして、所定の基準に従って２以上の代表画像Ｉから主画像Ｍが選別される。ここで、主画像Ｍは、一連の代表画像Ｉのうち、例えばフレーム番号ｆが最も小さい画像から順番に選別されてもよく、最も大きい画像から順番に選別されてもよく、中央値の画像から順番に選別されてもよい。また、主画像Ｍは、一連の代表画像Ｉのうち、表示順序が１番目、１＋ｍ番目、１＋２ｍ番目…の画像として選別されてもよい。図９に示す例では、代表画像Ｉ１−１、Ｉ２−１、Ｉ３−１が主画像Ｍ１−１、Ｍ２−１、Ｍ３−１として選別され、代表画像Ｉ１−２、Ｉ１−３、Ｉ２−２が副画像Ｓ１−２、Ｓ１−３、Ｓ２−２として選別されている。

また、図１０には、代表画像Ｉからの主画像Ｍの選別結果の他の例が示されている。図１０に示す例では、代表画像Ｉは、例えば、各シーンに属する一連の画像から、各画像に予め設定された優先順位ｐに従って抽出される。この場合、代表画像Ｉは、各シーンに属する一連の画像のうち、優先順位ｐ＝１、２、３…の画像として抽出される。もちろん、シーンの長さが短いと、優先順位ｐ＝１の画像のみが抽出される場合もある。

そして、所定の基準に従って２以上の代表画像Ｉから主画像Ｍが選別される。ここでも、主画像Ｍは、フレーム番号ｆに基づき選別されてもよく、代表画像Ｉの表示順序に基づき選別されてもよい。図１０に示す例では、代表画像Ｉ１−２、Ｉ２−２、Ｉ３−１が主画像Ｍ１−２、Ｍ２−２、Ｍ３−１として選別され、代表画像Ｉ１−１、Ｉ１−３、Ｉ２−１が副画像Ｓ１−１、Ｓ１−３、Ｓ２−１として選別されている。

つぎに、各シーンにおいて２以上の代表画像Ｉが抽出された場合、副画像Ｓを縮退表示するために、副画像Ｓ全体を操作した縮退表示画像Ｄが生成される。そして、複数のシーンの代表画像Ｉがシーン遷移順に並べて表示され、各シーンにおいて、２以上の代表画像Ｉが抽出された場合に主画像Ｍとともに縮退表示画像Ｄが表示され、１の代表画像Ｉが抽出された場合に代表画像Ｉが主画像Ｍとして表示される。

図１１Ａ〜１１Ｃには、副画像Ｓ全体の操作による副画像Ｓの縮退表示の例が示されている。図１１Ａ〜１１Ｃに示す例では、図８に示したシーン１〜３の代表画像Ｉ１−１、Ｉ１−２、Ｉ１−３、Ｉ２−１、Ｉ２−２、Ｉ３−１のうち、代表画像Ｉ１−１、Ｉ２−１、Ｉ３−１が主画像Ｍ１−１、Ｍ２−１、Ｍ３−１として表示され、代表画像Ｉ１−２、Ｉ１−３、Ｉ２−２が縮退表示画像Ｄ１−２、Ｄ１−３、Ｄ２−２として表示されている。

図１１Ａに示す態様１では、副画像Ｓ全体を縮小化した縮退表示画像Ｄを生成することで、副画像Ｓが縮退表示されている。この場合、副画像Ｓは、画像情報を判別可能な範囲であれば、主画像Ｍに比べて小さな、いかなるサイズに縮小化されてもよい。

図１１Ｂに示す態様２では、副画像Ｓ全体を減色化（原画像よりも少ない色で表現）した縮退表示画像Ｄを生成することで、副画像Ｓが縮退表示されている。この場合、縮退表示画像Ｄは、白黒で表現されてもよく、セピア色等で表現されてもよい。なお、図１１Ｂでは、表示の便宜上、減色化された画像が破線の線画として表されている。

図１１Ｃに示す態様３では、副画像Ｓ全体を低階調化した縮退表示画像Ｄを生成することで、副画像Ｓが縮退表示されている。この場合、縮退表示画像Ｄは、画像情報を暗く表現し、薄く表現し、またはコントラストを下げて表現する等して、主画像Ｍに比べて低い、いかなる階調で表現されてもよい。なお、図１１Ｃでは、表示の便宜上、低階調化された画像が点線の線画として表されている。

また、縮退表示画像Ｄは、例えば副画像Ｓ全体の縮小化と減色化を組み合わせる等、上記態様１から３を適宜組み合わせることで生成されてもよい。縮退表示画像Ｄは、副画像Ｓ全体の低解像度化、線画化、ぼかし化等により生成されてもよい。さらに、複数の副画像Ｓ間では、例えばフレーム順序や優先順位等に応じて、縮小化のサイズを変更したり、減色化の色を変更したり、低階調化の階調度を段階的に変更したりしてもよい。

図１２Ａには、副画像Ｓの縮退表示の他の例が示されている。図１２Ａに示す例では、各シーンの代表画像Ｉがシーン毎に改行されて表示されている。つまり、シーン１の主画像Ｍ１−１および縮退表示画像Ｄ１−２、Ｄ１−３が一行に表示され、シーン２の主画像Ｍ２−１および縮退表示画像ＤＩ２−２が次の行に表示され、シーン３の主画像Ｍ３−１がさらに次の行に表示されている。なお、副画像Ｓ全体を減色化した縮退表示画像Ｄ（破線の線画）が表示されているが、もちろん、他の態様の縮退表示画像Ｄが表示されてもよい。

図１２Ｂには、副画像Ｓの縮退表示の他の例が示されている。図１２Ｂに示す例は、所定のシーンペアが反復している場合に好適に適用される。この場合、まず、第１の実施形態で説明したシーンペアＩＤに基づき、最初のシーンペアをなす代表画像Ｉ８、Ｉ９が主画像Ｍ８、Ｍ９に区分され、後続のシーンペアをなす代表画像Ｉ１０〜Ｉ１３が副画像Ｓ１０〜Ｓ１３に区分される。そして、シーンペアをなす副画像Ｓ１０〜Ｓ１３を操作してシーンペアをなす縮退表示画像Ｄ１０〜Ｄ１３が生成され、シーンペアをなす主画像Ｍ８、Ｍ９とともに表示される。

以上説明したように、本発明の第２の実施形態に係る画像処理装置および画像処理方法によれば、主画像Ｍとともに縮退表示画像Ｄを表示することで、代表画像Ｉの表示が煩雑とならず、かつ、映像の遷移等の情報が失われない。よって、映像の利用者は、シーン割りされた映像を概観可能となり、映像のシーン構成を容易に把握することができる。

［５．第３の実施形態（副画像に含まれる無変化領域の画像Ｓａのみの操作による副画像の縮退表示）］
つぎに、図１３、図１４および図１５Ａ〜１５Ｅを参照して、本発明の第３の実施形態に係る画像処理装置について説明する。

図１３に示すように、第３の実施形態に係る画像処理装置では、縮退表示画像生成部２１において、副画像Ｓに含まれる無変化領域の画像Ｓａのみを操作して縮退表示画像Ｄが生成される。

縮退表示画像生成部２１では、副画像Ｓの画像領域が変化領域と無変化領域に区分され（２９）、副画像Ｓに含まれる無変化領域の画像Ｓａに対してのみ縮小化、減色化、低階調化、省略化、切出し化等の操作が行われる（３０）。変化領域とは、副画像Ｓの画像領域のうち、相前後する副画像Ｓ間で画像情報が所定閾値以上に変化している画像領域であり、無変化領域とは、同様に画像情報が所定閾値以上に変化していない画像領域である。

副画像Ｓの画像領域は、副画像Ｓに含まれる画素の動きベクトルに基づき変化領域と無変化領域に区分される。動きベクトルは、注目される画像中の各画素が当該画像に相前後する画像中のどの画素に相当するかを推測することで求められる。当該画像に相前後する複数の画像について同様の推測を行うことで、各画素の動きベクトルを精度よく求めることができる。そして、所定閾値以上の動きベクトルを伴う画素が変化領域を構成する画素として区分され、所定閾値未満の動きベクトルを伴う画素が無変化領域を構成する画素として区分される。

第３の実施形態に係る画像処理装置は、第２の実施形態に係る画像処理装置と同様に、各シーンにおいて２以上の代表画像Ｉが抽出される場合に、利用者がシーン割りされた映像を概観可能となるように、各シーンの代表画像Ｉを表示するための処理を行う。第３の実施形態では、後述するように、代表画像Ｉの主画像Ｍが表示されるとともに、代表画像Ｉの副画像Ｓが副画像Ｓに含まれる無変化領域の画像Ｓａのみを操作して縮退表示される。

第３の実施形態でも、第２の実施形態と同様に、まず、各シーンにおいて、各シーンに属する一連の画像から代表画像Ｉが抽出され、２以上の代表画像Ｉが抽出された場合、主画像Ｍと副画像Ｓに区別される。つぎに、各シーンにおいて２以上の代表画像Ｉが抽出された場合、副画像Ｓの画像領域が変化領域と無変化領域に区分され、副画像Ｓに含まれる無変化領域の画像Ｓａのみを操作して、副画像Ｓを縮退表示するための縮退表示画像Ｄが生成される。

そして、複数のシーンの代表画像Ｉがシーン遷移順に並べて表示され、各シーンにおいて、２以上の代表画像Ｉが抽出された場合に主画像Ｍとともに副画像Ｓに含まれる無変化領域の画像Ｓａが縮退表示された縮退表示画像Ｄが表示され、１の代表画像Ｉが抽出された場合に代表画像Ｉが主画像Ｍとして表示される。

図１４には、副画像Ｓに含まれる無変化領域の画像Ｓａのみを操作する方法の概要が示されている。図１４に示すように、まず、副画像Ｓに含まれる画素の動きベクトルに基づき、副画像Ｓから無変化領域の画像Ｓａ（Ｓａ：副画像Ｓに含まれる無変化領域の画像の総称）と変化領域の画像Ｓｂ（Ｓｂ：副画像Ｓに含まれる変化領域の画像の総称）が抽出される。なお、図１４を含む以下の例では、変化領域が矩形の領域として抽出されているが、変化領域は、矩形以外の領域として抽出されてもよい。そして、無変化領域の画像Ｓａを操作して得られた無変化領域の画像Ｄａ（Ｄａ：縮退表示画像Ｄに含まれる無変化領域の画像Ｄａの総称）が生成され、変化領域の画像Ｄｂ（Ｄｂ：縮退表示画像Ｄに含まれる変化領域の画像Ｄｂの総称＝Ｓｂ）と合成される。これにより、無変化領域の画像Ｓａのみが操作された縮退表示画像Ｄが生成される。

図１５Ａ〜１５Ｅには、無変化領域の画像Ｓａのみの操作による副画像Ｓの縮退表示の一例が示されている。図１５Ａ〜１５Ｅに示す例では、図８に示したシーン１〜３の代表画像Ｉ１−１、Ｉ１−２、Ｉ１−３、Ｉ２−１、Ｉ２−２、Ｉ３−１のうち、代表画像Ｉ１−１、Ｉ２−１、Ｉ３−１が主画像Ｍ１−１、Ｍ２−１、Ｍ３−１として表示され、代表画像Ｉ１−２、Ｉ１−３、Ｉ２−２が縮退表示画像Ｄ１−２、Ｄ１−３、Ｄ２−２として表示されている。なお、図１５Ａ、１５Ｂ、１５Ｃ、１５Ｅでは、無変化領域の画像Ｓａと変化領域の画像Ｓｂを区別するために、無変化領域と変化領域の間に境界線が示されているが、副画像Ｓの表示に際しては、境界線の表示が省略される。

図１５Ａに示す態様１では、無変化領域の画像Ｓａを減色化（減色で表現）することで、副画像Ｓが縮退表示されている。縮退表示画像Ｄは、操作された無変化領域の画像Ｄａと操作されていない変化領域の画像Ｄｂで構成される。この場合、無変化領域の画像Ｄａは、白黒で表現されてもよく、セピア色等で表現されてもよい。なお、図１５Ａでは、表示の便宜上、減色化された画像が破線の線画として表されている。

図１５Ｂに示す態様２では、無変化領域の画像Ｓａを低階調化した縮退表示画像Ｄを生成することで、副画像Ｓが縮退表示されている。縮退表示画像Ｄは、操作された無変化領域の画像Ｄａと操作されていない変化領域の画像Ｄｂで構成される。この場合、無変化領域の画像Ｄａは、画像情報を暗く表現し、薄く表現し、またはコントラストを下げて表現する等して、変化領域に比べて低い、いかなる階調で表現されてもよい。なお、図１５Ｂでは、表示の便宜上、低階調化された画像が点線の線画として表されている。

図１５Ｃに示す態様３では、無変化領域の画像Ｓａを省略することで、副画像Ｓが縮退表示されている。各縮退表示画像Ｄは、無変化領域Ｓａに相当する白抜きの画像Ｄａと操作されていない変化領域の画像Ｄｂで構成される。この場合、副画像Ｓは、無変化領域の画像Ｓａが白抜きされているが、主画像Ｍと同一のサイズで表示されている。

図１５Ｄに示す態様４では、変化領域の画像Ｓａを切出すことで、副画像Ｓが縮退表示されている。この場合、副画像Ｓは、主画像Ｍに比べて小さなサイズで表示されている。各縮退表示画像Ｄは、操作されていない変化領域の画像Ｄｂのみで構成される。

図１５Ｅに示す態様５では、無変化領域の画像Ｓａを減色化または低調化し、変化領域と変化領域を囲む無変化領域の一部からなる画像を切出すことで、副画像Ｓが縮退表示されている。各縮退表示画像Ｄは、変化領域を囲む一部の無変化領域の画像をなす操作された画像Ｄａと、操作されていない変化領域の画像Ｄｂで構成される。この場合、副画像Ｓは、態様４に比べて大きなサイズであるいが、主画像Ｍに比べて小さなサイズで表示されている。

また、第２の実施形態でも、縮退表示画像Ｄは、例えば無変化領域の画像Ｓａの減色化と低階調化を組み合わせる等、上記態様１から５を適宜組み合わせることで生成されてもよい。縮退表示画像Ｄは、無変化領域の画像Ｓａの低解像度化、線画化、ぼかし化等により生成されてもよい。さらに、複数の副画像Ｓ間では、例えばフレーム順序や優先順位等に応じて、減色化の色を変更したり、低階調化の階調度を段階的に変更したりしてもよい。また、図１２Ａを参照して説明したように、各シーンの代表画像Ｉがシーン毎に改行されて表示されてもよく、図１２Ｂを参照して説明したように、最初のシーンペアをなす代表画像Ｉが主画像Ｍとして表示され、後続のシーンペアをなす代表画像Ｉが縮退表示画像Ｄとして表示されてもよい。

以上説明したように、本発明の第３の実施形態に係る画像処理装置および画像処理方法によれば、主画像Ｍとともに、副画像Ｓに含まれる無変化領域の画像Ｓａのみが操作された縮退表示画像Ｄを表示することで、映像の遷移等の情報が強調して表示される。よって、映像の利用者は、シーン割りされた映像を映像の遷移を参照しつつ概観可能となり、映像のシーン構成を容易に把握することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記説明では、複数のシーンの代表画像をシーン遷移順に横方向に並べて表示する場合について説明した。しかし、代表画像は、縦方向や斜め方向等、一定の方向に並べて表示されてもよい。

１１ データ取得部
１３ シーン遷移検出部
１５ シーン区分部
１７ 代表画像抽出部
１９ 代表画像区分部
２１ 縮退表示画像生成部
２３ 代表画像表示部
２５ データ記憶部
Ｉ 代表画像
Ｍ 主画像
Ｓ 副画像
Ｄ 縮退表示画像
Ｓａ 副画像に含まれる無変化領域の画像
Ｓｂ 副画像に含まれる変化領域の画像
Ｄａ 縮退表示画像に含まれる無変化領域の画像
Ｄｂ 縮退表示画像に含まれる変化領域の画像（＝Ｓｂ）

Claims (18)

1. 一連の画像からなる動画のデータに基づき前記動画中のシーン遷移を検出するシーン遷移検出部と、
   各シーンに属する一連の画像から所定数の代表画像を抽出する代表画像抽出部と、
   前記各シーンにおいて２以上の代表画像が抽出された場合、前記代表画像を主画像と副画像に区分する代表画像区分部と、
   前記副画像を縮退表示するために、前記副画像を操作して縮退表示画像を生成する縮退表示画像生成部と、
   複数のシーンの前記代表画像をシーン遷移順に並べて表示し、かつ、前記各シーンにおいて、２以上の代表画像が抽出された場合に前記主画像とともに前記縮退表示画像を表示し、１の代表画像が抽出された場合に前記代表画像を表示する代表画像表示部と
   を備える画像処理装置。
2. 前記縮退表示画像生成部は、前記副画像の画像領域を変化領域と無変化領域に区分し、前記副画像に含まれる前記無変化領域の画像のみを操作して前記縮退表示画像を生成する、請求項１に記載の画像処理装置。
3. 前記縮退表示画像は、前記副画像に含まれる前記無変化領域の画像を減色化して生成される、請求項２に記載の画像処理装置。
4. 前記縮退表示画像は、前記副画像に含まれる前記無変化領域の画像を低階調化して生成される、請求項２に記載の画像処理装置。
5. 前記縮退表示画像は、前記副画像に含まれる前記無変化領域の画像を省略して生成される、請求項２に記載の画像処理装置。
6. 前記縮退表示画像は、前記副画像に含まれる前記変化領域の画像のみを切出して生成される、請求項２に記載の画像処理装置。
7. 前記縮退表示画像は、前記副画像に含まれる前記無変化領域の画像を減色化または低階調化し、前記変化領域と前記変化領域を囲む一部の前記無変化領域の画像を切出して生成される、請求項２に記載の画像処理装置。
8. 前記縮退表示画像は、前記副画像全体を縮小化して生成される、請求項１に記載の画像処理装置。
9. 前記縮退表示画像は、前記副画像全体を減色化して生成される、請求項１に記載の画像処理装置。
10. 前記縮退表示画像は、前記副画像全体を低階調化して生成される、請求項１に記載の画像処理装置。
11. 前記代表画像抽出部は、前記各シーンの長さに応じた数の代表画像を抽出する、請求項１に記載の画像処理装置。
12. 前記複数のシーンの代表画像は、シーン毎に改行してシーン遷移順に並べて表示される、請求項１に記載の画像処理装置。
13. 前記各シーンの代表画像の特徴量に基づき、前記複数のシーンをシーングループに区分するシーン区分部をさらに備える、請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記シーン区分部は、前記シーングループの区分結果に基づき、前記複数のシーンを所定の連続性を伴って対をなすシーンペアに区分する、請求項１３に記載の画像処理装置。
15. 前記シーングループを表す情報は、前記各シーンの代表画像の属性情報として、前記動画のデータに関連付けて記憶される、請求項１３に記載の画像処理装置。
16. 前記シーンペアを表す情報は、前記各シーンの代表画像の属性情報として、前記動画のデータに関連付けて記憶される、請求項１４に記載の画像処理装置。
17. 一連の画像からなる動画のデータに基づき前記動画中のシーン遷移を検出するステップと、
    各シーンに属する一連の画像から所定数の代表画像を抽出するステップと、
    前記各シーンにおいて２以上の代表画像が抽出された場合、前記代表画像を主画像と副画像に区分するステップと、
    前記副画像を縮退表示するために、前記副画像を操作して縮退表示画像を生成するステップと、
    複数のシーンの前記代表画像をシーン遷移順に並べて表示し、かつ、前記各シーンにおいて、２以上の代表画像が抽出された場合に前記主画像とともに前記縮退表示画像を表示し、１の代表画像が抽出された場合に前記代表画像を表示するステップと
    を含む画像処理方法。
18. 請求項１７に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images