JP2005352718A - 代表画像選択装置，代表画像選択方法および代表画像選択プログラム - Google Patents

Abstract

【課題】映像に代表画像を選択するためのインデックスを付与し，ユーザの活用用途に応じた代表画像を選択することを可能とする。
【解決手段】代表画像選択装置１の動画像入力部１１が動画像を入力し，注目物体輪郭抽出部１２が動画像の各フレームから一つまたは複数の注目物体の輪郭を抽出し，代表画像適合度算出部１３が輪郭評価基準格納部１６に格納された輪郭評価基準に基づいて注目物体輪郭抽出部１２の出力を評価して各フレームの代表画像としての適合度を算出し，インデックス付与部１４が注目物体輪郭抽出部１２の出力の評価方法と算出された適合度とを，動画像の各フレームにインデックスとして付与し，動画像出力部１５がインデックスを付与された動画像を出力する。
【選択図】図１

Description

本発明は，カメラによって物体を撮影した動画像に，その動画像を利用するためのインデックスを与える技術に関し，特に，動画像中から注目物体を決め，注目物体と背景が最もよく分離できるフレームを選択し，代表画像とする代表画像選択装置，代表画像選択方法および代表画像選択プログラムに関するものである。

映像の検索，編集，早見など，用途に応じて映像にインデキシングを行う技術の従来例として，次のようなものがある。

下記の特許文献１「ビデオの代表画像一覧作成方法および装置」には，ビデオの代表的な画像を選択し，その代表画像がもつシーンの継続時間と場所を一覧化する技術が記載されている。代表画像の選択方法は，手動または自動で，自動の場合には，一定間隔のフレームとするか，あるいはシーンの切り替わりを検出している。この場合，自動でシーンの切り替わりを検出しても，切り替わりの瞬間のフレームに必ずしも注目物体が鮮明に含まれているとは限らず，的確な代表画像になるとは限らない。

特許文献２「ショット検出方法および代表画像記録・表示装置」に記載された技術も，ショットの変化を検出し，映像を適当な単位にまとめ，その単位ごとに代表的な画像を抽出する技術である。画像の選択は，ズーム，パン，色ヒストグラム，周波数などに基づいて行う。シーンの切り替わりは検出できるが，これが代表画像に必ずしも適しているとは限らない。

特許文献３「代表画像表示方法，代表画像表示装置およびこの装置を用いた動画像検索装置」に記載された技術は，あるシーンにおいて，そのシーンに含まれる各フレームから動物体の輪郭を抽出し，この輪郭を重ね合わせた合成画像をそのシーンの代表画像とする技術である。しかし，後述する本発明で目的としているように，各フレームの代表画像としての適合度を評価したり，映像の各フレームにユーザの活用用途に応じた代表画像を選択するためのインデックスを与えることはできない。

下記の非特許文献１，非特許文献２は，輪郭抽出技術であり，後述する本発明中の注目物体輪郭抽出部に応用することは可能であるが，各フレームの代表画像としての適合度を評価したり，映像の各フレームにインデックスを与えることはできない。
特開平７−７９４０４号公報 特開平７−２３６１１５号公報 特開平９−２１４８６６号公報 坂上，山本，「動的な網のモデル Active Net とその領域抽出への応用」，テレビジョン学会誌，1991年，vol.45，No.10 ，p.1155-1163 境田，苗村，金次，「背景差分法と時空間 watershed による領域成長法を併用した動画像オブジェクトの抽出」，電子情報通信学会論文誌 DII，2001年，Vol.J84-DII ，No.12 ，p.2541-2555

上記のように，従来技術では，動画像からの代表画像の選択方法としては，シーン変化を検出して，シーンの切り替わりのフレームを代表画像としていた。しかし，カメラのパンやズーム，色などの変化によって定義されたシーンの変わり目のフレームには，必ずしもそのシーンで最も注目したい被写体が含まれているとは限らない。

代表画像は，それだけを閲覧しても映像のダイジェストとして映像全体の内容が把握できるような画像が選ばれることが望ましい。もとの映像が，何か対象物体を撮影したものであった場合，その対象物体が含まれている必要がある。また，対象物体が含まれるフレームの中でも，どれを代表画像とするかは，その後の用途にもよるため，ユーザが代表画像の選択方法を指示できることが望ましい。

本発明は，以上のような事情に基づきなされたものであって，注目物体がぶれずに最も鮮明に映っているフレームを代表画像として選択することができ，また，ユーザの活用用途に応じた代表画像の選択を可能にすることを目的とする。

上記の目的を達成するため，本発明は，動画像を入力し，動画像の各フレームから一つまたは複数の注目物体領域の輪郭を抽出し，データベースに格納された輪郭評価基準または外部から入力された輪郭評価基準を用いて，各フレームが代表画像となり得るかどうかを評価するための注目物体領域と背景領域の分離度を算出する。分離度の例としては，注目物体領域内画素の特徴量の分布の平均値と背景領域内画素の特徴量の分布の平均値や，マハラノビス距離などがある。

次に，本発明では，各フレームの代表画像としての適合度を点数として算出する。この点数は，算出された分離度の値そのものでもよいし，算出された分離度を用いて，輪郭評価基準中に用意された評価関数に基づいて算出された値でもよい。そして，算出された適合度をインデックスとして動画像の各フレームに付与し，インデックスを付与された動画像を出力する。

上記注目物体領域の輪郭の抽出は，以下のようにして行う。まず，入力された動画像を，フレームごとに，上記一つまたは複数の注目物体の一部または全体を含む小領域に分割する。そして，分割された各小領域内の各画素について一つまたは複数の特徴量を抽出する。特徴量は，例えば，輝度，色，オプティカルフローなどである。特徴量を抽出する場合，例えば，処理対象のフレームとその近傍のフレームとを使って動きに基づく特徴量を抽出するか，処理対象のフレームを使って動きに基づかない特徴量を抽出するか，その双方の特徴量を抽出する。

分割された各小領域ごとに，特徴量の全てあるいは一部を用いて各画素が２つの領域のどちらに属するのかをクラス分けする場合に，そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う。次に，隣接する各小領域について，前記特徴量を用いて，同じクラスにクラス分けされた領域の対応づけを行い，それに基づいて，同じクラスにクラス分けされた領域同士をつなぎ合わせることで，前記注目物体の輪郭を抽出して背景から分離する。

本発明を用いて，注目物体を背景から最もきれいに分離できるフレームの原画像を代表画像とすることで，注目物体が動きのためにぶれている画像ではなく，注目物体が鮮明なフレームを代表画像として選択することができる。このようにして得られた代表画像は，注目物体が鮮明に映っているため，利用しやすい。

また，輪郭の抽出方法は，前景も背景も動きがある場合に適用可能な手法であるため，携帯カメラや携帯端末で移動しながら撮影して注目物体も背景も動いているような画像にも適用できる。

本発明の装置は，コンピュータとプログラムによっても実現でき，プログラムを記録媒体に記録することも，ネットワークを通して提供することも可能である。

本発明によれば，映像から対象物体を抽出し，対象物体に基いた判定基準によって，映像中のフレームの代表画像としての適合性を評価し，適合度をインデックスとしてフレームに付加することができる。これによって，ユーザの活用用途に応じた代表画像を選択することができる。

〔第１の実施の形態〕
はじめに，図１を用いて本発明の第１の実施の形態を説明する。図１は，代表画像選択装置の構成例を示す図である。また，図２は，その処理フローチャートである。代表画像選択装置１は，動画像入力部１１，注目物体輪郭抽出部１２，代表画像適合度算出部１３，インデックス付与部１４，動画像出力部１５，輪郭評価基準格納部１６を備える。１６０は輪郭評価基準格納部１６に格納される輪郭評価基準である。

動画像入力部１１は，動画像を入力し（図２のステップＳ１），動画像のフレームごとに順番に注目物体輪郭抽出部１２へ送る。以下の処理は，フレームごとに行われるため，入力の動画像としては，ビデオカメラで撮影された動画像のほか，デジタルカメラの連写機能で撮影したＭｏｔｉｏｎＪＰＥＧ形式の動画像などでもよい。

注目物体輪郭抽出部１２は，図１（Ａ）に示すような画像の時系列の各フレームごとに注目物体の輪郭抽出を行う（図２のステップＳ２）。注目物体領域は，デフォルトで動領域とする。隣接するフレーム間で局所的なテンプレートマッチングを行うなどの方法で動領域を検出することができる（例えば，「デジタル画像入力の基礎」コロナ社，第３章，ｐｐ．１３７参照）。

この領域を注目物体領域の初期値，それ以外の領域を背景領域の初期値として，注目物体領域の輪郭抽出を行う。輪郭抽出の技術としては，例えば，上記非特許文献１に記載されたような，動的輪郭モデルを用いる方法などがある。

輪郭評価基準格納部１６は，輪郭評価基準１６０を格納する手段である。輪郭評価基準１６０は，各フレームが代表画像となり得るかどうかを評価するためにあらかじめ用意された基準で，注目物体輪郭抽出部１２の出力について評価を行う基準である。輪郭評価基準１６０は，外部の装置から入力されるようなものであってもよい。

代表画像適合度算出部１３は，注目物体輪郭抽出部１２の出力と，輪郭評価基準１６０とに基づいて，各フレームの代表画像としての適合度を算出する（図２のステップＳ３）。

例えば，代表画像適合度算出部１３は，注目物体輪郭抽出部１２で算出された，最終的な尤度（注目物体と背景との特徴量の分布のあてはまりの良さ），各画素の座標値と，背景領域／注目物体領域のいずれかを示すフラグと，輪郭上の画素の座標値と，領域分割の過程で算出した特徴量とを対応させたデータ配列，を入力とし，輪郭評価基準１６０に基づいて，各フレームの代表画像としての適合度を点数として算出する。適合度は，理想的な代表画像との近さを示すものであり，点数は，適合度を評価するため，画像の特徴量のテンプレートとの距離に基づく評価関数に特徴量を代入して得られる値である。

インデックス付与部１４は，例えば，代表画像適合度算出部１３から入力された各フレームの画像と，そのフレームから抽出された注目物体の輪郭と，その輪郭の背景からの分離度と，輪郭を評価した評価方法とその結果の点数を，評価方法と点数をインデックスとする図３に示すようなデータ構造に書き込むことで，各フレームの画像にインデックスを付与する（図２のステップＳ４）。動画像出力部１５は，インデックスを付与された動画像を出力する（図２のステップＳ５）。

各フレームの画像へのインデックスの付与によって，ユーザは，例えば，所望の評価方法で評価した結果，点数が高かった図１（Ｂ）の斜線部に示すフレームだけを代表画像として検索することができる。

また，インデックス付与部１４は，代表画像適合度算出部１３から入力された各フレームの画像と，そのフレームから抽出された注目物体の輪郭と，その輪郭の背景からの分離度と，輪郭を評価した評価方法とその結果の点数と，後述する代表画像条件入力部によって入力された代表画像を選択する条件とを，評価方法と点数と条件をインデックスとする図１１に示すようなデータ構造に書き込む場合もある。

図４および図５に従って，輪郭評価基準１６０を用いた代表画像適合度算出部１３の処理の例を述べる。輪郭評価基準１６０による評価方法として，（ａ）注目物体領域の形状と大きさを評価する方法，（ｂ）輪郭線の性質を定量的に評価する方法，（ｃ）注目物体領域と背景領域の分離度，分離度の時間的な変化，注目物体輪郭抽出部１２の出力である全体の尤度（注目物体と背景との特徴量の分布のあてはまりの良さ）が一定値以上であるかどうかを評価する方法，（ｄ）上記評価方法を複数組み合わせる方法などがある。

（ａ）注目物体領域の形状と大きさの評価
図４（Ａ），（Ｂ）は，注目物体輪郭抽出部１２の出力である注目物体領域の形状や大きさの評価の例を説明する図である。これらの図に示すように，例えば，注目物体輪郭抽出部１２の出力である各画素の座標値と，その画素が背景領域／注目物体領域のいずれに属するかを示すフラグが対応している配列から，背景領域を“０”，注目物体領域を“１”とする二値画像を作成し，テンプレートマッチング（例えば，「コンピュータ画像処理入門」総研出版，第５章，ｐｐ．１４９参照）を行う。作成した二値画像に対して，形状の内部を“１”，背景を“０”とした二値画像によるテンプレートを，その大きさと位置を変えながら重ね合わせて，重なる面積が最大となるときの形状内部の面積に対する重なり部分の面積の比率を一致度とする。

点数は，この一致度と，その時の大きさでもよいし，それらから所定の関数で算出された値でもよい。その他，輪郭の凹凸性などの特徴の評価関数を用いてもよい（例えば，「コンピュータ画像処理入門」総研出版，第３章 ３．４図形形状特徴を参照）。以上の例に限らず，注目物体領域の形状と大きさを定量的に評価できる手法であればよい。

（ｂ）輪郭線の性質の評価
図４（Ｃ）は，輪郭線の性質の評価の例を説明する図である。輪郭の長さ，輪郭が閉曲線であるかどうか，端点の位置，輪郭の滑らかさなどを評価する。輪郭の長さは，境界線追跡などにより求める（例えば，「画像処理工学基礎編」共立出版株式会社，第７章，ｐｐ．１２６参照）。

閉曲線かどうかは，始点と終点が一致するかどうかで判定する。端点の位置は，図４（Ｃ）に示すように，注目物体領域と背景領域の境界（輪郭線）上の画素をたどり，画像領域のｘまたはｙの最大値か最小値をとる画素があるかどうかで判定する。輪郭の滑らかさは，輪郭の１次差分や２次差分を用いた評価関数によって求める。

これらと，これらの項目の基準値とを比較した結果の点数を与える。各項目をパラメータとする適当な関数を用意しておき，これを用いて算出する。以上の例に限らず，輪郭線の性質を定量的に評価できる手法であればよい。

（ｃ）注目物体領域と背景領域の分離度，分離度の時間的な変化，注目物体輪郭抽出部１２の出力である全体の尤度が一定値以上であるかどうかの評価
図５は，この評価の例を説明する図である。注目物体領域と背景領域の分離度，分離度の時間的な変化，注目物体と背景との特徴量の分布のあてはまりの良さが一定値以上であるかどうかを評価する。分離度は，ここでは注目物体領域に属する画素の特徴量の分布と，背景領域に属する画素の特徴量の分布との特徴空間における重なりの程度を示すものであり，分布の重なりが大きい場合を分離度が低い，重なりが小さい場合を分離度が高いとしている。点数は，この注目物体領域と背景領域の特徴量の分布の分離度などとする。図５（Ｂ）に示す例では，図５（Ａ）に示す画像中の背景領域内画素の特徴量の分布の平均と，注目物体領域内画素の特徴量の分布の平均を求め，双方の平均値間の距離を分離度としている。なお，分離度としては，マハラノビス距離（例えば，「わかりやすいパターン認識」オーム社，ｐｐ．１２１−１２２参照）などを用いることもできる。

また，注目物体と背景との特徴量の分布のあてはまりの良さ（尤度）が一定値以上であるかどうかを評価してもよい。また，それらを入力とした関数を用意しておいてもよい。また，尤度が時間的にどのように変化するかを評価してもよい。尤度小→大または尤度大→小など，フレーム間で尤度に急な変化が生じたとき，これを検出する。点数は，尤度の変化量でもよいし，それを入力とした関数を用意しておいてもよい。以上の例に限らず，注目物体領域と背景領域の分離度やその時間変化を定量的に評価できる手法であればよい。

（ｄ）上記の評価の組み合わせ
本発明の実施の形態では，上記の例のような評価の複数の組み合わせを行ってもよい。また，どの基準を用いるかは，ユーザがその後の用途に応じて選択することができる。

〔第２の実施の形態〕
次に図６を用いて，本発明の第２の実施の形態を説明する。図６は，第２の実施の形態に係る代表画像選択装置の構成例を示す図である。代表画像選択装置２は，図１に示す代表画像選択装置１の構成に，注目物体指示部２１を加えた構成である。注目物体指示部２１以外の構成は，図１に示す代表画像選択装置１が備える構成と同じである。

注目物体指示部２１は，注目物体領域をユーザが指示するための手段である。上記第１の実施の形態において，注目物体輪郭抽出部１２では，デフォルトで動領域すべてを注目物体とみなす例を述べた。第２の実施の形態では，それ以外に図６に示すように，注目物体指示部２１を設け，複数の決定方法を持たせ，これを注目物体指示部２１によりユーザに指示させたのち画像処理を行うことによって注目物体を決定することができるようにしている。

指示方法の例としては以下のようなものがある。（１）ある一定以上の面積をもつ動領域を選択する，（２）動きベクトルの絶対値がある一定以上の値をもつ領域を選択する，（３）動領域のうち，あらかじめ登録されたテンプレートによるテンプレートマッチングを行い，相関の高い領域を選択する，（４）ＧＵＩ（Graphical User Interface）によって，注目物体領域をユーザにマウス等で選択させる，などである。

〔第３の実施の形態〕
次に，本発明の第３の実施の形態を説明する。図７は，本発明の第３の実施の形態に係る注目物体輪郭抽出部の構成例を示す図である。第３の実施の形態は，第１および第２の実施の形態における代表画像選択装置１，２における注目物体輪郭抽出部１２の一例として，図６に示す注目物体輪郭抽出部１２を用いた例である。

注目物体輪郭抽出部１２は，小領域設定部１２１と，特徴ベクトル抽出部１２２と，小領域分割部１２３と，領域抽出部１２４とからなり，動画像入力部１１から入力された画像の時系列の各フレームについて，注目物体の輪郭を求める。

まず，小領域設定部１２１は，注目物体を含むような領域を複数個の小領域に分割する。例えば，注目物体指示部２１からの指示入力がある場合には，指示された領域全体を含むような１つ以上の小領域を設定する。例えば，図８に示すように，画像領域をＮ（Ｎ≧２）個の小領域に分割して，それらの小領域を単位とする画素の座標と画素値とを組とする情報を保持する。

特徴ベクトル抽出部１２２は，小領域内の画素について特徴量を求める。特徴量は，輝度，色，オプティカルフローなどで，すべての画素について求める。そして，画素の座標と特徴量とを組とする情報を保持する。

次に，小領域分割部１２３において，各小領域内の注目物体領域と背景領域のそれぞれの特徴量の分布に基づいて，各画素がそれぞれの領域に含まれる確率を求め，最もあてはまりのよいように，すなわち，尤度が最大となるように，小領域における注目物体領域と背景領域を分割し直し，その時の尤度を算出する。

よく知られている一般的な尤度の定義について簡単に説明する。確率密度関数がｆ（ｙ，θ）で与えられるとき，確率変数Ｙ₁ ，Ｙ₂ ，…，Ｙ_n の観測値ｙ₁ ，ｙ₂ ，…，ｙ_n に対して，
Ｌ＝Π_i ｆ（ｙ_i ，θ）
をθの関数とみて，これを尤度関数と呼ぶ（“確率モデルによる音声認識”（電子情報通信学会），ｐ．５１参照）。このＬのとり得るいろいろな値を尤度と呼ぶ。すなわち，確率モデルｆ（ｙ，θ）を仮定したときに，観測値ｙ₁ ，ｙ₂ ，…，ｙ_n が得られる確率であり，確率モデルｆ（ｙ，θ）への観測値のあてはまりの良さを評価する値である。

本実施の形態では，この尤度が最大となるように小領域を分割し直す処理を繰り返すことによって，注目物体領域と背景領域とを正確に分離する。繰り返しの回数は所定回数に達するか，または尤度が所定値以上になるまでとする。

小領域分割部１２３の処理について，さらに詳しく説明する。小領域分割部１２３は，特徴ベクトル抽出部１２２から各小領域Ｃ_i （１≦ｉ≦Ｎ）の持つ画素の座標と特徴量とを組とする情報を受信し，小領域ごとに各特徴量（Ｆ₁ 〜Ｆ_M ）を使って，各画素を２つのクラスに分割する処理を行う。具体的にはその特徴量を使うと，その画素がどちらのクラスに属するのかということと，そのクラスに属する確率と，その特徴量を用いてクラス分けを行う場合の小領域全体の尤度（クラス分けの分離度を示す値：高い値ほど特徴量の分布のモデルへのあてはまりがよいことを示す）とを算出する処理を行う。そして，画素の座標と特徴量とを組とする情報に，上記処理結果である，画素ごとの推定クラスとそのクラスに属する確率と小領域全体の尤度とを加えた情報を保持する。

小領域Ｃ_i を領域Ｚ₁ と領域Ｚ₂ の２つのクラスに分割する手順について説明する。この分割は，画素の特徴量に基づいて行う。小領域内において特徴量は，物体部分と背景部分のそれぞれにおいて，おおむね一様であるが，通常はガウス分布のように，ある平均値のまわりに多少の分散をもって分布すると考えられる。

領域分割においては，この分布を推定する統計的手法が有効である。例えば，ガウス分布を仮定して，平均と分散とをパラメータとし，領域分割の形状とパラメータ値とを推定する最尤推定を行う。物体候補領域Ｆ’と背景候補領域Ｂ’との境界を含む複数の小領域について，特徴量の平均値，分散値などのパラメータの推定と尤度算出とを繰り返すことで，最終的に領域分割の形状を推定する。

アルゴリズムとしては，例えば，パラメータの推定（Ｅ（Expectation)ステップ）と最大尤度推定（Ｍ（Maximization) ステップ）とを繰り返すＥＭアルゴリズム（参考文献：情報処理, vol.37, No.1, pp.43-46, Jan, 1996)を用いる。

このＥＭアルゴリズムは，最急降下法と同様に解を逐次改良していく繰り返し探索のアルゴリズムであり，このアルゴリズムによって正確な領域を決定し，小領域Ｃ_i を領域Ｚ₁ と領域Ｚ₂ との２つのクラスに分割する。ＥＭアルゴリズムでは，Ｅステップで，すべての特徴量について並列的にパラメータの推定を行ない，Ｍステップで，すべての特徴量の尤度の合計（下記に示すＱ_i （Ｆ_m ）の合計）を評価関数として最尤推定を行う。

例えば，ｉ番目の小領域をＭ個の特徴量Ｆ₁ 〜Ｆ_M によって分割した処理結果は，
（イ）ｋ番目の画素について求めた特徴量Ｆ₁ 〜Ｆ_M ：Ｆ_1k〜Ｆ_Mk
（ロ）ｋ番目の画素が各特徴量ｍにより領域Ｚ_i1と領域Ｚ_i2のどちらのクラスに分類されたのかを示す情報：Ｚ_mk
（ハ）ｋ番目の画素がクラス分けされた領域Ｚ_mkに属する確率：Ｐ_mk（Ｚ_mk）
（ニ）特徴量ごとの小領域Ｃ_i 全体での尤度：Ｑ_i （Ｆ₁ ）〜Ｑ_i （Ｆ_M ）
但し，Ｑ_i （Ｆ_m ）＝Σ_k ｌｏｇＰ_mk（Ｚ_mk）
という値の組として得られる。

最後に，領域抽出部１２４では，一つの小領域に含まれる注目物体領域と背景領域と，それに隣接する小領域に含まれる注目物体領域と背景領域とを，それぞれの領域の特徴量の分布の近いもの同士を同じ領域とみなすことで，統合する。ここで，領域が統合されたとは，隣り合う２つの小領域で，接する辺上の境界線をつなぎ，つながれた境界線の同じ側が同じクラス（ここでは，物体領域と背景領域の２つのクラス）に属するように決定されたことをいう。

各小領域を以下のようにして統合することにより，画像全体の物体領域と画像全体の背景領域とが求められる。各小領域の統合処理について，具体的に説明する。統合の基本的なルールとして，ある２つの隣り合う小領域Ｃ_i,Ｃ_j において，小領域Ｃ_i 内の２つのクラスＺ_i1／Ｚ_i2と，小領域Ｃ_j 内の２つのクラスＺ_j1／Ｚ_j2とのクラス間の対応を決定する。そして，クラス同士をつなぐ境界線を矛盾なくつなぐ。

統合処理では，まず，特徴量の分布（例えば平均値）を使って，図９（Ａ）に示す小領域Ｃ_i 内の２つのクラスＺ_i1／Ｚ_i2と，小領域Ｃ_j 内の２つのクラスＺ_j1／Ｚ_j2とのクラス間の対応を決定する。例えば，Ｚ_i1とＺ_j1とが同じクラスに属し，Ｚ_i2とＺ_j2とが同じクラスに属するという対応関係を決定するのである。

図９（Ａ）および（Ｂ）の上段に示すように，小領域Ｃ_i はクラスＺ_i1とＺ_i2とに分割され，Ｃ_i と隣り合う小領域Ｃ_j はクラスＺ_j1とＺ_j2とに分割されているものとする。図９（Ａ）および（Ｂ）の下段に示す各小領域における各クラスの特徴量の分布に基づいて，特徴量の分布形状の近い方を同じクラスとしてラベルづけする。その後，図９（Ｃ）に示すように，クラス同士をつなぐ境界線を矛盾なくつなぐ。特徴量の分布の近さは，平均値などの統計量を比較するか，マハラノビス距離などにより判定することができる。

以上の処理の結果，注目物体輪郭抽出部１２は，時系列の画像と，画像の各フレームに対応づけられた輪郭情報と，輪郭抽出の際に得られた注目物体の背景からの分離度を出力する。

〔第４の実施の形態〕
次に図１０を用いて，本発明の第４の実施の形態を説明する。図１０に示す代表画像選択装置３は，図６に示す代表画像選択装置２の構成に，代表画像条件入力部３１と代表画像条件判定部３２とを加えたものである。代表画像条件入力部３１と代表画像条件判定部３２以外の構成は，代表画像選択装置２が備える構成と同じである。

代表画像条件入力部３１は，輪郭評価基準１６０で与えられた輪郭に基づく評価基準とは別の，代表画像の選択条件を，ユーザに選択入力させる手段である。代表画像の選択条件の例として，背景色の特定，背景に特定の物体（人，顔，文字，テロップなど）が含まれるかどうかなどの条件がある。ユーザは，これらのうち一つまたは複数の条件を選択することができる。

代表画像条件判定部３２は，代表画像条件入力部３１で入力された条件に従って，動画像入力部１１から入力されたフレームの条件判定を行う。代表画像条件判定部３２は，代表画像条件入力部３１が持つ条件に対応した判定処理関数をもち，条件判定を行う。

例えば，特定の背景色を選択するという条件に対応する判定処理としては，色ヒストグラムを求めて，特定の背景色の色ヒストグラムと比較する。代表画像条件判定部３２による判定の結果，現在の着目フレームについて，例えば「背景色が青」というような選択のための条件が検出されると，その選択条件をインデックス付与部１４に通知する。また，代表画像条件判定部３２は，特定の物体が含まれるという条件に対応する判定処理としては，特定の物体のテンプレートとのマッチングを行う。その結果，現在の着目フレームについて，例えば「顔が含まれる」というような選択のための条件が検出されると，その選択条件をインデックス付与部１４に通知する。

この条件判定は，入力された動画像のすべてのフレームに対して行うようにしてもよいし，代表画像適合度算出部１３において算出された点数が所定値以上のフレームに対してのみ行うようにしてもよい。

インデックス付与部１４では，代表画像適合度算出部１３から入力された各フレームの画像と，そのフレームから抽出された注目物体の輪郭と，その輪郭の背景からの分離度と，輪郭を評価した評価方法とその結果の点数と，代表画像条件入力部３１によって入力された，代表画像を選択する条件を，評価方法と点数と条件をインデックスとする図１１に示すようなデータ構造に書き込む。

〔第５の実施の形態〕
次に，図１２を用いて，本発明の第５の実施の形態を説明する。図１２に示す代表画像選択装置４は，図１の代表画像選択装置１の構成にシーン分離部４１とシーン結合部４２とを加えた構成を採る。

シーン分離部４１とシーン結合部４２以外の構成は，代表画像選択装置１が備える構成と同じである。シーン分離部４１は，例えば図１３（Ａ）に示すような長時間の映像を入力とし，これを図１３（Ｂ）に示すシーン１とシーン２のような短いシーンに分割する手段であり，映像からのシーン検出方法の従来手法（例えば，上記特許文献１，特許文献２，特許文献３に記載された手法）に置き換えることができる。これ以外でも，一定時間に分割するなどの方法で分割してもよい。

インデックス付与部１４により，シーン１とシーン２のそれぞれに含まれるフレームにインデックスが付与され，図１３（Ｃ）の斜線部に示すフレームが各シーンの代表画像とされると，シーン結合部４２は，図１３（Ｄ）に示すように，分割されてそれぞれ代表画像が選択されたシーン１およびシーン２をもとの時間の順序で結合する。

代表画像選択装置の構成例を示す図である。 本発明の第１の実施の形態の処理フローチャートである。 インデックスのデータ構造の例を示す図である。 輪郭評価基準を用いた代表画像適合度算出部の処理の例を示す図である。 輪郭評価基準を用いた代表画像適合度算出部の処理の例を示す図である。 代表画像選択装置の構成例を示す図である。 注目物体輪郭抽出部の構成例を示す図である。 小領域設定部による画像分割を説明する図である。 各小領域の統合処理を説明する図である。 代表画像選択装置の構成例を示す図である。 インデックスのデータ構造の例を示す図である。 代表画像選択装置の構成例を示す図である。 本発明の第５の実施の形態を説明する図である。

符号の説明

１，２，３，４ 代表画像選択装置
１１ 動画像入力部
１２ 注目物体輪郭抽出部
１３ 代表画像適合度算出部
１４ インデックス付与部
１５ 動画像出力部
１６ 輪郭評価基準格納部
２１ 注目物体指示部
３１ 代表画像条件入力部
３２ 代表画像条件判定部
４１ シーン分離部
４２ シーン結合部
１２１ 小領域設定部
１２２ 特徴ベクトル抽出部
１２３ 小領域分割部
１２４ 領域抽出部
１６０ 輪郭評価基準

Claims (11)

1. 動画像中から代表画像を選択する代表画像選択装置であって，
   動画像を入力する動画像入力手段と，
   前記動画像の各フレームから一つまたは複数の注目物体の輪郭を抽出する注目物体輪郭抽出手段と，
   注目物体の輪郭の特徴から各フレームの代表画像としての適合度を評価するための所定の輪郭評価基準に基づいて，前記注目物体輪郭抽出手段の出力を評価し，各フレームの代表画像としての適合度を算出する代表画像適合度算出手段と，
   算出された代表画像としての適合度をもとに，前記動画像のフレームにインデックスを付与するインデックス付与手段と，
   前記インデックスを付与された動画像を出力する動画像出力手段とを備える
   ことを特徴とする代表画像選択装置。
2. 請求項１に記載の代表画像選択装置において，
   前記注目物体輪郭抽出手段に対し注目物体の指示情報を入力する注目物体指示手段を備える
   ことを特徴とする代表画像選択装置。
3. 請求項１または請求項２に記載の代表画像選択装置において，
   前記注目物体輪郭抽出手段は，
   前記動画像入力手段から入力された動画像の各フレームを，前記一つまたは複数の注目物体の一部または全体を含む小領域に分割する小領域設定手段と，
   前記分割された各小領域内の各画素について，少なくとも動きに基づく特徴量を含む特徴量を抽出する特徴ベクトル抽出手段と，
   前記分割された各小領域ごとに，前記特徴量の全てあるいは一部を用いて各画素が２つの領域のどちらに属するのかをクラス分けする場合に，そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う小領域分割手段と，
   隣接する前記小領域について，前記特徴量を用いて，同じクラスにクラス分けされた領域の対応づけを行い，それに基づいて，同じクラスにクラス分けされた領域同士をつなぎ合わせることで，前記注目物体の輪郭を抽出して背景から分離する領域抽出手段とを備える
   ことを特徴とする代表画像選択装置。
4. 請求項１から請求項３までのいずれか１項に記載の代表画像選択装置において，
   代表画像を選択する条件を入力する代表画像条件入力手段と，
   前記入力された代表画像を選択する条件を用いて前記動画像入力手段により入力された動画像に対して条件判定を行う代表画像条件判定手段とを備え，
   前記インデックス付与手段は，前記代表画像条件判定手段による条件判定結果を受けとって，前記動画像のフレームの代表画像としての適合度と前記代表画像を選択する条件に関する情報を含むインデックスを，前記動画像のフレームに付与する
   ことを特徴とする代表画像選択装置。
5. 請求項１から請求項４までのいずれか１項に記載の代表画像選択装置において，
   前記動画像を複数のシーンに分割するシーン分離手段を備え，
   前記インデックス付与手段は，前記分割されたシーンごとに，各シーン中のフレームに前記インデックスを付与する
   ことを特徴とする代表画像選択装置。
6. 動画像中から代表画像を選択する代表画像選択方法であって，
   動画像を入力する動画像入力過程と，
   前記動画像の各フレームから一つまたは複数の注目物体の輪郭を抽出する注目物体輪郭抽出過程と，
   注目物体の輪郭の特徴から各フレームの代表画像としての適合度を評価するための所定の輪郭評価基準に基づいて，前記注目物体輪郭抽出過程による出力を評価し，各フレームの代表画像としての適合度を算出する代表画像適合度算出過程と，
   算出された代表画像としての適合度をもとに，前記動画像のフレームにインデックスを付与するインデックス付与過程と，
   前記インデックスを付与された動画像を出力する動画像出力過程とを有する
   ことを特徴とする代表画像選択方法。
7. 請求項６に記載の代表画像選択方法において，
   前記注目物体輪郭抽出過程において輪郭を抽出する対象となる注目物体の指示情報を入力する注目物体指示過程を有する
   ことを特徴とする代表画像選択方法。
8. 請求項６または請求項７に記載の代表画像選択方法において，
   前記注目物体輪郭抽出過程は，
   前記動画像入力過程から入力された動画像の各フレームを，前記一つまたは複数の注目物体の一部または全体を含む小領域に分割する小領域設定過程と，
   前記分割された各小領域内の各画素について，少なくとも動きに基づく特徴量を含む特徴量を抽出する特徴ベクトル抽出過程と，
   前記分割された各小領域ごとに，前記特徴量の全てあるいは一部を用いて各画素が２つの領域のどちらに属するのかをクラス分けする場合に，そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う小領域分割過程と，
   隣接する前記小領域について，前記特徴量を用いて，同じクラスにクラス分けされた領域の対応づけを行い，それに基づいて，同じクラスにクラス分けされた領域同士をつなぎ合わせることで，前記注目物体の輪郭を抽出して背景から分離する領域抽出過程とを有する
   ことを特徴とする代表画像選択方法。
9. 請求項６から請求項８までのいずれか１項に記載の代表画像選択方法において，
   代表画像を選択する条件を入力する代表画像条件入力過程と，
   前記入力された代表画像を選択する条件を用いて前記動画像入力過程により入力された動画像に対して条件判定を行う代表画像条件判定過程とを備え，
   前記インデックス付与過程は，前記代表画像条件判定過程による条件判定結果を受けとって，前記動画像のフレームの代表画像としての適合度と前記代表画像を選択する条件に関する情報を含むインデックスを，前記動画像のフレームに付与する
   ことを特徴とする代表画像選択方法。
10. 請求項６から請求項９までのいずれか１項に記載の代表画像選択方法において，
    前記動画像を複数のシーンに分割するシーン分離過程を備え，
    前記インデックス付与過程は，前記分割されたシーンごとに，各シーン中のフレームに前記インデックスを付与する
    ことを特徴とする代表画像選択方法。
11. 請求項６から請求項１０のいずれか１項に記載の代表画像選択方法を，コンピュータに実行させるための代表画像選択プログラム。

Images