JP2009004999A - 映像データ管理装置 - Google Patents

Abstract

【課題】画像検索のための一般ユーザーにわかりやすいインターフェースがなかった。
【解決手段】ハードディスク１１中の映像データの特徴量情報をデコーダ１３及び特徴量抽出部１６により算出し、この特徴量情報を反映したアイコンをアイコン生成部１８にて生成してユーザーに提示する。特徴量インデックス制御部１７は、特徴量抽出部１６から受け取った特徴量情報とハードディスク１１中の映像データの格納位置とを組にしてインデックス情報として記録しておくことで、画像検索の高速化に役立つ。
【選択図】図１

Description

本発明は、動画を含む映像データの管理装置に関し、特に映像データの特徴やパターンを利用する検索装置、再生装置、録画装置等に関するものである。

従来、情報検索の分野は研究されており、特にテキストデータについて非常に精度の高い検索が実現されている。一方、動画や静止画についても同様にキーワードを入力して検索するサービスが提供されている。例えば、動画のメタデータを検索に利用するものがある（特許文献１参照）。

しかし、映像データに対し、いつもキーワードを適切に付与できるとは限らない。また、個人で記録した動画データ、写真データ等は、自分でキーワードを関連付けないと、このようなキーワード検索をすることはできない。

一方、画像認識技術が進歩してきており、画像の特徴やパターンを分析して映像データを分類・検索するという技術は従来から研究されている（特許文献２参照）。また、種々の分類パターンを用いて検索効率の良い検索メニューを作成する技術も知られている（特許文献３参照）。
特開２００７−１２０１３号公報 特開２００１−１６７０９５号公報 特開平１１−５３３６８号公報

近年、大容量のハードディスクを搭載した映像データレコーダが普及しつつある。このようなレコーダでは、ハードディスクに蓄積した映像データの検索を効率良く行うことが求められる。

ところが、従来のキーワードと関連付ける方法では特に個人的に記録した動画や静止画に対して面倒である。また、上述した画像の特徴やパターンを利用した分類技術は専門家等を対象としたものであり、一般的なユーザーにわかりやすく分類基準を提示するという面の考慮はなされていなかった。

上記課題を解決するため、本発明は、特徴量やパターン分析のそれぞれについて、その分析結果に合致する代表的なサンプルとなるアイコンを生成し、ユーザーに対して直感的なインターフェースを提供するものである。

上述のとおり、近年のハードディスク容量の増大により目的とする動画や、静止画を簡単に検索できる機能が求められている。ここで、最近のＤＶＤ（Digital Versatile Disk）レコーダではデジタルカメラとの連携機能も設けられているため、静止画の検索も重要である。また、映像の種類も、ＴＶ放送や、ネットワークからのダウンロード、自分で記録したビデオ映像等多岐にわたり、その符号化フォーマットもまちまちで、かつ検索用に使える固定したフォーマットも存在しない。このような状況での検索は、実際に動画や静止画の特徴を認識し、例えば特定の人の顔を探したり、特定のスポーツを見たりできれば非常に便利である。

近年の画像認識技術をもってすれば、限定的ながら、ある程度の範囲でこれらの認識は可能である。例えば、芝生の上で行うスポーツであれば動きが激しく、背景が緑色であることが多いと考えられる。一方、ニュースでは机の向こう側に人がいるような特徴が考えられる。

通常個人が記録するデータは偏りがあるため、一般的なジャンル分けは役に立たない。また、個人的な記録の検索には完璧さを求める必要はなく、ある程度のガイド的なパターン認識で十分であると考えられる。

しかし、例えば緑色の背景で人の動きが激しいという検索パターンをユーザーに入力させるのは非常に困難である。ユーザーは画像の特徴より、その内容で検索したいシーンを探したいのであって、このようなパターン認識に結びつけるのは困難である。

そこで、本発明では、実際に映像データからどのようなパターンを抽出したかをユーザーに明示し、わかりやすく表示することを主目的としている。その目的のために、動画や静止画の特徴量を反映したアイコンをユーザーに提示する。

このアイコンは、画像の縮小画像、いわゆるサムネールではなく、特徴量パターンを端的に、かつ検索対象コンテンツに応じて動的に生成されるものである。そして、特徴量に基づく検索の可視的なイメージを提供するものである。これはサムネールに比べて普遍的なものであり、特徴量パターンをより強調したものにすることができる。更に、複数の動画、静止画に共通するサムネールを生成するのは困難であるが、特徴量パターンによるアイコン生成では、このような困難が存在しない。これらの特徴は、特に検索に使う場合に顕著な利点となる。

本発明によれば、映像データの特徴量からアイコンを生成することにより、多彩な特徴量を視覚的に反映した、ユーザーに分かりやすい多様なアイコンを作成することが可能になる。

また、特徴量を示すアイコンをユーザーに提示し、そのアイコンの選択によって特徴量による検索を実現することにより、ユーザーにイメージしやすい特徴量を用いた検索が実現できる。

以下、図面を参照して本発明の最良の実施形態について説明する。

図１は、本発明に係るデータ管理機能を備えた映像データレコーダの構成例を示している。図１の映像データレコーダ１０は、ＤＶＤドライブ３０と、表示装置３１とが外付けされるものであり、その内部に、ハードディスク１１と、ドライブインターフェース部１２と、デコーダ１３と、メタデータ処理部１４と、エンコーダ１５と、特徴量抽出部１６と、特徴量インデックス制御部１７と、アイコン生成部１８と、画像合成部１９と、メニュー生成部２０と、ユーザーインターフェース部２１とを備えている。

ハードディスク１１は、符号化された動画データや静止画データを含む各種映像データ（場合により、音声データやメタデータを含む。）を格納している。

ドライブインターフェース部１２は、ハードディスク１１との間で書き込みデータ３６及び読み出しデータ３７の授受を行い、またＤＶＤドライブ３０との間で書き込みデータ３８及び読み出しデータ３９の授受を行う。

デコーダ１３は、ドライブインターフェース部１２から受け取った映像データ４０を復号する。復号結果は、デコード画像４１として画像合成部１９へ供給されたり、特徴量抽出用画像データ４６として特徴量抽出部１６へ供給されたりする。また、このデコーダ１３は、音声データも特徴量抽出部１６へ供給できる。

メタデータ処理部１４は、例えばハードディスク１１に映像データとともに格納されているメタデータ４２をドライブインターフェース部１２から受け取り、当該映像データに付与されていたキーワード４３を画像合成部１９へ供給する。

エンコーダ１５は、例えばダビング時に、デコーダ１３から受け取った映像データ４４を符号化して、エンコード画像４５をドライブインターフェース部１２へ供給する。

特徴量抽出部１６は、デコーダ１３から受け取った映像データ４６から各種特徴量を抽出し、特徴量情報４８を特徴量インデックス制御部１７へ供給する。ここにいう特徴量とは、特定の人の顔を認識するための高度な特徴量から、単に色の傾向を見るだけの特徴量まで様々である。また、特徴量抽出部１６は、デコーダ１３における適切な復号アルゴリズムを指定するように、アルゴリズム選択情報４７をデコーダ１３に与える。

特徴量インデックス制御部１７は、特徴量抽出部１６から受け取った特徴量情報４８とハードディスク１１中の映像データの格納位置とを組にしてインデックス情報として記録し、アイコン生成部１８との間で特徴量情報５１及び選択特徴量情報５２の授受を行う。特徴量抽出部１６を空き時間に動作させ、インデックス情報を作成して特徴量インデックス制御部１７に記録しておくことで、後述の画像検索を高速化することが可能になる。インデックス情報が未だ作成されていない映像データについては、特徴量インデックス制御部１７が特徴量抽出部１６から新たな特徴量情報４８を受け取る。このときにインデックス情報を作成して記録しておけばよい。

アイコン生成部１８は、特徴量インデックス制御部１７から受け取った特徴量情報５１を反映した小さな画像であるアイコンを生成し、アイコン画像５３を画像合成部１９及びメニュー生成部２０へ供給する。

画像合成部１９は、デコーダ１３から受け取ったデコード画像４１と、メタデータ処理部１４から受け取ったキーワード４３と、アイコン生成部１８から受け取ったアイコン画像５３とを１画面に合成し、合成した映像データ５４を表示装置３１へ供給する。

ユーザーインターフェース部２１は、例えばリモコンを通してアイコン選択に係るユーザー選択情報５６を受け取り、アイコン選択情報５７をアイコン生成部１８へ供給する。

このアイコン選択情報５７を受けてアイコン生成部１８から特徴量インデックス制御部１７へ供給される選択特徴量情報５２は、選択された特徴量の範囲を示す情報である。特徴量インデックス制御部１７は、この選択特徴量情報５２をもとにしてハードディスク１１から読み出すべき映像データを選択し、ドライブインターフェース部１２との間で読み出し命令４９及び応答信号５０の授受を行う。

メニュー生成部２０は、アイコン生成部１８から受け取ったアイコン画像５３を用いてダビング時のメニューを生成し、このメニューが例えばＤＶＤに書き込まれるように、メニューデータ５５をドライブインターフェース部１２へ供給する。

図１の映像データレコーダ１０は、通常再生だけでなく、特殊再生や、スキップ等ができるようになっていて、ユーザーインターフェース部２１から、各種ユーザーからの指令を読み込んで処理を行う。これらは、通常メニュー形式で表示装置３１の画面に表示され、ユーザーの選択によって各種機能が実行される。ただし、詳細構成については図示を省略する。

なお、図１中のデコーダ１３は、特徴量抽出時だけでなく、映像データを再生する際にも使用されるように構成され、サポートしているフォーマットで符号化された映像データを全てリアルタイムで復号できるようになっている。これにより、特徴量抽出用のデコーダと、通常再生用のデコーダとを別に設ける必要がなくなり、コスト面から有利である。ただし、それぞれ専用のデコーダを用意してもよい。

図２は、図１中のデコーダ１３における動画処理部分の内部構成例を示している。ここでは、ＭＰＥＧ（Moving Picture Experts Group）規格で符号化された動画データを扱うものとし、ＶＬＤ（Variable Length Decoding：可変長復号）部６０、ＩＱ（Inverse Quantization：逆量子化）部６１、ＩＤＣＴ（Inverse Discrete Cosine Transform：逆離散コサイン変換）部６２、動き補償部６３及び予測画像生成部６４が設けられる。ただし、特徴量抽出用にＩ（Intra）ピクチャのみを復号する場合には、予測画像生成部６４の動作を省略した復号アルゴリズムに変更することにより、高速化あるいは消費電力削減を図ることができる。ＶＬＤ部６０にて算出された動きベクトルは、特徴量抽出部１６における「動きの激しさ」の特徴抽出に利用できる。また、図１に示したとおりデコーダ１３と特徴量抽出部１６とを分離することにより、符号化フォーマットによらない特徴量抽出が可能になるという効果が得られる。

なお、特徴量抽出部１６は、デコーダ１３に完全な復号機能を要求しない。抽出アルゴリズムに依存して最低の解像度で十分であったり、動きをあまり必要としなかったりする。特に、主として静止画を対象とする特徴量抽出の場合には、あまり短い時間間隔で特徴量を計算しても仕方がない。例えば、デコーダ１３は、動画データを１秒毎の静止画として処理することも可能である。

次に、本発明の基本をなすアイコン生成部１８の動作を説明する。ここで使うアイコンの目的は、特徴量の情報を具体的にユーザーにイメージしやすい画像に変換することである。そして、それは単独の画像の場合もあるが、検索に使う場合には複数の動画の特徴を表現するときもある。この際、特徴量がばらついているものは、複数の動画の特徴を表現するのにあまり好ましくない。よって、アイコン生成部１８は、各種特徴量と、複数の動画が存在した場合、そのばらつきを示す指標として分散値とを受け取ってアイコンを生成する。すなわち、特徴量の種類と、その値、そして、その値の分散値を入力するものである。アイコンの種類としては、背景であるか、それとも前景に対するものか、そして音声に関するものかという分類が与えられる。

各特徴量には、それぞれ対応する基本となるアイコンデータと、その変形形式とが関連付けられている。これらの情報は、望ましくはアイコン生成部１８に記録されている。アイコン生成部１８がこれらを関連付ける方法は様々であり、汎用性を高めるためにプロセッサでソフト処理されることが望ましい。そうすれば、ソフト変更で容易に機能拡張ができるようになる。

図３は、図１中のアイコン生成部１８の動作を具体的に示すフローチャートである。図３において、ステップ１０１では、背景を示す特徴量のうち１つを選択し、対応する背景アイコンを生成する。背景アイコンは矩形であり、かつ比較的大きい範囲を持つものである。背景を示す特徴量を選ぶ際には、望ましくは分散が小さく、かつ値が大きいものが良い。ステップ１０２では、前景の特徴量から、優先的に何個かの特徴量を選択する。この選択基準としては、背景の場合と同様に分散が小さく、かつ値が大きいものを優先することが望ましい。ステップ１０３では、背景アイコンの上に、ステップ１０２で選ばれた特徴量に対する前景アイコンを順に生成して並べる。ステップ１０４では、音声の特徴量を選ぶ。ステップ１０５では、ステップ１０３で求まったアイコンに音声のアイコンを重ねる。

なお、各特徴量には、基本となるアイコンが登録されている。例えばステップ１０３では、その基本となるアイコンに、特徴量の値やその分散に応じた変形アルゴリズムを適用することにより、当該特徴量の値を様々の態様でアイコン表示に反映させることができ、特徴量の実際の値や、分散をユーザーに認識させることができる。

図４（ａ）、図４（ｂ）及び図４（ｃ）は、背景アイコンの例を示している。図４（ａ）は夜間の映像であることを、図４（ｂ）は昼間の映像であることをそれぞれ示している。図４（ｃ）のアイコンは、グラウンド（土又は芝生）の色を反映した下半部と観客の存在を示す上半部とを合成したものである。図４（ｃ）の例によれば、複数の単独アイコンを組み合わせて１つのアイコンを生成することにより、多様な特徴量アイコンをシステマチックに作成することができる。

図５（ａ）及び図５（ｂ）は、前景アイコンの例とその変形例を示している。ここでは、人の顔らしきものを認識したと仮定する。このとき、はっきりと人の顔とわかればよいが、一般的に画像認識を完全に行うのは困難であり、誤差がつきものである。よって、その正確さの度合いに応じて、図５（ｂ）に示すように透明度を変化させることができる。これで薄く表示されている場合は、はっきりとしないが人の顔のように見えるということをユーザーに端的に伝えることができる。アイコンの濃さを変化させることにより、対応する情報の確度を表現できるのである。もう１つの効果的な方法は、ぼかすことである。これは、フィルタをかけることによって得られる。例えば、平滑化を行うフィルタの強度を変化させることで、ぼかしの効果を得ることができる。フィルタ処理により、対応する多様なパラータを効果的に表現できる。また、特徴量の認識に成功した対象の大きさを変更してもよい。

図６（ａ）及び図６（ｂ）は、前景アイコンの他の例とその変形例を示しており、ボールの大きさを認識するような場合である。球技ではボールの大きさをもとにして種目がある程度判定できるので、この情報は有効である。この場合には、アイコン中の図形の大きさを変更することにより、対応する物体の大きさを直感的に表現できる。

図７（ａ）及び図７（ｂ）は、前景アイコンの更に他の例とその変形例を示している。人数のようなパラメータの場合には、図７（ａ）及び図７（ｂ）に示すように、基本的なアイコンの一部を透明にして透明な部分の大きさを変更するような変形が利用できる。つまり、アイコンの一部を透明にすることにより、対応する特徴の量的な表現を実現することができる。

図８（ａ）及び図８（ｂ）は、動きを表す前景アイコンの例を示している。ここでは、列車の動く速さを線の長さで表現している。動きを線で表現することにより、動きの激しさを直感的に理解できるようになる。

図９（ａ）及び図９（ｂ）は、動きを表す前景アイコンの他の例を示している。ここでは、ボールを重ね合わせることでボールの速さを表現している。図形の重ね合わせで動きを表現することにより、動きの激しさを表現できる。

図１０（ａ）及び図１０（ｂ）は、音声アイコンの例を示している。これは、音の大きさをスピーカーの大きさで表現する例である。当然ながら、音声のデータも利用できる。

図１１は、動きの分散を表す前景アイコンの例を示している。これは、複数の動画データにおいて、動きがばらついている場合の表現例である。遅い列車の画像と、速い列車の画像とが混在しているような場合には、図１１のように線の長さを変えるような処理ができる。これにより、このアイコンはある程度の速度ばらつきがあることを表しているという認識をユーザーに与えることができる。

図１２は、背景アイコンに前景アイコンを重ね合わせた例を示している。前述のように、背景の特徴と前景の特徴とを互いに分離して、各々独立にアイコンを生成したうえ、背景アイコンの上に前景アイコンを重ねる。

図１３は、背景アイコンに前景アイコン及び音声アイコンを重ね合わせた例を示している。図１２の画像の特徴量アイコンの上に音の特徴を示すアイコンを重ねることにより、画像の特徴と音の特徴とを簡単に合わせて表現することができる。

以上説明してきたようにさまざまな視覚表現を駆使し、ユーザーに特徴量を強くイメージさせることができる。このバリエーションの多さが、特徴量からアイコンを生成するメリットであり、予め決まったアイコンを表示するだけではこれだけのバリエーションを表現することはできない。

次に、本発明の効果が最も大きく発揮できる動画検索について説明する。

図１４は、図１の映像データレコーダ１０における映像データ検索のフローチャートである。最初に、ステップ２０１においてハードディスク１１やＤＶＤドライブ３０に装着されたディスク内の映像データに対して、検索対象を初期化する。最初は全ファイルを対象とするように初期化すればよい。ただし、後に編集動作で説明するように特定の動画ファイル（例えば、複製されたもの）を検索対象からはずしておいてもよい。

次に、ステップ２０２において検索対象のファイルについて特徴量の分布を調べ、検索対象を複数のグループに分類する。ここで、特徴量の分布は、動画ファイルの特徴に応じて偏りが生じることがほとんどだと思われる。例えば、ある特定の特徴量が非常に大きいファイルと、小さいファイルとに分かれる。逆に言うと、このような特徴量が多ければ多いほど特徴量が分類に適していると考えられる。このような特徴量を使って、ステップ２０２にて全ファイルを複数のグループに分類するのである。後述するように、この分類はメニューとして表示するので、表示、選択するのに適当な分だけ分類する。ただし、好みにもよるので１０個というようにユーザーに指定させてもよい。ステップ２０３では、各分類それぞれの代表特徴量と、その分散を算出する。

ステップ２０４において、各分類のアイコンを生成し、表示する。この際、図１１に示したように、検索対象となる映像データの特徴量の分布に応じてアイコンを変形することにより、特徴量の分布をユーザーに提示することが可能となり、検索対象に最適な分類による検索メニューを提供できる。また、最も小さい分散を示す特徴量を優先してアイコン生成に使うこととすれば、分散を反映した検索用アイコンを生成することができる。

ステップ２０５でユーザーの選択を待ち、ステップ２０６では検索が終了したかどうかを判定する。検索を続けるならば、ステップ２０７において検索範囲をアイコンの選択に応じて絞り込んだのち、ステップ２０２へ戻る。更に小分類に応じたアイコンを生成しながら、詳細な検索動作を進めていくのである。

以上の処理は、選択が少なくなるまで繰り返すことができる。そのたびに選択に最適なアイコンが表示されるので、利便性は高い。当然ながら、選択肢が少なくなったときは、所望の映像をユーザーに選択してもらえばよい。

検索が終わった時点で、ステップ２０８にて対象動画や静止画を再生、表示する。このとき、対象が複数であれば、順に表示していってもよい。また、特徴量が１つの動画の特定のシーンを表現している場合、その合致するシーンのみを表示するようにしてもよい。

なお、アイコン選択によって選択されるグループは、メニュー生成時の分類の際のグループと一致していることが望ましい。アイコンの選択と検索内容とを一致させることができるからである。ところが、一般に画像認識の評価はユーザーの主観によっても変化するものであり、あまり厳密に一致させるとユーザーの所望の画像がアイコンに含まれていないことが多くなってしまう。そこでより望ましくは、メニュー生成時のグループ分けで使った特徴量の範囲よりも少し範囲を広げた特徴量を持つデータを選択するのがよい。これにより、アイコン選択時の検索漏れの可能性を下げることができる。

図１５は、図１の映像データレコーダ１０における検索メニュー画面の例を示している。ここでは、第１、第２及び第３のアイコンと、１つの未分類アイコンとが表示されている。第１〜第３のアイコンは特徴量抽出の結果から例えば３分類が得られたことに対応するものであり、未分類アイコンは特徴量抽出が完了していない、例えば最近３日以内に記録したデータを代表する特殊アイコンである。第１のアイコンは、動きが激しいことを特徴とする、テニス、サッカー等のスポーツのコンテンツを表す。第２のアイコンは、動きが静かで、１人の人物が中央にいることを特徴とする、ニュース、報道番組等のコンテンツを表す。第３のアイコンは、大型の駒と盤とが背景に含まれることを特徴とする、将棋、囲碁等の趣味のコンテンツを表す。各アイコンには、メタデータに基づくキーワード表示が付加されており、検索の容易さを向上させている。

本発明に係るアイコンはキーワードを必要としないが、キーワードもユーザーに画像イメージを伝える参考になると考えられる。そこで、アイコン生成のときに、同時にキーワードがあればそれを表示することができる。しかし、１つのアイコンに割り当てるキーワードの個数が非常に多くなることも想定される。極端に言えば、全部のアイコンについて同じキーワードを表示しても全く意味はない。

したがって、キーワードについても頻度を利用して表示する優先度を決定する。つまり、１つのアイコンに属するデータに多発し、他のアイコンに属するデータには現れないようなキーワードを優先させる。このような処理を行えば、必要に応じて適切なキーワードが表示される。もちろん、キーワードだけではなく、他の映像データ等、任意のメタデータについて対応が可能である。また、適当なキーワードが見つからなければ、表示しなくてもよい。

特徴量インデックス制御部１７内にインデックス情報として未だ対応付けられていない映像データの処理方法として、２通りある。１つの方法は、全ての検索パターンに、割り当たっていないデータを対応付けておくというものである。この方法によれば、割り当たっていないデータの検索に失敗することはない。ユーザーは望むものを必ず見つけることができる。他の方法は、割り当たっていないデータが最近追加されたデータであることに注目し、最近のデータというアイコン（図１５中の未分類アイコン）を別途表示して選択させるものである。特徴量が未計算の画像は少ないので、必ずしも全ての特徴量抽出が終了するまで待つ必要はない。

以上説明してきたように、本実施の形態における映像データレコーダ１０は、記録した動画の検索において非常に大きい効果を発揮する。また、ハードディスク１１に記録したものだけではなく、ＤＶＤ内の映像データについてもインデックス情報を作成すれば容易に検索可能である。

さて、本発明に係るアイコンの利用方法は、上記のような画像検索に止まらない。例えば、検索用のアイコンを使いやすくするためには、更にユーザーに慣れ親しんでもらう工夫があればなお良い。

図１６は、図１の映像データレコーダ１０における通常再生画面の例を示している。例えば画面の左上に、現在表示中のシーンの特徴量を反映したアイコンを表示する。更に、前のシーンに対するアイコンと、後のシーンに対するアイコンとをメニューとしてユーザーに提示する。そして、これらのアイコンの選択により、前後のシーンへのジャンプを行うことができるようにしている。このような通常再生のときのアイコンの表示により、その画像とアイコンとの対応についてユーザーの理解が深まり、検索の際のアイコンの利便性を高める効果がある。

図１７は、図１の映像データレコーダ１０における動画再生メニュー画面の例を示している。図１７の下半部に示した「各シーンメニュー」は、各シーンの特徴量を反映した複数のアイコンからなるメニューであり、従来のＤＶＤ再生における各シーンへのジャンプメニューと同様の働きをする。一方、図１７の上半部に示した新メニュー、つまり「特定シーンまとめて再生メニュー」によれば、各々特徴量を表すアイコンを並べておき、ユーザーが選択したアイコンと近い特徴量を持つシーンのみをつなげて再生する。メニュー選択によって対応するシーンのみを再生することにより、特定の特徴量を持つシーンだけを再生することができる。例えば、特定の人物が登場するシーンのみを再生する等の使い方ができる。

図１７に示した新メニューは、図１中のメニュー生成部２０によって生成される。そして、この新メニューを、ＤＶＤのメニューとしても利用できるようにＤＶＤドライブ３０を使ってダビングすることができる。これにより、他のＤＶＤレコーダでも、本発明に係る映像データの特徴量を活かしたメニューを実現できる。また、特定の特徴量を持つシーンのみをダビングすることも容易に実現可能である。これにより、所望のシーンのみを抜き出した動画データを効率良く作成できる。

また、映像を編集するときにも、各シーンのアイコンがあればより便利に実現できる。映像の編集の際には、シーンの検索動作を伴うものであり、これらの検索に本発明のアイコンを使えば編集の利便性も向上する。

例えば、映像データを他の機器に持っていく場合や、ハードディスク１１の容量があふれそうになった場合等、記録した映像データを別の機器でも再生できるフォーマットに変更したり、再圧縮したりする等の処理が行われることがある。このとき、符号化フォーマットが変化しても画像の特徴量は変化しないと考えられる。したがって、再度これらのデータに対して特徴量を改めて算出する必要はない。そこでこのような複製を行った場合には、複製されたデータに対し、どの映像データの複製であるかを記録しておく。つまり、データを複製する際に、特徴量は元の特徴量と対応付けることにより、データ複製の際の特徴量計算をしなくてもよくなる。

ここで注意すべきは、元のデータを削除したときの対応である。このとき、元の映像データを消してしまって、かつ対応する特徴量データも削除してしまいたいが、そうすると複製された映像データに対する特徴量情報が消えてしまう。そこで、最も望ましくは、映像データを削除する際には、その映像データの特徴量情報が、複製された映像データときちんと対応付けられるようにしておく。

なお、上記のような映像データの特徴量を使う動画検索の場合、同じ映像については１つのものとみなすべきである。よって、このような複製された、そして元の画像が存在するものは検索の対象からはずしておく。複製には画質の劣化を伴うものもあり、利用するには元のデータの方がより望ましいと考えられる。つまり、複製された映像データは検索対象としないことにより、複製された映像データより画質が良い元のデータが検索される可能性を向上させることができる。

以上説明してきたように、本発明の映像データ管理装置は、映像データの特徴量からアイコンを生成するものであり、このアイコンを検索に利用できる。また通常再生時等にもこれらのアイコンを使うことでユーザーに対しアイコンと映像との対応をわかりやすく提示し、結果として非常に使いやすい動画検索を実現するものである。

したがって、本発明の映像データ管理装置は、映像記録再生機器において、ユーザーにわかりやすい動画検索に特に有効である。

本発明に係るデータ管理機能を備えた映像データレコーダの構成例を示すブロック図である。 図１中のデコーダにおける動画処理部分の内部構成例を示すブロック図である。 図１中のアイコン生成部の動作を示すフローチャートである。 （ａ）、（ｂ）及び（ｃ）は背景アイコンの例を示す図である。 （ａ）及び（ｂ）は前景アイコンの例とその変形例を示す図である。 （ａ）及び（ｂ）は前景アイコンの他の例とその変形例を示す図である。 （ａ）及び（ｂ）は前景アイコンの更に他の例とその変形例を示す図である。 （ａ）及び（ｂ）は動きを表す前景アイコンの例を示す図である。 （ａ）及び（ｂ）は動きを表す前景アイコンの他の例を示す図である。 （ａ）及び（ｂ）は音声アイコンの例を示す図である。 動きの分散を表す前景アイコンの例を示す図である。 背景アイコンに前景アイコンを重ね合わせた例を示す図である。 背景アイコンに前景アイコン及び音声アイコンを重ね合わせた例を示す図である。 図１の映像データレコーダにおける映像データ検索のフローチャートである。 図１の映像データレコーダにおける検索メニュー画面の例を示す図である。 図１の映像データレコーダにおける通常再生画面の例を示す図である。 図１の映像データレコーダにおける動画再生メニュー画面の例を示す図である。

符号の説明

１０ 映像データレコーダ
１１ ハードディスク
１２ ドライブインターフェース部
１３ デコーダ
１４ メタデータ処理部
１５ エンコーダ
１６ 特徴量抽出部
１７ 特徴量インデックス制御部
１８ アイコン生成部
１９ 画像合成部
２０ メニュー生成部
２１ ユーザーインターフェース部
３０ ＤＶＤドライブ
３１ 表示装置

Claims (34)

1. 映像データの特徴量情報を算出する特徴量情報算出手段と、
   前記映像データの特徴量情報を反映したアイコンを生成してユーザーに提示するアイコン提示手段とを備えたことを特徴とする映像データ管理装置。
2. 請求項１記載の映像データ管理装置において、
   前記アイコン提示手段は、各々前記特徴量情報の一部を利用して生成された複数の基本となる単独アイコンを合成することで前記アイコンを生成することを特徴とする映像データ管理装置。
3. 請求項２記載の映像データ管理装置において、
   前記アイコン提示手段は、背景アイコンの上に前景アイコンを重ね合わせることを特徴とする映像データ管理装置。
4. 請求項２記載の映像データ管理装置において、
   前記アイコン提示手段は、前記基本となる単独アイコンに対し前記特徴量情報に従って変形処理を施すことを特徴とする映像データ管理装置。
5. 請求項４記載の映像データ管理装置において、
   前記アイコン提示手段は、前記基本となる単独アイコンの濃さを、その確度に応じて変更することを特徴とする映像データ管理装置。
6. 請求項４記載の映像データ管理装置において、
   前記アイコン提示手段は、前記基本となる単独アイコンに対し前記特徴量情報に従ってフィルタ処理を施すことを特徴とする映像データ管理装置。
7. 請求項４記載の映像データ管理装置において、
   前記アイコン提示手段は、前記基本となる単独アイコンの大きさを、対応する物体の大きさに応じて変更することを特徴とする映像データ管理装置。
8. 請求項４記載の映像データ管理装置において、
   前記アイコン提示手段は、前記基本となる単独アイコンの一部を前記特徴量情報に従って透明にすることを特徴とする映像データ管理装置。
9. 請求項４記載の映像データ管理装置において、
   前記アイコン提示手段は、動きの激しさを表現する特徴量情報に従って、前記基本となる単独アイコンに動きを表現する視覚効果を施すことを特徴とする映像データ管理装置。
10. 請求項９記載の映像データ管理装置において、
    前記アイコン提示手段は、前記視覚効果として、前記基本となるアイコンの横に動きを表現する線をつけることを特徴とする映像データ管理装置。
11. 請求項９記載の映像データ管理装置において、
    前記アイコン提示手段は、前記視覚効果として、前記基本となるアイコンをずらして複数重ねることを特徴とする映像データ管理装置。
12. 請求項２記載の映像データ管理装置において、
    前記アイコン提示手段は、前記映像データの特徴量情報を反映したアイコンの上に音の特徴を表現する音声アイコンを重ね合わせることを特徴とする映像データ管理装置。
13. 請求項１記載の映像データ管理装置において、
    前記特徴量情報と前記映像データとを対応付けてインデックス情報として記録するインデックス情報記録手段を更に備え、
    前記アイコン提示手段が必要とする特徴量情報が前記インデックス情報記録手段に記録されているインデックス情報中に含まれていない場合には、新たな映像データの特徴量情報を前記特徴量情報算出手段により算出して利用し、
    前記アイコン提示手段が必要とする特徴量情報が前記インデックス情報記録手段に記録されているインデックス情報中に含まれている場合には、前記インデックス情報記録手段に記録された特徴量情報を利用することを特徴とする映像データ管理装置。
14. 映像データの特徴量情報を算出する特徴量情報算出手段と、
    各々前記映像データの特徴量情報を反映した複数のアイコンを生成するアイコン生成手段と、
    前記生成された複数のアイコンを表示する表示手段と、
    前記表示された複数のアイコンのうちの１つを選択する選択手段と、
    前記選択されたアイコンに対応する映像データを検索してユーザーに提供する検索手段とを備えたことを特徴とする映像データ管理装置。
15. 請求項１４記載の映像データ管理装置において、
    前記特徴量情報と前記映像データとを対応付けてインデックス情報として記録するインデックス情報記録手段を更に備え、
    前記検索手段は、前記インデックス情報記録手段に記録された特徴量情報を利用して、前記選択されたアイコンに対応する映像データを検索することを特徴とする映像データ管理装置。
16. 請求項１５記載の映像データ管理装置において、
    前記表示手段は、いずれの特徴量情報とも関連付けられていない１つの特殊アイコンを表示する機能を更に有し、
    前記検索手段は、前記特殊アイコンが選択されたときには、前記インデックス情報記録手段に対応付けが記録されていない映像データを検索することを特徴とする映像データ管理装置。
17. 請求項１４記載の映像データ管理装置において、
    検索対象となる映像データを、似た特徴量情報を持つ複数のグループに分類する分類手段と、
    前記分類手段によって分類されたそれぞれのグループの代表特徴量情報を算出する代表特徴量情報算出手段とを更に備え、
    前記アイコン生成手段は、前記グループの代表特徴量情報を反映したアイコンを生成することを特徴とする映像データ管理装置。
18. 請求項１７記載の映像データ管理装置において、
    前記アイコン生成手段は、あるグループに属する複数の映像データの特徴量情報の分布に従って、当該グループのアイコンに変形処理を施すことを特徴とする映像データ管理装置。
19. 請求項１７記載の映像データ管理装置において、
    前記代表特徴量情報算出手段は、あるグループに属する複数の映像データの個々の特徴量情報のうち最も小さい分散を示す特徴量情報を優先的に用いて、前記代表特徴量情報を算出することを特徴とする映像データ管理装置。
20. 請求項１４記載の映像データ管理装置において、
    映像データとメタデータとの関係を記録するメタデータ記録手段を更に備え、
    前記表示手段は、前記アイコンとともに、前記メタデータ記録手段から前記アイコンに対応するメタデータを取得して表示することを特徴とする映像データ管理装置。
21. 請求項２０記載の映像データ管理装置において、
    前記表示手段は、前記メタデータのうち、該当するアイコンが選択された際に提供される映像データに含まれ、かつ他のアイコンを選択した場合には含まれないメタデータを優先的に表示することを特徴とする映像データ管理装置。
22. 請求項２１記載の映像データ管理装置において、
    前記メタデータは、キーワードであることを特徴とする映像データ管理装置。
23. 請求項１５記載の映像データ管理装置において、
    前記アイコン生成手段が必要とする特徴量情報が前記インデックス情報記録手段に記録されているインデックス情報中に含まれていない場合には、新たな映像データの特徴量情報を前記特徴量情報算出手段により算出して利用することを特徴とする映像データ管理装置。
24. 請求項２３記載の映像データ管理装置において、
    前記特徴量情報算出手段は、
    符号化された映像データを復号する復号手段と、
    前記復号手段の結果から特徴量情報を抽出する抽出手段とを有することを特徴とする映像データ管理装置。
25. 請求項２４記載の映像データ管理装置において、
    前記特徴量情報算出手段が有する前記復号手段は、前記符号化された映像データの再生に兼用されることを特徴とする映像データ管理装置。
26. 請求項２４記載の映像データ管理装置において、
    前記復号手段は、前記抽出手段が必要とする特徴量情報に応じて復号アルゴリズムを変更することを特徴とする映像データ管理装置。
27. 請求項２３記載の映像データ管理装置において、
    前記特徴量情報算出手段は、動きベクトルを用いて符号化された映像データに対し、動きの激しさを示す特徴量情報を、前記動きベクトルを使って算出することを特徴とする映像データ管理装置。
28. 請求項１５記載の映像データ管理装置において、
    映像データを複製する複製手段を更に備え、
    前記インデックス情報記録手段は、前記複製された映像データに対し、元の映像データと同じ特徴量情報を対応付けることを特徴とする映像データ管理装置。
29. 請求項１４記載の映像データ管理装置において、
    前記検索手段は、複製された映像データを検索の対象としないことを特徴とする映像データ管理装置。
30. 映像データの特徴量情報を反映したアイコンを生成するアイコン生成手段と、
    前記生成されたアイコンと、当該アイコンに対応する前記映像データとを合成して表示する表示手段とを備えたことを特徴とする映像データ管理装置。
31. 動画データのそれぞれのシーンの特徴量情報を反映した複数のアイコンを生成するアイコン生成手段と、
    前記生成された複数のアイコンを表示する表示手段と、
    前記表示された複数のアイコンのうちの１つを選択する選択手段と、
    前記選択されたアイコンに対応するシーンのみを再生する再生手段とを備えたことを特徴とする映像データ管理装置。
32. 動画データ再生中に、現在再生中の前又は後のシーンの特徴量情報を反映したアイコンを生成するアイコン生成手段と、
    現在再生中のシーンに前記生成されたアイコンを合成して表示する表示手段と、
    前記表示されたアイコンを選択する選択手段と、
    前記アイコンの選択に応答して、対応するシーンにジャンプするように制御する制御手段とを備えたことを特徴とする映像データ管理装置。
33. 動画データのそれぞれのシーンの特徴量情報を反映した複数のアイコンを生成するアイコン生成手段と、
    前記生成されたアイコンを使ってシーン選択用のメニューデータを生成するメニューデータ生成手段と、
    前記動画データと前記メニューデータとを対応付けた動画再生用データを生成する再生用データ生成手段とを備えたことを特徴とする映像データ管理装置。
34. 動画データのそれぞれのシーンの特徴量情報を反映した複数のアイコンを生成するアイコン生成手段と、
    前記生成された複数のアイコンを表示する表示手段と、
    前記表示された複数のアイコンのうちの１つを選択する選択手段と、
    前記選択されたアイコンに近い特徴量情報を持つシーンのみを含む動画データを生成する動画データ生成手段とを備えたことを特徴とする映像データ管理装置。

Images