JP2011243156A - 映像変換装置，文書変換装置，映像変換方法，文書変換方法，映像変換プログラムおよび文書変換プログラム - Google Patents

Abstract

【課題】処理対象の映像の内容を保存しながら，それを映像の復元が可能な文書データに変換し，劇的に映像データの容量を削減する。
【解決手段】変換対象の入力映像を小区間に区切り（Ｓ１１），各小区間を所定のカテゴリに分類する（Ｓ１２）。カテゴリごとに定められたルールにより，各小区間内の代表フレームを生成し（Ｓ１３），画像データベースから代表フレームに類似する代替フレームを選定する（Ｓ１４）。また，カテゴリごとに定められた補完ルールと代替フレームとに基づいて，代替フレーム以外の画像フレームを補完する補完情報を生成する（Ｓ１５）。このようにして得られた代替フレームの画像参照値（ＩＤ）と，画像フレームの補完情報と，各小区間のカテゴリと，その再生時刻とをテキスト形式で記載した文書データを生成し，出力する（Ｓ１６）。
【選択図】図２

Description

本発明は，映像の内容をほぼ保存しながら，映像データを文書データに変換する映像変換装置，映像変換方法，映像変換プログラム，および，変換された文書データから，映像データに再変換する文書変換装置，文書変換方法，文書変換プログラムに関する。

屋内外監視システムや，ＩＰＴＶ，Ｗｅｂ上での動画共有サイトなど，映像の配信や共有が活発化し，蓄積・送受信される映像の量は，日々増加を続けている。一般に映像データは，文書データや音声・音楽データと比較して，その容量が大きい。このため，蓄積や流通の際には，大きなコストがかかる。

例えば，ユーザ同士による映像制作と共有が行われている，ある動画共有サイトでは，２００９年の時点で，一日に約５テラバイト（ＴＢ）もの映像データがアップロードされているといわれている。このような場合，この動画共有サイトでは，映像を蓄積するために，一日あたり５ＴＢのハードディスクドライブ（ＨＤＤ）の増設が必要となり，設備投資・維持管理コストがかかるばかりか，環境負荷にもなってしまう。

また，通信する場合においても，大容量の映像データをそのまま通信することは，通信網に大きな負荷を与えることになる。このような問題点から，映像データの容量を極力小さくする映像変換技術が求められている。

映像データの容量を小さくする技術として，一般に映像符号化技術がある。例えば，標準化された代表的な映像符号化技術としては，Ｈ．２６４符号化方式がある（ITU-T H.264 ITU-T Rec. H.264，“Advanced Video Coding for Generic Audio Visual Services," 2003）。

また，特許文献１には，映像内の動きに基づいて映像区間を分類し，動きのある映像区間では，符号量がそれほど要求されないようなフレームアウトする部分の符号量を少なくすることで，主観的品質を保持しつつ符号量（容量）を抑える技術が開示されている。

また，特許文献２では，映像の要約として，音声信号を分析し，より強調されている音声を含む映像区間を重要な区間であるとみなし，これ以外の映像区間を除去する映像変換技術が開示されている。

特開２００７−１０４３７２号公報 特許第３８０３３１１号

Ｈ．２６４のような映像符号化方式や，特許文献１に記載されているような映像変換技術は，映像符号化に基づいて映像容量を圧縮する技術である。しかしながら，このような映像符号化技術によって符号化された映像は，依然として映像データであるため，大きく容量を削減するには至っていなかった。

また，映像の品質（画質）と映像容量には，本質的なトレードオフが存在しており，容量を削減しようとすると映像の品質が劣化し，映像の品質を向上しようとすると容量が増加する，といったジレンマに陥る点も解決されていない。

一方，特許文献２で開示された映像変換技術は，映像要約の立場から，重要でない映像区間を除去する技術を提供していた。しかしながら，映像区間を削除しているため，必ずしも元の映像内容を保存するとは限らない。この技術においても，映像の内容と容量には本質的なトレードオフが存在しており，映像の容量を削減しようとすれば，映像区間を多く削除する必要があるため，映像の内容が保存されず，また，映像の内容を保存しようとすれば，なるべく多くの映像区間を保持する必要があるため，映像の容量が増加する，といったジレンマに陥る点も解決されていない。

本発明は，これらの先行技術が解決に至っていない課題を解決するものである。具体的には，本発明は，処理対象の映像データの内容を保存しながら文書データに変換し，劇的に容量を削減する映像変換技術と，当該技術を用いて生成された文書データを，元の映像データへと再変換する文書変換技術を提供することを目的とする。

上記課題を解決するため，本発明は，外部画像データベースを利用することによって，映像データをすべてＸＭＬ（extensible markup language）などの文書（テキスト）データに変換して，極めて小さい容量に圧縮できるようにし，また，変換された文書データから元の映像データに近い映像を復元できるようにしたものである。

そのため，本発明は，変換対象の映像を小区間に区切り，各小区間の映像から代表画像を選び，その代表画像に類似する画像を画像データベースから探し出して代替画像とする。これにより，代表画像を代替画像の画像ＩＤ（代替画像を特定する情報）というテキストデータに変換する。一方で，各小区間の映像の動きを分析し，その動きをテキストデータで表現する。大雑把にいうと予め決められたパターン表現の中から該当する動きを表現するパターン表現を選ぶイメージである。これにより変換対象の映像をすべて文書（テキスト）データに変換する。

変換結果の文書データから元の映像を復元する場合，文書データに記述された代替画像の画像ＩＤをもとに画像データベースから代替画像を取得し，文書データに記述された動きを表現するデータから補完画像を作成することにより，映像を復元する。

詳しくは，本発明は，画像データベースと通信網によって接続された映像変換装置であって，入力された映像を所定の分割方法により映像区間に分割する区間分割部と，各映像区間を有限個のカテゴリに分類する区間分類部と，前記カテゴリごとに定められた代表フレーム生成ルールに基づいて，各映像区間内の代表フレームを一つ以上生成する代表フレーム生成部と，前記画像データベースに蓄積された画像と，前記代表フレームとの類似度に基づいて，前記代表フレームに類似した前記画像データベース内の画像を代替フレームとして選定する代替フレーム選定部と，前記各映像区間に対して，カテゴリごとに定められた補完ルールと，前記代替フレームとに基づいて，代替フレーム以外の画像フレームを補完する補完情報を生成する補完情報生成部と，前記代替フレームの画像参照値，前記画像フレームの補完情報，当該映像区間のカテゴリ，および，その再生時刻を記載した文書データを生成し，出力する文書データ出力部とを備えることを特徴とする。

また，本発明は，画像データベースと通信網によって接続された文書変換装置であって，入力された文書データから，各映像区間の代替フレームの画像参照値，画像フレームの補完情報，映像区間のカテゴリ，および，その再生時刻を取得する映像区間データ取得部と，前記取得した代替フレームの画像参照値に基づいて，前記画像データベースから代替フレームを取得する代替フレーム取得部と，前記取得した代替フレーム，前記画像フレームの補完情報，前記映像区間のカテゴリ，カテゴリごとに定められた補完ルール，および，前記再生時刻に基づいて，代替フレームを含む元の映像区間を復元する映像区間復元部とを備えることを特徴とする。

以上の映像変換装置および文書変換装置が備える手段およびその処理は，コンピュータとソフトウェアプログラムでも実現できるものであり，このソフトウェアプログラムは，適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり，ネットワークを介して提供されたりする。本発明を実施する際に，このソフトウェアプログラムがコンピュータにインストールされて，ＣＰＵなどの制御手段上で動作することにより，映像変換装置または文書変換装置が実現されることになる。

本発明によって，入力された映像データを復元可能な文書データに変換したり，変換された文書データを映像データとして復元したりすることができる。

本発明は，映像要約に基づく変換方法のように，映像区間の削除を行わないため，元の映像の内容はできる限り保存される。したがって，本発明によれば，映像の内容を保存しながら，映像データに比べて圧倒的に容量の小さい文書データに変換し，蓄積・通信時のコストを劇的に削減することができる。

映像変換装置の装置構成の一例を示す図である。 映像変換装置の処理フローチャートである。 パンの様子を表現する図である。 ドリーインの様子を表現する図である。 ロールの様子を表現する図である。 カテゴリ「静止」の場合の補完情報の一例を示す図である。 カテゴリ「パン」の場合の補完情報の一例を示す図である。 カテゴリ「ドリーイン」の場合の補完情報の一例を示す図である。 カテゴリ「動物体あり」の場合の補完情報の一例を示す図である。 カテゴリ「テロップあり」の場合の補完情報の一例を示す図である。 文書変換装置の装置構成の一例を示す図である。 文書変換装置の処理フローチャートである。

最初に，本発明の実施形態の概要について説明する。本実施形態による映像変換装置は，処理対象の映像を入力すると，その処理対象の映像を映像区間に分割し，映像区間ごとにカテゴリに分類する。ここでいうカテゴリは，収められている映像区間の特徴であり，例えば，カメラ動作のカテゴリである「パン」，「チルト」，「ドリーイン」，「ドリーアウト」，「ロール」，「静止」であったり，映っている被写体が動作しているか否かであったり，その動作の種類であったりする。これらは，各映像区間の映像情報から得られる特徴量に基づいて分類を行う。

続いて，すべての映像区間に対して，カテゴリごとに定められた代表フレーム生成ルールに基づき，代表フレームを生成する。代表フレーム生成ルールは，予め定めておくものであって，映像区間が含む全画像フレームを用いて，代表フレームを生成する戦略のことを指す。最も簡単な例では，「静止」と判定された映像区間では，どの画像フレームも全く，あるいは，ほとんど同じ画像であると見込めるため，「中心の画像を代表フレームとして選定する」といったルールが設定される。また，例えば「パン」といったように，カメラが動作するような場合には，カメラが撮影する範囲全体を一つの画像として構成するような「パノラマ」や「モザイク」と呼ばれる画像を，代表フレームとして生成するルールが設定される。

続いて，映像区間ごとに選定された代表フレームのそれぞれに対して，これと最も類似している代替画像を，画像データベースから発見し，その参照値（ＩＤ）を取得する。類似しているか否かの判断は，代表フレームと，画像データベース内の各画像との特徴量の類似度で判断する。

画像データベースは，特別な機能を持ったものでなくともよく，Ｗｅｂ上に公開されたものであってもかまわない。現在では，画像を公開・共有するプラットフォームも整備されている。例えば，「Ｆｌｉｃｋｒ（登録商標）」（http://www.flickr.com ）と呼ばれるＷｅｂ上の画像共有サイトでは，日に２００万近い画像がアップロードされ続けているといわれており，成長する“超巨大な画像データベース”を形成している。「Ｆｌｉｃｋｒ」に公開されている画像の多くは，写真である。その“超巨大な画像データベース”の中には，世界中のあらゆる物体や景色，シーンの画像が納められているといっても過言ではない。「クリエイティブ・コモンズ」制度の導入も進んでおり，一部を切り出して転用したり，素材としての利用が可能となっていたりするものも数多く存在する。したがって，この発明において利用することが可能である。

もし，よく類似している代替画像が，画像データベース内に存在しない場合，抽出された代表フレームを新たに画像データベースに登録し，これを代替画像とみなしてもかまわない。

ＩＤは，選定された代替画像を唯一特定するものならばどんなものでもよい。特に，上記のように，画像データベースがＷｅｂ上にある場合などには，その画像のＵＲＬ（Uniform Resource Locator）としてもかまわない。

続いて，各映像区間に対して，カテゴリごとに定めた補完ルールと，画像データベースから選定された代替フレームとに基づいて，代替フレーム以外の画像フレームを補完する情報を生成する。補完ルールは，予め設定されるものである。例えば，映像区間のカテゴリが「静止」である場合には，その映像区間中には，同じ画像フレームが収められていると見込めるため，「代替フレームをその映像区間の再生時間中，ずっと再生する」という補完ルールが設定されることとなり，これを指示する補完情報が生成される。

あるいは，「パン」である場合には，代表フレームとしてパノラマ（パンする範囲のすべての画像を収めてある）画像が生成されており，これに最も類似する代替フレームが画像データベースより取得されている。このとき，補完ルールとしては，「代替フレームの中のどの範囲を，いつ再生するかを示す」という補完ルールが設定されることとなり，補完情報には，「いつどの範囲を再生するか」を示す情報が記述されることとなる。

続いて，映像区間全体に渡り，代替フレームのＩＤと，画像フレームの補完情報，当該映像区間のカテゴリ，および，その再生時刻を記載した文書データを生成し，文書として出力する。これによって，映像データが少量の文書データに変換されることとなる。

本実施形態の文書変換装置は，前述した映像変換装置により出力された文書を入力すると，文書中から，映像区間の代替フレームの画像参照値（ＩＤ），画像フレームの補完情報，映像区間のカテゴリ，および，その再生時刻を取得する映像区間データを取得する。これらは前述した映像変換装置によって出力された文書であれば，いずれも記載されているため，パースすることで取得することができる。

続いて，取得した代替フレームの画像参照値（ＩＤ）に基づいて，画像データベースから代替フレームを取得する。ＩＤと画像データベース中の画像とは唯一に対応づけられているため，ＩＤに基づいて実体たる画像を検索することが可能である。

続いて，取得した代替フレーム，画像フレームの補完情報，映像区間のカテゴリ，カテゴリごとに定められた補完ルール，再生時刻に基づいて，代替フレーム以外の画像フレームを生成する。前述した映像変換装置では，補完情報を生成したが，文書変換装置では，その逆の処理，すなわち，補完情報から画像フレームを生成する処理を実施する。ここで用いる補完ルールは，予め設定しておくものである。

例えば「静止」のカテゴリに属する映像区間では，「指定された時刻の間，代替フレームを表示し続ける」というような補完ルールを設定する。これによって，再生時刻で指定された時間分だけ，代替フレームを再生することによって，映像区間を復元できる。また，例えば「パン」のカテゴリに属する映像区間では，「指定された各時刻に，代替フレームの指定された領域を表示する」というような補完ルールを設定する。これによって，パノラマ状の代替フレームの表示部分を再生時刻に合わせて変えることで，映像区間を復元できる。

以下，本発明の具体的な実施例を説明する。

〔映像変換装置〕
図１に，映像変換装置の装置構成の一例を図示する。この図に示すように，映像変換装置１０は，映像入力部１００と，区間分割部１０１と，区間分類部１０２と，代表フレーム生成部１０３と，代替フレーム選定部１０４と，補完情報生成部１０５と，文書データ出力部１０６とを備える。また，記憶装置１０７には，代表フレーム生成ルール，および，補完ルールが予め記憶されている。

また，この映像変換装置１０は，通信網１０８を通じて，画像データベース１０９と接続されており，相互に通信可能である。通信網１０８は，例えばインターネットなどでもよく，その際には，画像データベース１０９は外部に設置されたサーバに搭載されているものとしてもよい。

図２は，映像変換装置が実行する映像変換処理のフローチャートである。

まず，ステップＳ１０で，映像入力部１００は，処理対象となる映像を入力として受け取る。

次に，ステップＳ１１で，区間分割部１０１が，処理対象の映像区間の持つ特徴量に基づいて処理対象の映像を複数の映像区間に分割する。区間分割の方法としては，様々な公知の方法がある。例えば，参考文献１記載の技術を用いてシーンの切れ目となるカット点を検出し，これを区間境界として扱えばよい。
［参考文献１］：Y. Tonomura, A. Akutsu, Y. Taniguchi, and G. Suzuki,“Structured Video Computing”, IEEE Multimedia, vol. 1, No. 3, pp.34-43, Sep. 1994 。

あるいは，画面の動きに基づいて区間分割を行ってもよい。例えば，画面の動きに変化が起こった点を検出し，これを区間境界として定めることもできる。

画面の動きは，動きベクトルの埋め込まれている映像形式（ＭＰＥＧなど，ＰフレームやＢフレームと呼ばれる）では，これを直接利用してもよい。あるいは，フレーム間差分を計算する方法やオプティカルフローを計算する方法など，様々な方法で求めることができる。これらの方法は，例えば次の参考文献２に記載されている。
［参考文献２］：越後富夫，岩井儀雄，森島繁生，鷲見和彦，井岡幹博，八木康史，“人画像処理：３．５速度ベクトルの抽出”，pp.61-72, オーム社，12月，２００７年。

好ましくは，上記２種を併用し，いずれかが境界を検出した場合にそれを区間境界とする。

次に，ステップＳ１２で，区間分類部１０２が，分割された区間を有限個のカテゴリに分類する。カテゴリは，設計者が予め用意しておくものであるが，特にカメラ動作と物体動作に関するカテゴリを設定することが好ましい。

まず，カメラ動作に関するカテゴリについて述べる。カメラ動作に関するカテゴリとしては，例えば，カメラを横方向に振る「パン」，上下方向に振る「チルト」，拡大縮小を行う「ドリーイン」，「ドリーアウト」，撮影方向に対して回転させる「ロール」，動きのうち「静止」などが基本的である。これらのカメラ動作カテゴリは，映像の動きから推定することができる。以下，個々の処理について詳述する。

映像中のある特徴点の座標をｘ，ｙ，それから一つ以上先の画像フレームにおける対応特徴点の座標をｘ′，ｙ′と表す。特徴点としては，例えば前述した参考文献２記載のＨａｒｒｉｓオペレータを用いてもよいし，参考文献３に記載のＳＩＦＴや，参考文献４に記載のＳＵＲＦを代表とする局所特徴記述子を用いてもかまわない。
［参考文献３］：D.G. Lowe,“Distinctive Image Features from Scale-Invariant Keypoints ”, International Journal of Computer Vision, Vol. 60, no. 2, pp.91-110, 2004 。
［参考文献４］：H. Bay, T. Tuytelaars, and L.V. Gool, “SURF: Speeded Up Robust Features”, in Proceedings of European Conference on Computer Vision, pp.404-417, 2006 。

対応する特徴点の組が得られたとする。このとき，例えばカメラは等速運動すると仮定し，下記のようなモデルを立てる。

ここで，ｄｘ，ｄｙは，それぞれ平行移動パラメータ，ｚは拡大縮小パラメータ，θはロールパラメータである。この式によれば，任意の対応点が２組抽出できれば，ｄｘ，ｄｙ，ｚ，θのすべてのパラメータを同定することができる。パラメータの符号（正負）は，各動きの方向を定める。

ｄｘがある程度大きい値をとっていた場合，カメラは「パン」しているとみなすことができる。ｄｙがある程度大きい値をとっていた場合，「チルト」していると判断できる。ｚがある程度大きい値を持つならば，カメラは「ドリーイン」，「ドリーアウト」しているとみなすことができる。θがある程度大きい値を持つならば，カメラは「ロール」しているとみなすことができる。いずれのパラメータも大きい値を持たないならば，カメラは「静止」しているとみなすことができる。

このほか，同様のカメラモデルを用いたカメラ動作分類方法として，例えば特許文献（特開平１１−０１５９５３号公報）に記載されているような方法などがあり，このような方法を用いてもかまわない。以上の処理によって，映像区間のカメラ動作カテゴリを分類することができる。

次に，物体動作に関するカテゴリについて説明する。物体動作に関するカテゴリとしては，まず，動作している物体が存在するか否かを判断することが必須であるため，最も単純なカテゴリとして，「動物体あり」，「動物体なし」の排反なカテゴリが設定される。この動物体の有無は，例えば特許文献（特開２００６−２４４０７４号公報）に記載されているような技術によって判断することができる。

この特許文献には，動物体がクローズアップされているフレームを検出する技術が記載されている。この技術は，画像を局所的に見た場合の，動きの複雑さをもとに，動物体（被写体）を判定する。例えばカメラ動作の場合には，画像全体が大域的に，同じ方向に動く（例えば，右にパンした場合には，画像上の特徴点はすべて右に移動する）ため，局所的に見た場合の特徴点の動きも一様となる。しかしながら，動物体上の点は，このような単純な動きをすることは稀であり，通常は様々な速度，様々な方向に移動している。このような考えに基づいて，この技術では，被写体上にあると推定される特徴点数の割合が，一定の閾値以上の場合に，クローズアップと判断している。

この技術では，クローズアップを検出することを想定しているが，この閾値を下げることによって，必ずしもクローズアップではなくても，動作している物体を抽出することが可能である。

一方で，この技術は，撮像されている画像フレーム内の特徴点のうち，カメラ動作のように一様の動作をしていない特徴点を，被写体上の特徴点として判断するというメカニズムのため，例えば，波打つ水面，風にそよぐ木の葉，スポーツ映像における観衆の様子（ロングショット時）などの，細かいテクスチャの動作物体に対しては，正しい判定がしにくくなるケースがある。そこで，予めテクスチャの細かい物体が映っているか否かを判定してから，上記処理を適用するものとしてもよい。テクスチャの細かな物体は，時空間的に見た際に高周波な成分が多いという特徴を持つ。そこで，２次元の画像列に対して，離散コサイン変換（ＤＣＴ）や離散ウェーブレット変換（ＤＷＴ）をかけ，画面の大部分で高周波成分が大きい場合に，テクスチャの細かい物体が動作していると判断しておいてもよい。以上のようにして，「動物体あり」または「動物体なし」を判定する。

「動物体なし」の場合には，カメラ動作のカテゴリのみを判定すればよいが，「動物体あり」の場合には，さらに詳細なカテゴリを設定してもよい。例えば，上記の処理の過程において，テクスチャの細かい物体が映っていると検出された場合，「テクスチャの細かい物体」というカテゴリを設定してもよい。あるいは，物体の速度に応じて，「速い動作物体」や，「遅い動作物体」などのようなカテゴリを設けてもかまわない。

また，映像には，撮影時に収められた動作物体ではないが，編集によって挿入されるテロップが含まれている場合がある。このような場合には，例えば参考文献５記載のようなテロップ検出方法を用い，「テロップあり」などのカテゴリとして分類してもかまわない。
［参考文献５］： 桑野秀豪, 倉掛正治, 小高和己, “映像データ検索のためのテロップ文字抽出法”, 電子情報通信学会技術研究報告, PRMU, 96(385), pp.39-46, 1996 。

以上のように，物体動作カテゴリの分類が可能である。

次に，ステップＳ１３では，代表フレーム生成部１０３が，各映像区間から代表フレームを生成する。代表フレームは，その映像区間の内容をなるべく多く表した画像フレームとして生成する。これを達成するために，前述のカテゴリごとに，代表フレーム生成ルールを設定し，このルールに従って代表フレームを生成する。

ここでは，カメラ動作および物体動作について，いくつかの具体例を示す。なお，以下で説明する代表フレーム生成ルールのうち，「パン」，「チルト」，「ドリーイン」，「ドリーアウト」，「静止」，「動作物体あり」の６種の場合については，参考文献６にも同様の方法が記載されているので，そちらを用いてもよい。
［参考文献６］：L.-X. Tang, T. Mei, and X.-S. Hua,“Near-Lossless Video Summarization,” in Proceedings of ACM International Conference on Multimedia, pp.351-360, 2009 。

まずは，「静止」の例について述べる。「静止」については，その映像区間中，ほとんど同じ風景が変化なく撮影されており，どの画像フレームを抽出した場合でも，その映像区間の内容をよく表現していることが想定される。そこで，代表フレーム生成ルールとしては，「任意の画像フレームを抽出する」というルールを用いる。最も単純には，先頭フレーム，終端フレームなどがあるが，これらは区間分割の境界に位置し，誤差の影響を受けやすいため，中央のフレームなどを選定するのが好ましい。

続いて，「パン」，「チルト」の場合である。この場合には，ある一つづきの風景が，複数の画像フレームに渡って記録されている。

図３に「パン」の様子の一例を示す。原風景３１を，左の端（ａ）の位置から，右方向にパンして映像を撮影したとする。このとき，終端（ｃ），および，（ａ）と（ｃ）の間の（ｂ）のように，各画像フレームには，原風景の部分部分が連続的に撮影されていることになる。「チルト」の場合にも，方向が上下に変わるだけで，全く同じ状況の撮影となる。

このような場合に，この映像区間の様子を最も多く表現できる代表画像は，代表フレーム３２のようなパノラマ画像である。パノラマ画像には，映像区間に収められている原風景がすべて含まれている。したがって，「パン」，「チルト」の場合の代表フレーム生成ルールは，「パノラマ画像を生成する」となる。

パノラマ画像を生成する方法は，様々な公知の技術が存在する。例えば参考文献７の技術などを用いて生成することができる。
［参考文献７］：Y. Taniguchi, A. Akutsu, and Y. Tonomura, “PanoramaExcerpts: Extracting and Packing Panoramas for Video Browsing ”, in Proceedings of ACM International Conference on Multimedia, pp.427-436, 1997。

続いて，「ドリーイン」，「ドリーアウト」の場合の例について述べる。図４に，「ドリーイン」の場合の例を示す。原風景４１に対して，ある点に向かってドリーインしているとき，（ａ）最も引いて（縮小して）撮影した画像フレームから，（ｂ）へと拡大していき，（ｃ）のような最も寄って（拡大して）撮影した画像フレームへと遷移する。「ドリーアウト」の場合には，全く逆の順に遷移するだけで，状況は同様である。

このような場合に，この映像区間の様子を最も多く表現できる代表画像は，最も引いて（縮小して）撮影された画像フレーム（ａ）である。（ａ）には，映像区間に収められている原風景がすべて含まれている。したがって，「ドリーイン」，「ドリーアウト」の場合の代表フレーム生成ルールは，「最も引いて（縮小して）撮影された画像フレームを選定する」となる。言い換えれば，「ドリーイン」の場合には，ドリーイン区間の先頭の画像フレーム，「ドリーアウト」の場合には，ドリーアウト区間の終端の画像フレーム，ということになる。

続いて，「ロール」の場合の例を述べる。図５に，「ロール」の場合の例を示す。原風景５１に対して，ある点を中心に回転しているとき，最初の画像フレーム（ａ）から，（ｂ）へと回転していき，（ｃ）のような画像フレームへと遷移する。

このような場合に，この映像区間の様子を最も多く表現できる代表画像は，図５内の太線で示す枠内を含んだ一枚の画像である。このような代表フレーム５２は，中心点を中心として，すべての画像を重ね合わせることによって生成することができる。したがって，「ロール」の場合の代表フレーム生成ルールは，「回転中心を合わせてすべての画像フレームを合成した画像」となる。

続いて，物体動作に関するルールについて説明する。最初に，「動物体あり」の場合について述べる。動物体については，その細かな動きまでを表現するような代表フレームを生成することは難しい。このため，映像区間内から複数の画像を抽出することによって，これらを代表フレームとみなす。

ここで抽出される複数の代表フレームは，それぞれ互いに似ていないことが好ましい。つまり，「動物体あり」の代表フレーム生成ルールは，「相互に異なる一つ以上の画像フレームを抽出する」となる。基本的には，映像区間内の画像フレーム間で類似度を算出し，最も類似していない代表フレームをいくつか抽出することになる。このような代表フレームを抽出する方法として，例えば参考文献８に記載されているような，様々な公知の方法を利用することができる。
［参考文献８］：B.T. Truong, and S. Venkatesh,“Video Abstraction: A Systematic Review and Classification ”, ACM Transactions on Multimedia Computing, Communications, and Applications, Vol. 3, No. 1, pp.692-698, 2007 。

また，「速い動作物体」などのように，動作物体の移動速度がカテゴリとしてある場合には，抽出する代表フレーム数を変化させてもよい。例えば「速い動作物体」であれば，それだけ画面の変化が激しいため，抽出する画像フレームの数を増加させるなどの工夫ができる。

続いて，「テクスチャの細かい物体」の場合について説明する。通常の動物体とは異なり，高周波で動作する物体（領域）は，人間にとってその細かな変化は認識しづらいため，厳密に表現する必要がない。そこで，一つ，あるいは，高々一周期分の画像フレームを抽出し，それを代表フレームとして抽出すればよい。このことから，「テクスチャの細かい物体」についての代表フレーム生成ルールは，「一つまたは一周期分の画像フレームを抽出する」となる。

抽出する画像フレーム数を一つとするか一周期分とするかは，例えば，次のように決定することができる。抽出した一周期分の画像フレームが，互いに類似しているのであれば，見た目に変化が乏しいはずなので，一つの画像のみでよい。したがって，一周期分の画像を抽出し，抽出された画像が相互に類似しているのであれば一つ，そうでない場合には一周期分とすればよい。

最後に，「テロップあり」のカテゴリについての代表フレーム生成ルールについて説明する。まず，代表フレームについては，上記「動作物体あり」の場合と同様に抽出する。加えて，テロップの場合には次のような処理を実行する。

テロップは，例えば字幕のように，文字が記載された視覚効果であり，重要なのは，記載されている文字である。そこで，テロップの挿入されている範囲の情報（座標）と，テロップ文字認識を利用して文字内容をテキストとして抽出する。したがって，「テロップあり」における代表フレーム生成ルールは，「相互に異なる一つ以上の画像フレームを抽出し，テロップ文字を認識する」となる。テロップ文字の認識については，例えば，特許文献（特開平１０−４０２６０号公報）に記載されているような方法などを用いればよい。

以上が，代表フレーム生成部１０３によるステップＳ１３の処理内容である。

続いて，ステップＳ１４では，代替フレーム選定部１０４が，代表フレーム生成部１０３が生成した映像区間ごとの代表フレームに代わる，代替フレームを選定する。代替フレームは，代表フレームによく似た画像であり，画像データベース１０９に蓄積された画像の中から選定される。

各代表フレームに対して，画像データベース１０９中に格納されたすべての画像との類似度を測ってもよい。この際の類似度は，厳密な一致性を重視するため，例えば，ピクセルごとの差を計算して足し合わせ，符号を反転させたものなどを用いればよい。あるいは，ＳＩＦＴ，ＳＵＲＦや，参考文献９に記載の，シーン景観を効果的に表現する特徴量などを用いて，これらのマッチングのよさを測ってもよい。
［参考文献９］：A. Olivia, and A. Torralba, “Building the gist of a scene: the role of global image features in recognition”, Progress in Brain Research, Vol. 155, pp.l23-136, 2006 。

ここで，この処理では，最も類似度の高い画像データを代替フレームとして抽出することが目的であって，すべての画像との類似度を計算することが目的ではない。したがって，画像データベース１０９中のすべての画像に対してマッチングをかけることは，計算コストの肥大化につながり，必ずしも効率的でない場合も多いのである。

そこで，類似度を計算する画像を予め絞り込んでもよい。例えば，画像ごとに，予め画素値の分布の統計量（平均・分散など）を計算しておき，この統計量が代表フレームのそれと著しく違う場合には，類似度計算を行わないとすれば，計算コストを大きく削減できる。

また，画像特徴量以外の情報，例えば映像のタイトルやタグなどの周辺テキストなどを利用できる場合には，テキスト検索などの方法により，これが近いものだけを類似度計算の対象とするようにしてもよい。テキスト検索は，画像特徴量の計算に比べて格段に計算コストが少ないため，高効率化できる。このようにして測った類似度が最も高かった画像を，その代表フレームの代替フレームとして選定する。同時に，選定された代替フレームについては，これを唯一特定する参照値（ＩＤ）を取得しておく。

以上が，代替フレーム選定部１０４によるステップＳ１４の処理である。

次に，ステップＳ１５において，補完情報生成部１０５が，各映像区間に対して，カテゴリごとに定めた補完ルールと，画像データベース１０９から選定された代替フレームとに基づいて，代替フレーム以外の画像フレームを補完する情報を生成する。

補完ルールは，代替フレームと補完情報とに基づいて，後述する文書変換装置において，文書から映像を復元する際に，元の映像区間を復元できるようにするための取り決めである。映像区間のカテゴリに対応づけて，設計者によって予め設定されるものである。

補完情報は，代替フレームと補完ルールに従って，元の映像区間を復元するために必要な情報である。基本的には，いつ，どのように代替フレームを提示するか，という情報を含むものであり，好ましくはＸＭＬ形式のようなマークアップ言語で表現される。

最も簡単な例として，カテゴリ「静止」の場合の一例を図６に示す。映像区間のカテゴリが「静止」である場合には，その映像区間中は代替フレームをずっと提示しておけば，元の映像区間を再構成できる。このため，補完ルールは，「指定された時間，指定された代替フレーム提示する」となる。

したがって，補完情報は，図６に示されるように，以下の情報がＸＭＬ形式で記述される。
・Ｔｅｘｔ１１：映像区間の開始時刻，終了時刻
・Ｔｅｘｔ１２：映像区間のカテゴリ
・Ｔｅｘｔ１３：提示する代替フレームの参照ＩＤと，時刻情報
図６の例では，「映像中，３０．２秒から３７．９秒までの映像区間（Ｔｅｘｔ１１）」は，「映像区間“静止”のカテゴリであって（Ｔｅｘｔ１２）」，「３０．２秒から３７．９秒まで，代替フレーム“http://image.data.co.jp/img/0018291.jpg ”を提示する（Ｔｅｘｔ１３）」ということを意味している。

「パン」や「チルト」の場合には，代表フレームとしてパノラマ（パンする範囲のすべての画像を収めてある）画像が生成されており，これに最も類似する代替フレームが画像データベース１０９から取得されている。このとき，補完ルールとしては，「指定された時間，指定された代替フレームの指定された領域を提示する」という補完ルールが設定されることとなり，補完情報には，「いつどこを提示するか」を示す情報が記述されることとなる。

図７に，「パン」の場合について，その一例を示す。図７の例では，「映像中，１８７．０秒から１９５．４秒までの映像区間（Ｔｅｘｔ２１）」は，「映像区間“パン”のカテゴリであって（Ｔｅｘｔ２２）」，「１８７．０秒から１９５．４秒まで（Ｔｅｘｔ２３）」，「１８７．０秒から１８７．５秒までは，代替フレーム“http://image.data.co.jp/img/8d2x901.jpg ”中の座標（０．０，１２０．０）から（２５．０，１２０．０）まで提示中心を等速で変化させる（Ｔｅｘｔ２４）」，「１８７．５秒から１８８．３秒までは，代替フレーム“http://image.data.co.jp/img/8d2x901.jpg ”中の座標（２５．０，１２０．０）から（５２．０，１３６．０）まで提示中心を等速で変化させる（Ｔｅｘｔ２５）」，といった情報が順次記載されていく。「チルト」についても全く同様の補完情報が生成される。

また，「ドリーイン」，「ドリーアウト」について，「パン」の場合と異なるのは，カメラ動作が拡大縮小か変更移動かという点である。ここだけを考慮し，「パン」の場合と同様，補完ルールは，「指定された時間，指定された代替フレームを，指定されたドリー中心と範囲で提示する」となる。

例えば，「ドリーイン」の場合の補完情報の一例は，図８のようなものとなる。図８のＴｅｘｔ３４，Ｔｅｘｔ３５では，ある時間内でのズーム中心の座標と，画像全体に対する領域の大きさ（ドリーの比率）が指示されている。

「ロール」の場合には，補完ルールとして「指定された時間，指定された代替フレームを，指定されたロール中心と角度で提示する」となり，補完情報には，ある時間内でのロール中心の座標と，回転する角度が記載される。

次に，「動物体あり」の場合の補完ルールについて説明する。「動物体あり」のカテゴリでは，これまでのカメラ動作に関するカテゴリとは異なり，複数の代替フレームを保持している。そこで，代替フレームがある時刻以外の画像フレームについては，これらの代替フレームを用いて補完画像を合成し，提示することとする。合成の方法については，例えば，クロスフェードや，モーフィングによって，線形に合成するものとすればよい。以上のことから，補完ルールは，「指定された時間，指定された２枚の代替フレームを，指定された方法で線形合成する」となる。

図９に，「動物体あり」の場合の補完情報の一例を示す。Ｔｅｘｔ４１，Ｔｅｘｔ４２は，これまでの例と同様に，映像区間の再生時間とカテゴリを示している。Ｔｅｘｔ４３，Ｔｅｘｔ４４は，クロスフェードによって，２枚の代替画像を線形に合成して表示することを示している。例えば，Ｔｅｘｔ４３では，「５８８．８秒から５９０．２秒にかけて，代替フレーム“http://image.data.co.jp/img/0x892n6.jpg ”と，“http://image.data.co.jp/img/tf51007.jpg ”を，徐々に合成して提示する」ことを示している。

「速い動物体」や「遅い物体」などのような場合についても，これと同様の補完情報を定義すればよい。

次に，「テクスチャの細かい物体」の場合について述べる。前述した例では，「テクスチャの細かい物体」の場合には，代替画像を一枚だけ選定している場合と，一周期分の代替画像を選定している場合が存在する。

前者の場合には，カテゴリ「静止」と同様の補完情報を用いればよい。後者の場合には，指定された映像区間の時間だけ，一周期分の代替画像を繰り返し提示し続ければよい。このことから，補完ルールは，「代替フレームが一枚の場合，指定された時間，指定された代替フレーム提示する。代替フレームが一周期の場合，指定された時間，指定された一周期分の代替フレームを繰り返し提示する。」となる。

最後に，「テロップあり」の場合について説明する。前述した例では，「テロップあり」の場合には，テロップの座標とテロップ文字の認識を行っており，代替フレームにテロップを合成して表示することとなる。そこで，補完ルールは，「指定された時間，指定された代替フレームに，指定された座標と文字を合成して提示する」となる。

カテゴリ「テロップあり」の場合の補完情報の一例を，図１０に示す。この例では，Ｔｅｘｔ５１に，８１０．６秒から８１５．９秒にかけて，代替画像“http://image.data.co.jp/img/tbpvv8.jpg”中の座標（１２０．０，２２０．０），（２４０．０，２４０．０）の方形区間に，「東京：晴れのち曇り」というテロップが挿入されることが示されている。

上記のように，各映像区間に対して生成した補完情報は，一つの文書として統合される。以上が，補完情報生成部１０５の処理内容である。

次に，ステップＳ１６において，文書データ出力部１０６が，補完情報生成部１０５が生成した文書（補完情報）を出力する。以上の処理を以て，入力された映像が文書に変換されることとなる。

〔文書変換装置〕
図１１に，文書変換装置の装置構成の一例を図示する。この図に示すように，文書変換装置２０は，文書入力部２００と，映像区間データ取得部２０１と，代替フレーム取得部２０２と，映像区間復元部２０３とを備える。また，記憶装置２０４には，補完ルールが予め記憶されている。この文書変換装置２０は，通信網１０８を通じて，画像データベース１０９と接続されており，相互に通信可能である。この画像データベース１０９は，映像変換装置１０において用いた画像データベース１０９と同一のものとする。

図１２は，文書変換装置が実行する文書変換処理のフローチャートである。まず，ステップＳ２０で，文書入力部２００は，処理対象となる文書を入力として受け取る。

次に，ステップＳ２１で，映像区間データ取得部２０１が，入力した文書を解析し，各映像区間の代替フレームの画像参照値，画像フレームの補完情報，映像区間のカテゴリ，および，その再生時刻を取得する。前述した映像変換装置１０では，ＸＭＬ形式で文書を生成する場合について述べた。この例に従えば，ＸＭＬをパースすることによって，上記情報を取得することが可能である。

次に，ステップＳ２２で，代替フレーム取得部２０２が，ステップＳ２１で取得した代替フレームの画像参照値に基づいて，その実体である代替フレームの画像を取得する。前述のように，この画像データベース１０９においては，画像参照値は画像を唯一に識別するものであるから，この画像参照値を以て画像データベース１０９に問い合わせることで，画像を取得することができる。

次に，ステップＳ２３で，映像区間復元部２０３が，前記取得した代替フレーム，画像フレームの補完情報，映像区間のカテゴリ，カテゴリごとに定められた補完ルール，再生時刻に基づいて，代替フレームを含む元の映像区間を復元し，出力する。

映像変換装置の例で述べたように，補完ルールは，補完情報を用いることで元の映像区間を復元できるように設定されている。したがって，補完ルールと補完情報通りに，映像区間を復元することで，元の映像区間をほとんどそのまま得ることができる。

このようにして復元された映像区間は，そのまま区間ごとに出力するものとしてもよいし，順次再生して提示するものとしてもよい。あるいは，すべての映像区間を復元したのち，一つの映像としてつなぎ合わせて出力するものとしてもよい。

以上が，本発明の実施形態の一例における映像変換装置，映像変換方法，文書変換装置，文書変換方法の説明である。以上示したように，本発明の映像変換装置，映像変換方法によれば，映像データの内容をほぼ保存しながら，文書データへ変換することが可能である。また，本発明の文書変換装置，文書変換方法によれば，変換された文書データから，映像データに再変換することが可能である。

これらの映像変換方法，文書変換方法で実施される処理プロセスを，コンピュータで読み取り可能なプログラムとして記述することも可能であることはいうまでもない。

本発明では，画像情報の変換のみを対象としたが，もちろん，音声・音楽トラックについても，別途圧縮し，付加するものとしてもよい。音声・音楽トラックは，画像情報ほど容量が大きくないため，文書データに変換しないものとしてよく，映像変換時に，種々の公知の方法を用いて圧縮し，文書変換時に別途合成するものとすればよい。

また，本発明は説明した実施形態の一例に限定されるものでなく，特許請求の範囲に記載した技術的範囲において各種の変形を行うことが可能である。

例えば，本発明は，ＩＰＴＶやデジタルサイネージ，ＶＯＤ(Video on Demand) などといった様々な映像配信・通信サービスに用いることができる。大量の映像を記憶しなければならない映像サービスでは，映像を文書として保持できるため，非常に安価な設備での運営が可能である。

１０ 映像変換装置
１００ 映像入力部
１０１ 区間分割部
１０２ 区間分類部
１０３ 代表フレーム生成部
１０４ 代替フレーム選定部
１０５ 補完情報生成部
１０６ 文書データ出力部
１０７ 記憶装置
１０８ 通信網
１０９ 画像データベース

Claims (6)

1. 画像データベースと通信網によって接続された映像変換装置であって，
   入力された映像を所定の分割方法により映像区間に分割する区間分割部と，
   各映像区間を有限個のカテゴリに分類する区間分類部と，
   前記カテゴリごとに定められた代表フレーム生成ルールに基づいて，各映像区間内の代表フレームを一つ以上生成する代表フレーム生成部と，
   前記画像データベースに蓄積された画像と，前記代表フレームとの類似度に基づいて，前記代表フレームに類似した前記画像データベース内の画像を代替フレームとして選定する代替フレーム選定部と，
   前記各映像区間に対して，カテゴリごとに定められた補完ルールと，前記代替フレームとに基づいて，代替フレーム以外の画像フレームを補完する補完情報を生成する補完情報生成部と，
   前記代替フレームの画像参照値，前記画像フレームの補完情報，当該映像区間のカテゴリ，および，その再生時刻を記載した文書データを生成し，出力する文書データ出力部とを備える
   ことを特徴とする映像変換装置。
2. 画像データベースと通信網によって接続された文書変換装置であって，
   入力された文書データから，各映像区間の代替フレームの画像参照値，画像フレームの補完情報，映像区間のカテゴリ，および，その再生時刻を取得する映像区間データ取得部と，
   前記取得した代替フレームの画像参照値に基づいて，前記画像データベースから代替フレームを取得する代替フレーム取得部と，
   前記取得した代替フレーム，前記画像フレームの補完情報，前記映像区間のカテゴリ，カテゴリごとに定められた補完ルール，および，前記再生時刻に基づいて，代替フレームを含む元の映像区間を復元する映像区間復元部とを備える
   ことを特徴とする文書変換装置。
3. 画像データベースと通信網によって接続された映像変換装置が実行する映像変換方法であって，
   入力された映像を所定の分割方法により映像区間に分割する区間分割処理と，
   各映像区間を有限個のカテゴリに分類する区間分類処理と，
   前記カテゴリごとに定められた代表フレーム生成ルールに基づいて，各映像区間内の代表フレームを一つ以上生成する代表フレーム生成処理と，
   前記画像データベースに蓄積された画像と，前記代表フレームとの類似度に基づいて，前記代表フレームに類似した前記画像データベース内の画像を代替フレームとして選定する代替フレーム選定処理と，
   前記各映像区間に対して，カテゴリごとに定められた補完ルールと，前記代替フレームとに基づいて，代替フレーム以外の画像フレームを補完する補完情報を生成する補完情報生成処理と，
   前記代替フレームの画像参照値，前記画像フレームの補完情報，当該映像区間のカテゴリ，および，その再生時刻を記載した文書データを生成し，出力する文書データ出力処理とを実行する
   ことを特徴とする映像変換方法。
4. 画像データベースと通信網によって接続された文書変換装置が実行する文書変換方法であって，
   入力された文書データから，各映像区間の代替フレームの画像参照値，画像フレームの補完情報，映像区間のカテゴリ，および，その再生時刻を取得する映像区間データ取得処理と，
   前記取得した代替フレームの画像参照値に基づいて，前記画像データベースから代替フレームを取得する代替フレーム取得処理と，
   前記取得した代替フレーム，前記画像フレームの補完情報，前記映像区間のカテゴリ，カテゴリごとに定められた補完ルール，および，前記再生時刻に基づいて，代替フレームを含む元の映像区間を復元する映像区間復元処理とを実行する
   ことを特徴とする文書変換方法。
5. 請求項３記載の映像変換方法を，コンピュータに実行させるための映像変換プログラム。
6. 請求項４記載の文書変換方法を，コンピュータで実行させるための文書変換プログラム。

Images