JP2009049510A - 静止画抽出装置及び静止画抽出プログラム - Google Patents

Abstract

【課題】映像データの内容を理解するために過不足なく必要な量の静止画を映像データから抽出することができる静止画抽出装置を提供する。
【解決手段】サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出手段と、字幕更新検出手段によって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録する静止画抽出手段とを備えた。
【選択図】図１

Description

本発明は、サムネイルを作成するために動画の中から静止画を抽出する静止画抽出装置及び静止画抽出プログラムに関する。

テレビジョン放送として放送される番組のデータには、映像データと音声データが含まれている。また、放送される番組データには、映像データとして含まれているため、ユーザ側で表示の可否を選択できない字幕（番組の題名やキャストなどの紹介、または、海外の作品における日本語字幕）が含まれている場合がある。また、放送される番組データには、表示させるか否かをユーザ側で選択可能な字幕データが含まれている場合がある。このような選択可能な字幕データは、一般にクローズドキャプション（Closed Caption）と称され、主に、聴覚障害者用に開発され、海外の作品における日本語字幕のように、出演者の会話だけではなく、例えば、ＢＧＭや効果音などの説明も含まれる。

例えば、ＮＴＳＣ（National Television System Committee）方式のアナログの地上波放送では、映像信号に５２５本の走査線が用いられており、この５２５本のうち、各フィールド（２フィールドで１フレームを構成）の最初の２１本相当は、ＶＢＩ（Vertical Blanking Interval：垂直帰線消去期間）と称される、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのＶＢＩのうち、ＶＢＩの２１本目に文字コードを多重化することによって伝送される。そして、各フィールドを使って２種類の文字セットを毎秒約６０文字が伝送されている。

また、デジタルテレビ放送の字幕情報の伝送については、国内規定である地上デジタルテレビジョン放送運用規定・技術資料（ＡＲＩＢ ＴＲ−Ｂ１４）、ＢＳ／広帯域ＣＳデジタル放送運用規定・技術資料（ＡＲＩＢ ＴＲ−Ｂ１５）で規定されているように、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に字幕情報を伝送できるように構成されている。そして、デジタルテレビ放送用受信機において、字幕情報に対応する符号がデコードされ、字幕を構成する文字、図形が生成されて、映像に重畳されて表示される。デジタルテレビ放送において、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に伝送されたテキスト情報を、内部に保存したり、内部に保存したテキスト情報をテレビモニタでいつでも表示閲覧したりすることができるようにすることにより、ユーザが、表示された字幕のメモを取らなくても、字幕の情報を活用することができるようにした技術がある（例えば、特許文献１参照）。

テレビジョン放送は、近年、例えば、携帯電話やＰＤＡ（Personal Digital Assistant）などのユーザが携帯可能な端末でも閲覧することができるようになってきている。また、家庭内の録画装置で録画された番組を、携帯可能な装置に装着する記録媒体に記録し、その記録媒体から、記録された番組を再生するといったようなことも行われている。このように、放送される字幕データは、さまざまなサービスに利用され始めている。また、テレビジョン放送自体も、さまざまな装置で受信され、その受信された番組が閲覧できるような仕組みも設けられている。

しかしながら、テレビジョン放送は、さまざまな装置で受信され、そのテレビジョン放送で放送された番組は、所定の記録媒体に記録され携帯可能な装置で閲覧されるなどされているが、その番組を記録する記録媒体の容量には限度がある。また、携帯可能な装置に装着可能（内蔵可能）な記録媒体という条件が付加されると、さらに、利用できる記録媒体の容量は限定されてしまう。

そのため、携帯可能な装置で番組を閲覧すると、短い時間の番組しか閲覧できない（番組の一部分しか閲覧できない）、長い時間分の番組を記録するために圧縮率を高くすると、映像が荒くなり画質が低下してしまうといった問題があった。そのために普及しないといった問題もあった。そこで、携帯可能な装置でも長時間の番組や複数の番組を閲覧でき、かつ、画質が低下してしまうようなことを防ぎながら閲覧できる機能が望まれている。

このような問題を解決するため、携帯可能な装置においても、複数の番組や、長時間の番組を閲覧できるようにするために、携帯電話機により指示されたテレビジョン放送の番組を録画し、この録画された番組を時刻情報により関連付けたサムネイル画像データとテキストデータに変換して表示することにより、番組の内容を把握することができる情報処理装置が知られている（例えば、特許文献２参照）。
特開２００３−０７８８８９号公報 特開２００６−２５３９６０号公報

ところで、放送番組などの映像コンテンツの内容を容易に理解できるように、映像に付随する字幕データ（テキストデータ）と、映像データから抽出した静止画（サムネイル画像）を表示することで、コンテンツの内容を閲覧あるいは検索することが可能となる。この場合、内容を理解するために過不足なく必要な量の静止画を映像から抽出する必要があるが、長時間の映像データから人手を使って静止画の抽出を行うのは現実的でないため、自動的に静止画の抽出を行うことができるようにする必要がある。一般に映像データ（動画像データ）から静止画を抽出する場合、一定の時間間隔でフレームを抽出することが考えられる。図１０に示すように、入力される映像データからフレーム抽出部５１が各フレームデータを切り出し、時計Ｔの出力を参照して、一定の時間間隔（例えば、１分間隔）でフレームデータを時計Ｔが出力する時刻情報とともに、時間・静止画記録部５２に記録するようにすれば、長時間の映像データであっても自動的に所定数の静止画を抽出して記録することが可能となる。

しかしながら、この方法は、フレームを切り出す時間間隔を短くすると不必要に抽出される静止画が多くなり、また、時間間隔が長くすると必要な静止画が抽出されないという問題がある。

本発明は、このような事情に鑑みてなされたもので、映像データの内容を理解するために過不足なく必要な量の静止画を映像データから抽出することができる静止画抽出装置及び静止画抽出プログラムを提供することを目的とする。

本発明は、サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出手段と、前記字幕更新検出手段によって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録する静止画抽出手段とを備えたことを特徴とする。

本発明は、サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、前記画像差分算出手段によって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出手段とを備えたことを特徴とする。

本発明は、サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、短い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出手段と、前記フレーム抽出手段によって抽出された連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、前記画像差分算出手段によって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出手段とを備えたことを特徴とする。

本発明は、サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出手段と、前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、前記フレーム抽出手段によって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出手段によって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出手段とを備えたことを特徴とする。

本発明は、サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出手段と、前記映像データの各フレームに対応付けられた字幕データの更新回数が所定時間内に所定量になったか否かを判定する字幕判定手段と、前記フレーム抽出手段によって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記字幕手段によってフレームに対応付けられた字幕データの更新回数が所定量になったと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出手段とを備えたことを特徴とする。

本発明は、サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出手段と、前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、前記字幕更新検出手段によって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出手段によって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出手段とを備えたことを特徴とする。

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出ステップと、前記字幕更新検出ステップによって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップとをコンピュータに行わせることを特徴とする。

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、前記画像差分算出ステップによって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出ステップとをコンピュータに行わせることを特徴とする。

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、短い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出ステップと、前記フレーム抽出ステップによって抽出された連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、前記画像差分算出ステップによって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出ステップとをコンピュータに行わせることを特徴とする。

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出ステップと、前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、前記フレーム抽出ステップによって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出ステップによって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップとをコンピュータに行わせることを特徴とする。

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出ステップと、前記映像データの各フレームに対応付けられた字幕データの更新回数が所定時間内に所定量になったか否かを判定する字幕判定ステップと、前記フレーム抽出ステップによって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記字幕ステップによってフレームに対応付けられた字幕データの更新回数が所定量になったと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップとをコンピュータに行わせることを特徴とする。

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出ステップと、前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、前記字幕更新検出ステップによって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出ステップによって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップとをコンピュータに行わせることを特徴とする。

本発明によれば、映像データの内容を理解するために過不足なく必要な量の静止画を映像データから抽出することができるという効果が得られる。

以下、本発明の一実施形態による静止画抽出装置を図面を参照して説明する。初めに、本発明による静止画抽出装置が適用される受配信システムについて説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、映像、音声、テキストなどを配信する配信装置である。符号２は、配信装置１の処理動作を統括して制御する制御部である。符号３は、コンテンツデータの入力のほか、各種データの入出力を行う入力出力部である。符号４は、テキスト／サムネイル配信・表示ソフトウエア９、映像／音声／テキスト配信・表示ソフトウエア１０、コンテンツデータ１１、１２、１３、配信・表示部ソフトウェア管理データ１４、コンテンツ管理データ１５、ユーザ管理データ１６、コンテンツ・ユーザ付加データ１７等が記憶される記憶部である。符号５は、テキスト、サムネイルを配信するテキスト／サムネイル配信部である。符号６は、映像、音声、テキストの配信を行う映像／音声／テキスト配信部である。符号７は、ユーザがコンテンツに付与するコメント、評価などのデータを受信し、集約したデータを配信するコンテンツ・ユーザ付加データ受配信部である。符号８は、情報の放送または情報通信を行う通信部である。

テキスト／サムネイル配信・表示ソフトウエア９は、テキスト／サムネイルの配信・表示処理を実現するソフトウエアである。映像／音声／テキスト配信・表示ソフトウエア１０は、映像、音声、テキストの配信・表示処理を実現するソフトウェアである。コンテンツデータ１１は、映像、音声、テキスト、サムネイル、その他のデータで構成されるコンテンツデータであり、各データは配信装置１から通信部を介して配信される。コンテンツデータ１１は、時間的に切り替わる静止画像の集まりも含む映像データ（動画像データ）１８、映像に時間的に連動した音声データ１９、テレビ放送の字幕をテキストに変換したデータなどの映像、または音声に時間的に連動したテキストデータ２０、映像を縮小した静止画像データであるサムネイルデータ２１及びコンテンツ全体の名称、概要などの全体情報データと、コンテンツの一部のシーン説明、ＢＧＭ、タイトル名などの個別情報データに大別され、映像、または音声に時間的に連動するその他のデータ２２から構成する。

配信・表示ソフトウェア管理データ１４は、テキスト／サムネイル配信・表示部ソフトウエアおよび映像／音声／テキスト配信・表示ソフトウエアを管理するデータである。コンテンツ管理データ１５は、コンテンツデータ１１〜１３を管理するデータである。ユーザ管理データ１６は、ユーザ情報を管理するデータである。コンテンツ・ユーザ付加データ１７は、ユーザがコンテンツに付与するコメント、評価などのデータである。

符号２３は、配信装置１が配信した映像、音声、テキストなどを受信し、表示する受信装置であり、例えば、携帯電話端末等で構成する。符号２４は、受信装置２３の処理動作を統括して制御する制御部である。符号２５は、ダイヤルキーやファンクションキー等で構成し、ユーザとのマンマシンインタフェースを行う入力部である。符号２６は、ユーザに対して、コンテンツデータなどの表示を行うために液晶のディスプレイ等で構成する表示装置である。符号２７は、放送の受信、配信装置１との間で情報通信を行う通信部である。符号２８は、テキスト／サムネイル表示ソフトウエア３８、映像／音声／テキスト表示ソフトウエア３９、コンテンツデータ４０、４１、４２等が記憶される記憶部である。

符号２９は、テキスト／サムネイル表示ソフトウエア３８を用いて、コンテンツデータの中のテキストデータとサムネイルデータなどを、データバッファ３０を介して記憶部２８から読み出して表示装置２６に表示するテキスト／サムネイル表示部であり、テキスト表示部３１とサムネイル表示部３２とから構成する。テキスト表示部３１は、コンテンツデータの中のテキストデータを表示装置２６に表示する。テキストデータは記憶部２８に記憶されたデータや、通信部２７経由で取得されたデータを使用し、入力部２５における操作入力に応答する形で、行送りやページ送りなどの表示制御を行う。サムネイル表示部３２は、コンテンツデータの中のサムネイルデータやその他のデータを表示する。サムネイルデータやその他のデータは、記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用する。サムネイルデータやその他のデータのうち、個別情報データについては、テキストデータに連動して表示する。

符号３３は、映像／音声／テキスト表示ソフトウエア３９を用いて、コンテンツデータの中の映像データ、音声データ、テキストデータなどを、データバッファ３４を介して記憶部２８から読み出して表示装置２６に表示する映像／音声／テキスト表示部であり、映像表示部、音声出力部、テキスト表示部からなる。映像表示部３５は、コンテンツデータの中の映像データを表示する。映像データは記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用し、入力部２５における操作入力に応答する形で、再生、停止、早送り、巻き戻しなどの表示制御を行う。音声出力部３６は、コンテンツデータの中の音声データを表示する。音声データは記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用する。音声データは、映像データに連動して出力されるか、または音声データが先行出力され、映像が追従する形で連動して表示される。テキスト表示部３７は、コンテンツデータの中のテキストデータやその他のデータを表示する。テキストデータやその他のデータは記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用する。テキストデータやその他データのうち、個別情報データについては、映像データ、または音声データに連動して表示する。

テキスト／サムネイル表示ソフトウエア３８は、コンテンツデータの中のテキストデータとサムネイルデータなどを用いて、表示装置２６に表示する処理を実現するソフトウエアである。テキスト／サムネイル表示ソフトウエア３８は配信装置１から通信部２７経由で取得し記憶部２８に記憶する。ユーザからのリクエストに応じて、コンテンツデータをテキスト／サムネイル表示部２９により視聴する場合、このソフトウエアが呼び出され、使用される。テキスト／サムネイル表示ソフトウエア３８はバージョンアップにより改変され、最新のソフトウエアは配信装置１から通信部２７経由で逐次取得する。

映像／音声／テキスト表示ソフトウエア３９は、コンテンツデータの中の映像データ、音声データ、テキストデータなどを用いて、表示装置２６に表示する処理を実現するソフトウエアである。映像／音声／テキスト表示ソフトウエア３９は、配信装置１から通信部２７経由で取得され、記憶部２８に記憶する。ユーザからのリクエストに応じて、コンテンツデータを映像／音声／テキスト表示部３３により視聴する場合、このソフトウエアが呼び出され、使用される。映像／音声／テキスト表示部ソフトウエア３９はバージョンアップにより改変され、最新のソフトウエアは配信装置１から通信部２７経由で逐次取得する。

次に、図９を参照して、図１に示す受信装置２３におけるコンテンツ閲覧機能を説明する。図９は、図１に示す受信装置２３におけるコンテンツ閲覧機能を示す図である。受信装置２３は、メタデータ検索機能、読むモード機能及び見るモード機能の３つの機能を有している。

（１）メタデータ検索機能
キーワードの入力により、番組内の見たい箇所へピンポイントで到達することができる機能である。メタデータは、字幕データを利用して作成し、テキストとして提供される。例えば、検索キーワードとして「ていえん」と入力すると、全番組のメタデータをくまなく検索し、「日本の庭園」と番組内のシーンまでたどり着くことができる。

（２）読むモード機能
テキスト（字幕データ）と静止画（サムネイル）を関係付けて表示することにより、手早く情報の閲覧を行うことが可能な機能であり、スクロールとページ送りを行うことができる。テキストと静止画が事前にダウンロードされているため、電波が届かないところでも「いつでもどこでも」閲覧することが可能である。

（３）見るモード機能
読むモードにおいてテキスト部分をクリックすると、この時点からの動画を再生することが可能な機能であり、早送り／巻き戻し／サーチ機能を備えている。動画再生は、予め受信装置２３内に蓄積した映像コンテンツを再生する機能と、通信または放送を介してストリーミングで再生する機能を備えている。ストリーミングで再生する場合、長時間の動画再生が可能であり、視聴を中断した箇所を記憶しておき、簡単に視聴の再開が可能である。

読むモードと見るモードは、連動して切替えすることが可能であり、読むモードを見たい動画の検索に用いることができる。

次に、図２を参照して、図１に示す記憶部４に記憶されるコンテンツデータ１１のうち、サムネイルデータ２１を生成する静止画抽出方法を説明する。このサムネイルデータは、配信装置１内において生成してもよいが、配信装置１とは別のサーバ等において生成し、入力出力部３を介して入力して、記憶部４に記憶するようにしてもよい。ここでは、テキスト／サムネイル配信部５が、コンテンツデータ１１の映像データ１８とテキストデータ（字幕データ）２０を使用して、サムネイルデータを生成するものとして説明する。

図２は、映像データ（動画像データ）を入力し、字幕の表示が更新されるごとに静止画を抽出する機能を示すブロック図である。まず、フレーム抽出部５１は、映像データ１８を読み込み、各フレームを切り出す。これと並行して字幕ページ抽出部５３は、テキストデータを映像データ１８に対して時間的に連動させた字幕ページを抽出する。そして、字幕ページ抽出部５３は、字幕ページが更新されるタイミングでフレーム抽出部５１に対して、現時点のフレームを時間・静止画記録部５２に記録するように指示を出すとともに、時計Ｔに対して、現時点の時間（映像データの先頭からの経過時間）を時間・静止画記録部５２に記録するように指示を出す。

これを受けて、フレーム抽出部５１は、指示が出されたタイミングのフレームを時間・静止画記録部５２に記録する。また、時計Ｔは、指示が出されたタイミングの時間情報を時間・静止画記録部５２に記録されたフレームデータ（静止画）に関係付けて記録する。この動作を映像データ１８の最後まで繰り返すことにより、時間・静止画記録部５２には、抽出された静止画データと時間情報が関係付けられたサムネイルデータが複数記録されることになる。映像データ１８の最後まで処理が終了すると、時間・静止画記録部５２は、記録したサムネイルデータを記憶部４に記憶する。このサムネイルデータ２１は、図９に示す読むモード機能の静止画に用いられることになる。

このように、映像データ１８にテキストデータ（字幕）が付随していることを利用し、字幕の表示が更新されるごとに静止画を抽出することができる。これにより、字幕がある部分は音声による話や説明がある場所であり、放送番組など映像コンテンツの内容理解のために必要な静止画を抽出することができる。

次に、図３を参照して、他の静止画抽出方法を説明する。図３は、映像データを入力し、映像の差分に応じて静止画を抽出する機能を示すブロック図である。まず、フレーム抽出部５１は、映像データ１８を読み込み、各フレームを切り出す。これと並行して差分算出部抽出部５４は、映像データ１８を読み込み、各フレームを切り出し、前後のフレーム間の差分を算出する。この算出した差分量が大きい場合、差分算出部５４は、フレーム抽出部５１に対して、現時点のフレームを時間・静止画記録部５２に記録するように指示を出すとともに、時計Ｔに対して、現時点の時間（映像データの先頭からの経過時間）を時間・静止画記録部５２に記録するように指示を出す。

これを受けて、フレーム抽出部５１は、指示が出されたタイミングのフレームを時間・静止画記録部５２に記録する。また、時計Ｔは、指示が出されたタイミングの時間情報を時間・静止画記録部５２に記録されたフレームデータ（静止画）に関係付けて記録する。この動作を映像データ１８の最後まで繰り返すことにより、時間・静止画記録部５２には、抽出された静止画データと時間情報が関係付けられたサムネイルデータが複数記録されることになる。映像データ１８の最後まで処理が終了すると、時間・静止画記録部５２は、記録したサムネイルデータを記憶部４に記憶する。このサムネイルデータ２１は、図９に示す読むモード機能の静止画に用いられることになる。

このように、映像フレーム間の画像差分を算出し、一つのフレームからの画像差分が一定の量を超えた場合に静止画を抽出することができる。これにより、映像変化がない場合に静止画を抽出しても同じ内容の画像であるため、コンテンツ理解のための有用な情報になりにくいが、映像変化ある部分は異なる内容が含まれるので、映像コンテンツの理解に必要な映像情報が含まれている可能性が高くなる。

次に、図４を参照して、他の静止画抽出方法を説明する。図４は、映像データを入力し、時間間隔と映像の差分の大きさと組み合わせて静止画を抽出する機能を示すブロック図である。まず、フレーム抽出部５５は、映像データ１８を読み込み、時計ＴＡが出力する時間情報を参照して、比較的短い一定時間間隔毎に、フレームを切り出し、フレーム抽出部５１及び差分算出部５４へ切り出したフレームを出力する。そして、差分算出部５４は、前後のフレーム間の差分を算出する。この算出した差分量が大きい場合、差分算出部５４は、フレーム抽出部５１に対して、現時点のフレームを時間・静止画記録部５２に記録するように指示を出すとともに、時計Ｔに対して、現時点の時間（映像データの先頭からの経過時間）を時間・静止画記録部５２に記録するように指示を出す。

これを受けて、フレーム抽出部５１は、指示が出されたタイミングのフレームを時間・静止画記録部５２に記録する。また、時計Ｔは、指示が出されたタイミングの時間情報を時間・静止画記録部５２に記録されたフレームデータ（静止画）に関係付けて記録する。この動作を映像データ１８の最後まで繰り返すことにより、時間・静止画記録部５２には、抽出された静止画データと時間情報が関係付けられたサムネイルデータが複数記録されることになる。映像データ１８の最後まで処理が終了すると、時間・静止画記録部５２は、記録したサムネイルデータを記憶部４に記憶する。このサムネイルデータ２１は、図９に示す読むモード機能の静止画に用いられることになる。

このように、一定時間間隔を短くして抽出しておき、映像変化が少ない静止画を抽出しないようにして静止画を抽出することができる。これにより、変化が少ない静止画は冗長なため省くことができる。

次に、図５を参照して、他の静止画抽出方法を説明する。図５は、映像データを入力し、時間間隔と映像の差分の大きさと組み合わせて静止画を抽出する機能を示すブロック図である。まず、フレーム抽出部５６は、映像データ１８を読み込み、時計ＴＡが出力する時間情報を参照して、比較的長い一定時間間隔毎に、フレームを切り出し、時間ＴＡが出力する時間情報と関係付けて時間・静止画記録部５２に記録する。これと並行して、フレーム抽出部５１は、映像データ１８を読み込み、各フレームを切り出すとともに、差分算出部５４は、映像データ１８を読み込み、各フレームを切り出し、前後のフレーム間の差分を算出する。差分算出部５４は、算出した差分量が大きい場合、フレーム抽出部５１に対して、現時点のフレームを時間・静止画記録部５２に記録するように指示を出すとともに、時計Ｔに対して、現時点の時間（映像データの先頭からの経過時間）を時間・静止画記録部５２に記録するように指示を出す。

これを受けて、フレーム抽出部５１は、指示が出されたタイミングのフレームを時間・静止画記録部５２に記録する。また、時計Ｔは、指示が出されたタイミングの時間情報を時間・静止画記録部５２に記録されたフレームデータ（静止画）に関係付けて記録する。この動作を映像データ１８の最後まで繰り返すことにより、時間・静止画記録部５２には、抽出された静止画データと時間情報が関係付けられたサムネイルデータが複数記録されることになる。映像データ１８の最後まで処理が終了すると、時間・静止画記録部５２は、記録したサムネイルデータを記憶部４に記憶する。このサムネイルデータ２１は、図９に示す読むモード機能の静止画に用いられることになる。

このように、比較的長い一定時間間隔で静止画を抽出するとともに、映像の差分が一定以上大きいと判定された場合、この時点の静止画を抽出して加えることによって静止画を抽出することができる。これにより、一定の時間間隔で静止画を得て、さらに映像変化がある部分の重要な静止画を追加することができる。

次に、図６を参照して、他の静止画抽出方法を説明する。図６は、映像データを入力し、時間間隔と字幕ページ数と組み合わせて静止画を抽出する機能を示すブロック図である。まず、フレーム抽出部５６は、映像データ１８を読み込み、時計ＴＡが出力する時間情報を参照して、比較的長い一定時間間隔毎に、フレームを切り出し、時間ＴＡが出力する時間情報と関係付けて時間・静止画記録部５２に記録する。これと並行して、フレーム抽出部５１は、映像データ１８を読み込み、各フレームを切り出すとともに、字幕ページ数判定部５７は、テキストデータを映像データ１８に対して時間的に連動させた字幕ページのページ数（字幕の更新回数）を判定する。この判定の結果、字幕ページ数（字幕の更新回数）が所定値を超えていた場合、フレーム抽出部５１に対して、現時点のフレームを時間・静止画記録部５２に記録するように指示を出すとともに、時計Ｔに対して、現時点の時間（映像データの先頭からの経過時間）を時間・静止画記録部５２に記録するように指示を出す。

これを受けて、フレーム抽出部５１は、指示が出されたタイミングのフレームを時間・静止画記録部５２に記録する。また、時計Ｔは、指示が出されたタイミングの時間情報を時間・静止画記録部５２に記録されたフレームデータ（静止画）に関係付けて記録する。この動作を映像データ１８の最後まで繰り返すことにより、時間・静止画記録部５２には、抽出された静止画データと時間情報が関係付けられたサムネイルデータが複数記録されることになる。映像データ１８の最後まで処理が終了すると、時間・静止画記録部５２は、記録したサムネイルデータを記憶部４に記憶する。このサムネイルデータ２１は、図９に示す読むモード機能の静止画に用いられることになる。

このように、比較的長い一定時間間隔で静止画を抽出するとともに、字幕ページの数（字幕が更新された回数）が所定値より多くなる場合は、この時点の静止画を抽出して加えることによって静止画を抽出することができる。これにより、字幕とのバランスを取るように静止画を追加することができる。

次に、図７を参照して、他の静止画抽出方法を説明する。図７は、映像データを入力し、字幕ページと映像差分を組み合わせて静止画を抽出する機能を示すブロック図である。まず、フレーム抽出部５６は、映像データ１８を読み込み、各フレームを切り出す。これと並行して字幕ページ抽出部５３は、テキストデータを映像データ１８に対して時間的に連動させた字幕ページを抽出する。そして、字幕ページ抽出部５３は、字幕ページが更新されるタイミングでフレーム抽出部５６に対して、現時点のフレームを時間・静止画記録部５２に記録するように指示を出すとともに、時計ＴＢに対して、現時点の時間（映像データの先頭からの経過時間）を時間・静止画記録部５２に記録するように指示を出す。これを受けて、フレーム抽出部５６は、指示が出されたタイミングのフレームを時間・静止画記録部５２に記録する。また、時計ＴＢは、指示が出されたタイミングの時間情報を時間・静止画記録部５２に記録されたフレームデータ（静止画）に関係付けて記録する。

一方、フレーム抽出部５１は、映像データ１８を読み込み、各フレームを切り出す。これと並行して、差分算出部５４は、映像データ１８を読み込み、時間間隔判定部５８が判定した時間間隔が所定時間であれば、各フレームを切り出し、前後のフレーム間の差分を算出する。差分算出部５４は、算出した差分量が大きい場合、フレーム抽出部５１に対して、現時点のフレームを時間・静止画記録部５２に記録するように指示を出すとともに、時計ＴＣに対して、現時点の時間を時間・静止画記録部５２に記録するように指示を出す。これを受けて、フレーム抽出部５１は、指示が出されたタイミングのフレームを時間・静止画記録部５２に記録する。また、時計ＴＣは、指示が出されたタイミングの時間情報を時間・静止画記録部５２に記録されたフレームデータ（静止画）に関係付けて記録する。

以上の動作を映像データ１８の最後まで繰り返すことにより、時間・静止画記録部５２には、抽出された静止画データと時間情報が関係付けられたサムネイルデータが複数記録されることになる。映像データ１８の最後まで処理が終了すると、時間・静止画記録部５２は、記録したサムネイルデータを記憶部４に記憶する。このサムネイルデータ２１は、図９に示す読むモード機能の静止画に用いられることになる。

このように、映像データ１８にテキストデータ（字幕）が付随していることを利用し、字幕の表示が更新されるごとに静止画を抽出することができるとともに、映像フレーム間の画像差分を算出し、一つのフレームからの画像差分が一定の量を超えた場合に静止画を追加することができる。これにより、重要度が高い静止画を集めることができる。

前述した「一定の時間間隔で抽出する」、「字幕表示ページごとに抽出する」及び「映像変化が大きい場合に抽出する」の３種類の抽出方法には以下の特徴を有している。すなわち、一定の時間間隔で抽出する方法は、時間間隔を短くすると不必要に静止画が多くなり、時間間隔が長いと必要な静止画が抽出されないことがある。また、字幕表示ページごとに抽出する方法は、字幕が非常に少ないと、抽出される静止画も少なくなり過ぎる場合があり、理解に必要な映像シーンの静止画が不足することがある。また、映像変化が大きい場合に抽出する方法は、映像変化が大きい場合の静止画を抽出すると、異なる内容の静止画が選択される確率が高くなるが、人物が話しているシーンが固定的な映像である場合、話している字幕に比べて静止画が極端に少なくことがある。一方、映像変化が小さい場合の静止画を抽出するようにすると、無駄な静止画が多くなりすぎることがある。

これらの３つの抽出方法は、１つの抽出方法では、適度な静止画を抽出することは難しいが、これらの抽出方法を組み合わせることにより、必要最小限の静止画を自動的に抽出することができるようになる。

以上説明したように、本発明による静止画抽出方法によれば、重要度の高い静止画のみを効率よく抽出することができる。これによって抽出した静止画を読みモード機能に閲覧可能とすることにより、これらの静止画によりテレビ映像などの動画を含むコンテンツを短時間で素早く閲覧し理解することができる。また、これらの静止画によりコンテンツ中の求める情報をブラウジングして検索することができる。また、これらの静止画により検索した後、テレビ映像などの必要な動画シーンを見るモード機能に切り替えることによって見ることができる。特に、静止画と、この静止画を抽出した時間の情報を関係付けて記憶するようにしたため、図８に示すように、静止画の時間と動画の時間を連動させることができ、静止画から必要な動画シーンを見るモードに直ちに移行することができる。逆に必要な動画シーンを見終わった場合、見終わった時間の近傍の静止画に戻り、静止画による閲覧や検索を行う読むモードに戻ることができる。

なお、図２〜７における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより静止画抽出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の一実施形態の構成を示すブロック図である。 図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。 図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。 図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。 図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。 図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。 図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。 図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。 図１に示す受信装置２３の機能を示す説明図である。 従来技術による静止画抽出機能を示すブロック図である。

符号の説明

１・・・配信装置、２３・・・受信装置、４・・・記憶部、５・・・テキスト／サムネイル配信部、５１、５５、５６・・・フレーム抽出部、５２・・・時間・静止画記録部、５３・・・字幕ページ抽出部、５４・・・差分算出部、５７・・・字幕ページ数判定部、５８・・・時間間隔判定部、Ｔ、ＴＡ、ＴＢ、ＴＣ・・・時計

Claims (12)

1. サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、
   前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出手段と、
   前記字幕更新検出手段によって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録する静止画抽出手段と
   を備えたことを特徴とする静止画抽出装置。
2. サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、
   前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、
   前記画像差分算出手段によって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出手段と
   を備えたことを特徴とする静止画抽出装置。
3. サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、
   短い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出手段と、
   前記フレーム抽出手段によって抽出された連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、
   前記画像差分算出手段によって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出手段と
   を備えたことを特徴とする静止画抽出装置。
4. サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、
   長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出手段と、
   前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、
   前記フレーム抽出手段によって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出手段によって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出手段と
   を備えたことを特徴とする静止画抽出装置。
5. サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、
   長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出手段と、
   前記映像データの各フレームに対応付けられた字幕データの更新回数が所定時間内に所定量になったか否かを判定する字幕判定手段と、
   前記フレーム抽出手段によって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記字幕手段によってフレームに対応付けられた字幕データの更新回数が所定量になったと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出手段と
   を備えたことを特徴とする静止画抽出装置。
6. サムネイルデータを作成するために、映像データから静止画を抽出する静止画抽出装置であって、
   前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出手段と、
   前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出手段と、
   前記字幕更新検出手段によって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出手段によって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出手段と
   を備えたことを特徴とする静止画抽出装置。
7. サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、
   前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出ステップと、
   前記字幕更新検出ステップによって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップと
   をコンピュータに行わせることを特徴とする静止画抽出プログラム。
8. サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、
   前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、
   前記画像差分算出ステップによって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出ステップと
   をコンピュータに行わせることを特徴とする静止画抽出プログラム。
9. サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、
   短い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出ステップと、
   前記フレーム抽出ステップによって抽出された連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、
   前記画像差分算出ステップによって得られた画像変化が大きいと判定された場合に、画像変化が大きいフレームの映像データを静止画として抽出して記録する静止画抽出ステップと
   をコンピュータに行わせることを特徴とする静止画抽出プログラム。
10. サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、
    長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出ステップと、
    前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、
    前記フレーム抽出ステップによって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出ステップによって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップと
    をコンピュータに行わせることを特徴とする静止画抽出プログラム。
11. サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、
    長い所定時間間隔毎に、前記映像データからフレームを抽出するフレーム抽出ステップと、
    前記映像データの各フレームに対応付けられた字幕データの更新回数が所定時間内に所定量になったか否かを判定する字幕判定ステップと、
    前記フレーム抽出ステップによって抽出されたフレームの映像データを静止画として抽出して記録するとともに、前記字幕ステップによってフレームに対応付けられた字幕データの更新回数が所定量になったと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップと
    をコンピュータに行わせることを特徴とする静止画抽出プログラム。
12. サムネイルデータを作成するために、コンピュータによって映像データから静止画を抽出する静止画抽出プログラムであって、
    前記映像データの各フレームに対応付けられた字幕データが更新されたことを検出する字幕更新検出ステップと、
    前記映像データの連続する２つのフレーム間の画像変化を算出する画像差分算出ステップと、
    前記字幕更新検出ステップによって、字幕データが更新されたことを検出した場合に、字幕データが更新されたフレームの映像データを静止画として抽出して記録するとともに、前記画像差分算出ステップによって得られた画像変化が大きいと判定されたフレームの映像データを静止画として抽出して記録する静止画抽出ステップと
    をコンピュータに行わせることを特徴とする静止画抽出プログラム。

Images