JP2009060490A - 動画像処理装置及び方法 - Google Patents

Abstract

【課題】利用者が効率よく視聴することができる動画像処理装置及び方法を提供する。
【解決手段】動画像処理装置は、複数の部分動画像情報と、各部分動画像情報から生成される文字情報と、を取得する取得部と、取得した部分動画像情報から生成される文字情報に基づいて、各部分動画像情報に対して、各部分動画像情報の意味内容を示す意味情報を設定する意味情報設定部と、動画像情報と、当該動画像情報から設定された意味情報に関連する意味情報を有する前記動画像情報と、を対応付ける動画対応付部と、動画像情報を再生する際に、当該動画像情報と対応付けられた他の動画像情報が有する他の文字情報を表示する文字情報表示部と、表示された他の文字情報の選択を受け付ける選択受付部と、選択された他の文字情報の生成元の部分動画像情報を表示する動画像表示部と、を備える。
【選択図】 図１

Description

この発明は、動画像情報を再生する動画像処理装置及び方法に関するものである。

近年、ＴＶ放送の多チャンネル化が進むとともに、これらＴＶ放送を録画する録画機器の容量が大容量化する傾向にある。これにより録画機器に録画されたＴＶ番組を効率的に視聴したいという利用者の要求が高まりつつある。

このような利用者の要求に対応するための技術がいくつか提案されている。提案された技術の例としては、長時間の映像を短時間で効率よく視聴するために、録画機器に録画された複数の動画像情報から、関連する映像だけを、効率よく視聴する技術が提案されている。

例えば特許文献１に記載された技術では、現在視聴している映像から、当該映像の特徴値を算出する。そして、算出された特徴値に基づいて、記憶されている映像群から類似する映像が検索された場合には、関連映像が存在していることを視聴者に通知して、関連映像の再生要求を受け付けることを可能としている。これにより、録画機器に録画されている映像を効率よく視聴することができる。

特開２０００−３０８０１７号公報

しかしながら、特許文献１では、現在視聴している番組から関連映像が存在していることが利用者に通知された場合に、現在視聴している番組と提示された関連映像がどのような関連があるのか、利用者が実際に関連映像を視聴するまで認識することができない。

例えば、所定の野球球団のファンが集まる居酒屋の映像を視聴している場合に、関連映像が存在していることが通知された場合に、所定の野球球団の関連映像なのか、居酒屋の関連映像なのかを利用者が判断することが出来ない。

本発明は、上記に鑑みてなされたものであって、関連する動画像情報を効率よく視聴することができる動画像処理装置及び方法を提供することを目的とする。

複数の動画像情報と、各動画像情報から生成される文字情報と、を取得する取得部と、前記文字情報に基づいて、各前記動画像情報に対して、各前記動画像情報の意味内容を示す意味情報を設定する意味情報設定部と、所定の動画像情報と、当該所定の動画像情報から前記意味情報設定部によって設定された所定の意味情報に関連する他の意味情報を有する他の動画像情報と、を対応付ける動画対応付部と、前記所定の動画像情報を再生する際に、前記他の動画像情報が有する他の文字情報を表示する文字情報表示部と、前記文字情報表示部に表示された前記他の文字情報の選択を受け付ける選択受付部と、前記他の動画像情報を表示する動画像表示部と、を備えることを特徴とする。

また、本発明にかかる動画像処理方法は、複数の動画像情報と、各動画像情報から生成される文字情報と、を取得する取得ステップと、前記文字情報に基づいて、各前記動画像情報に対して、各前記動画像情報の意味内容を示す意味情報を設定する意味情報設定ステップと、所定の前記動画像情報と、当該所定の動画像情報から前記意味情報設定部によって設定された所定の意味情報に関連する他の意味情報を有する他の動画像情報と、を対応付ける動画対応付ステップと、前記所定の動画像情報を再生する際に、前記他の動画像情報が有する他の文字情報を表示する文字情報表示ステップと、前記文字情報表示ステップによって表示された前記他の文字情報の選択を受け付ける選択受付ステップと、前記他の動画像情報を表示する動画像表示ステップと、を有することを特徴とする。

本発明によれば、動画像情報の再生時に、表示される文字情報の選択を受け付けた場合に、再生している動画像情報と対応付けられた動画像情報の再生を開始することで、利用者は動画像情報のうち意味的に関連する部分のみを効率よく視聴することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる動画像処理装置及び方法の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１に示すように、動画像処理装置１００は、動画像記憶部１０１と、文字情報抽出結果記憶部１１６と、分割結果記憶部１０２と、意味情報記憶部１０３と、意味ジャンル対応記憶部１０４と、意味抽出結果記憶部１０５と、ラベル生成結果記憶部１０６と、動画像入力部１０７と、取得部１１７と、ジャンル取得部１１０と、意味情報設定部１１１と、部分動画像対応付部１１２と、ラベル生成部１１３と、表示制御部１１４と、利用者入力受付部１１５と、を備える。また、動画像処理装置１００は、表示部１５０と接続している。そして、表示制御部１１４により制御された動画像等が表示部１５０に表示される。

本実施の形態にかかる動画像処理装置１００が行う処理は、２種類のフェーズで成り立っている。まず、第１のフェーズは、入力された入力動画像情報を、部分動画像情報毎に分割して、部分動画像情報間を関連付けるフェーズである。第２のフェーズは、動画像情報の再生時に、関連する部分動画像情報を提示して、ユーザからの要求に応じて関連動画像情報の再生を行なうフェーズである。これらのフェーズで使用される各構成要素について説明する。

本実施の形態にかかる入力動画像情報は、音声を含む動画像を符号化したデジタルデータとする。このデジタルデータの符号化処理についてはいずれの手法を用いても良く、例えばＭＰＥＧ２等を用いることが考えられる。また、部分動画像情報とは、動画像処理装置１００に入力処理された入力動画像情報を分割した、部分的な動画像を示している。

動画像記憶部１０１は、後述する動画像入力部１０７で入力処理された入力動画像情報を記憶する。

また、動画像記憶部１０１は、入力動画像情報とともに、入力動画像情報のジャンルが入力処理された場合、入力処理されたジャンルと入力動画像情報とを対応付けて記憶する。なお、ジャンルとは入力動画像情報の内容に応じて分類された種別とする。例えば、ＴＶ放送の映像が入力動画像情報であれば、当該ＴＶ放送を示す旅行番組や健康番組等がジャンルとなる。

文字情報抽出結果記憶部１１６は、後述する文字情報抽出部１０９で入力動画像情報から抽出された文字情報を記憶する。

分割結果記憶部１０２は、後述する動画像分割部１０８により入力動画像情報を分割した結果を記録する。図２に示すように分割結果記憶部１０２は、動画像情報識別子と、セグメント番号と、開始時刻と、終了時刻とを対応付けて記憶している。動画像情報識別子は、動画像記憶部１０１に記憶された入力動画像情報を識別する情報とする。セグメント番号は、動画像情報識別子で識別される入力動画像情報を分割した部分動画像情報に対して割り当てられた番号とする。このセグメント番号は、１から順に割り当てられるものとする。

開始時刻は、セグメント番号で識別される部分動画像情報の、入力動画像情報の再生時における開始時刻を示している。終了時刻は、セグメント番号で識別される部分動画像情報の、入力動画像情報の再生時における終了時刻を示している。

図１に戻り、意味情報記憶部１０３は、後述する文字情報抽出部１０９により抽出された文字情報に基づいて、動画像分割部１０８により分割された部分動画像情報に割り当てられるべき意味情報を記憶している。

意味情報とは、部分動画像情報の再生時に表示される動画像の意味内容を表す情報とする。本実施の形態にかかる意味情報は、当該部分画像情報に含まれている文字情報から導き出せる。例えば、文字情報に含まれる文字列を抽象化した概念、または当該文字列が意味する階級、種別又はクラス等を、意味情報として設定する。意味情報の例としては、“＠ＳＴＯＲＥ”、“＠ＦＯＯＤ”とする。例えば“＠ＳＴＯＲＥ”であれば、部分動画像情報が店に関する情報であることを示しており、“＠ＦＯＯＤ”であれば、部分動画像情報が食物に関する情報であることを示している。

図３に示すように、意味情報記憶部１０３は、文字情報と、意味情報とを対応付けて記憶している。レコード３０１では、任意の文字列と“店”とが結合された文字列であれば、意味情報が“＠ＳＴＯＲＥ”になることを示している。また、レコード３０２では、漢字、ひらがな、カタカナで構成される文字列と“ロース”とが結合された文字列であれば、意味情報が“＠ＦＯＯＤ”となることを示している。

図１に戻り、意味ジャンル対応記憶部１０４は、動画像情報が分類されるジャンルに応じて、特定されるべき意味情報を記憶している。図４に示すように、意味ジャンル対応記憶部１０４は、ジャンルと、意味情報とを対応付けて記憶している。これにより、入力動画像情報に含まれている部分動画像情報に割り当てられる意味情報を絞り込むことができるので、部分動画像情報に適切な意味情報を割り当てることができる。

例えば、動画像情報のジャンルが“旅行”の部分動画像情報には、意味情報が＠ＢＡＴＨ、＠ＦＯＯＤ、＠ＨＯＴＥＬ＿ＣＬＡＳＳ、＠ＨＯＴＥＬ＿ＮＡＭＥ、＠ＲＥＳＴＡＵＲＡＮＴ＿ＣＬＡＳＳ、＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥに絞り込まれる。なお、意味情報のうち、＠ＢＡＴＨは温泉名を示し、＠ＨＯＴＥＬ＿ＮＡＭＥは旅館・ホテルの名称を示し、＠ＨＯＴＥＬ＿ＣＬＡＳＳは旅館・ホテルのクラス(例えば三つ星レストランなど)を示し、＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥは、レストランの名称を示し、＠ＲＥＳＴＡＵＲＡＮＴ＿ＣＬＡＳＳは、レストランの種別（例えば和風レストランなど）を示している。

同様に、動画像情報のジャンルが“健康”の場合には、意味情報として＠ＤＩＳＥＡＳＥ、＠ＭＥＤＩＣＩＮＥ、＠ＯＲＧＡＮが抽出されるものとする。意味情報のうち、＠ＤＩＳＥＡＳＥは病気を示し、＠ＭＥＤＩＣＩＮＥは薬を示し＠ＯＲＧＡＮは臓器を示している。

意味抽出結果記憶部１０５は、後述する意味情報設定部１１１が設定した意味情報を、部分動画像情報等と対応付けて記憶する。図５に示すように、意味抽出結果記憶部１０５は、動画像情報識別子と、意味情報と、文字情報と、抽出時間と、セグメント番号と、を対応付けて記憶する。抽出時間とは、入力動画像情報を再生した場合に文字情報が抽出された時間とする。そして、動画像情報識別子及びセグメント番号により特定される部分動画像情報に対して、抽出された意味情報が対応付けられていることが確認できる。

ラベル生成結果記憶部１０６は、対応付けられた部分動画像情報間で、一方の部分動画像情報の再生時に、他方の部分動画像情報を識別する関連動画像ラベルとして表示される文字情報を記録する。図６に示すように、動画像情報識別子と、関連元セグメント番号と、関連元意味情報と、関連元文字情報と、関連先セグメント番号と、関連先意味クラスと、関連先文字情報とを対応付けて記憶している。関連元セグメント番号及び関連先セグメント番号は、部分動画像情報のセグメント番号を示している。

関連元意味情報は、関連元セグメント番号で識別される部分動画像情報から特定された意味情報を示し、関連先意味情報は、関連先セグメント番号で識別される部分動画像情報から特定された意味情報を示している。また、関連元文字情報は、関連元動画像情報を表す関連動画像ラベルとして表示される文字列を示している。また、関連先文字情報は、関連先動画像情報を表す関連動画像ラベルとして表示される文字列を示している。

これにより、動画像処理装置１００では、動画像情報識別子で識別される動画像情報に含まれている部分動画像間の対応関係が特定できるとともに、関連動画像ラベルとして表示する文字列を特定することができる。

動画像記憶部１０１、文字情報抽出結果記憶部１１６、分割結果記憶部１０２、意味情報記憶部１０３、意味ジャンル対応記憶部１０４、意味抽出結果記憶部１０５、及びラベル生成結果記憶部１０６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク、メモリカード、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの一般的に利用されているあらゆる記憶手段により構成することができる。

動画像入力部１０７は、入力動画像情報の入力処理を行う。また、動画像入力部１０７は、入力動画像情報の入力処理時に、当該入力動画像情報のジャンルについても入力処理する。本実施の形態にかかる動画像入力部１０７の入力処理の対象としては、例えばＴＶ放送中の動画像情報や、ネットワークを通じて配信された動画像情報など、あらゆる動画像情報が対象となる。

また、動画像入力部１０７は、入力動画像情報のジャンルの取得も行う。例えば入力動画像情報がテレビの番組映像の場合、動画像入力部１０７は、例えば受信したＥＰＧデータからジャンルを抽出する。また、動画像入力部１０７は、利用者が当該入力動画像情報の録画等を設定する際に、ジャンルとして選択した文字列を入力処理してもよい。

取得部１１７は、動画像分割部１０８と、文字情報抽出部１０９と、を備え、動画像入力部１０７により入力処理された入力動画像情報から、当該入力動画像情報を分割した複数の動画像情報と、各動画像情報から生成される文字情報と、を取得する。取得するための詳細な処理は、動画像分割部１０８と、文字情報抽出部１０９とにおいて説明する。

なお、動画像情報から生成される文字列とは、本実施の形態では動画像情報から抽出される文字列とする。なお、当該文字列は、抽出された文字列に限らず、例えば動画像情報に埋め込まれていたメタ情報などでもよく、動画像情報から生成される文字列であればよい。

また、取得部１１７が取得する複数の動画像情報は、動画像分割部１０８による分割結果として取得した動画像情報とする。以下、分割後の動画像情報を、部分動画像情報とする。

文字情報抽出部１０９は、動画像情報の再生時に出力される文字情報を、前記動画像情報を再生してからの経過時間と対応付けて抽出する。この文字情報抽出部１０９が行う文字情報の抽出は、音声認識技術を用いて動画像情報中の音声情報から抽出、光学文字認識（ＯＣＲ）技術を用いて動画中の画像情報から抽出、又は字幕放送による番組動画の場合であれば当該動画像情報に付与された字幕から抽出が可能である。

また、文字情報抽出部１０９は、文字情報を抽出する際に、前述した音声認識、光学文字認識、字幕情報の全てを用いても良いし、いずれか１つ又は２つを用いてもよい。

光学認識を用いる場合について説明する。図７に示すように表示部１５０に動画像情報を再生した際に、符号７０１に示す文字情報が表示されるのであれば、文字情報抽出部１０９は、符号７０１の「今回は○×からスタートです。」を抽出する。また、音声認識を用いるのであれば、動画像情報の再生した際に、音声出力される音声データから抽出し、字幕情報を用いるのであれば、動画像情報に付加されている字幕情報を抽出する。なお、文字列を抽出する際に用いる音声認識エンジン、光学認識エンジン等は既存のものを用いることとして説明を省略する。

そして、文字情報抽出部１０９は、動画像情報毎に、動画像情報の再生開始から当該文字情報が表示されるまでの経過時間と、抽出された文字情報と、を対応付けて、文字情報抽出結果記憶部１１６に記憶する。図８に示すように、文字情報抽出結果記憶部１１６においては、動画像情報を識別する動画像識別子“ａａａ”とともに、動画像情報の開始時刻“００：００：００”で抽出された文字情報“今回は○×からスタートです。”と、開始してからの経過時刻“００：００：０５”で抽出された文字列“○△の穴場を大公開します。”と、開始してからの経過時刻“００：０５：４０”で抽出された文字列“○×店”と、が格納されている。なお、これら文字列は、単語単位、一文単位に制限するものではなく、複数文からなる文章を格納しても良い。

動画像分割部１０８は、動画像記憶部１０１に記憶された入力動画像情報を、部分動画像情報毎に分割する。動画像分割部１０８による入力動画像情報の分割は、自動分割技術を用いて分割しても良いし、入力動画像情報を一定時間間隔で分割するようにしても良い。自動分割技術の例としては、カメラの切り替わり、又は編集の切れ目をカット検出によって検出することで、分割点を特定できる。なお、カットの検出は周知の動画解析の技術を用いることで可能となる。

また、本実施の形態とは異なるが、文字情報抽出部１０９により抽出された文字情報に基づいて動画像の内容を判断し、判断された内容から話題や情報の切れ目を検出して、動画像の分割点を特定しても良い。あるいは、動画像情報に対して既に人手によるチャプター分割情報が付与されている場合、当該チャプター分割情報によるチャプターの切れ目を分割点として特定しても良い。

図９に示すように、動画像分割部１０８は、(ａ)に示す入力動画像情報から、分割点を特定した場合、分割点で分割された各セグメントを部分動画像情報として設定する。そして、各部分動画像情報には、ユニークなセグメント番号を割り当てる。図９に示した例では、分割処理により、一つの入力動画像情報が、セグメント１（Ｓ１）〜セグメント７（Ｓ７）の部分動画像情報に分割されたことを示している。

そして、動画像分割部１０８は、入力動画像情報を識別する動画像情報識別子と、分割された各部分動画像情報の開始時刻及び終了時刻と、部分動画像情報のセグメント番号とを、対応付けて分割結果記憶部１０２に登録する。

ジャンル取得部１１０は、動画像記憶部１０１に入力動画像情報と共に記憶されたジャンルを取得する。

意味情報設定部１１１は、取得した部分動画像情報から抽出される文字情報に基づいて、動画像情報毎に、各部分動画像情報の意味情報を設定する。本実施の形態にかかる意味情報設定部１１１は、文字情報が文字情報抽出結果記憶部１１６に動画像情報を再生してからの経過時間と対応付けて格納されているため、部分動画像情報に含まれている当該文字情報を特定できる。これにより、意味情報設定部１１１は、部分動画像情報に含まれている文字情報に基づいて、部分動画像情報に対して、当該部分動画像情報の意味内容を示す意味情報を設定できる。また、意味情報設定部１１１は、部分動画像情報に意味情報を設定した後、動画像情報のジャンルに応じて、さらに意味情報の絞り込みを行う。

詳細な例としては、まず、意味情報設定部１１１は、文字情報抽出結果記憶部１１６に格納された文字情報から、当該文字情報に含まれる文字列を抽出する。この文字情報に含まれている文字列の解析には、形態素解析等を用いることとする。このような形態素解析処理には、既存の形態素解析エンジンを使用するものとして説明を省略する。

そして、本実施の形態にかかる意味情報設定部１１１は、意味情報記憶部１０３を用いて、抽出した文字列に対応する意味情報を特定する。ところで、意味情報記憶部１０３には、文字列パタンと意味情報とを対応付けて記憶している。そこで、意味情報設定部１１１は、文字情報に含まれている文字列が、意味情報記憶部１０３の文字列パタンと一致するか否か判断し、一致したと判断した場合に、当該文字列パタンに対応付けられている意味情報を、当該文字列を示す意味情報として特定する。

このように、意味情報記憶部１０３を用いてパタンマッチングを行うことで、例えば、「＊病」というパタン（任意の文字で始まり末尾が「病」になる文字列にマッチする）に一致する文字列が含まれていた場合に、当該文字列に対して病名（＠ＤＩＳＥＡＳＥ）を表す意味情報を付与することも可能となる。なお、意味情報記憶部１０３に格納されている文字列パタンと意味情報との対応は、予め人手で作成しておくものとする。また、意味情報の特定手法は、このようなパタンマッチングに制限するものではなく、あらゆる特定手法を用いても良い。

次に、意味情報設定部１１１は、特定された意味情報を、部分動画像情報の意味情報として設定する。つまり、文字情報抽出結果記憶部１１６は、特定対象となった文字情報を、動画像情報の再生開始してからの経過時刻と対応付けて記憶しているため、意味情報設定部１１１は、意味情報の特定元の文字情報を含む部分動画像情報を特定できる。そこで、意味情報設定部１１１は、特定された意味情報を、当該意味情報の特定元の文字情報を含む部分動画像情報に対して、当該部分動画像情報の意味情報として設定する。次に、文字情報から意味情報の特定手法について説明する。

例えば、文字情報抽出結果記憶部１１６に、ＴＶの旅行番組から入力された部分動画像情報から抽出された文字情報が複数記憶されたものとする。この場合、“一行が向かった先はフランスの三ツ星レストラン「○×△」。”という文字情報が、番組の字幕情報から抽出されて、記憶されていたものとする。

この場合、意味情報設定部１１１は、上述した文字情報から、当該文字情報に含まれる文字列“フランス”から意味情報“＠ＣＯＵＮＴＲＹ”を、“三ツ星レストラン”から意味情報“＠ＲＥＳＴＡＵＲＡＮＴ＿ＣＬＡＳＳ”を、“○×△”から意味情報“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”を特定する。

また、意味情報設定部１１１が特定する意味情報は、予め設定された基準に従って特定されれば良く、上述した特定手法に制限するものではない。例えば、文字列“三ツ星レストラン『○×△』”から意味情報“＠ＳＴＯＲＥ”を特定するように、“三ツ星レストラン『○×△』”を一つの文字列として抽出し、店名を表す意味情報“＠ＳＴＯＲＥ”を特定しても良い。

そして、意味情報設定部１１１は、各部分動画像情報に対して意味情報を設定した後、ジャンル取得部１１０が取得したジャンルに応じて、対応付けた意味情報の絞り込みを行う。この絞り込みには、意味ジャンル対応記憶部１０４を使用する。つまり、意味情報設定部１１１は、ジャンル取得部１１０が取得したジャンルと対応付けられた意味情報で、部分動画像情報に設定された意味情報を絞り込む。

例えば、部分動画像情報に意味情報“＠ＣＯＵＮＴＲＹ”、“＠ＲＥＳＴＡＵＲＡＮＴ＿ＣＬＡＳＳ”、“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”が対応付けられた場合、意味情報設定部１１１は、取得したジャンルが旅行であれば、図４に示したジャンルと意味情報の対応関係から、意味情報“＠ＲＥＳＴＡＵＲＡＮＴ＿ＣＬＡＳＳ”、“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”に絞り込む。このように、ジャンルに応じて部分動画像情報の意味情報が適切に絞り込まれる。そして、意味情報設定部１１１は、各部分動画像情報で絞り込まれた意味情報を、意味抽出結果記憶部１０５に登録する。

上述した処理を行うことで、意味情報設定部１１１は、図１０に示すように、（ａ）に示したような部分動画像情報のそれぞれに対して上述した処理を行う。これにより、（ｂ）に示すように、部分動画像情報毎に意味情報が設定される。例えば、セグメント２の部分動画像情報に対して、店を示す意味情報“＠ＳＴＯＲＥ”と食物を示す意味情報“＠ＦＯＯＤ”が設定され、セグメント４の部分動画像情報に対して、食物を示す意味情報“＠ＦＯＯＤ”が設定され、セグメント５の部分動画像情報に対して、店を示す意味情報“＠ＳＴＯＲＥ”が設定され、セグメント７の部分動画像情報に対して、食物を示す意味情報“＠ＦＯＯＤ”が設定されたことを示している。

部分動画像対応付部１１２は、分割結果記憶部１０２に記憶された所定の部分動画像情報と、当該所定の部分動画像情報に設定された意味情報に関連する意味情報を有する他の部分動画像情報とを対応付ける。本実施の形態にかかる部分動画像対応付部１１２は、分割結果記憶部１０２に記憶された部分動画像情報に設定された意味情報と、分割結果記憶部１０２に記憶された他の部分動画像情報に設定された意味情報とを比較する。そして、部分動画像対応付部１１２は、意味情報が一致した場合に、これら部分動画像情報間を対応付ける。

例えば、部分動画像情報Ａの範囲に含まれている文字列“ＡＡＡ”から意味情報“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”が特定され、部分動画像情報Ｂの範囲に含まれている文字列“ＢＢＢ”から意味情報“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”が特定された場合、部分動画像対応付部１１２は、意味情報が一致することから、部分動画像情報Ａと部分動画像情報Ｂとを対応付ける。

上述した説明では、意味情報が一致した場合に部分動画像情報を対応付けることとした。しかしながら、意味情報が一致した場合に限り部分動画像情報を対応付けることに制限するものではない。例えば、互いに関連する意味情報を定義し、これら関連する意味情報が特定された場合に、これら意味情報が設定された部分動画像情報間を対応付けても良い。例えば、湖を示す意味情報“＠ＬＡＫＥ”と、川を示す意味情報“＠ＲＩＶＥＲ”とを予め関連付けておき、部分動画像対応付部１１２が、意味情報“＠ＬＡＫＥ”が設定された部分動画像情報と、意味情報“＠ＲＩＶＥＲ”が設定された部分動画像情報とを対応付けてもよい。

ラベル生成部１１３は、部分動画像対応付部１１２により対応付けられた部分動画像情報間で、一方の部分動画像情報から、他方の動画像情報を識別する関連動画像ラベルを生成する。関連動画像ラベルは、一方の部分動画像情報の再生時に、対応付けられた他方の部分動画像情報を識別するものとして表示されるラベルとする。本実施の形態にかかる関連動画像ラベルは、部分動画像情報の意味情報の特定に用いた文字列とする。

図１１に示すように、動画像情報（ａ）の意味情報“＠ＳＴＯＲＥ”と“＠ＦＯＯＤ”とを有するセグメント２の部分動画像情報は、部分動画像対応付部１１２により、セグメント４、セグメント５及びセグメント７の部分動画像情報と対応付けがなされる。さらに、ラベル生成部１１３により、これら部分動画像情報を関連先として表示する関連動画像ラベルＬＢ_２４、ＬＢ_２５、ＬＢ_２７が生成される。なお、他の部分動画像情報においても同様の対応付及び関連動画像ラベルの生成が行われるものとして説明を省略する。

上述した意味情報“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”が一致したものとして部分動画像情報Ａと部分動画像情報Ｂとを対応付けた例について説明する。この場合、部分動画像情報Ａの再生時に表示される部分動画像情報Ｂを示す関連動画像ラベルは、“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”を特定するために用いた文字列“ＢＢＢ”とする。また、部分動画像情報Ｂの再生時に表示される部分動画像情報Ａを示す関連動画像ラベルは、“＠ＲＥＳＴＡＵＲＡＮＴ＿ＮＡＭＥ”を特定するために用いた文字列“ＡＡＡ”となる。

そして、ラベル生成部１１３は、生成した関連動画像ラベルと意味情報とを、対応付けられた部分動画像情報を識別する情報（動画像情報識別子とセグメント番号）とともに、ラベル生成結果記憶部１０６に登録する。

表示制御部１１４は、動画像・ラベル表示制御部１３１と、再生部１３２と、ラベル対応動画像表示制御部１３３とを備え、表示部１５０に対する表示制御を行う。

再生部１３２は、動画像記憶部１０１に記録された入力動画像情報の再生処理を行う。

動画像・ラベル表示制御部１３１は、再生処理されている部分動画像情報と対応付けられた部分動画像情報を示す関連動画像ラベルの表示制御を行う。本実施の形態にかかる動画像・ラベル表示制御部１３１は、分割結果記憶部１０２に基づいて、再生部１３２が再生処理している部分動画像情報を同定する。当該同定は、入力動画像情報の再生が開始されてからの経過時間と、各部分動画像情報の開始時刻及び終了時刻とにより可能である。

動画像・ラベル表示制御部１３１は、ラベル生成結果記憶部１０６に基づいて、同定した部分動画像情報と対応付けられている部分動画像情報が存在するか否か判定する。この判定手法は、再生している動画像情報を識別する動画像情報識別子と、同定された部分動画像情報を示すセグメント番号と、を検索キーとして、ラベル生成結果記憶部１０６を検索する。そして、検索条件に一致するレコードが検出された場合に、対応付けられている部分動画像情報が存在していると判定する。

そして、動画像・ラベル表示制御部１３１は、対応付けられている部分動画像情報が存在すると判定した場合、ラベル生成結果記憶部１０６の検出されたレコードから、当該部分動画像情報を識別する関連動画像ラベルを抽出して、表示部１５０に表示する制御を行う。

また、動画像・ラベル表示制御部１３１は、対応付けられている部分動画像情報が存在していないと判定した場合、特に表示処理を行わない。

図５に示す動画像情報識別子“ａａａ”のセグメント番号“２”の部分動画像情報が再生されている場合、図１２に示すような画面を動画像・ラベル表示制御部１３１が表示する。図１２に示すように、表示部１５０の上半分の領域に再生中の動画が表示され、下半分の領域に再生中の部分動画像情報に対応付けられている部分動画像情報を示す関連動画像ラベルが表示されている。この表示されている関連動画像ラベルは、図６に示すラベル生成結果記憶部１０６において、セグメント番号“２”と対応付けられているセグメント番号“５”、“４”及び“７”の関係先文字情報であることが確認できる。

図１２に示した画面例では、対応付けられた部分動画像情報が複数存在した場合、これら部分動画像情報を示す全ての関連動画像ラベルを表示したが、現在の再生時間より、時系列でさらに後ろの部分動画像情報を示す関連動画像ラベルのみ表示しても良いし、時間的に一番近い部分動画像情報を示す関連動画像ラベルのみ表示しても良い。そして、表示された関連動画像ラベルは、利用者が選択可能とする。後述するラベル選択受付部１２１が、利用者からの関連動画像ラベルの選択を受け付ける。この選択の受付は、再生中の部分動画像情報の終了時刻まで可能とする。再生終了までのいずれの関連動画像ラベルが選択されなければ、動画像・ラベル表示制御部１３１は、当該関連動画像ラベルの表示を終了する。

ラベル対応動画像表示制御部１３３は、ラベル選択受付部１２１が関連動画像ラベルの選択を受け付けた場合に、当該関連動画像ラベルが指し示す部分動画像情報を表示するよう制御を行う。その後、再生部１３２により、選択された関連動画像ラベルが指し示す部分動画像情報の再生処理が行われる。そして、再生部１３２は、当該部分動画像情報の終了時刻になるか、利用者から再び関連動画像ラベルが選択されるまで、当該部分動画像情報の再生処理を継続する。

利用者入力受付部１１５は、ラベル選択受付部１２１を備え、利用者からの入力を受け付ける。入力の受付は、例えば、動画像処理装置１００が備えている図示しないリモコンから送信されるリモコン信号等から受け付ける。

ラベル選択受付部１２１は、動画像・ラベル表示制御部１３１が表示した関連動画像ラベルの選択を利用者から受け付ける。表示中の関連動画像ラベルのいずれかの選択を受け付けた場合、選択された関連動画像ラベルを示す情報を、ラベル対応動画像表示制御部１３３に出力する。これにより、ラベル対応動画像表示制御部１３３が、利用者に選択された関連動画像ラベルに対する部分動画像情報の表示制御を行うことができる。

次に、図１に示す動画像処理装置１００の動画像情報の入力の処理手順について、図１３を用いて説明する。

まず、動画像入力部１０７は、動画像情報と当該動画像情報のジャンルとを入力処理して、動画像記憶部１０１に記憶させる（ステップＳ１３０１）。

次に、ジャンル取得部１１０が、動画像記憶部１０１に記憶された動画像情報のジャンルを取得する（ステップＳ１３０２）。

そして、文字情報抽出部１０９は、動画像記憶部１０１に記憶された動画像情報から、文字情報を抽出する（ステップＳ１３０３）。そして、抽出された文字情報は、文字情報抽出結果記憶部１１６に格納される。

次に、動画像分割部１０８が、動画像記憶部１０１に記憶された動画像情報を、部分動画像情報毎に分割する（ステップＳ１３０４）。そして、分割結果は、分割結果記憶部１０２に格納される。

その後、意味情報設定部１１１は、文字情報抽出結果記憶部１１６及び分割結果記憶部１０２を使用し、分割された部分動画像情報毎に、当該部分動画像情報に含まれていた文字情報に基づいて、当該部分動画像情報を示す意味情報を設定する（ステップＳ１３０５）。この意味情報の設定には、意味情報記憶部１０３に記憶された文字列パタンと、意味情報との対応関係を使用する。

そして、意味情報設定部１１１は、さらに、動画像情報のジャンルに応じて、部分動画像情報毎に設定された意味情報の絞り込みを行う（ステップＳ１３０６）。この意味情報の絞り込みには、意味ジャンル対応記憶部１０４に記憶されたジャンルと、意味情報との対応関係を使用する。そして、絞り込まれた意味情報は、意味抽出結果記憶部１０５に記録される。

次に、部分動画像対応付部１１２が、意味抽出結果記憶部１０５に記録された意味情報を用いて、部分動画像情報間の対応付けを行う（ステップＳ１３０７）。

そして、ラベル生成部１１３が、対応付けられた部分動画像情報間において、一方の部分動画像情報から、他方の部分動画像情報を識別する関連動画像ラベルを生成する（ステップＳ１３０８）。そして、生成された関連動画像ラベルは、部分動画像情報間の対応関係とともに、ラベル生成結果記憶部１０６に登録される。

上述した処理手順により、各部分動画像情報の再生中に表示される関連動画像ラベルと、当該関連動画像ラベルが選択された場合に再生される部分動画像情報とが設定される。

次に、図１に示す動画像処理装置１００の動画像情報の再生時の処理手順について、図１４を用いて説明する。

まず、再生部１３２が、動画像情報の再生処理を開始する（ステップＳ１４０１）。次に、動画像・ラベル表示制御部１３１が、再生を開始してからの経過時間が、部分動画像情報の開始時間であるか否かを判断する（ステップＳ１４０２）。開始時間でないと判断した場合（ステップＳ１４０２：Ｎｏ）、特に処理を行わない。

そして、動画像・ラベル表示制御部１３１が、部分動画像情報の開始時間であると判断した場合（ステップＳ１４０２：Ｙｅｓ）、当該部分動画像情報と対応付けられた部分動画像情報を示す関連動画像ラベルが存在するか否か判断する（ステップＳ１４０３）。関連動画像ラベルが存在しないと判断した場合（ステップＳ１４０３：Ｎｏ）、特に処理を行わない。

一方、動画像・ラベル表示制御部１３１は、関連動画像ラベルが存在すると判断した場合（ステップＳ１４０３：Ｙｅｓ）、当該関連動画像ラベルを表示する（ステップＳ１４０４）。

次に、ラベル選択受付部１２１が、利用者から関連動画像ラベルの選択を受け付けたか否か判断する（ステップＳ１４０５）。選択を受け付けたと判断した場合（ステップＳ１４０５：Ｙｅｓ）、ラベル対応動画像表示制御部１３３が選択された関連動画像ラベルが指し示す部分動画像情報の表示制御をした後、当該部分動画像情報の再生処理を開始する（ステップＳ１４０６）。

一方、関連動画像ラベルの選択を受け付けなかったと判断した場合（ステップＳ１４０５：Ｎｏ）、動画像・ラベル表示制御部１３１が、再生してからの経過時間が部分動画像情報の終了時刻であるか否か判断する（ステップＳ１４０７）。終了時刻ではないと判断した場合（ステップＳ１４０７：Ｎｏ）、ステップＳ１４０４に戻り、関連動画像ラベルの表示を継続する。

また、動画像・ラベル表示制御部１３１は、再生してからの経過時間が部分動画像情報の終了時刻であると判断した場合（ステップＳ１４０７：Ｙｅｓ）、動画像情報の終了か否か判断する（ステップＳ１４０８）。動画像情報の終了ではないと判断した場合（ステップＳ１４０８：Ｎｏ）、再びステップＳ１４０２から処理を開始する。

そして、動画像・ラベル表示制御部１３１は、動画像情報の終了と判断した場合（ステップＳ１４０８：Ｙｅｓ）、再生処理とともに全ての処理を終了する。

上述した処理を行うことで動画像情報の再生時に、利用者からの要求に応じて関連する部分動画像情報の再生を行うことができる。

本実施の形態にかかる動画像処理装置１００は、入力動画像情報を分割した部分動画像情報を処理対象に制限するものではなく、例えば複数の入力動画像情報を処理対象としても良い。また、ジャンルが異なる入力動画像情報に含まれている部分動画像情報間で対応付ける等の処理を行ってもよい。このように様々な動画像情報に対して適用することができる。

上述した実施形態にかかる動画像処理装置１００によれば、利用者が動画像の視聴時に、再生中の動画像と意味的に関連のある部分動画像情報の存在を、表示される関連動画像ラベルにより認識することができる。さらに、表示されている関連動画像ラベルから、興味のある関連動画像ラベルの選択を受け付けることで、利用者の興味に即した関連動画像を視聴することが可能となる。

上述した実施形態にかかる動画像処理装置１００によれば、再生中の部分動画像情報が、複数の観点でそれぞれ別の部分動画像情報と意味的に対応付けされている場合でも、それぞれの対応付毎に関連動画像ラベルを生成・表示を行うことができる。このため、利用者は、視聴中の部分動画像情報から興味ある観点で対応付けられている部分動画像情報を選択して視聴することができる。

（第２の実施の形態）
上述した第１の実施形態にかかる動画像処理装置１００においては、部分動画像情報の再生中に常に関連する部分動画像情報を示す関連動画像ラベルが表示されていた。そこで、第２の実施形態にかかる動画像処理装置では、所定時間に限り、関連動画像ラベルを表示する場合について説明する。

図１５は、第２の実施の形態に係る動画像処理装置１５００の構成を示すブロック図である。動画像処理装置１５００は、上述した第１の実施の形態に係る動画像処理装置１００とは、表示制御部１１４と処理が異なる表示制御部１５０１に変更された点のみ異なる。なお、本実施の形態の動画像処理装置１５００の構成で、第１の実施の形態の動画像処理装置１００と共通な構成については説明を省略する。

表示制御部１５０１は、動画像・ラベル表示制御部１５１１と、再生部１３２と、ラベル対応動画像表示制御部１３３とを備える。

動画像・ラベル表示制御部１５１１は、再生部１３２による動画像情報の再生時に、関連動画像ラベルが存在すると判断した場合、動画像情報の再生開始してからの経過時間が、部分動画像情報の開始時刻および終了時刻から所定時間の範囲内にあるか否か判断する。そして、動画像・ラベル表示制御部１５１１は、所定時間内にあると判断した場合に限り、関連動画像ラベルを表示する。なお、この所定時間とは例えば開始時間から１分経過するまで、及び終了時間１分前から終了時間になるまでとする。

つまり、動画像情報のセグメント２で関連動画像ラベルの表示時間帯は、図１６に示す斜線ブロックで記された時間帯とする。このセグメント２の開始時間および終了時間からの所定時間の範囲内のみ表示することで、部分動画像情報の変わり目に限り、関連動画像ラベルの表示されることになる。これにより、関連動画像ラベルの表示で関連する部分動画像情報の通知を行うとともに、常に表示される関連動画像ラベルによる動画像情報の表示の阻害を抑止することができる。

また、上述した各実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。

（変形例１）
上述した実施の形態にかかる動画情報処理装置においては、関連動画像ラベルに、動画像情報の意味情報を特定するために用いた文字列を割り当てた。しかしながら、関連動画像ラベルは、当該文字列に制限されるものではなく、関連先の動画像情報を認識できる情報であれば良い。このような動画像情報を認識できる情報としては、意味情報を示す文字列やアイコン等が考えられる。この場合、意味情報が“＠ＦＯＯＤ”であれば、関連動画像ラベルとして「食物」や「食物を表すアイコン」が表示されることが考えられる。

つまり、本変形例にかかるラベル生成部では、対応付けられた部分動画像情報間で、一方の部分動画像情報から、他方の部分動画像情報を識別する関連動画像ラベルを、他方の部分動画像情報にかかる意味情報に基づいて生成する。この場合、動画像・ラベル表示制御部は、動画像情報を再生する際に、関連動画像ラベルとして、文字列の代わりに、生成された意味情報を示す文字列や、アイコンを表示する。

図１７に示すように、実施の形態の動画像処理装置１００、１５００は、ハードウェア構成として、上述した処理を行う動画像処理プログラムなどが格納されているＲＯＭ１７０２と、ＲＯＭ１７０２内のプログラムに従って動画像処理装置１００、１５００の各部を制御するＣＰＵ１７０１と、動画像記憶部１０１、意味情報記憶部１０３等の上述した各記憶部の格納領域となるＨＤＤ１７０５と、データの格納領域となるＲＡＭ１７０３と、ネットワークに接続して通信を行う通信Ｉ／Ｆ１７０４と、各部を接続するバス１７０６とを備えている。

動画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

この場合には、動画像処理プログラムは、動画像処理装置１００、１５００において上記記録媒体から読み出して実行することによりＲＡＭ１７０３上にロードされ、上記ソフトウェア構成で説明した各部がＲＡＭ１７０３上に生成されるようになっている。

また、上述した実施の形態の動画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。

第１の実施の形態にかかる動画像処理装置の機能構成を示すブロック図である。 分割結果記憶部のテーブル構造を示した図である。 意味情報記憶部のテーブル構造を示した図である。 意味ジャンル対応記憶部のテーブル構造を示した図である。 意味抽出結果記憶部のテーブル構造を示した図である。 ラベル生成結果記憶部のテーブル構造を示した図である。 入力動画像情報から抽出の対象となる文字情報の例を示した画面図である。 文字情報抽出部が抽出して文字情報抽出結果記憶部に格納されたデータの例を示した図である。 入力動画像情報から分割された部分動画像情報を説明する概念図である。 部分動画像情報に対して特定された意味情報を説明する概念図である。 部分動画像情報間の対応付と関連動画像ラベルの割り当てを説明する概念図である。 部分動画像情報の再生中に表示される関連動画像ラベルの例を示した画面図である。 動画像処理装置の動画像情報の入力の処理手順を示すフローチャートである。 動画像処理装置の動画像情報の再生時の処理手順を示すフローチャートである。 第２の実施の形態にかかる動画像処理装置の機能構成を示すブロック図である。 関連動画像ラベルが表示される時間帯を説明する概念図である。 動画像処理装置のハードウェア構成を示した図である。

符号の説明

１００、１５００ 動画像処理装置
１０１ 動画像記憶部
１０２ 分割結果記憶部
１０３ 意味情報記憶部
１０４ 意味ジャンル対応記憶部
１０５ 意味抽出結果記憶部
１０６ ラベル生成結果記憶部
１０７ 動画像入力部
１０８ 動画像分割部
１０９ 文字情報抽出部
１１０ ジャンル取得部
１１１ 意味情報特定部
１１２ 部分動画像対応付部
１１３ ラベル生成部
１１４、１５０１ 表示制御部
１１５ 利用者入力受付部
１１６ 文字情報抽出結果記憶部
１１７ 取得部
１２１ ラベル選択受付部
１３１、１５１１ 動画像・ラベル表示制御部
１３２ 再生部
１３３ ラベル対応動画像表示制御部
１５０ 表示部
１７０１ ＣＰＵ
１７０２ ＲＯＭ
１７０３ ＲＡＭ
１７０４ 通信Ｉ／Ｆ
１７０５ ＨＤＤ
１７０６ バス

Claims (8)

1. 複数の動画像情報と、各動画像情報から生成される文字情報と、を取得する取得部と、
   前記文字情報に基づいて、各前記動画像情報に対して、各前記動画像情報の意味内容を示す意味情報を設定する意味情報設定部と、
   所定の動画像情報と、当該所定の動画像情報から前記意味情報設定部によって設定された所定の意味情報に関連する他の意味情報を有する他の動画像情報と、を対応付ける動画対応付部と、
   前記所定の動画像情報を再生する際に、前記他の動画像情報が有する他の文字情報を表示する文字情報表示部と、
   前記文字情報表示部に表示された前記他の文字情報の選択を受け付ける選択受付部と、
   前記他の動画像情報を表示する動画像表示部と、
   を備えることを特徴とする動画像処理装置。
2. 複数の前記動画像情報を内容に応じて区別する種別と、当該種別の場合に抽出対象となる前記意味情報と、を対応付ける意味情報対応記憶部と、
   前記動画像情報の種別を取得する種別取得部と、
   前記意味情報設定部は、さらに、前記動画像情報に対して設定された前記意味情報を、前記種別取得部により取得された前記種別と対応付けられた前記意味情報で絞り込むこと、
   を特徴とする請求項１に記載の動画像処理装置。
3. 前記動画対応付部は、所定の動画像情報と、当該所定の動画像情報から前記意味情報設定部によって設定された所定の意味情報が一致する他の動画像情報と、を対応付けること、
   を特徴とする請求項１又は２に記載の動画像処理装置。
4. 前記対応付部によって対応付けられた前記動画像情報間で、一方の前記動画像情報から、他方の前記動画像情報を識別する動画像識別情報を、他方の前記動画像情報が有する前記意味情報に基づいて生成する対応識別情報生成部をさらに備え、
   前記文字列情報表示部は、前記動画像情報を再生する際に、前記文字情報の代わりに、生成された前記動画像識別情報を表示すること、
   を特徴とする請求項１乃至３のいずれか一つに記載の動画像処理装置。
5. 前記文字列情報表示部は、前記動画像情報の再生の開始時刻及び終了時刻から所定の時間の範囲内に限り、当該動画像情報と動画対応付部によって対応付けられている前記動画像情報から生成される前記文字情報を表示すること、
   を特徴とする請求項１乃至４のいずれか一つに記載の動画像処理装置。
6. 前記取得部は、さらに、前記動画像情報の再生時に表示される前記文字情報、及び前記動画像情報の再生時に音声として出力される文字情報のうちいずれか一つ以上の抽出を行う文字情報抽出部を備え、抽出された前記文字情報を取得すること、
   を特徴とする請求項１乃至５のいずれか一つに記載の動画像処理装置。
7. 前記取得部は、さらに、入力された動画像情報に対して部分的な動画像情報毎に分割する動画像分割部を備え、分割された前記動画像情報を取得すること、
   を特徴とする請求項１乃至６のいずれか一つに記載の動画像処理装置。
8. 複数の動画像情報と、各動画像情報から生成される文字情報と、を取得する取得ステップと、
   前記文字情報に基づいて、各前記動画像情報に対して、各前記動画像情報の意味内容を示す意味情報を設定する意味情報設定ステップと、
   所定の前記動画像情報と、当該所定の動画像情報から前記意味情報設定部によって設定された所定の意味情報に関連する他の意味情報を有する他の動画像情報と、を対応付ける動画対応付ステップと、
   前記所定の動画像情報を再生する際に、前記他の動画像情報が有する他の文字情報を表示する文字情報表示ステップと、
   前記文字情報表示ステップによって表示された前記他の文字情報の選択を受け付ける選択受付ステップと、
   前記他の動画像情報を表示する動画像表示ステップと、
   を有することを特徴とする動画像処理方法。

Images