JP2006019778A - マルチメディアデータ再生装置およびマルチメディアデータ再生方法 - Google Patents

Abstract

【課題】 ユーザの質問から、ユーザが要求していると考えられる箇所を特定して再生する。
【解決手段】 再生制御部２０７はマルチメディアデータの再生制御を行う。要求受理部２０１はユーザからの質問を受理する。再生位置記憶手段２０２はユーザから質問を受理した時点の、前記再生制御手段２０７によって再生させているマルチメディアデータの再生位置を記憶する。解析手段２０３は前記要求受理手段２０１で受理した質問を解析する。検索手段２０４は解析結果を用いて前記質問に対する回答を前記マルチメディアデータの解析情報から検索する。再生制御部２０７はこの検索された前記回答を出力する。位置比較手段２０５は前記回答に対応する前記マルチメディアデータ中の回答出現位置と、前記再生位置記憶手段２０２に記憶された前記再生位置とを比較する。再生位置変更部２０６は、比較結果に応じて、前記マルチメディアデータの再生位置を変更させる。
【選択図】 図２

Description

この発明は、映像、音声などのマルチメディアデータを再生するマルチメディアデータ再生装置に関する。

近年、ネットワークの高速化にともない、ネットワーク上で映像や音楽など、比較的大容量のマルチメディアコンテンツが扱われることが増えてきている。音楽データや、ニュース映像などの配信だけでなく、ｅ−ｌｅａｒｎｉｎｇでも、映像を利用したコンテンツを利用するようになってきている。また、放送分野でも、地上波デジタル放送の開始など、コンテンツのデジタル化が進んでいる。

こうしたデジタル化されたマルチメディアコンテンツでは、コンテンツ全体、あるいは一部に、さまざまな情報を付加することができる。例えば、ドラマや映画などのコンテンツ全体に対して、タイトルや出演者名を付加したり、シーンの切れ目などに、時間情報やシーンのタイトルなどを付加したりできる。これらコンテンツの付加情報は、一般にメタ情報と呼ばれている。例えば、ＤＶＤを媒体とした映画コンテンツは、通常、チャプターと呼ばれる単位で仮想的に区切られており、チャプターの一覧から一つのチャプターを選択することで、所望のチャプターの先頭から再生が容易に行えるようになっている。コンテンツに付加したメタ情報は、コンテンツの検索などにも利用できる。

例えば、特許文献１の「ストリーム処理システムおよびストリーム処理プログラム」では、ストリームの一部である部分ストリームにメタ情報（テキストデータ）を付加しておき、ユーザの与えたキーワードを利用してメタ情報の検索を行う。この検索結果により、ユーザが所望する部分ストリームを特定し、この部分ストリームの再生を行うものである。

一方、テキストからの情報抽出技術を使えば、単なる文書検索と異なり、検索した文書の中から、質問に対する回答としてふさわしい部分を抽出する技術が知られている（例えば、特許文献２「質問応答方法、質問応答システム及び質問応答プログラムを記録した記録媒体」を参照）。例えば、「富士山の高さは？」という質問に対し、「富士山の高さ」に含まれる単語を含む文書を検索するだけでなく、この検索された文書中の「３７７６ｍ」という部分を抽出して質問に対する回答とする。

このような情報抽出技術を利用すれば、大量の文書の中から、知りたい問題に対する回答と思われる部分のみを答えてくれるため、文書検索の時のように、検索結果の文書を表示して、自ら質問に対する回答に相当する部分を探す手間を省くことができる。この技術では、例えば、料理のレシピをみながら調理をしているときに、砂糖の分量を確認したくなった場合は、「砂糖は何グラムだっけ」というように質問すれば、既に読んだレシピ部分から砂糖の分量の部分を抽出して回答することも可能である。

しかし、従来、チャプターなどの予め決められた単位の途中から再生したい場合、チャプター間の所望の位置を特定する有効な手段がなかった。このようにチャプター間の所望の位置から再生したい場合には、再生したい任意の位置に最も近いチャプターへジャンプし、このジャンプした位置から所望の位置に到達するまで早送りや巻き戻しを手動で行う必要があった。例えば、ビデオデータを用いてｅ−ｌｅａｒｎｉｎｇ形式の学習を行う場合、以前に学習した他のトピックの一部分や、現在再生中の内容の少し前の部分を確認したくなることが起こりうる。このようなとき、予め用意されているトピックのみでは、学習者がもう一度見たい部分をすぐに再生することは困難である。見たい部分を含むトピックの先頭から再生を始め、該当部分に到達するまで目視で確認しながら早送り等をするか、目的の場所まで巻き戻し等の操作を行う必要がある。また、このような状況は映像コンテンツに限らず、会議の音声議事録データのような場合でも生じ得る。会議内容の録音データを再生している途中で、少し前の発言内容を確認したいような場合、当該発言部分に到達するまで、録音データの巻き戻しあるいは早送りの操作を繰り返さなければならない。

この問題を解決するために、例えば、特許文献３「ストリーム処理システムおよびストリーム処理プログラム」では、キーワードを含む部分ストリームの検索および再生を行うことを可能としている。

特開２００３−２５９３１６公報 特開２００２−１３２８１２公報 特開２００３−２５９３１６公報

しかし、特許文献３においては、検索時にストリームの現在の再生位置情報を考慮して、「現在見ている部分の少し前の」ストリームを優先するようなことはできなかった。

また、学習者は確認したい部分を検索により特定するときに情報抽出技術を利用すれば、確認したい回答そのものを得ることができる。
しかし、従来の情報抽出技術はテキスト文書を対象としており、映像などのマルチメディアデータについては考慮されていなかった。
この発明は、このような問題を考慮したものであり、マルチメディアデータの検索結果と、該マルチメディアデータの現在の再生位置とを利用して、ユーザの質問から、ユーザが要求していると考えられる箇所（例えば、もう一度確認したい箇所）を特定し、マルチメディア中の当該特定した箇所へジャンプして再生を行うことができるマルチメディアデータ再生装置を提供することを目的とする。

上記の目的を達成するために、この発明においては、複数メディアからなるマルチメディアデータの再生制御を行う再生制御手段と、ユーザからの質問を受理する質問受理手段と、この質問受理手段がユーザから質問を受理した時点の、前記再生制御手段によって再生させている前記マルチメディアデータの再生位置を記憶する再生位置記憶手段と、前記質問受理手段で受理した質問を解析する解析手段と、この解析手段の解析結果を用いて、前記質問に対する回答を前記マルチメディアデータの解析情報から検索する検索手段と、この検索手段により検索された前記回答をユーザに提示するために出力する手段と、前記検索手段により検索された前記回答に対応する前記マルチメディアデータ中の回答出現位置と、前記再生位置記憶手段により記憶された前記再生位置とを比較する位置比較手段と、この位置比較手段による比較結果に応じて、前記再生制御手段に前記マルチメディアデータの再生位置を変更させる再生位置変更手段とを備えたことを特徴とするマルチメディアデータ再生装置を提供する。

また、上記の目的を達成するために、この発明においては、再生制御手段により複数メディアからなるマルチメディアデータの再生制御を行う再生制御ステップと、ユーザからの質問を受理する質問受理ステップと、この質問受理ステップがユーザから質問を受理した時点の、前記再生制御手段によって再生させている前記マルチメディアデータの再生位置を記憶する再生位置記憶ステップと、前記質問受理手段で受理した質問を解析する解析ステップと、この解析ステップの解析結果を用いて、前記質問に対する回答を前記マルチメディアデータの解析情報から検索する検索ステップと、この検索ステップにより検索された前記回答をユーザに提示するために出力するステップと、前記検索ステップにより検索された前記回答に対応する前記マルチメディアデータ中の回答出現位置と、前記再生位置記憶ステップにより記憶された前記再生位置とを比較する位置比較ステップと、この位置比較ステップによる比較結果に応じて、前記再生制御手段に前記マルチメディアデータの再生位置を変更させる再生位置変更ステップとを備えたことを特徴とするマルチメディアデータ再生方法を提供する。

以上説明したようにこの発明によれば、マルチメディアデータ再生中に、ユーザの要求に対応すると思われる箇所を検索により特定し、この特定した箇所へジャンプして再生することができる。これにより、ユーザはマルチメディアデータから再生したいと思っている箇所を探す手間を省くことができ利便性が向上する。

以下、この発明の実施形態を図面を用いて詳細に説明する。
（第１の実施形態）
以下、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、この発明の利用形態の一例を示した図である。この実施形態は、本発明のマルチメディアデータ再生装置をｅ−ｌｅａｒｎｉｎｇによる教育システムに適用した例である。

この明細書中、マルチメディアデータとは、映像、音声、テキストなどの電子的なデータ、あるいはこれら電子的なデータを再生するための情報を記述したメタデータを表す。

図１において、マルチメディアデータ再生装置は、サーバ１０２にアクセスするためのクライアント端末１０１，ｅ−ｌｅａｒｎｉｎｇシステムのサーバ１０２から構成されている。

なお、図１の教材閲覧プログラム１０５およびｅ−ｌｅａｒｎｉｎｇサーバプログラム１０７は、コンピュータにより実行される。なお、プログラムを実行するためのプロセッサ，ＲＯＭ，ＲＡＭ等のコンピュータの構成については本発明の要旨でないので図からは省略しているが、汎用のコンピュータを用いれば良い。これらクライアント端末１０１，サーバ１０２は、図示しないプロセッサやメモリ等を備えたコンピュータによって構成されている。クライアント端末１０１とサーバ１０２は、例えばインターネット網１０３を介して接続されている。

ユーザ１００は、クライアント端末１０１を利用してｅ−ｌｅａｒｎｉｎｇシステムのサーバ１０２にアクセスし、ｅ−ｌｅａｒｎｉｎｇによる教育カリキュラムを開始する。このときサーバ１０２からは、ビデオデータ１０４を含む教材が、クライアント端末１０１に配信される。ユーザ１００は、クライアント端末１０１の教材閲覧プログラム１０５を利用して、サーバ１０２から配信される教材の閲覧を行う。なお、本明細書では単にビデオデータと記載するが、動画のみのビデオデータではなく、動画と共に音声信号が含まれている音声付のビデオデータであっても良い。この実施形態では、音声付のビデオデータを例として説明する。

ここで、ユーザ１００がビデオデータ１０４による解説、例えば、「○○はＹＹ年にＸＸしました。」と言っている部分を聞き逃したとする。このときユーザ１００は、教材閲覧プログラム１０５に対して、「○○がＸＸしたのはいつだった？」というように、聞き逃した部分を確認するための質問を行う。この質問の入力手段は、クライアント端末１０１に設けられているキーボード等の入力手段からのテキスト入力でもよいし、マイクと音声認識機能による入力でもよい。

ユーザにより入力された質問文はクライアント端末１０１からサーバ１０２へ送信され、サーバ１０２上のｅ−ｌｅａｒｎｉｎｇサーバプログラム１０７で処理が行われる。すなわち、ユーザ１００が閲覧中のビデオデータ１０４に対応する解析情報１０６の中から、質問に対する回答に相当する部分（例えば、この例の場合は、「ＹＹ年」）が抽出される。さらに、解析情報１０６内の情報を利用して、抽出された回答がビデオデータ１０４中のどの部分に相当するかが検索される。ｅ−ｌｅａｒｎｉｎｇサーバプログラム１０７は、クライアント端末１０１内の教材閲覧プログラム１０５に対し、質問に対する回答およびこの回答に対応する位置からのビデオデータ１０４を配信する。

クライアント端末１０１では、教材閲覧プログラム１０７がサーバ１０２からの回答およびこの回答に対応する位置からのビデオデータ１０４を表示する。
なお、ユーザ１００が質問をした時点のビデオデータ１０４の再生位置をクライアント端末またはサーバ１０２内のメモリ等に記憶させておき、ユーザが確認したかった部分の再生終了後に、前記記憶させていた教材の位置から再びビデオデータ１０４を含む教材をビデオデータ１０４が配信するようにしてもよい。こうすればユーザ１００は、質問を行う直前に視聴していた教材の視聴中断位置から再び教材を視聴再開することができる。

なお、本発明のマルチメディアデータ再生方法は、ｅ−ｌｅａｒｎｉｎｇシステムに限らず、マルチメディアデータの操作を含むほかのアプリケーションにも適用可能である。また、利用形態は本実施形態に示したものに限定されず、例えば、全ての機能をユーザ側の端末に搭載した形態としても構わない。

図２は、この発明のマルチメディアデータ再生装置の構成を説明するための機能ブロック図である。
なお、プログラムを実行するためのプロセッサ，ＲＯＭ，ＲＡＭ等の本発明が実施されるコンピュータの構成については本発明の要旨でないので図からは省略しているが、汎用のコンピュータを用いれば良い。

なお、この実施形態では、図１のサーバ１０２からビデオデータ１０４，ビデオデータ１０４に対応するメタ情報１０８，解析情報１０６をクライアント端末側にダウンロードしてあり、かつクライアント側で検索等のすべての処理を行う場合について示している。例えば、図２の記憶装置１１０は図１の記憶装置１１０に対応しており、図２のマルチメディアデータ検索閲覧プログラム２００は図１のｅ−ｌｅａｒｎｉｎｇサーバプログラム１０７および教材閲覧プログラム１０５に対応している。

図２において、マルチメディアデータ検索閲覧プログラム２００は、要求受理部２０１，再生位置記憶部２０２，要求解析部２０３，検索部２０４，再生位置比較部２０５，再生位置変更部２０６および再生制御部２０７より構成されている。

再生制御部２０７は、ユーザの指示に従い、（１）記憶装置１１０に格納されているビデオデータ１０４およびこのビデオデータ１０４に対応するメタ情報１０８の読み込み、（２）ビデオデータ１０４および対応するメタ情報１０８の再生表示、（３）再生時の一時停止等の制御、（４）回答の提示などの処理を行う。

要求受理部２０１は、ユーザの再生中のビデオデータ１０４に関する質問形式の要求である質問文テキストを受理し、これを要求解析部２０３へ渡す。
再生位置記憶部２０２は、要求受理部２０１でユーザの要求である質問文テキストを受理した時点での、ビデオデータ１０４の再生位置を記憶する。
要求解析部２０３は、要求受理部２０１で受理したユーザの要求である質問文テキストを解析し、記憶装置１１０に格納されている解析ルール２５１に格納されているルールに従って、質問文の要求している情報のタイプを推定する。例えば、質問文テキストが「○○がＸＸしたのはいつだった？」という質問文の場合には、「いつだった？」という表現から求められている情報は、日付あるいは時間の情報であると推定する。

次に、検索部２０４は、要求解析部２０３により推定されたタイプ、例えば、要求されているのは日付あるいは時間の情報であるということを示すタイプに従い、解析情報１０６から日付、あるいは時間に関する記述で、かつ、質問文の他のキーワード（「○○」あるいは「ＸＸした」）に関連すると推定されるものを回答候補として抽出する。この回答候補は複数抽出されてもよい。また、各回答候補には、ユーザの要求に対する回答としての確信度を示す情報が付加されていてもよい。

なお、解析情報１０６は、例えば、ビデオデータ１０４の発話部分を抽出したテキストデータを解析したものである。テキストデータから抽出した回答となる可能性のある単語と当該単語の情報タイプ、当該単語が発話されているビデオデータ１０４中の再生位置とが対応付けられている。

再生位置比較部２０５は、検索部２０４により抽出された各々の回答候補について、ビデオデータ１０４内での出現位置と、再生位置記憶部２０２で記憶した再生位置とを比較する。なお、各回答候補と、ビデオデータ１０４中の該回答候補の出現位置との対応は、解析情報１０６に記録されているものが用いられる。解析情報１０６には、ビデオデータ１０４の内容を解析した情報が記述されている。

再生位置変更部２０６は、検索部２０４での検索結果である回答候補から一つを選択する。例えば、要求受理部２０１で要求を受理した時点でのビデオデータ１０４の再生位置よりも前の部分で、かつ該再生位置に最も近い位置に対応している回答候補を選択する。そしてこの選択した一つの回答と、該回答の含まれるビデオデータ１０４中の位置情報は、再生制御部２０７に渡される。

再生制御部２０７は、再生位置変更部２０６から渡された位置情報に応じた位置からビデオデータ１０４を再生すると共に、質問に対する回答の提示を行う。
次に、図２の要求解析部２０３および再生位置比較部２０５の構成について、図３の機能ブロックを用いてより詳細に説明する。
図３は、要求解析部２０３および再生位置比較部２０５の構成について、より詳細な構成例を示した機能ブロック図である。
図３において、要求解析部２０３は、要求タイプ推定部２０３ａおよび情報タイプ推定部２０３ｂより構成されている。また、再生位置比較部２０５は、再生位置比較部２０５ａおよび優先順位計算部２０５ｂより構成されている。また、解析ルール２５１は、要求タイプ解析ルール２５１ａおよび情報タイプ解析ルール２５１ｂより構成されている。

要求タイプ推定部２０３ａは、要求受理部２０１で受理された質問文を形態素解析し、「いつですか」，「だれですか」などの、質問の意図を表すパターンから、質問文の要求タイプを推定する。要求タイプの推定には、記憶装置１１０に格納されている、要求タイプ解析ルール２５１ａを利用する。

要求タイプ解析ルール２５１ａには、前述した「いつですか」，「どこですか」などの質問意図を表す特徴的な言い回しパターンと、これらが予め定義した要求タイプのうちのどれに当てはまるかを記述したものである。要求タイプとして、例えば「どれくらい」，「なに」，「いつ」等が定義される。要求タイプ解析ルール２５１ａのパターンにマッチするものがない場合は、要求タイプは割当てられなくてもよい。

応答タイプ推定部２０３ｂは、要求タイプ推定部２０３ａで推定された要求タイプを基に、当該質問が回答としてどんな情報を求めているかを、記憶装置１１０に格納されている情報タイプ解析ルール２５１ｂを利用して推定する。情報タイプとは、解析対象となっている質問文が、回答として求めていると思われる情報が何かを表すためのもので、例えば、「長さ」，「重さ」，「人」，「国」，「年」などが予め定義されている。また、いくつかの類似した情報タイプは、同じカテゴリに分類されている。例えば、「年」，「日」，「時間間隔」などは、「時間」のカテゴリに分類できる。

情報タイプ解析ルール２５１ｂには、要求タイプと（情報タイプの）カテゴリの対応ルールと、各カテゴリ別の、質問文中の典型的な言い回しパターンと情報タイプの対応ルールとが含まれている。一つの要求タイプに複数のカテゴリが対応していてもよい。

応答タイプ推定部２０３ｂでは、まず要求タイプとカテゴリの対応ルールを利用して、要求タイプ推定部２０３ａで推定された要求タイプのとりうるカテゴリを特定する。

次に、特定された一つまたは複数のカテゴリのルールを利用して、質問文中の言い回しパターンから、情報タイプの推定を行う。ここで得られる情報タイプは複数であってもよい。

検索部２０４では、応答タイプ推定部２０３ｂで推定された情報タイプに適合するものが回答候補となるように検索を行う。
次に、再生位置比較部２０５ａは、検索部２０４で得られた各回答候補に対応するビデオデータ１０４の再生位置と、再生位置記憶部２０２で記憶した再生位置との近さの比較を行う。

記憶装置１１０に格納されている解析情報１０６には、ビデオデータ１０４の内容を解析した情報が記述されている。解析情報１０６には、ビデオデータ１０４の内容を解析した情報が記述されている。

先にも説明したが、解析情報１０６は、例えば、ビデオデータ１０４の発話部分を抽出したテキストデータを解析したものである。テキストデータから抽出した回答となる可能性のある単語と当該単語の情報タイプ、当該単語が発話されているビデオデータ１０４中の再生位置とが対応付けられている。

検索部２０４は、解析情報１０６と、要求解析部２０３により推定された情報タイプとを利用して、例えば、推定された情報タイプと合致し、かつ質問文中のキーワードと関連の高い回答候補を解析情報１０６より抽出する。各回答候補には、対応するビデオデータ１０４中の位置情報が付加されている。

従って、再生位置比較部２０５ａは、再生位置記憶部２０２で記憶した再生位置と、各回答候補のビデオデータ１０４中の再生位置とを比較して、各々の近さの度合いを計算することができる。例えば、再生位置記憶部２０２で記憶した再生位置と、回答候補のビデオデータ１０４中の再生位置との差の絶対値の逆数をこの回答候補のスコアとする。この例の場合は、要求受理時のビデオデータ１０４の再生位置に近い回答候補ほどスコアが高くなることになる。

次に、優先順位計算部２０５ｂは、検索部２０４で得られた回答候補の優先順位の計算を行う。この実施形態では、先に再生位置比較部２０５ａで計算したスコアをそのまま優先順位とする。なお、優先順位の計算手段は、この実施形態の他にも種々考えられる。例えば、各回答候補には、解析情報１０６に記述されている情報のほかに、検索部２０４で計算された、回答としての確信度をあらわすスコアが付加されていてもよい。この場合、優先順位計算部２０５ｂでは、該スコアの値に、再生位置比較部２０５ａで計算したスコアの値を加味して補正したものを優先順位とすることもできる。

再生位置変更部２０６は、検索部２０４で検索した回答候補の中から、優先順位計算部２０５ｂで計算した優先順位の最も高いものを回答として選択する。再生位置変更部２０６で選択された回答と、これに対応するビデオデータ１０４の位置が再生制御部２０７に渡され、回答に対応するビデオデータ１０４の位置から、ビデオデータの再生が開始される。なお、再生位置変更部２０６での回答の選択方法は、この実施形態で示した方法に限らない。例えば、優先順位計算部２０５ｂで優先順位を計算した後、回答候補の全部、または優先順位の上位のものから順に予め決められた数までの回答候補を選択し、再生制御部２０７へ情報を渡すことも可能である。この場合、再生制御部２０７では優先順位の最も高い回答に対応する位置からビデオデータ１０４の再生を行うが、後に図９で示すように、ユーザの次候補表示の指示に従い、他の回答に対応するビデオデータ１０４の位置への切り替えるようにしてもよい。

次に、図４乃至図６を用いて各種データの例について詳細に説明する。
図４は、ビデオデータ１０４の発話内容の例を示した図である。
図５は、図４のビデオデータ１０４の発話部分をテキスト化した発話テキストデータを示した図である。
図６は、図５の発話テキストデータの解析した解析情報の一例を示した図である。
図４のビデオデータ１０４は、オーブンレンジを使ってスパゲティを茹でる方法について解説している。ビデオデータ１０４には、解説者が実際にオーブンレンジを使って、スパゲティを茹でる手順を実演している様子が記録されている。符号４０１〜４０４は、ビデオデータ１０４の中で解説者が発話している内容の一部を示している。

図５において発話テキストデータ５０１は、単に図４のビデオデータ１０４中の発話部分をテキスト化したものであり、この図５では発話テキストデータ５０１の一部を抜き出したものである。この発話テキストデータ５０１は、検索時に、回答候補と質問文中のキーワードの関連度を調べる際に利用される。

図６の解析情報６０１は図２の解析情報１０６に相当する。解析情報６０１は、発話テキストデータ５０１を形態素解析し、図９の意味解析ルール２５１ｃを利用して、発話テキストデータ５０１に含まれる単語のうち、回答となる可能性のある（意味のある）単語とその情報タイプを抽出したものである。例えば、図５のテキストの中央付近「スパゲティ１００ｇを耐熱容器に加えます。」から、図６の一番上の要素、「１００ｇ」が「重さ」という情報タイプ付きで抽出される。発話テキストデータ５０１中での出現位置情報も抽出されるので（符号６０７部分）、図６中での単語の出現順序と図５中の単語の出現順序は同じである必要はない。

意味解析ルール２５１ｃには、予め定義された情報タイプおよび情報タイプに属する単語の対応を記述した辞書データと、「数詞＋ｇ（単位）」であれば「重さ」を表す、というような解析ルールとが含まれる。

図６に示した例では、情報タイプとして、食品を表す「ＦＯＯＤ＿ＤＩＳＨ」（符号６０２）、重さを表す「ＷＥＩＧＨＴ」（符号６０３）、および製品の一部品を表す「ＰＲＯＤＵＣＴ＿ＰＡＲＴ」（符号６０４）のタグが記述してある。それぞれのタグで囲まれた部分が、その情報タイプに属する回答候補となりうる単語群である。

例えば、符号６０５の「１００ｇ」という単語は、<WEIGHT>と</WEIGHT>というタグに囲まれている。これは、この単語が「重さ」を表す情報タイプに属することを意味している。

また、符号６０５の「１００ｇ」の後のコロン（：）マークより後ろの記述は、「１００ｇ」という単語の解析情報を表したものである。
符号６０６の「８」という数値は、「１００ｇ」という単語のバイト数を示している。
また、符号６０７の「８６，１００，ＰＴ１９Ｓ」という記述は、「１００ｇ」という単語の出現位置，この単語が「重さ」という情報タイプを持つことの確信度、およびこの単語がビデオデータ１０４中で出現する位置を表している。

符号６０７中の「８６」は、図５の発話テキストデータ５０１中の、「１００ｇ」という単語が出現する位置を示している（例えば、発話テキストデータ５０１の頭から８６バイト目の位置等）。

符号６０７中の「１００」という記述は、「１００ｇ」という単語が「重さ」という情報タイプを持つことの確信度を示している（例えば、１００％等）。
符号６０７中の「ＰＴ１９Ｓ」は、図４のビデオデータ１０４中で「１００ｇ」という単語が出現する位置（時間）を示している（例えば、ビデオデータ１０４の頭から１９秒）。

次に、図７を用いてマルチメディアデータの表示例について説明する。
図７は、マルチメディアデータ検索閲覧プログラム２００によるマルチメディアデータの表示例を示した図である。なお、この実施形態では、マルチメディアデータとしてビデオデータ１０４を表示する場合の例を示している。

図７のマルチメディアデータ検索閲覧インタフェース７００は、ユーザ要求入力部７０１，ビデオデータ表示部７０２，メタ情報表示部７０３，ビデオデータ制御部７０４，回答表示部７０８およびボタン７０９より構成される。なお、この実施形態において、ビデオデータ１０４の再生等の指定については図示しない別のユーザインタフェース部分で行われ、ビデオデータ１０４の再生は、画面表示とともに自動的に開始されるものとする。

ユーザ要求入力部７０１は、ユーザの要求を入力する部分であり、この部分にはユーザによってキーボード等を用いて直接テキスト入力される。あるいは、マルチメディアデータ検索閲覧プログラム２００が音声認識機能をサポートしている場合、音声認識結果を表示するようになっていてもよい。このユーザ要求入力部７０１は、図２では要求受理部２０１に相当する。ユーザ要求入力部７０１の入力内容をユーザが確定すると、このユーザ要求入力部７０１に入力されたテキストデータは要求受理部２０１に渡され、処理が開始される。

ビデオデータ表示部７０２には、ユーザにより指定されたり、マルチメディアデータ再生装置によって検索されたビデオデータ１０４が再生される。
メタ情報表示部７０３には、ビデオデータ表示部７０２で再生されているビデオデータ１０４に対応するメタ情報を表示する。
図４のビデオデータ１０４の発話部分符号４０１〜４０４のテキストおよび各発話の時間情報が、ビデオデータ１０４に対応するメタ情報として与えられていた場合、ビデオデータ１０４の再生時間Ｔ１−Ｔ２間は、メタ情報表示部７０３には「スパゲティのゆで方」（図４の符号４０１）が表示され、Ｔ２−Ｔ３間は「水５００ｃｃ、塩小さじ１／２杯を耐熱容器に入れます」（図４の符号４０２）が表示される。以降、メタ情報内の時間情報に従い、メタ情報表示部７０３のテキストが切り替わる。

ビデオデータ制御部７０４には、ビデオデータ１０４に関する操作を行うためのボタン類が表示されている。
ボタン７０６は、ビデオデータ表示部７０２のビデオデータ１０４の再生開始および一時停止の機能が割当てられている。
ボタン７０５は、ビデオデータ表示部７０２で再生されているビデオデータ１０４を、次のメタ情報の開始時間までジャンプさせる機能が割当てられている。例えば、図４のビデオデータ１０４の、Ｔ２−Ｔ３間を再生中にボタン７０５が押されると、直後のメタ情報の区間であるＴ３−Ｔ４間の先頭である再生時間Ｔ３の位置から再生を始める。

これに対し、ボタン７０７には、ビデオデータ表示部７０２で再生されているビデオデータ１０４を、直前のメタ情報の開始時間までジャンプさせる機能が割当てられている。例えば、図４のビデオデータ１０４の、Ｔ２−Ｔ３間を再生中にボタン７０５を押すと、直前のメタ情報の区間であるＴ１−Ｔ２間の先頭である再生時間Ｔ１の位置から再生を始める。

ユーザ要求入力部７０１にユーザが質問を入力した場合は、この質問が要求受理部２０１で受理された結果表示されるビデオデータは、上記メタ情報内の時間情報に関わらず、回答に対応している位置から再生が開始される。

ボタン７０９には、ユーザ要求入力部７０１に入力されたデータが要求受理部２０１で受理された時点のビデオデータ１０４の再生位置へ戻る機能が割当てられている。ユーザがこのボタン７０９を押すと、ユーザ要求入力部７０１に入力されたデータが要求受理部２０１で受理された時点のビデオデータ１０４の再生位置が再生位置記憶部２０２から読み出され、質問をする前のビデオデータ１０４の再生位置に戻ってビデオデータ１０４の視聴を続けることができる。

以上説明したようにこの発明によれば、マルチメディアデータ再生中に、ユーザの要求に対応すると思われる箇所を検索により特定し、この特定した箇所へジャンプして再生することができる。これにより、ユーザはマルチメディアデータから再生したいと思っている箇所を探す手間を省くことができ利便性が向上する。

（マルチメディアデータの表示例の変形例）
図８は、マルチメディアデータ検索閲覧プログラム２００によるマルチメディアデータの他の表示例を示した図である。なお、この実施形態では、マルチメディアデータとして音声付のビデオデータを表示する場合の例を示している。

図８のマルチメディアデータ検索閲覧インタフェース７００は、図７と比較して、新たに検索結果表示制御部８０１が設けられている。この検索結果表示制御部８０１は、ユーザ要求入力部７０１で確定された要求に対する回答の表示に関する操作を行うためのボタン８０２およびボタン８０３から構成されている。

ボタン８０２は、回答が複数ある場合に、次候補の回答を表示する機能が割当てられている。
ユーザ要求入力部７０１に入力されたテキストデータが要求受理部２０１に渡されると、要求解析部２０３，検索部２０４の処理を経て、一つまたは複数の回答候補が得られる。

再生位置変更部２０６は、検索部２０４で得られた複数の回答候補についての情報を渡す。すなわち、（１）各回答候補、（２）再生位置変更部２０５において回答候補毎に計算された優先順位、（３）回答候補毎に対応するビデオデータ１０４の位置情報の対応表を、再生制御部２０７へ渡す。

再生制御部２０７は、再生位置変更部２０６からの対応表から上記３つの情報を得て、まずは最適解と考えられる前記優先順位の高いものを選択する。そして再生制御部２０７は、この選択した回答および当該回答に対応するビデオデータ１０４の位置情報から、マルチメディアデータ検索閲覧インタフェース７００への表示を行う。

例えば、再生制御部２０７は、回答として例えば最適解である「５００ｃｃ」を回答表示部７０８に表示し、ビデオデータ表示部７０２で、ビデオデータ１０４を回答と対応する位置から再生させる。そして再生制御部２０７は、他の回答候補が存在しているのであれば検索結果表示制御部８０１にボタン８０２およびボタン８０３を表示する。また、回答表示部７０８には、次の候補として１件のみ存在している場合には、回答表示部７０８の下側に全２件中の１件目の候補（最適解）であることを示す「（候補：１／２）」を表示する。これにより、ユーザは全部で何件の候補が存在しており、何番目の回答候補であるのかを知ることができる。このようにすればボタン８０２を押す度に、現在表示中の回答の次に優先順位の高い、別の回答を表示することが可能となる。また、ボタン８０３を押す度に、現在表示中の回答よりも優先順位が１つ高い、回答を表示することが可能となる。

ユーザ要求入力部７０１へ入力した要求に対する回答が得られた（所望のビデオデータが閲覧できた）のち、ボタン７０９を押すと、ユーザが要求を行った時点で閲覧していたビデオデータ位置へ戻ることができる。

このようにすれば、更に、複数の回答候補についてユーザが回答を得ることができる。
（第２の実施形態）
以下、図面を参照しながら、この発明の第２の実施形態について説明する。第２の実施形態では、マルチメディア再生時に解析情報１０６を生成することが特徴となっている。この発明の第２の実施形態は、第１の実施形態を変形したものである。このため第１の実施形態で説明したのと同じものについては同一番号を付し説明は省略する。

この第２の実施形態では、図１のサーバ１０２からビデオデータ１０４，ビデオデータ１０４に対応するメタ情報１０８，解析情報１０６をクライアント端末側にダウンロードしてあり、かつクライアント側で検索等のすべての処理を行う場合について示している。

図９のマルチメディアデータ検索閲覧プログラム２００は、要求受理部２０１，再生位置記憶部２０２，要求解析部２０３，検索部２０４，再生位置比較部２０５，再生位置変更部２０６，再生制御部２０７およびデータ解析部９０１より構成されている。このように図９は、図２と比較してデータ解析部９０１と、意味解析ルール２５１ｃが追加されている点が異なっている。このマルチメディアデータ検索閲覧プログラム２００は、コンピュータにより実行される。なお、プログラムを実行するためのプロセッサ，ＲＯＭ，ＲＡＭ等の本発明が実施されるコンピュータの構成については本発明の要旨でないので図からは省略しているが、汎用のコンピュータを用いれば良い。

この第２の実施形態では、検索部２０４で必要となる予め作成されたマルチメディアデータ１０４の解析情報１０６を、サーバ１０２側からダウンロードするのではなく、マルチメディア再生時に生成する。この例ではデータ解析部９０１が、ビデオデータ１０４の再生時に意味解析ルール２５１ｃを用いて解析情報１０６を生成する。

図９において、再生制御部２０７は、ユーザの入力する指示に従い、記憶装置１１０に格納されている音声付のビデオデータ１０４および当該ビデオデータ１０４に対応するメタ情報１０８の読み込み、音声付のビデオデータ１０４およびこのビデオデータに対応するメタ情報１０８の再生表示、一時停止等の制御などを行う。

データ解析部９０１は、再生制御部２０７の制御によって音声付のビデオデータ１０４の再生が開始されると、この再生中の音声付のビデオデータ１０４を解析して解析情報１０６を生成し、解析情報１０６として記憶装置１１０内に格納する。このビデオデータ１０４の解析は、具体的には次のように行われる。
（１）再生中の音声付のビデオデータ１０４に含まれる発話部分を音声認識し、図５に示すような発話テキストデータ５０１を生成する。ただし、図５の例に加え、ここでは各発話テキストに、ビデオデータ１０４の中でその発話が行われる位置情報（例えば、再生時間情報）が対応付けられている。
（２）記憶装置１１０に格納されている意味解析ルール２５１ｃを用いて、上記発話テキストデータ５０１を解析し、図６の符号６０１に示すような解析した情報を生成し、解析情報１０６へ追加していく。

このようにして解析情報１０６が生成される。なお、この例では音声信号から発話テキストデータ５０１を生成したが、この発明はこれに限定されず、字幕データから作成してもよい。字幕データとしては、字幕が映像として送信されてきた映像から抽出してもよいが、ビデオデータの関連情報としてテキストコードが含まれている場合には、このテキストコードを用いた方が、映像から抽出するよりも、より正しいテキストコードを得ることができる。

データ解析部９０１は、ビデオデータ１０４に対応する解析情報１０６を参照して、既に解析が終わった部分の再生が行われている場合にはビデオデータ１０４の解析は行わず、まだ解析が終わっていない部分の再生が行われている場合はビデオデータ１０４の解析を行う。

ユーザがビデオデータ１０４に関して検索を行う場合には、通常、ユーザが興味を持っている情報カテゴリに関するものが多いものと予測される。このため記憶装置１１０にユーザプロファイルを格納しておき、ビデオデータ１０４の解析時にこれを利用することも可能である。ユーザプロファイル情報としては、例えば、ユーザがどのような情報カテゴリに興味があるかを記述しておく。この場合、ユーザプロファイルに記述のある情報カテゴリに属するルールのみを意味解析ルール２５１ｃとしてダウンロードすればよい。このようにするとデータ解析時に適用するルール数を絞ることができ、データ解析に要する負荷を軽くすることができ、効率的なデータ解析を行うことができる。

また、記憶装置１１０にユーザのプロファイルに代えて、ユーザの操作履歴情報を保持しておき、ビデオデータ１０４の解析時に、操作履歴情報に応じてデータ解析時に適用するルール数を絞るようにしてもよい。

要求解析部２０３は、要求受理部２０１で受理したユーザの要求である質問文テキストを解析し、記憶装置１１０に格納されている解析ルール２５１内の要求タイプ解析ルール２５１ａおよび情報タイプ解析ルール２５１ｂに格納されているルールに従って、質問文の要求している情報のタイプを推定する。例えば、質問文テキストが「○○がＸＸしたのはいつだった？」という質問文の場合には、「いつだった？」という表現から求められている情報は、日付あるいは時間の情報であると推定する。

検索部２０４は、要求解析部２０３により推定された情報タイプである、例えば、要求されているのは日付あるいは時間の情報であると推定された情報タイプに応じて、解析情報１０６から日付あるいは時間に関する記述で、かつ、質問文の他のキーワード（「○○」あるいは「ＸＸした」）に関連すると推定されるものを回答候補として抽出する。

以上説明した通り、この発明の第２の実施形態では第１の実施形態と同様の効果を得ることができる。更に、予め解析情報が用意されていないマルチメディアデータに対しても本発明によるマルチメディア再生方法を利用することができるという効果を得ることができる。

図１０は、この発明のマルチメディアデータ再生装置をコンピュータで実現したときのハードウェアの一例を示す図である。
このコンピュータは、プログラムを実行する中央演算装置１００１と、プログラムやプログラムが処理中のデータを格納するメモリ１００２と、プログラム、検索対象のデータ及びＯＳ（Operating System）を格納しておく磁気ディスクドライブ１００３と、光ディスクにプログラムやデータを読み書きする光ディスクドライブ１００４とを備える。

さらに、ディスプレイ等に画面を表示させるためのインタフェースである画像出力部１００５と、キーボード・マウス・タッチパネル等からの入力を受ける入力受付部１００６と、外部装置との出入力インタフェース（例えばＵＳＢ（Universal Serial Bus）、音声出力端子等）である出入力部１００７とを備える。また、ＬＣＤ、ＣＲＴ、プロジェクタ等の表示装置１００８と、キーボードやマウス等の入力装置１００９と、メモリカードリーダ，スピーカーの外部装置１０１０とを備える。外部装置１０１０は、機器ではなくネットワークであっても良い。

中央演算装置１００１は、磁気ディスクドライブ１００３からプログラムを読み出してメモリ１００２に記憶させた後にプログラムを実行することにより図１に示す各機能を実現する。プログラム実行中に、磁気ディスクドライブ１００３から検索対象データの一部或いは全部を読み出してメモリ１００２に記憶させておいても良い。

基本的な動作は、入力装置１００９を介して利用者からの検索要求を受け、検索要求に応じて磁気ディスクドライブ１００３やメモリ１００２に記憶させた検索対象データを検索する。そして、表示装置１００８に検索結果を表示させる。

検索結果は表示装置１００８に表示させるだけでなく、例えば外部装置１０１０としてスピーカーを接続しておいて音声で利用者に提示しても良い。あるいは、外部装置１０１０としてプリンタを接続しておいて、印刷物として提示しても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

この発明のマルチメディアデータ再生装置の利用形態の一例を示した図。 この発明のマルチメディアデータ再生装置の構成を説明するための機能ブロック図。 この発明のマルチメディアデータ再生装置の構成を説明するための機能ブロック図。 ビデオデータ１０４の発話内容の例を示した図。 図４のビデオデータ１０４の発話部分をテキスト化した発話テキストデータを示した図。 図５の発話テキストデータの解析した解析情報の一例を示した図。 マルチメディアデータ検索閲覧プログラム２００によるマルチメディアデータの表示例を示した図。 マルチメディアデータ検索閲覧プログラム２００によるマルチメディアデータの表示例を示した図。 この発明のマルチメディアデータ再生装置の構成を説明するための機能ブロック図。 マルチメディアデータ再生装置をコンピュータで実現したときのハードウェアの一例を示す図。

符号の説明

１０１…クライアント端末、１０２…サーバ、１０４…ビデオデータ、１０６…解析情報、１０８…メタ情報、２００…マルチメディアデータ検索閲覧プログラム、２０１…要求受理部、２０２…再生位置記憶部、２０３…要求解析部、２０３ａ…要求タイプ推定部、２０３ｂ…情報タイプ推定部、２０４…検索部、２０５…再生位置比較部、２０５ａ…再生位置比較部、２０５ｂ…優先順位計算部、２０６…再生位置変更部、２０７…再生制御部、２５１…解析ルール、２５１ａ…要求タイプ解析ルール、２５１ｂ…情報タイプ解析ルール、２５１ｃ…意味解析ルール、５０１…発話テキストデータ、６０１…解析した情報、７００…マルチメディアデータ検索閲覧インタフェース、７０１…ユーザ要求入力部、７０２…ビデオデータ表示部、７０３…メタ情報表示部、７０４…ビデオデータ制御部、７０８…回答表示部、７０９…ボタン、８０１…検索結果表示制御部、８０２…ボタン、８０３…ボタン、９０１…データ解析部、１００１…中央演算装置、１００２…メモリ、１００３…磁気ディスクドライブ、１００４…光ディスクドライブ、１００５…画像出力部、１００６…入力受付部、１００７…出入力部、１００８…表示装置、１００９…入力装置、１０１０…外部装置。

Claims (10)

1. 複数メディアからなるマルチメディアデータの再生制御を行う再生制御手段と、
   ユーザからの質問を受理する質問受理手段と、
   この質問受理手段がユーザから質問を受理した時点の、前記再生制御手段によって再生させている前記マルチメディアデータの再生位置を記憶する再生位置記憶手段と、
   前記質問受理手段で受理した質問を解析する解析手段と、
   この解析手段の解析結果を用いて、前記質問に対する回答を前記マルチメディアデータの解析情報から検索する検索手段と、
   この検索手段により検索された前記回答をユーザに提示するために出力する手段と、
   前記検索手段により検索された前記回答に対応する前記マルチメディアデータ中の回答出現位置と、前記再生位置記憶手段により記憶された前記再生位置とを比較する位置比較手段と、
   この位置比較手段による比較結果に応じて、前記再生制御手段に前記マルチメディアデータの再生位置を変更させる再生位置変更手段とを備えたことを特徴とするマルチメディアデータ再生装置。
2. 更に、再生された前記マルチメディアデータおよび前記回答を表示する表示手段とを備えたことを特徴とする請求項１または２記載のマルチメディアデータ再生装置。
3. 更に、前記マルチメディアデータを解析して、前記解析情報を生成する解析情報生成手段とを備えたことを特徴とする請求項１記載のマルチメディアデータ再生装置。
4. 前記解析情報は、
   前記マルチメディアデータ中の各発話に含まれるキーワードに対して付与され、予め定義された意味属性と、該キーワードが該意味属性を持つことの確信度を表すスコアと、該キーワードの前記マルチメディアデータ中の出現位置を特定するための時間情報とを含むことを特徴とする請求項３に記載のマルチメディアデータ再生装置。
5. 前記解析手段は、
   前記質問が求める回答の型を推定する推定手段を有し、
   前記検索手段は、
   前記推定手段により推定された回答の型の回答を検索することを特徴とする請求項１乃至４のいずれか１項に記載のマルチメディアデータ再生装置。
6. 前記位置比較手段は、
   前記再生位置記憶手段により記憶された再生位置に近い位置に対応する回答ほど、回答としての優先順位を高くすることを特徴とする請求項１乃至５のいずれか１項に記載のマルチメディアデータ再生装置。
7. 前記位置比較手段は、
   前記検索手段により検索された回答の確信度も算出し、この確信度も利用して回答の優先順位を計算することを特徴とする請求項１乃至６のいずれか１項に記載のマルチメディアデータ再生装置。
8. 前記位置比較手段は、
   前記回答となる回答候補が複数ある場合、前記再生位置記憶手段により記憶された再生位置よりも過去であると共に一番近い位置の回答候補を当該質問の回答とすることを特徴とする請求項１乃至７のいずれか１項に記載のマルチメディアデータ再生装置。
9. 前記解析手段は、
   予め定義されたユーザプロファイル情報またはユーザの操作履歴情報に基づき、データ解析時に適用するルール数を絞ることを特徴とする請求項１乃至８のいずれか１項に記載のマルチメディアデータ再生装置。
10. 再生制御手段により複数メディアからなるマルチメディアデータの再生制御を行う再生制御ステップと、
    ユーザからの質問を受理する質問受理ステップと、
    この質問受理ステップがユーザから質問を受理した時点の、前記再生制御手段によって再生させている前記マルチメディアデータの再生位置を記憶する再生位置記憶ステップと、
    前記質問受理手段で受理した質問を解析する解析ステップと、
    この解析ステップの解析結果を用いて、前記質問に対する回答を前記マルチメディアデータの解析情報から検索する検索ステップと、
    この検索ステップにより検索された前記回答をユーザに提示するために出力するステップと、
    前記検索ステップにより検索された前記回答に対応する前記マルチメディアデータ中の回答出現位置と、前記再生位置記憶ステップにより記憶された前記再生位置とを比較する位置比較ステップと、
    この位置比較ステップによる比較結果に応じて、前記再生制御手段に前記マルチメディアデータの再生位置を変更させる再生位置変更ステップとを備えたことを特徴とするマルチメディアデータ再生方法。

Images