JP2007334365A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】音声認識により言語テキストを得るとともに該言語テキストを動的に表示することのできる情報処理装置、方法、およびプログラムを提供する。
【解決手段】複数の音声信号を記憶する記憶手段と、複数の音声信号に対して音声認識を行って複数の言語テキストを生成する生成手段と、複数の言語テキストから複数のキーワードを抽出する抽出手段と、複数のキーワードを動的に表示する表示手段と、を具備する。
【選択図】図１

Description

本発明は音声認識技術に関し、音声認識結果に基づく言語情報を出力する情報処理装置、情報処理方法、および情報処理プログラムに関する。

音声信号に対する音声認識結果により得られた言語情報を利用したメタデータ生成に関する研究が近年盛んに行われている。生成されたメタデータを音声信号に付与しておくことは、データ管理や検索等に有用である。

例えば、音声データに対する音声認識結果により得られた言語テキストから特定の言い回しやキーワードを抽出してインデックス化し、音声データベースを構築することにより、所望の音声データの検索を実現する技術が例えば下記特許文献１において提案されている。
特開平８−２４９３４３号公報

音声認識結果により得られた言語テキスト等を上述のようにデータ管理や検索等に用いられるメタデータとして利用する技術は存在するものの、音声ならびに該音声に対応する映像の内容理解や再生制御等をユーザが容易に行えるように、音声認識結果の言語テキストを動的に表示する技術はこれまでに提供されていない。

したがって、本発明は、音声認識により言語テキストを得るとともに該言語テキストを動的に表示することのできる情報処理装置、方法、およびプログラムを提供することを目的とする。

本発明の一観点に係る情報処理装置は、複数の音声信号を記憶する記憶手段と、前記複数の音声信号に対して音声認識を行って複数の言語テキストを生成する生成手段と、前記複数の言語テキストから複数のキーワードを抽出する抽出手段と、前記複数のキーワードを動的に表示する表示手段と、を具備する。

本発明によれば、音声認識により言語テキストを得るとともに該言語テキストを動的に表示することのできる情報処理装置、方法、およびプログラムを提供できる。

以下、図面を参照しながら本発明の実施形態を説明する。

（第１実施形態）
図１は本発明の第１実施形態に係るテレビジョン受像機の概略構成を示すブロック図である。このテレビジョン受像機は、アンテナが接続され、放送された映像音声信号を受信するチューナ１０と、チューナ１０により受信された映像音声信号（ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）情報）をＡＶ情報遅延部１２に出力する一方、上記映像音声信号から音声信号を分離して音声認識部１３に出力するデータ分離部１１と、データ分離部１１から出力された音声信号に対して音声認識を行う音声認識部１３と、該音声認識部１３による音声認識結果に基づく言語テキストならびに上記音声信号の再生との同期のための時間情報を有する言語情報を生成して出力する言語情報出力部１４とを備える。

ＡＶ情報遅延部（メモリ）１２は、データ分離部１０から出力されたＡＶ情報を一時的に記憶する。このＡＶ情報は、音声認識部１３による音声認識処理を経てその音声認識結果から言語情報を生成する処理が完了するまで遅延され、言語情報出力部１４から生成された言語情報が出力された時点でＡＶ情報遅延部１２から出力される。音声認識部１３は、音声信号から認識可能な全ての語の品詞情報を含んだ情報を言語情報として取得する。

ＡＶ情報遅延部１２からの遅延後のＡＶ情報出力と言語情報出力部１４からの言語情報出力は、同期処理部１５に与えられる。同期処理部１５は、与えられたＡＶ情報を再生する。また同期処理部１５は言語情報に含まれる言語テキストを映像信号に変換し、ＡＶ情報の再生と同期するように表示制御部１６に出力する。同期処理部１５により再生されたＡＶ情報のうち、音声再生信号は図示しないスピーカに供給され、映像再生信号は表示制御部１６に供給される。表示制御部１６は、与えられたＡＶ情報の映像再生信号に言語テキストの映像信号を合成し、表示装置１７がこれを表示する。なお、言語情報出力部１４から出力される言語情報はＨＤＤ等の記録装置１８や、ＤＶＤ装置１９等の記録媒体に記録することができる。

図２は、言語情報出力部１４において実行される処理の手順を詳細に示すフローチャートである。

先ずステップＳ１において、言語情報出力部１４は音声認識部１３から音声認識結果を取得する。また、音声認識と併行して、あるいは事前に、言語情報の提示方法に関する設定を行う（ステップＳ２）。提示方法設定情報の取得については後述する。

次にステップＳ３において、音声認識部１３から取得した音声認識結果に含まれる言語テキストを解析する。この解析には、良く知られた形態素解析技術を利用できる。また、言語テキストの解析結果から、重要語句（キーワード）や重要文を抽出するといった種々の自然言語処理も行われる。例えば、音声認識結果に含まれる言語テキストの形態素解析結果に基づいて要約情報を作成し、これを提示対象の言語情報としてもよい。なお、このような要約情報に基づく言語情報には、上述したように音声信号の再生との同期のための時間情報が必要であることに変わりはない。

次にステップＳ４において、提示用言語情報を選定する。具体的には、選定基準、提示量などの設定（提示方法設定情報）に応じて、語句または文情報を選定する。次にステップＳ５においては、ステップＳ４において選定された提示用言語情報の出力（提示）単位を決定する。続くステップＳ６においては、出力単位ごとの提示タイミングを発声時刻情報をもとに設定する。さらに、ステップＳ７においては、各出力単位ごとの提示継続時間長を決定する。

そしてステップＳ８では、提示用表記、提示開始時刻、提示継続時間長を表す言語情報を出力する。図３は、音声認識結果に基づく言語情報出力の一例を示す図である。同図に示すように音声認識結果３０は、少なくとも言語テキストの構成要素である文字列３００と、該文字列３００に対応する音声信号における発声時刻３０１を有する。この発声時刻３０１は、音声信号の再生と同期して言語情報を表示あるいは出力する際に参照される時間情報に相当する。同図に示す言語情報出力３１は、提示方法設定に応じた上記言語情報出力部１４の処理により出力された結果である。この言語情報出力３１は提示用表記３１０、提示開始時刻３１１、提示継続時間長（［秒］）３１２を有する。図から分かるように、提示用表記３１０は、重要語句として選定された名詞であり、助詞等は除外されている。例えば「東京」という提示用表記は、提示開始時刻「１０：０３：０８」から提示が開始され、その継続時間は「５ｓｅｃ」である。このような言語情報出力３１は、いわゆる文字字幕として映像とともに、あるいは音声のみと同期する言語情報として出力することができる。

図４は、提示方法設定手順の一例を示すフローチャートである。提示方法設定手順は、例えばＧＵＩ（グラフィカルユーザインタフェース）技術を利用したダイアログ画面等を通じて行われる。

先ずステップＳ１０において、キーワード（重要語句）提示を行うか否かを決める。キーワード提示をする場合はステップＳ１１に進み、そうでない場合は、ステップＳ１２に進む。キーワード提示をしない場合、言語情報は文単位で選定され、提示されることになる。

提示語句生成および選定基準を設定するステップＳ１１では、品詞特定、重要語句提示、優先提示語句、提示量等をユーザが設定する処理が行われる。提示文生成および選定基準を設定するステップＳ１２では、指定語句含有文提示、要約率等をユーザが設定する処理が行われる。ステップＳ１１あるいはステップＳ１２のいずれかによる設定が行われると、処理はステップＳ１３に進む。ステップＳ１３では、言語情報を動的に提示するか否かを決定する。動的提示を行う旨ユーザから指示される場合は、ステップＳ１４において動的提示の際の速度および方向等の設定を行う。具体的には、提示用表記をスクロール表示する方向やその移動速度を設定する。

ステップＳ１５においては、提示単位および開始タイミングを指定する。提示単位は、例えば「文」、「文節」、あるいは「語句」であり、文頭発声時刻、文節発声時刻、語句発声時刻等を開始タイミングとする。次に、ステップＳ１６では、提示単位の提示継続時間に関する指定を行う。ここでは、提示継続時間に関して、次語句発声頭まで、秒数指定、文末まで、といった指定を行うことができる。次に、ステップＳ１７では、提示形態を設定する。提示形態は、例えば提示単位の位置、文字形態（字体）、サイズ等である。提示形態の設定は、全ての語句、あるいは指定語句ごとに行えることが好ましい。

図５はキーワード字幕表示の一例を示す図である。

図５に示す表示画面５０は、本実施形態のテレビジョン受像機の表示装置１７に表示される。この表示画面５０には、本装置が外部から受信した放送信号のＡＶ情報に基づく映像５３が表示される。図５に示す５１は映像５３と同期する音声の内容を図示したものであり、この音声内容５１は実際には図示しないスピーカから出力される。映像５３と共に表示画面５０内において表示されるキーワード字幕５２は、音声内容５１から抽出されたキーワードに相当する。このキーワードはスピーカからの出力音の内容と同期してスクロールする。

このようなキーワード字幕の動的な表示（提示）によれば、視聴者は映像５３と同期する音声内容５１を視覚的に理解することができる。また、再生出力された音声内容５１について、聞き逃した事項を確認したり、キーワードに基づいて大まかな内容を速やかに理解するなど、内容理解を効果的に支援することができる。なお、音声認識部１３、言語情報出力部１４、同期処理部１５、表示制御部１６等の処理はコンピュータソフトウェアにより実現することができる。

（第２実施形態）
図６は本発明の第２実施形態に係るホームサーバの概略構成を示すブロック図である。同図に示すように、本実施形態のホームサーバ６０は、ＡＶ情報を記憶するＡＶ情報記憶部６１と、ＡＶ情報記憶部６１に記憶されているＡＶ情報に含まれる複数の音声信号に対して音声認識を行う音声認識部６２と、音声認識部６２による音声認識結果から言語テキストを生成し、キーワード抽出等の言語処理を行う言語情報処理部６３と、言語情報処理部６３による言語処理結果を記憶する言語情報記憶部６４とを有する。なお、言語情報処理部６３による言語処理においては、第１実施形態で説明した提示方法設定情報の一部が用いられる。

また、ホームサーバ６０は、ＡＶ情報記憶部６１に記憶されているＡＶ情報を検索するための検索画面を通信Ｉ／Ｆ部６６からネットワーク６７を通じてユーザ端末６８やネットワーク家電機器（ＡＶテレビ）６９に提供する検索処理部６００を有する。

図７はホームサーバから提供される検索画面の一例を示す図である。検索処理部６００から提供される検索画面８０は、ユーザ端末６８やネットワーク家電機器（ＡＶテレビ）６９において表示される。この検索画面８０における８１ａ，８１ｂは、ＡＶ情報記憶部６１に記憶されているＡＶ情報（以下、「コンテンツ」という）のそれぞれに対応している。また、領域８２ａにはコンテンツ８１ａ（ここでは「ニュースＡ」）の内容を細分化した部分コンテンツの代表画像（縮小静止画像）又は部分コンテンツの縮小動画像が表示される。領域８３ａには、１０：００を開始時刻とする当該部分コンテンツの音声内容を表す言語情報がスクロール表示される。すなわち、ここでいう言語情報は言語情報処理部６３から得られ、音声認識結果により得られた言語テキストから抽出されたキーワードに相当する。同様に、領域８５ａには、１０：０６を開始時刻とする当該部分コンテンツの音声内容を表す言語情報がスクロール表示される。

また、領域８２ｂにはコンテンツ８１ｂ（ここでは「ニュースＢ」）の内容を細分化した部分コンテンツの代表画像（縮小静止画像）又は部分コンテンツの縮小動画像が表示される。領域８３ｂには、１１：３０を開始時刻とする当該部分コンテンツの音声内容を表す言語情報がスクロール表示される。領域８５ｂには、１１：３５を開始時刻とする当該部分コンテンツの音声内容を表す言語情報がスクロール表示される。

以上のように検索処理部６００から提供される検索画面８０には、部分コンテンツ毎に、当該部分コンテンツの音声内容におけるキーワードが一覧でスクロール表示される。なお、各々のスクロール表示において、音声内容の終端に到達したら、再度、先頭に戻って表示を繰り返す。また、領域８２ａ、８４ａ、８２ｂ、８４ｂを動画表示とする場合において、動画表示とスクロール表示とを、内容に関して同期させてもよい。この場合、第１実施形態の説明を参考にすることができる。言語テキストを音声認識する際に、その認識元であるコンテンツ（の音声信号）から、同期のための時間情報を取得すればよい。

このような検索画面８０において、例えば図８に示すようにいずれかのキーワード８６ｂをマウスＭ等によりユーザが指定すると、該当するコンテンツが選択される。この例では、「ニュースＢ」のコンテンツ８１ｂにおける１１：３０を開始時刻とする部分コンテンツが選択される。この部分コンテンツは、ＡＶ情報法記憶部６１から読み出され、通信Ｉ／Ｆ部６６がこれをネットワーク６７を通じてユーザの端末６８（あるいはＡＶテレビ６９）に送信する。この場合、「ニュースＢ」の部分コンテンツにおいて、ユーザにより指定されたキーワード「交通事故」８６ｂに対応する位置から再生が開始されるように制御することが好ましい。なお、キーワード「交通事故」８６ｂ以後のコンテンツデータをホームサーバ６０が作成して送信するようにしてもよい。

このような本発明の第２実施形態によれば、音声認識結果に基づいて生成されたキーワードの動的なスクロール表示により、視聴者はコンテンツの音声内容を視覚的に理解することができる。また、音声内容の視覚的理解に基づいて一覧表示されたコンテンツから所望のコンテンツを適切に選択でき、ＡＶ情報の検索を効率化できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係るテレビジョン受像機の概略構成を示すブロック図。 言語情報出力部において実行される処理の手順を詳細に示すフローチャート。 音声認識結果に基づく言語情報出力の一例を示す図。 提示方法設定手順の一例を示すフローチャート。 キーワード字幕表示の一例を示す図。 本発明の第２実施形態に係るホームサーバの概略構成を示すブロック図。 ホームサーバから提供される検索画面の一例を示す図。 キーワードスクロール表示に基づくコンテンツ選択の様子を示す図。

符号の説明

１０…チューナ
１１…データ分離部
１２…ＡＶ情報遅延部（メモリ）
１３…音声認識部
１４…言語情報出力部
１５…同期処理部
１６…表示制御部
１７…表示装置
１８…記録装置（ＨＤＤ）
１９…記録装置（ＤＶＤ）

Claims (7)

1. 複数の音声信号を記憶する記憶手段と、
   前記複数の音声信号に対して音声認識を行って複数の言語テキストを生成する生成手段と、
   前記複数の言語テキストから複数のキーワードを抽出する抽出手段と、
   前記複数のキーワードを動的に表示する表示手段と、を具備する情報処理装置。
2. 前記表示手段により表示された複数のキーワードにおいていずれかのキーワードがユーザにより指定されたならば、該ユーザにより指定されたキーワードに対応する前記記憶手段により記憶された前記音声信号を選択する選択手段と、
   前記選択手段により選択された音声信号を再生する音声再生手段と、を具備する請求項１記載の情報処理装置。
3. 前記記憶手段は、前記音声信号を含む映像音声情報を記憶し、
   前記表示手段により表示された複数のキーワードにおいていずれかのキーワードがユーザにより指定されたならば、該ユーザにより指定されたキーワードに対応する前記記憶手段により記憶された映像音声信号を選択する選択手段と、
   前記選択手段により選択された映像音声信号を再生する映像音声再生手段と、を具備する請求項１記載の情報処理装置。
4. 前記表示手段は、前記言語テキスト毎に前記複数のキーワードを動的に表示する請求項１乃至３に記載の情報処理装置。
5. 前記選択手段により選択された音声信号又は映像音声信号をネットワークを介して前記ユーザの端末に送信する送信手段をさらに具備する請求項２又は３のいずれかに記載の情報処理装置。
6. 複数の音声信号を記憶する記憶ステップと、
   前記複数の音声信号に対して音声認識を行って複数の言語テキストを生成する生成ステップと、
   前記複数の言語テキストから複数のキーワードを抽出する抽出ステップと、
   前記複数のキーワードを動的に表示する表示ステップと、を含む情報処理方法。
7. 複数の音声信号を記憶する記憶手順と、
   前記複数の音声信号に対して音声認識を行って複数の言語テキストを生成する生成手順と、
   前記複数の言語テキストから複数のキーワードを抽出する抽出手順と、
   前記複数のキーワードを動的に表示する表示手順と、をコンピュータに実行させるプログラム。

Images