JP2016091487A - 表示装置および表示制御方法 - Google Patents

Abstract

【課題】音声から得られた情報を、画像の表示中に利用しやすい形態で提供する。【解決手段】表示装置は、映像信号および当該映像信号に関連した音声信号の入力を受け付ける受け付け手段と、映像信号に応じた第１画像を表示する表示手段と、音声信号から音声認識処理によりキーワードを抽出する抽出手段と、抽出手段により抽出されたキーワードを蓄積する蓄積手段と、蓄積手段に蓄積された複数のキーワードを含み、当該複数のキーワードのうち登場頻度が高いものを低いものより強調表示した第２画像を生成する生成手段と、第１画像が表示されているときに、表示手段に第２画像を表示させる制御手段とを有する。【選択図】図２

Description

本発明は、音声信号から抽出されたキーワードを表示する技術に関する。

会議の場にプロジェクターが用いられる機会が増えている。プロジェクターを用いると
、動画の再生や話題の展開に合わせた追加資料の提示ができ、紙の資料を用いる場合と比
較して豊かな表現を行うことができる。その一方で、会議の主催者にとっては議事録の作
成が大きな負担となっている。これに対し、特許文献１は、会議の音声データを音声認識
処理したデータを保存する技術を開示している。

特開２００６−２４５８７６号公報

特許文献１に記載の技術においては、音声認識したデータをそのまま保存するため結果
としてかなり冗長なデータとなり、議事録の作成等においてこのデータを再利用するが困
難であるだけでなく、会議中にこのデータを利用することも困難であった。

これに対し本発明は、音声から得られた情報を、画像の表示中に利用しやすい形態で提
供する。

本発明は、映像信号および当該映像信号に関連した音声信号の入力を受け付ける受け付
け手段と、前記映像信号に応じた第１画像を表示する表示手段と、前記音声信号から音声
認識処理によりキーワードを抽出する抽出手段と、前記抽出手段により抽出されたキーワ
ードを蓄積する蓄積手段と、前記蓄積手段に蓄積された複数のキーワードを含み、当該複
数のキーワードのうち登場頻度が高いものを低いものより強調表示した第２画像を生成す
る生成手段と、前記第１画像が表示されているときに、前記表示手段に前記第２画像を表
示させる制御手段とを有する表示装置を提供する。

この表示装置によれば、音声から得られた情報であるキーワードを、画像の表示中に利
用しやすい形態で提供することができる。

前記表示手段は、単一の画面を第１領域および第２領域を含む複数の領域に分割し、当
該第１領域に前記第１画像を、当該第２領域に前記第２画像を表示してもよい。

この表示装置によれば、単一の画面に、映像信号に応じた画像およびキーワードの画像
を表示することができる。

前記表示手段は、前記表示装置に前記第１画像を、当該表示装置と別の表示装置に前記
第２画像を表示してもよい。

この表示装置によれば、映像信号に応じた画像の表示を損なうことなく、キーワードの
画像を表示することができる。

この表示装置は、前記蓄積手段に蓄積されたキーワードの少なくとも一部を示すデータ
を外部装置に出力する出力手段を有してもよい。

この表示装置によれば、映像信号に応じた画像の表示と独立して、キーワードのデータ
の再利用をすることができる。

前記抽出手段における音声認識処理は、前記蓄積手段に蓄積されているキーワードを学
習データとして用いる処理を含んでもよい。

この表示装置によれば、音声認識の精度を高めることができる。

前記第２画像は、第３画像および第４画像を含み、前記第３画像は、前記複数のキーワ
ードのうち登場頻度が高いものを低いものより強調表示した画像であり、前記第４画像は
、前記複数のキーワードを時系列に沿って配置した画像であってもよい。

この表示装置によれば、キーワードの登場頻度および時系列を容易に確認することがで
きる。

前記音声信号は、第１マイクロフォンにより取得された第１音声および第２マイクロフ
ォンにより取得された第２音声を含み、前記生成手段は、前記第１音声から抽出されたキ
ーワードと前記第２音声から抽出されたキーワードとを異なる表示属性で表示した画像を
前記第２画像として生成してもよい。

この表示装置によれば、キーワードを発した話者を区別することができる。

また、本発明は、映像信号および当該映像信号に伴う音声信号の入力を受け付けるステ
ップと、前記映像信号に応じた第１画像を表示するステップと、前記音声信号から音声認
識処理によりキーワードを抽出するステップと、前記抽出されたキーワードを蓄積手段に
蓄積するステップと、前記蓄積手段に蓄積された複数のキーワードを含み、当該複数のキ
ーワードのうち登場頻度が高いものを低いものより強調表示した第２画像を生成するステ
ップと、前記第１画像が表示されているときに、前記第２画像を表示するステップとを有
する表示制御方法を提供する。

この表示制御方法によれば、音声から得られた情報であるキーワードを、画像の表示中
に利用しやすい形態で提供することができる。

一実施形態に係る情報処理システム１の概要を示す図。 プロジェクター１０の機能構成を示す図。 プロジェクター１０のハードウェア構成を示す図。 一実施形態に係る情報処理システム１の動作を示すフローチャート。 履歴情報を例示する図。 副画像を例示する図。 会議の進行に伴う副画像の変化を例示する図。 主画像および副画像の表示例を示す図。 変形例２に係る副画像を例示する図。

１．構成
図１は、一実施形態に係る情報処理システム１の概要を示す図である。情報処理システ
ム１は、プロジェクター１０、映像供給装置２０、プロジェクター３０、および複数のマ
イクロフォン４０を有する。情報処理システム１は、例えば会議に用いられる。プロジェ
クター１０は、映像供給装置２０から供給される映像をスクリーン５０に投写しつつ、マ
イクロフォン４０から取得された音声を解析してキーワードを抽出する。プロジェクター
１０は、抽出された複数のキーワードを、プロジェクター３０を介してスクリーン６０に
投写する。

図２は、プロジェクター１０の機能構成を示す図である。プロジェクター１０は、受け
付け手段１１、表示手段１２、抽出手段１３、蓄積手段１４、生成手段１５、および制御
手段１６を有する表示装置である。受け付け手段１１は、映像信号およびこの映像信号に
関連した音声信号（この例では、映像信号と一緒に供給される音声信号）の入力を受け付
ける。この例で、受け付け手段１１は、映像供給装置２０から映像信号を、マイクロフォ
ン４０から音声信号を、それぞれ受け付ける。表示手段１２は、映像信号に応じた第１画
像を表示する。この例で、表示手段１２は、第１画像をスクリーン５０に投写する。抽出
手段１３は、音声信号から音声認識処理によりキーワードを抽出する。蓄積手段１４は、
抽出手段１３により抽出されたキーワードを蓄積する。生成手段１５は、蓄積手段１４に
蓄積された複数のキーワードを含み、これらのキーワードのうち登場頻度が高いものを低
いものより強調表示した第２画像を生成する。ここで、あるキーワードの「登場頻度」と
は蓄積手段１４においてそのキーワードが記憶されている回数をいう。例えば、一連の会
議において「特許」というキーワードが１０回、「商標」というキーワードが３回、それ
ぞれ抽出されて蓄積手段１４に蓄積（記憶）されている場合、キーワード「特許」はキー
ワード「商標」よりも登場頻度が高い。制御手段１６は、第１画像が表示されているとき
に、表示手段１２に第２画像を表示させる。この例で、表示手段１２は、第１画像を自分
自身で投写し、第２画像をプロジェクター３０に投写させる。

この例で、プロジェクター１０はさらに、出力手段１７を有する。出力手段１７は、蓄
積手段１４に蓄積されたキーワードの少なくとも一部を示すデータを外部装置（例えば、
パーソナルコンピューター）に出力する。

図３は、プロジェクター１０のハードウェア構成を示す図である。プロジェクター１０
は、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１、
ＲＡＭ（Random Access Memory）１０２、記憶部１０３、ＩＦ部１０４、画像処理回路１
０５、投写ユニット１０６、および操作パネル１０７を有する。

ＣＰＵ１００は、プロジェクター１０の各部を制御する制御装置である。ＲＯＭ１０１
は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ１０２は
、データを記憶する揮発性の記憶装置であり、ＣＰＵ１００が処理を実行する際のワーク
エリアとして機能する。記憶部１０３は、データやプログラムなどを記憶する不揮発性の
記憶装置であり、例えば、フラッシュＲＯＭ、ＨＤＤ（Hard Disk Drive）またはＳＳＤ
（Solid State Drive）を含む。なお、記憶部１０３は、ＲＯＭ１０１に含まれていても
よい。あるいは、記憶部１０３は、ネットワーク上の記憶装置であってもよい。

ＩＦ部１０４は、外部装置（例えば映像供給装置２０およびプロジェクター３０）と信
号またはデータのやりとりを仲介するインターフェースである。ＩＦ部１０４は、外部装
置と信号またはデータのやりとりをするための端子（例えば、ＶＧＡ端子、ＵＳＢ端子、
有線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multim
edia Interface：登録商標）端子、マイクロフォン端子など）および無線ＬＡＮインター
フェースを含む。これらの端子は、映像入力端子に加え、映像出力端子も含む。この無線
ＬＡＮインタフェースは、プロジェクター１０を無線ＬＡＮを経由してネットワークに参
加させるだけでなく、プロジェクター１０を無線ＬＡＮのアクセスポイントとして機能さ
せることができる。この例で、プロジェクター３０およびマイクロフォン４０は有線でＩ
Ｆ部１０４に接続されており、映像供給装置２０は無線でＩＦ部１０４に接続されている
。

画像処理回路１０５は、入力された映像信号（以下「入力映像信号」という）に所定の
画像処理（例えば台形補正）を施す。投写ユニット１０６は、画像処理が施された映像信
号に従って、スクリーン５０に画像を投写する。投写ユニット１０６は、光源、光変調器
、および光学系（いずれも図示略）を有する。光源は、高圧水銀ランプ、ハロゲンランプ
、若しくはメタルハライドランプなどのランプ、またはＬＥＤ（Light Emitting Diode）
若しくはレーザーダイオードなどの固体光源、およびこれらの駆動回路を含む。光変調器
は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルま
たはＤＭＤ（Digital Mirror Device）、およびこれらの駆動回路を有する。なお、液晶
パネルは、透過型および反射型のいずれの方式であってもよい。光学系は、光変調器によ
り変調された光をスクリーンに投写する素子などで構成されており、例えばミラー、レン
ズ、およびプリズムを有する。光源および光変調器は色成分毎に設けられていてもよい。

操作パネル１０７は、ユーザーがプロジェクター１０に対し指示を入力するための入力
装置であり、例えば、キーパッド、ボタン、またはタッチパネルを含む。

ＩＦ部１０４は、受け付け手段１１の一例である。ＣＰＵ１００および投写ユニット１
０６は、表示手段１２の一例である。ＣＰＵ１００は、抽出手段１３、生成手段１５、制
御手段１６、および出力手段１７の一例である。記憶部１０３は、蓄積手段１４の一例で
ある。

再び図１を参照する。映像供給装置２０は、プロジェクター１０に映像信号を供給する
装置、例えば、パーソナルコンピューター、タブレット端末、スマートフォン、または光
ディスクプレーヤーである。プロジェクター３０は、スクリーン６０に画像を投写する表
示装置である。マイクロフォン４０は、集音した音声に応じて音声信号を出力する装置（
すなわち音声供給装置）である。

２．動作
図４は、一実施形態に係る情報処理システム１の動作を示すフローチャートである。図
４のフローは、例えば、プロジェクター１０の電源が投入されたことを契機として開始さ
れる。

ステップＳ１００において、ＣＰＵ１００は、記憶部１０３に記憶されている履歴情報
をリセットする。履歴情報は、音声信号から抽出されたキーワードの履歴を示す情報であ
る。履歴情報の詳細は後述する。

ステップＳ１１０において、ＩＦ部１０４は、映像信号および音声信号の入力を受け付
ける。以下、映像信号に応じて投写される画像（映像信号により示される画像）を、「主
画像」という。主画像は、第１画像の一例である。なお、主画像は動画であっても静止画
であってもよい。

ステップＳ１２０において、投写ユニット１０６は、主画像をスクリーン５０に表示す
る。

ステップＳ１３０において、ＣＰＵ１００は、ＩＦ部１０４が入力を受け付けた音声信
号からキーワードを抽出する。キーワードの抽出には、音声認識処理が用いられる。音声
認識処理は、例えば、以下のように行われる。

記憶部１０３は、見本となる音声信号の見本パターン（音響モデル）を記憶している。
見本パターンとは、キーワードの候補をモデル話者が発音した音声信号をいう。例えば、
モデル話者が「特許」、「意匠」、「商標」と発音した音声信号の波形データが、その単
語の文字列と対応付けて記憶部１０３に記憶されている。

ＣＰＵ１００はＩＦ部１０４を介して入力された音声信号の波形から所定の時間長の部
分を切り出し、切り出した波形を、記憶部１０３に記憶されている見本パターンと照合す
る。見本パターンの中に波形と一致または類似するものがあった場合、ＣＰＵ１００は、
その見本パターンに対応する文字列をキーワードとして抽出する。見本パターンの中に波
形と一致または類似するものがなかった場合、ＣＰＵ１００は、音声信号からの波形から
次の部分を切り出し、見本パターンと照合する。

ステップＳ１４０において、ＣＰＵ１００は、キーワードを蓄積する。すなわち、ＣＰ
Ｕ１００は、新たに抽出されたキーワードに基づいて、記憶部１０３に記憶されている履
歴情報を更新する。

図５は、履歴情報を例示する図である。この例で、履歴情報は、キーワードの文字列（
すなわち識別子）、およびそのキーワードの登場頻度を含む。あるキーワードの登場頻度
とは、履歴情報がリセットされてから現在までにそのキーワードが抽出された回数を示す
。この例では、「特許」というキーワードが１０回、「意匠」というキーワードが１回、
抽出されている。例えば、この状態から新たに「特許」というキーワードが抽出された場
合、ＣＰＵ１００は、履歴情報においてキーワード「特許」の登場頻度を１１回に更新す
る。あるいは、履歴情報に含まれていない新たなキーワード「プロジェクター」が抽出さ
れた場合、ＣＰＵ１００は、キーワード「プロジェクター」を、登場頻度「１」という情
報とともに、履歴情報に追加する。

再び図４を参照する。ステップＳ１５０において、ＣＰＵ１００は、副画像を生成する
。副画像は、履歴情報に含まれている少なくとも１つのキーワードの表示を含む画像であ
り、第２画像の一例である。ＣＰＵ１００は、記憶部１０３に記憶されている履歴情報を
用いて副画像を生成する。履歴情報が複数のキーワードを含む場合すなわち副画像が複数
のキーワードを含む場合、これら複数のキーワードのうち登場頻度が高いものは、低いも
のより強調表示されている。強調表示とは、より強い視覚的印象を与える表示をいい、例
えば、文字を大きくすること、文字の色を他と異ならせること、文字の書体を他と異なら
せること、装飾（下線、太字、斜体、マーカー等）を付与することのうち少なくとも１つ
を含む。

図６は、副画像を例示する図である。この例において、副画像は、「特許」、「意匠」
、「商標」、「審査請求」、「競合他社」、「新製品」、「市場」、「独占」、「プロジ
ェクター」、「インタラクティブ」、および「電子黒板」という１１個のキーワードを含
む。強調表示としては、文字を大きくすることが行われている。これら１１個のキーワー
ドのうち、「特許」が最も登場頻度が高く、最も大きく表示されている。

副画像において、キーワードは、例えば登場順（抽出された順番）に従って並べられる
。あるいは、キーワードは、登場頻度等、他の指標に従って並べられてもよい。

再び図４を参照する。ステップＳ１６０において、副画像が表示される。この例で、副
画像はプロジェクター３０により投写される。ＣＰＵ１００は、生成した副画像のデータ
を、ＩＦ部１０４を介してプロジェクター３０に出力する。プロジェクター３０は、プロ
ジェクター１０から供給されるデータに従って、スクリーン６０に副画像を投写する。

図４のフローのうち、ステップＳ１１０〜Ｓ１６０の処理は、所定の周期で繰り返し実
行される。すなわち、ステップＳ１００の時点（会議の開始時点）では履歴情報は空であ
るが、会議が進むにつれて記憶部１０３に記憶されている履歴情報の量は増えていく。し
たがって、ステップＳ１６０において表示される副画像は、会議の進行に伴って時々刻々
と変化する。

図７は、会議の進行に伴う副画像の変化を例示する図である。時刻ｔ１は会議の開始直
後であり、抽出されたキーワードは「特許」の１語のみである。時刻ｔ２は会議の中盤で
あり、この時点で「特許」、「意匠」、「商標」、「審査請求」、「競合他社」、および
「新製品」という６個のキーワードが抽出されている。会議が始まってからこの時点まで
で「特許」というキーワードの登場頻度が高く、他のキーワードよりも大きく表示されて
いる。時刻ｔ３は会議の終盤であり、図６で示した１１個のキーワードが出揃っている。
会議の中盤から終盤にかけて「新製品」および「電子黒板」というキーワードが頻繁に登
場して総合的に出現頻度が高くなったため、これらのキーワードが大きく表示されている
。

副画像により、会議の参加者は、現在の議論において頻出しているキーワードを一見し
て把握することができる。例えば、図６の例では、「特許」、「新製品」、および「電子
黒板」といったキーワードが頻出であり、これらのキーワードに関連する話題が議論の中
心であることを、会議の参加者は容易に理解することができる。

また、プロジェクター１０において抽出されるのはキーワードであり、完全な文章を認
識するわけではない。文章を認識するには言語モデルに基づく構文解析や形態素解析の処
理が必要であるが、キーワードを認識するだけであればこれらの処理を省略することがで
き、処理の負荷を低減することができる。

なお、図４のフローには記載していないが、プロジェクター１０は、外部装置（例えば
プロジェクター１０と有線ＬＡＮあるいは無線ＬＡＮ接続しているパーソナルコンピュー
ター）からの要求に応じて履歴情報のデータ（テキストデータまたはバイナリデータ）を
、そのパーソナルコンピューターに出力することができる。ユーザーは、パーソナルコン
ピューター上で履歴情報を参照または利用することができる。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以
下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用い
られてもよい。

３−１．変形例１
副画像を表示する表示装置は、主画像を表示する表示装置と同じであってもよい。すな
わち、プロジェクター１０が、主画像および副画像を表示してもよい。

図８は、主画像および副画像の表示例を示す図である。この例で、表示領域（スクリー
ン）は、横方向に２つに分割されている。このうち左側の面積が大きい領域に主画像が、
右側の面積が小さい領域に副画像が、それぞれ表示される。この例によれば、他の表示装
置（プロジェクター３０）が無い場合でも、副画像を表示することができる。

別の例で、副画像は、主画像に重ねて（オーバーラップして）表示されてもよい。この
場合、副画像のうち文字以外の部分すなわち背景は透明で、主画像が視認できるようにな
っている。

３−２．変形例２
図９は、変形例２に係る副画像を例示する図である。この例で、副画像は、抽出された
キーワードがリアルタイムで時系列に表示された、いわゆるタイムラインの画像である。
抽出された時刻が新しいものから順に、「特許」、「新製品」、「競合他社」、「新製品
」、および「プロジェクター」というキーワードが表示されている。変形例２においては
、新たなキーワードが抽出される度に、そのキーワードがタイムラインの最上流に表示さ
れるように副画像が更新される。したがって、単一の副画像に同じキーワードが複数回登
場する場合がある。また、タイムラインに表示できるキーワードの数には限りがあり、古
いキーワードは副画像から消えていく。この場合でも、登場頻度の高いキーワードは強調
表示される。したがって、会議の参加者は、直近の議論で話題になっているキーワード、
およびその登場頻度が高いか低いかを容易に確認することができる。

別の例で、副画像は、第１副画像および第２副画像を含んでいてもよい。第１副画像は
、図６で説明したような、複数のキーワードが各々１つずつ、登場頻度に応じた強調表示
された画像である。第２副画像は、変形例２で説明したようなタイムラインの画像である
。この例によれば、会議開始から現在まで登場したキーワードを表示しつつ、直近の議論
で登場したキーワードを時系列で表示することができる。

３−３．変形例３
抽出されたキーワードのデータは、音声認識処理における学習データとして用いられて
もよい。例えば、音声信号の波形のうち、キーワードに対応する部分波形を新たな見本デ
ータとして記憶部１０３に記憶してもよい。この例によれば、会議で頻出するキーワード
の抽出精度を向上させることができる。

３−４．変形例４
複数のマイクロフォン４０が用いられる場合、抽出されたキーワードは、マイクロフォ
ン４０毎に異なる表示属性で表示されてもよい。表示属性とは表示に関するパラメーター
であり、例えば、文字の色や表示位置をいう。この場合、複数のマイクロフォン４０は個
別にプロジェクター１０と接続され、プロジェクター１０には複数の音声信号が入力され
る。音声認識処理は、音声信号毎すなわちマイクロフォン４０毎に行われる。履歴情報は
、マイクロフォン４０毎に生成される。あるいは、単一の履歴情報において、キーワード
とマイクロフォン４０の識別子とを対応付けて記録してもよい。例えば、あるマイクロフ
ォン４０から出力された音声信号から抽出されたキーワードは赤い文字で表示され、別の
マイクロフォン４０から出力されたキーワードは青い文字で表示される。この例によれば
、どの参加者がどのキーワードを頻繁に口にしたかを容易に確認することができる。なお
、色による区別に代えて、または加えて、「（赤）」、「（青）」など、マイクロフォン
を識別する文字列をキーワードに付加することによって、マイクロフォン（ユーザー）を
区別してもよい。表示色の情報はテキストデータ化したときに消滅する可能性があるので
、データの再利用の際には、文字列が付加されていた方が便利である。

３−５．他の変形例
プロジェクター１０の動作の詳細は、図４のフローに限定されない。例えば、履歴情報
をリセットするタイミングは、プロジェクター１０の電源が投入されたときに限定されな
い。プロジェクター１０の電源が投入されたときに加えて、または代えて、ユーザーによ
り指示されたときなど別のタイミングで履歴情報がリセットされてもよい。プロジェクタ
ー１０の電源投入時に履歴情報がリセットされない場合、例えば、ある会議で蓄積された
履歴情報を、別の会議で利用することができる。

副画像の生成に用いられるキーワードは、履歴情報に記録されているものすべてでなく
てもよい。例えば、履歴情報に記録されているキーワードのうち所定の条件（例えば、登
場頻度がしきい値を超えているもの）を満たしているキーワードだけを用いて副画像が生
成されてもよい。

音声認識処理において同音異義語の判断が難しい場合には、同音異義語を並列的に１語
として扱ってもよい。例えば、「意匠」と「衣装」とを区別することが難しい場合や、「
保証」、「補償」、および「保障」を区別することが難しい場合、「意匠・衣装」、「補
償・保証・保障」のように列挙して一語に扱ってもよい。データを再利用する際に、同音
異義語が列挙されていてもそれほど不便ではないためである。

図４では主画像の表示と副画像の表示とが一連のフローで行われる例を説明したが、主
画像および副画像は、それぞれ独立したフローに従って表示されてもよい。

プロジェクター１０の機能構成は、実施形態で説明したものに限定されない。図２で説
明した機能の一部が省略されてもよい。また、これらの機能を実現するためのハードウェ
ア構成は図３で例示したものに限定されない。例えば、ＣＰＵ１００とは別の回路が副画
像を生成してもよい。別の例で、プロジェクター１０の機能の一部を、ネットワーク上の
サーバ装置に実行させてもよい。例えば、抽出手段１３および蓄積手段１４に相当する機
能を、ネットワーク上のサーバに実行させてもよい。

主画像および副画像を表示する表示装置は、プロジェクターに限定されない。プロジェ
クター１０および３０の少なくとも一方に代えて、直視の表示装置やＨＭＤ（Head Mount
Display）が用いられてもよい。

映像信号および音声信号は、同一の装置から供給されてもよい。例えば、ＤＶＤプレー
ヤーが、映像信号および音声信号をプロジェクター１０に供給してもよい。

１…情報処理システム、１０…プロジェクター、２０…映像供給装置、３０…プロジェク
ター、４０…マイクロフォン、５０…スクリーン、６０…スクリーン、１１…受け付け手
段、１２…表示手段、１３…抽出手段、１４…蓄積手段、１５…生成手段、１６…制御手
段、１７…出力手段、１００…ＣＰＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…記憶
部、１０４…ＩＦ部、１０５…画像処理回路、１０６…投写ユニット、１０７…操作パネ
ル

Claims (8)

1. 映像信号および当該映像信号に関連した音声信号の入力を受け付ける受け付け手段と、
   前記映像信号に応じた第１画像を表示する表示手段と、
   前記音声信号から音声認識処理によりキーワードを抽出する抽出手段と、
   前記抽出手段により抽出されたキーワードを蓄積する蓄積手段と、
   前記蓄積手段に蓄積された複数のキーワードを含み、当該複数のキーワードのうち登場
   頻度が高いものを低いものより強調表示した第２画像を生成する生成手段と、
   前記第１画像が表示されているときに、前記表示手段に前記第２画像を表示させる制御
   手段と
   を有する表示装置。
2. 前記表示手段は、単一の画面を第１領域および第２領域を含む複数の領域に分割し、当
   該第１領域に前記第１画像を、当該第２領域に前記第２画像を表示する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記表示手段は、前記表示装置に前記第１画像を、当該表示装置と別の表示装置に前記
   第２画像を表示する
   ことを特徴とする請求項１に記載の表示装置。
4. 前記蓄積手段に蓄積されたキーワードの少なくとも一部を示すデータを外部装置に出力
   する出力手段を有する
   ことを特徴とする請求項１ないし３のいずれか一項に記載の表示装置。
5. 前記抽出手段における音声認識処理は、前記蓄積手段に蓄積されているキーワードを学
   習データとして用いる処理を含む
   ことを特徴とする請求項１ないし４のいずれか一項に記載の表示装置。
6. 前記第２画像は、第３画像および第４画像を含み、
   前記第３画像は、前記複数のキーワードのうち登場頻度が高いものを低いものより強調
   表示した画像であり、
   前記第４画像は、前記複数のキーワードを時系列に沿って配置した画像である
   ことを特徴とする請求項１ないし５のいずれか一項に記載の表示装置。
7. 前記音声信号は、第１マイクロフォンにより取得された第１音声および第２マイクロフ
   ォンにより取得された第２音声を含み、
   前記生成手段は、前記第１音声から抽出されたキーワードと前記第２音声から抽出され
   たキーワードとを異なる表示属性で表示した画像を前記第２画像として生成する
   ことを特徴とする請求項１ないし６のいずれか一項に記載の表示装置。
8. 映像信号および当該映像信号に伴う音声信号の入力を受け付けるステップと、
   前記映像信号に応じた第１画像を表示するステップと、
   前記音声信号から音声認識処理によりキーワードを抽出するステップと、
   前記抽出されたキーワードを蓄積手段に蓄積するステップと、
   前記蓄積手段に蓄積された複数のキーワードを含み、当該複数のキーワードのうち登場
   頻度が高いものを低いものより強調表示した第２画像を生成するステップと、
   前記第１画像が表示されているときに、前記第２画像を表示するステップと
   を有する表示制御方法。

Images