JP2002304286A - 音声認識機能を内蔵した映像表示装置 - Google Patents

音声認識機能を内蔵した映像表示装置

Info

Publication number
JP2002304286A
JP2002304286A JP2001105652A JP2001105652A JP2002304286A JP 2002304286 A JP2002304286 A JP 2002304286A JP 2001105652 A JP2001105652 A JP 2001105652A JP 2001105652 A JP2001105652 A JP 2001105652A JP 2002304286 A JP2002304286 A JP 2002304286A
Authority
JP
Japan
Prior art keywords
display
character
video
voice
video display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001105652A
Other languages
English (en)
Other versions
JP4789227B2 (ja
Inventor
Yoichi Itagi
洋一 板木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Viewtechnology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Viewtechnology Ltd filed Critical NEC Viewtechnology Ltd
Priority to JP2001105652A priority Critical patent/JP4789227B2/ja
Priority to US10/113,560 priority patent/US20020147589A1/en
Publication of JP2002304286A publication Critical patent/JP2002304286A/ja
Application granted granted Critical
Publication of JP4789227B2 publication Critical patent/JP4789227B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 【課題】周囲の騒音環境の変化や話者の発声方法による
外的要因に影響されることなく、電子プレゼンテーショ
ンに適した映像表示装置を提供すること。 【解決手段】マイクからの音声を認識して音声表示信号
を作成する音声表示信号生成部105と、映像入力を処
理して映像表示信号を生成する映像表示信号生成部10
4とを有し、スクリーン上に合成表示する。その際、C
PU部108,メモリ制御回路109により、音声およ
び映像の両表示メモリ1053,103を同期をとって
制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像表示装置に関
し、特に電子プレゼンテーションなどに用いられ、音声
認識機能を内蔵した映像表示装置に関する。
【0002】
【従来の技術】従来、プロジェクタ装置に代表される映
像表示装置は、電子プレゼンテーションなどに用いられ
ている。かかる電子プレゼンテーションにおいては、映
像表示装置とコンピュータなどを接続し、目的の電子資
料を順次表示しながら、オペレータ(話者)が説明を行
っている。また、大人数を対象とした電子プレゼンテー
ションなどの場合は、その状況に応じて、オペレータ
(話者)は拡声装置などを使用することもある。
【0003】図7は従来の一例を説明する映像表示装置
を用いたシステム構成図である。図7に示すように、従
来の電子プレゼンテーションのシステムは、プロジェク
タと称される映像表示装置1aにコンピュータ3および
ビデオ(VIDEO)機器4を接続し、視聴者7に対し
所定の距離を隔てて配置されるスクリーン2に画面表示
するものが一般的である。しかも、これと同時に、オペ
レータ(話者)5の近傍にはマイクロフォン6が配置さ
れ、スピーカなどの拡声装置8を用いて視聴者7に音声
を伝達するシステムが採用されている。
【0004】また、最近の技術では、音声認識装置を利
用して情報提示装置に音声内容を表示するもの、あるい
は音声データ・文字コード変換手段を用いてプリンタな
どの印字手段に表示するものも知られている。例えば、
特開平9−330096号公報(文献1)に記載されて
いるように、車載用の音声メモ装置などに用いるため
に、人の発した音声を音声認識技術を用いて単純な文字
列に変換し、情報提示装置としての液晶ディスプレイ等
に表示するものである。
【0005】さらに、特開平10−282970号公報
(文献2)に記載されているように、カラオケ装置やレ
クチャー装置のデイスプレイにマイクからの音声入力の
内容を合成して表示させる装置も提案されているもの、
あるいは特開2000−250392号公報(文献3)
に記載されているように、プロジェクタを用いて遠隔講
義を行う際、音声入力を用いて各種のマルチメディア機
器入力を切替えるようにしたものが知られている。
【0006】
【発明が解決しようとする課題】上述した図7の映像表
示装置においては、オペレータ(話者)の発声を伝達す
る手段が外的要因の影響を受けやすいので、周囲の騒音
環境の変化やオペレータ(話者)の発声方法(発音、ス
ピード)によっては、オペレータ(話者)の説明が聞き
取り難い状況が発生するという欠点がある。また、かか
る映像表示装置は、スピーカなどの必要器材が多いた
め、その運搬や設置作業が面倒であるという欠点があ
る。すなわち、電子プレゼンテーションに必要な器材に
ついては、実際にプレゼンテーションを行う場所に運搬
して接続作業を実施する場合が多く、この作業が負担に
なる。さらに、従来の映像表示装置においては、オペレ
ータ(話者)の発声を伝達する手段が聴覚にうったえる
ものであるため、聴覚障害者に対しては、電子プレゼン
テーションを行うことが難しいという欠点がある。
【0007】また、文献1の音声メモ装置は、プロジェ
クタとしての機能もなく、単に音声入力された内容を液
晶ディスプレイなどに文字表示するものである。これ
は、自動車などで移動中に、メモを取る場合には有効で
あるが、静止中の多くの視聴者を対象にスクリーンを用
いて映像表示するようなことはできない。
【0008】また、文献2のカラオケ装置やレクチャー
装置として用いられる音声情報表示装置においても、プ
ロジェクタ装置としての機能がなく、しかもリモコン装
置やタイマを必要とし、操作が面倒である。
【0009】一方、文献3の遠隔講義装置においては、
プロジェクタとしての機能を有しているが、プロジェク
タ装置の他にインターネット回線や各種のメディア機器
を必要とし、それらの機器の持ち運びに不便だけでな
く、使用場所が限定されるという問題がある。
【0010】本発明の目的は、上述した問題点を解決す
ること、すなわち周囲の騒音環境の変化やオペレータ
(話者)の発声方法(発音、スピードなど)による外的
要因に影響されることのない電子プレゼンテーションに
適する音声認識機能を内蔵した映像表示装置(プロジェ
クタ)を提供することにある。
【0011】また、本発明の他の目的は、電子プレゼン
テーションを行うために使用する機材を少なく且つ持ち
運びの負担も減少させ、コードの接続などの設置作業も
軽減できる音声認識機能を内蔵した映像表示装置を提供
することにある。
【0012】さらに、本発明の他の目的は、聴覚障害者
に対しても、電子プレゼンテーションを行うことがで
き、より多くの人を対象とする電子プレゼンテーション
を実現するとともに、より表現に優れた電子プレゼンテ
ーションを実現できる音声認識機能を内蔵した映像表示
装置を提供することにある。
【0013】
【課題を解決するための手段】本発明の音声認識機能を
内蔵した映像表示装置は、マイクロフォンからの音声を
入力し、認識して音声表示信号を作成する音声表示信号
生成部と、複数の映像入力をアナログ/ディジタル変換
処理することのできる入力映像信号処理回路と、前記入
力映像信号処理回路で処理したデイジタル映像信号を格
納する映像表示メモリと、前記映像表示メモリに格納さ
れたデイジタル映像信号を読出し、映像表示信号を生成
する映像表示信号生成部と、前記音声表示信号生成部の
音声表示出力および前記映像表示信号生成部の映像表示
出力を合成する表示信号合成回路と、各回路をプログラ
ムに基づいて制御せるCPU部と、前記CPU部の制御
により前記映像表示メモリおよび前記音声表示信号生成
部を制御するメモリ制御回路と、前記表示信号合成回路
の合成出力によりスクリーン上に表示する表示部とを有
し、前記音声を文字コードに変換し映像画面に合成表示
するように構成される。
【0014】この映像表示装置における音声表示信号生
成部は、前記マイクロフォンに接続される音声入力端子
と、前記音声入力端子に入力された音声信号を認識し、
1文字毎の文字コードデータに変換する音声認識回路
と、前記1文字毎の文字コードデータを文字列として格
納する文字列バッファ回路と、文字フォントを記憶した
文字フォントROMと、前記文字コードデータを文字表
示データに変換して格納する文字表示メモリと、前記文
字表示メモリの前記文字表示データを読出し、文字表示
信号を作成する文字表示信号生成回路とを備え、各回路
をバス接続することにより前記CPU部および前記メモ
リ制御回路から制御されるように形成することができ
る。
【0015】また、本発明における前記CPU部は、前
記文字列バッファ回路に文字コードデータが格納される
と、前記文字フォントROMをアクセスし、前記文字コ
ードデータを文字パターンデータに変換して前記文字表
示メモリに格納するように形成される。
【0016】また、本発明における前記メモリ制御回路
は、前記映像表示メモリと前記文字表示メモリを制御
し、映像画面と音声文との同期がとれるように形成され
る。
【0017】また、本発明における前記音声表示信号生
成部は、複数の音声入力端子を備え、複数の話者による
音声をそれぞれ前記スクリンーン上に独立して文字表示
するように形成することができる。
【0018】さらに、本発明における前記音声表示信号
生成部は、前記複数の音声入力端子に対応した複数の音
声認識回路と複数の文字列バッファ回路とを備え、前記
複数の話者による対話形式の表示を行うことができる。
【0019】
【発明の実施の形態】本発明は、コンピュータなどを使
用し、電子化された資料を操作しながらプレゼンテーシ
ョンなどを行う場合(以下、電子プレゼンテーション)
において、それに要する伝達性および設置性を向上させ
ることを意図したものである。かかる電子プレゼンテー
ションは、コンピュータと映像表示装置を接続し、コン
ピュータを操作することで電子化された資料を映像表示
装置に順次表示しながら説明を行うのが一般的である。
また、大人数を対象とした電子プレゼンテーションの場
合は、大画面の映像表示装置と共に、オペレータ(話
者)の声を増幅する拡声装置なども状況に応じて用いら
れる。特に、本発明では、映像表示装置に音声を認識し
て文字表示できる音声表示信号生成部を内蔵することに
より、電子プレゼンテーションの伝達性および設置性を
向上させている。
【0020】以下、本発明の実施の形態について図面を
参照して説明する。図1(a),(b)はそれぞれ本発
明の第1の実施の形態を説明する映像表示装置を用いた
システム構成図およびスクリーンの正面図である。図1
(a),(b)に示すように、本実施の形態は、コンピ
ュータ3およびビデオ(VIDEO)機器4を接続した
映像表示装置1を用い、多くの視聴者7が見ることので
きるスクリーン2に映像表示させる電子プレゼンテーシ
ョンのシステムを示しており、この映像表示装置1にマ
イクロフォン6を接続したものである。視聴者7の近く
にいるオペレータ(話者)5はマイクロフォン6を通し
て音声情報、例えば「おはようございます」という挨
拶、を映像表示装置1に与えると、音声認識機能により
文字データに変換し、スクリーン2の一部(ここでは下
側)に、すなわち図1(b)に示すとおり、スクリーン
2の右下側から左下側に、「おはようございます。」と
いう文字を映像表示させる。
【0021】このために、電子プレゼンテーションにあ
たっては、使用する器材が少なくなり、持ち運びや接続
作業などが軽減される。また、周囲の騒音環境の変化
や、オペレータ(話者)5の発声方法(発音、スピード
など)による外的要因によって、聞き取り難い状況が発
生した場合の補助的な伝達手段として、一定の伝達性を
保証することや、オペレータ(話者)5の音声に対し
て、視覚的効果を簡単に演出することもできる。
【0022】図2は図1に示す映像表示装置の回路構成
図である。図2に示すように、この映像表示装置(プロ
ジェクタ装置)1は、映像をスクリーン2に拡大投写す
る大画面の映像表示を可能とする投写型映像表示装置で
ある。
【0023】このプロジェクタ装置1は、コンピュータ
などの映像信号が供給される複数の映像入力端子101
と、これら複数の映像入力端子101から供給される映
像信号をA/D変換処理する入力映像信号処理回路10
2と、この入力映像信号処理回路102でデジタル化さ
れた映像信号を表示出力すべき映像表示データとして格
納する映像メモリ103と、映像メモリ103から表示
データを逐次読み出し、表示出力する映像として映像表
示信号を生成する映像表示信号生成回路104と、音声
信号を文字表示信号に変換するために、点線枠で囲まれ
た音声表示信号生成部105と、映像表示信号生成回路
104から供給される映像表示信号と音声表示信号生成
部105から供給される文字表示信号を合成して最終的
な表示信号を生成する表示信号合成回路106と、表示
信号合成回路106から供給される表示信号を投写表示
する表示部107と、プログラムデータが組み込まれ、
制御バス110とデータバス111によってプロジェク
タ装置1内の全回路の制御を行うCPU部108と、プ
ロジェクタ装置1内のメモリの制御を行うメモリ制御回
路109とを備えている。特に、このメモリ制御回路1
09は、CPU部108の制御のもとに、映像表示メモ
リ103と、音声表示信号生成部105とを制御し、所
定の映像画面に、確実に音声文すべてが表示できるよう
に同期をとっている。なお、表示部107は表示デバイ
ス,光学レンズ,光源ランプなどから構成され、その表
示デバイスは一般に液晶やDLPなどのデバイスが使用
されることが多い。この表示デバイスの画像は拡大投写
され、スクリーン2に表示される。
【0024】さらに、音声表示信号生成部105は、マ
イクロフォン6からの音声信号を供給される音声入力端
子1050と、音声入力端子1050を介して供給され
る音声信号を音声認識し、逐次文字コードに変換する音
声認識回路1051と、音声認識回路1051から供給
される文字コードを格納する文字列バッファ回路105
2と、文字列バッファ回路1052の文字コードデータ
を表示出力すべき文字表示データとして格納する文字表
示メモリ1053と、文字表示メモリ1053から格納
データを逐次読み出し、表示出力すべき文字表示信号を
生成する文字表示信号生成回路1054と、文字列バッ
ファ回路1052に格納される文字コードデータに対応
する文字パターンデータを格納する文字フォントROM
1055とを備えている。これらの各回路は、上述した
制御バス110とデータバス111により接続される。
しかも、文字フォントを記憶した文字フォントROM1
055や文字パターンデータを格納する文字表示メモリ
1053は、映像表示メモリ103を制御するメモリ制
御回路109によって制御され、映像画面と音声文との
同期がとれるようにする。また、このメモリ制御回路1
09は、CPU部108から映像切替の指示を受けたと
き、文字表示メモリ1053の格納内容が無くなったこ
とを識別してから映像切替を行うようにしている。
【0025】かかるプロジェクタ装置1は、通常、映像
入力端子101から供給されるコンピュータなどの外部
映像機器の映像信号をスクリーン2に拡大投写して映像
表示される。その映像信号の処理動作の概略は、次のと
おりである。まず、映像入力端子101から外部映像機
器の映像信号を入力映像信号処理回路102に供給する
と、その映像信号を入力映像信号処理回路102におい
てA/D変換する。このように、映像信号はアナログ信
号からデジタル信号へ逐次変換される。ついで、デジタ
ル信号化された映像信号は、逐次映像表示メモリ103
に映像表示データとして格納される。このため、映像表
示メモリ103の格納データは、映像入力端子101か
ら入力される映像信号がデジタル化された映像表示デー
タで逐次更新されることになる。更に、映像表示信号生
成回路104では、映像表示メモリ103に格納される
映像表示データを逐次読み出し、映像表示出力する映像
表示信号を生成し、表示信号合成回路106へ供給す
る。
【0026】次に、音声表示信号生成部105の動作に
ついて説明する。オペレータ(話者)5が使用するマイ
クロフォン6などの音声信号を音声入力端子1050か
ら音声認識回路1051へ供給されると、その音声信号
が音声認識回路1051において文字認識処理され、音
声信号から一文字ごとの文字コードデータへ逐次変換さ
れる。その文字コード化された音声信号は、逐次文字列
バッファ回路1052に格納される。文字列バッファ回
路1052に文字コードデータが格納されると、CPU
部108は文字フォントROM1055を使用して、文
字コードデータから文字パターンデータに変換する。つ
いで、その変換された文字パターンデータは、文字表示
メモリ1053に文字表示データとして逐次格納する。
さらに、文字表示メモリ1053に格納された文字表示
データは、文字表示信号生成回路1054から逐次読み
出される。文字表示信号生成回路1054では、読み出
した文字表示データから文字表示出力する文字表示信号
を生成し、表示信号合成回路106へ出力する。また、
文字表示信号生成回路1054では、CPU部108か
ら文字表示データの読み出し位置、文字表示の出力位置
などの制御データが供給され、文字の表示方法や表示位
置を変更できるようにしている。
【0027】次に、表示信号合成回路106は、映像表
示画面上に文字を表示できるように、映像表示信号生成
回路104から供給される映像表示信号と文字表示信号
生成回路1054から供給される文字表示信号を合成し
た表示信号を生成し、表示部107へ供給する。表示部
107へ供給された表示信号は、プロジェクタ装置1の
表示映像として、スクリーン2へ拡大投写される。この
結果、スクリーン2上では、映像入力端子101から入
力される映像信号の映像表示画面上に、音声入力端子1
050から入力された音声信号が逐次文字表示される。
【0028】図3(a),(b)はそれぞれ図1におけ
るスクリーン画面の横方向表示の例を説明する図であ
る。図3(a)に示すように、このスクリーン2は同一
の映像画面(図示省略:以下同様)を写しており、しか
も時間的に左から右に向かって推移する場合である。例
えば、1つの映像画面に対し、複数の音声文を重畳させ
るためには、所定の時間とともに、音声文をつ次から次
へ表示させる必要があるためである。この場合は、音声
文を下側で横方向に表示させているが、図3(b)に示
すように、音声文を上側で横方向に表示させることも可
能である。
【0029】図4(a),(b)はそれぞれ図1におけ
るスクリーン画面の縦方向表示の例を説明する図であ
る。図4(a),(b)に示すように、このスクリーン
2も動作的には図3と同様であり、図4(a)は音声文
を右側縦方向に表示させた場合であり、図4(b)は音
声文を左側縦方向に表示させた場合である。
【0030】図5は図1におけるスクリーン画面の横方
向表示の別の例を説明する図である。図5に示すよう
に、このスクリーン2は時間的に音声文を移動させるの
ではなく、所定時間だけ音声文を一括して表示し、所定
時間が過ぎると、その音声文を消去してしまう方式であ
る。このため、複数の音声文があるときには、スクリー
ン2上に複数行にわたって表示すればよい。
【0031】上述した図3〜図5の音声文の表示にあた
っては、プロジェクタ装置1のCPU部108において
プログラム制御できるように設定すればよい。すなわ
ち、CPU部108から文字表示信号生成回路1054
に供給される文字表示データの読み出し位置、文字表示
出力位置などの制御データを変更することにより、それ
ぞれのイメージにすることができ、また文字の表示位置
や表示速度を変更することもできる。
【0032】図6(a),(b)はそれぞれは本発明の
第2の実施の形態を説明する映像表示装置を用いたシス
テム構成図およびそのスクリーンの正面図である。図6
(a),(b)に示すように、本実施の形態はプロジェ
クタ装置1に2つのマイクロフォン61,62を接続
し、2人のオペレータ(話者)51,52の音声をスク
リーン2上に表示するようにしたものである。この場
合、プロジェクタ装置1には、前述した図2における音
声入力端子1050を2つ設ける他に、音声認識回路1
051と文字列バッファ回路1052もそれぞれ2つ設
け、CPU部109に表示順序や表示方法をプログラム
設定することにより、すなわち入力端子数に対応した処
理経路を用意することで、2つの音声信号を同時に文字
表示することも可能である。この場合、図6(b)に示
すように、第1の話者51の音声は、スクリーン2の上
側横方向で左から右に表示させ、また第2の話者52の
音声は、下側横方向で右から左に表示させることによ
り、対話形式の表示をも実現することができる。また、
この表示のさせ方は、前述した図3〜図5のように表示
してもよいし、あるいはこれらを組合せて表示すること
もできる。なお、2人以上の複数のオペレータ(話者)
が存在する場合においても同様である。
【0033】以上、2つの実施の形態については、電子
プレゼンテーションの映像表示装置として最も一般的な
プロジェクタ装置1を例に説明したが、これらに限定さ
れることはない。例えば、映像表示装置の方式に関係な
く、TVやモニタなどといった映像表示装置であっても
音声表示信号生成部105を内蔵すれば同様の効果が得
られる。
【0034】また、CPU部108から文字表示信号生
成回路1054に供給される文字表示データの読み出し
位置、文字表示出力位置などの制御データを変更するこ
とにより、文字の表示位置や表示速度を変更することが
でき、その結果、様々な表示方法が可能となり、状況に
応じた視覚効果を演出することが可能である。
【0035】さらに、プロジェクタ装置1のパワーをオ
ンオフしたり、映像入力端子101の切替を行ったりで
きるように、予めキーワードとその動作をCPU部10
8に設定しておくことにより、CPU部108が文字列
バッファ回路1052において、キーワードと同じ文字
コードデータを発見した場合には、キーワードに対応し
た動作を行わせることもできる。その結果、オペレータ
(話者)がキーワードを発声することによって、リモー
トコントロール装置を用いずに、一般的なリモートコン
トロールと同様の効果を得ることもできる。
【0036】
【発明の効果】以上説明したように、本発明の音声認識
機能を内蔵した映像表示装置は、オペレータ(話者)の
声を伝達する補助手段として、音声信号を文字表示でき
る手段を設けているので、電子プレゼンテーション中に
オペレータ(話者)の声が聞き取り難い状況が発生して
も、その内容を視聴者へ確実に伝えることができるとい
う効果がある。すなわち、周囲の騒音環境の変化やオペ
レータ(話者)の発声方法(発音、スピードなど)によ
る外的要因に影響されることなく、一定の伝達性を保証
することができる。
【0037】また、本発明の映像表示装置は、拡声装置
にかわる伝達手段として、音声信号を文字表示できる手
段を設けているので、スピーカなどの拡声装置を使用せ
ずに、電子プレゼンテーションを行うことができ、この
ため使用する機材を少なく且つ持ち運びの負担も減少さ
せることができる上、コードの接続などの設置作業も軽
減できるという効果がある。
【0038】また、本発明の映像表示装置は、音声信号
を視覚情報へ変換する手段を設けているので、聴覚障害
者の人に対しても、電子プレゼンテーションを行うこと
ができ、より多くの人を対象とした電子プレゼンテーシ
ョンを実現できるという効果がある。
【0039】さらに、本発明の映像表示装置は、音声信
号を聴覚のみならず、視覚へも同時に伝達することによ
り、電子プレゼンテーション中に音声による視覚的効果
を演出でき、より表現に優れた電子プレゼンテーション
を行うことができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を説明する映像表示
装置を用いたシステム構成およびスクリーンの正面を表
わす図である。
【図2】図1に示す映像表示装置の回路構成図である。
【図3】図1におけるスクリーン画面の横方向表示の例
を説明する図である。
【図4】図1におけるスクリーン画面の縦方向表示の例
を説明する図である。
【図5】図1におけるスクリーン画面の横方向表示の別
の例を説明する図である。
【図6】本発明の第2の実施の形態を説明する映像表示
装置を用いたシステム構成およびスクリーンの正面を表
わす図である。
【図7】従来の一例を説明する映像表示装置を用いたシ
ステム構成図である。
【符号の説明】
1 映像表示装置 2 スクリーン 3 コンピュータ 4 ビデオ(VIDEO)機器 6,61,62 マイクロフォン 101 映像入力端子 102 入力映像信号処理回路 103 映像表示メモリ 104 映像表示信号生成回路 105 音声表示信号生成部 106 表示信号合成回路 107 表示部 108 CPU部 109 メモリ制御回路 110 制御バス 111 データバス 1050 音声入力端子 1051 音声認識回路 1052 文字列バッファ回路 1053 文字表示メモリ 1054 文字表示信号生成回路 1055 文字フォントROM
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 15/22 G10L 3/00 561C Fターム(参考) 5C082 AA03 AA21 BA27 BB12 BB32 5D015 KK02 LL05 LL11 5E501 AC14 AC15 AC34 BA03 BA11 CB15 EA21 EB15 EB16 FA13 FA14 FA37

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 マイクロフォンからの音声を入力し、認
    識して音声表示信号を作成する音声表示信号生成部と、
    複数の映像入力をアナログ/ディジタル変換処理するこ
    とのできる入力映像信号処理回路と、前記入力映像信号
    処理回路で処理したデイジタル映像信号を格納する映像
    表示メモリと、前記映像表示メモリに格納されたデイジ
    タル映像信号を読出し、映像表示信号を生成する映像表
    示信号生成部と、前記音声表示信号生成部の音声表示出
    力および前記映像表示信号生成部の映像表示出力を合成
    する表示信号合成回路と、各回路をプログラムに基づい
    て制御せるCPU部と、前記CPU部の制御により前記
    映像表示メモリおよび前記音声表示信号生成部を制御す
    るメモリ制御回路と、前記表示信号合成回路の合成出力
    によりスクリーン上に表示する表示部とを有し、前記音
    声を文字コードに変換し映像画面に合成表示することを
    特徴とする音声認識機能を内蔵した映像表示装置。
  2. 【請求項2】 前記音声表示信号生成部は、前記マイク
    ロフォンに接続される音声入力端子と、前記音声入力端
    子に入力された音声信号を認識し、1文字毎の文字コー
    ドデータに変換する音声認識回路と、前記1文字毎の文
    字コードデータを文字列として格納する文字列バッファ
    回路と、文字フォントを記憶した文字フォントROM
    と、前記文字コードデータを文字表示データに変換して
    格納する文字表示メモリと、前記文字表示メモリの前記
    文字表示データを読出し、文字表示信号を作成する文字
    表示信号生成回路とを備え、各回路をバス接続すること
    により前記CPU部および前記メモリ制御回路から制御
    される請求項1記載の音声認識機能を内蔵した映像表示
    装置。
  3. 【請求項3】 前記CPU部は、前記文字列バッファ回
    路に文字コードデータが格納されると、前記文字フォン
    トROMをアクセスし、前記文字コードデータを文字パ
    ターンデータに変換して前記文字表示メモリに格納する
    請求項1もしくは請求項2記載の音声認識機能を内蔵し
    た映像表示装置。
  4. 【請求項4】 前記メモリ制御回路は、前記映像表示メ
    モリと前記文字表示メモリを制御し、映像画面と音声文
    との同期がとれるようにする請求項1もしくは請求項2
    記載の音声認識機能を内蔵した映像表示装置。
  5. 【請求項5】 前記音声表示信号生成部は、複数の音声
    入力端子を備え、複数の話者による音声をそれぞれ前記
    スクリンーン上に独立して文字表示する請求項2記載の
    音声認識機能を内蔵した映像表示装置。
  6. 【請求項6】 前記音声表示信号生成部は、前記複数の
    音声入力端子に対応した複数の音声認識回路と複数の文
    字列バッファ回路とを備え、前記複数の話者による対話
    形式の表示を行う請求項5記載の音声認識機能を内蔵し
    た映像表示装置。
JP2001105652A 2001-04-04 2001-04-04 音声認識機能を内蔵した映像表示装置 Expired - Fee Related JP4789227B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001105652A JP4789227B2 (ja) 2001-04-04 2001-04-04 音声認識機能を内蔵した映像表示装置
US10/113,560 US20020147589A1 (en) 2001-04-04 2002-04-02 Graphic display device with built-in speech recognition function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001105652A JP4789227B2 (ja) 2001-04-04 2001-04-04 音声認識機能を内蔵した映像表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011026929A Division JP5114578B2 (ja) 2011-02-10 2011-02-10 音声認識機能を内蔵した映像表示装置

Publications (2)

Publication Number Publication Date
JP2002304286A true JP2002304286A (ja) 2002-10-18
JP4789227B2 JP4789227B2 (ja) 2011-10-12

Family

ID=18958304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001105652A Expired - Fee Related JP4789227B2 (ja) 2001-04-04 2001-04-04 音声認識機能を内蔵した映像表示装置

Country Status (2)

Country Link
US (1) US20020147589A1 (ja)
JP (1) JP4789227B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016206A (ja) * 2017-07-07 2019-01-31 株式会社富士通ソーシアルサイエンスラボラトリ 音声認識文字表示プログラム、情報処理装置、及び、音声認識文字表示方法
JP2019207640A (ja) * 2018-05-30 2019-12-05 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021343A1 (en) * 2003-07-24 2005-01-27 Spencer Julian A.Q. Method and apparatus for highlighting during presentations
FR2891651B1 (fr) * 2005-10-05 2007-11-09 Sagem Comm Systeme de karaoke pour l'affichage du texte correspondant a la partie vocale d'un flux audiovisuel sur un ecran d'un systeme audiovisuel
WO2008132265A1 (en) * 2007-04-27 2008-11-06 Nokia Corporation Modifying audiovisual output in a karaoke system based on performance context
US8217251B2 (en) * 2009-09-28 2012-07-10 Lawrence E Anderson Interactive display
US8744860B2 (en) 2010-08-02 2014-06-03 At&T Intellectual Property I, L.P. Apparatus and method for providing messages in a social network
KR101284594B1 (ko) * 2012-10-26 2013-07-10 삼성전자주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
CN106463110A (zh) * 2014-06-03 2017-02-22 索尼公司 信息处理设备、信息处理方法和程序

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02206826A (ja) * 1989-02-06 1990-08-16 Meidensha Corp 電子黒板
JPH0388592A (ja) * 1989-08-31 1991-04-12 Sharp Corp テレビ電話装置
JPH067372U (ja) * 1992-06-29 1994-01-28 東芝エンジニアリング株式会社 音声画像出力装置
JPH07319484A (ja) * 1994-05-24 1995-12-08 Brother Ind Ltd 映像再生装置
JPH08339198A (ja) * 1995-06-12 1996-12-24 Nec Corp プレゼンテーション装置
JPH10191273A (ja) * 1996-12-25 1998-07-21 Hitachi Ltd 映像・データ表示方法及び装置
JPH10308940A (ja) * 1997-05-09 1998-11-17 Fuji Electric Co Ltd 工業用テレビカメラ監視装置
JPH1141538A (ja) * 1997-07-17 1999-02-12 Nec Home Electron Ltd 音声認識文字表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231670A (en) * 1987-06-01 1993-07-27 Kurzweil Applied Intelligence, Inc. Voice controlled system and method for generating text from a voice controlled input
JPH03129397A (ja) * 1989-10-16 1991-06-03 Canon Inc 文書処理装置
US5475798A (en) * 1992-01-06 1995-12-12 Handlos, L.L.C. Speech-to-text translator
US5847748A (en) * 1993-03-11 1998-12-08 Ncr Corporation Multimedia projection system
GB2285895A (en) * 1994-01-19 1995-07-26 Ibm Audio conferencing system which generates a set of minutes
US5903870A (en) * 1995-09-18 1999-05-11 Vis Tell, Inc. Voice recognition and display device apparatus and method
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6754631B1 (en) * 1998-11-04 2004-06-22 Gateway, Inc. Recording meeting minutes based upon speech recognition
US6243685B1 (en) * 1999-02-08 2001-06-05 Rick C. Bergman Voice operated interactive message display system for vehicles
US6477491B1 (en) * 1999-05-27 2002-11-05 Mark Chandler System and method for providing speaker-specific records of statements of speakers
US6377925B1 (en) * 1999-12-16 2002-04-23 Interactive Solutions, Inc. Electronic translator for assisting communications
US6431711B1 (en) * 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02206826A (ja) * 1989-02-06 1990-08-16 Meidensha Corp 電子黒板
JPH0388592A (ja) * 1989-08-31 1991-04-12 Sharp Corp テレビ電話装置
JPH067372U (ja) * 1992-06-29 1994-01-28 東芝エンジニアリング株式会社 音声画像出力装置
JPH07319484A (ja) * 1994-05-24 1995-12-08 Brother Ind Ltd 映像再生装置
JPH08339198A (ja) * 1995-06-12 1996-12-24 Nec Corp プレゼンテーション装置
JPH10191273A (ja) * 1996-12-25 1998-07-21 Hitachi Ltd 映像・データ表示方法及び装置
JPH10308940A (ja) * 1997-05-09 1998-11-17 Fuji Electric Co Ltd 工業用テレビカメラ監視装置
JPH1141538A (ja) * 1997-07-17 1999-02-12 Nec Home Electron Ltd 音声認識文字表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016206A (ja) * 2017-07-07 2019-01-31 株式会社富士通ソーシアルサイエンスラボラトリ 音声認識文字表示プログラム、情報処理装置、及び、音声認識文字表示方法
JP2019207640A (ja) * 2018-05-30 2019-12-05 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法
CN110556112A (zh) * 2018-05-30 2019-12-10 夏普株式会社 操作辅助装置、操作辅助系统以及操作辅助方法
JP7152191B2 (ja) 2018-05-30 2022-10-12 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法

Also Published As

Publication number Publication date
US20020147589A1 (en) 2002-10-10
JP4789227B2 (ja) 2011-10-12

Similar Documents

Publication Publication Date Title
US9298704B2 (en) Language translation of visual and audio input
US6377925B1 (en) Electronic translator for assisting communications
US5815196A (en) Videophone with continuous speech-to-subtitles translation
JPH07168851A (ja) 画像表示方法及び装置
JP2003345379A6 (ja) 音声映像変換装置及び方法、音声映像変換プログラム
JP2012109901A (ja) 資料提示装置
JP2004304601A (ja) Tv電話装置、tv電話装置のデータ送受信方法
JP4789227B2 (ja) 音声認識機能を内蔵した映像表示装置
US8553855B2 (en) Conference support apparatus and conference support method
JP2010128766A (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
JPH1141538A (ja) 音声認識文字表示装置
JP5114578B2 (ja) 音声認識機能を内蔵した映像表示装置
JP3110215B2 (ja) 発音訓練装置
CN115171645A (zh) 一种配音方法、装置、电子设备以及存储介质
JPH11313273A (ja) 表示装置
JP2002010138A (ja) 情報処理方法及び情報処理装置
JP6486582B2 (ja) 電子機器、音声制御方法、およびプログラム
JP4052561B2 (ja) 映像付帯音声データ記録方法、映像付帯音声データ記録装置および映像付帯音声データ記録プログラム
JP2006163269A (ja) 語学学習装置
JP2003339034A (ja) ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
JP5777233B1 (ja) 動画生成装置及び動画生成方法
JP4443753B2 (ja) 文字通訳装置
WO2017183127A1 (ja) 表示装置、出力装置、および情報表示方法
JP2002271769A (ja) インターネットによる講演会のビデオ配信システム
JP2000184077A (ja) ドアホンシステム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050322

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070911

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080617

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110210

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees