JP2004343232A - 通信装置及び通信方法 - Google Patents
通信装置及び通信方法 Download PDFInfo
- Publication number
- JP2004343232A JP2004343232A JP2003134811A JP2003134811A JP2004343232A JP 2004343232 A JP2004343232 A JP 2004343232A JP 2003134811 A JP2003134811 A JP 2003134811A JP 2003134811 A JP2003134811 A JP 2003134811A JP 2004343232 A JP2004343232 A JP 2004343232A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- keyword
- switching
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006854 communication Effects 0.000 title claims abstract description 121
- 238000004891 communication Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims description 51
- 230000004044 response Effects 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 230000005540 biological transmission Effects 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 239000002131 composite material Substances 0.000 claims description 20
- 238000013075 data extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 27
- 230000002194 synthesizing effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】補助画像表示に係る操作性を気にすることなく補助画像を表示させ、より操作性の高いテレビ電話装置を提供し、さらに、操作性の高いテレビ電話装置において、画像表示に係る資源の消費を減少させたテレビ電話装置を提供する。
【解決手段】音声と画像を送信する送信部と、送信者のカメラ画像を撮影する撮像部と、入力音声から語句を認識する音声認識部と、前記語句が登録されているキーワードに一致していることを検出するキーワード検出部と、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部と、入力画像切替部とを具備し、前記入力画像切替部は、前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて、前記送信部に出力し、前記送信部は、前記入力画像切替部から出力された画像を送信する。
【選択図】 図１
【解決手段】音声と画像を送信する送信部と、送信者のカメラ画像を撮影する撮像部と、入力音声から語句を認識する音声認識部と、前記語句が登録されているキーワードに一致していることを検出するキーワード検出部と、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部と、入力画像切替部とを具備し、前記入力画像切替部は、前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて、前記送信部に出力し、前記送信部は、前記入力画像切替部から出力された画像を送信する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明はテレビ電話装置と、テレビ電話通信方法に関する。
【０００２】
【従来の技術】
一般にテレビ電話を使用する場合、通話中は相手の映像のみを見ていることが多いが、補助的な資料等を見ながら会話をすすめたいこともある。例えば、テレビ会議などでは、具体的な図表などのプレゼンテーション資料を示しながら説明すると内容がより理解し易くなるであろうし、一般家庭や携帯電話におけるテレビ電話でも、写真や地図などを相手と同時に見ながら会話をすればより楽しめる。
従来、このような補助的な資料を送る機能をもつテレビ会議システムでは、映像と音声に加えて静止画像を伝送する仕掛けを持ち、資料を予めＪＰＥＧなどの静止画像として保存しておき、所用のキー操作を用いてこれを伝送するというものであった。
【０００３】
このような所用のキー操作の手間を省く方法として、音声認識を用いたテレビ会議システムがある（例えば、特許文献１参照。）。図１２にこのテレビ会議システムの構成の一例を示す。
【０００４】
図１２を参照すると、従来のテレビ会議システムは送信装置５０と受信装置５１とで構成されている。送信装置５０は、音声取り込み部３、カメラなどの撮像部４、取り込まれた音声を符号化する音声エンコーダ５、取り込まれた動画像を符号化する動画エンコーダ６を備えている。さらに、静止画像データベース５２と、静止画像データベース５２から取り込まれた静止画データを符号化する静止画エンコーダ５３を備えている。静止画像データベース５２には会議で使用する補助資料である静止画像データがキーワードとなる音声とともに保存されている。
【０００５】
音声エンコーダ５で得られた音声、動画エンコーダ６で得られた動画、および静止画エンコーダ５３で得られた静止画圧縮データは、それぞれ多重化部５４により多重化されて送信部７を介して受信装置５１に向けて送信される。例えば、静止画像データベース５２に保存されている補助画像は、あらかじめ先に受信装置５１に送信されるようにする。受信装置５１は、受信された多重化データを個々の圧縮データに分離する多重分離部５５と、音声、動画および静止画圧縮データをそれぞれ復号化する音声デコーダ９、動画デコーダ１０、静止画デコーダ５６を備えている。さらに、音声認識部５８と静止画データベース５７を備えることを特徴とする。
【０００６】
受信装置５１において、あらかじめ先に受信した補助画像データは、静止画像データベース５７に保持しておく。また、キーワードは、音声認識部５８に登録されて、静止画データベース５７内の特定の静止画像データと関連付けられる。テレビ会議中、受信部８を介して受信された多重化データは多重分離部５５で動画および音声圧縮データに分離され、動画デコーダ１０、音声デコーダ９で復号化された後、各々表示部１２、音声出力部１１に出力される。同時に、音声デコーダ９の出力データは音声認識部５８に入力され、認識された音声データが上記登録されたキーワードと一致した場合には、その結果がデータ判定部５９に送られる。データ判定部５９では、認識されたキーワードに対応する静止画像データを静止画データベース５７から選択し、選択された静止画像データが補助画像として表示部１２に表示される。
【０００７】
以上のような仕組みにより、特定のキー操作を行うことなく、相手側に補助画像を表示させることが可能となることが示されている。
【０００８】
リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させることが可能な、より操作性の高い通信装置と通信方法が望まれる。
【０００９】
さらに、より操作性の高い通信装置と通信方法において、画像表示に係る資源の消費を減少させたより操作性の高い通信装置と通信方法が望まれる。
【００１０】
【特許文献１】
特開平１１−３５５７４７号公報
【００１１】
【発明が解決しようとする課題】
本発明が解決しようとする課題は、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させることが可能な、より操作性の高い通信装置と通信方法を提供することにある。
【００１２】
さらに、この通信装置とこの通信方法において、画像表示に係る資源の消費を減少させたより操作性の高い通信装置と通信方法を提供することにある。
【００１３】
【課題を解決するための手段】
以下に、［発明の実施の形態］で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明の実施の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１４】
音声と画像を送信する送信部（７）と、送信者のカメラ画像を撮影する撮像部（４）と、入力音声から語句を認識する音声認識部（１３）と、前記語句が登録されているキーワードに一致していることを検出するキーワード検出部（１４）と、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部（１５）と、入力画像切替部（１６）とを具備し、前記入力画像切替部（１６）は、前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて、前記送信部（７）に出力し、前記送信部（７）は、前記入力画像切替部（１６）から出力された画像を送信する。
【００１５】
さらに、前記補助画像選出部（１５）は、登録キーワードに関連付けられた特定の静止画像を予め格納する静止画像格納部（２２）と、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出す画像読み出し部（２３）と、前記読み出された静止画像の画像フォーマットを変換する画像フォーマット変換部（２４）とを具備し、前記画像読み出し部（２３）は、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出し、前記読み出された静止画像を前記画像フォーマット変換部（２４）へ通知し、前記画像フォーマット変換部（２４）は、前記通知された静止画像の画像フォーマットを変換し、前記補助画像として前記入力画像切替部（１６）に出力する。
【００１６】
さらに、前記補助画像選出部（１５）は、動画データを含むムービーファイルを格納するムービーファイル格納部（３０）と、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出すムービーファイル読み出し部（３１）と、前記ムービーファイル読み出し部（３１）が読み出したムービーファイルから動画データを抽出する動画データ抽出部（３２）と、前記動画データ抽出部（３２）が抽出した動画データの動画フォーマットを変換する動画フォーマット変換部（３３）とを具備し、前記ムービーファイル読み出し部（３１）は、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出し、前記読み出されたムービーファイルを前記動画データ抽出部（３２）へ通知し、動画データ抽出部（３２）は、前記通知されたムービーファイルから動画データを抽出し、前記抽出した動画データを前記動画フォーマット変換部（３３）へ通知し、前記動画フォーマット変換部（３３）は、前記通知された動画データの動画フォーマットに変換し、前記補助画像として前記入力画像切替部（１６）に出力する。
【００１７】
さらに、前記キーワード検出部（１４）は、前記検出に応答して、前記入力画像切替部（１６）が出力する画像を、前記カメラ画像から前記補助画像に切り替える切替信号を出力し、前記入力画像切替部（１６）は前記切替信号に応答して、前記入力画像切替部（１６）が出力する画像を前記カメラ画像から前記補助画像に切り替える。
【００１８】
さらに、前記キーワード検出部（１４）は、特定キーワードの検出に応答して、前記入力画像切替部（１６）が出力する画像を、前記補助画像から前記カメラ画像に切り替える特定切替信号を出力し、前記入力画像切替部（１６）は前記特定切替信号に応答して、前記入力画像切替部（１６）が出力する画像を前記補助画像から前記カメラ画像に切り替える。
【００１９】
音声と画像を送信する送信部（７）と、送信者のカメラ画像を撮影する撮像部（４）と、入力音声から語句を認識する音声認識部（１３）と、前記語句が登録されているキーワードに一致していることを検出するキーワード検出部（１４）と、前記キーワード検出部（１４）が、前記登録されているキーワードを検出したことに応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部（１５）と、画像合成部（４１）と、入力画像切替部（４２）とを具備し、前記画像合成部（４１）は、前記検出に応答して前記カメラ画像と前記補助画像を合成した合成画像を作成し、前記合成画像を前記入力画像切替部（４２）に出力し、前記入力画像切替部（４２）は、前記検出に応答して前記カメラ画像と前記合成画像とを切り替えて、前記送信部（７）に出力し、前記送信部（７）は、前記入力画像切替部（４２）から出力された画像を送信する。
【００２０】
さらに、前記補助画像選出部（１５）は、登録キーワードに関連付けられた特定の静止画像を予め格納する静止画像格納部（２２）と、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出す画像読み出し部（２３）と、前記静止画像の画像フォーマットを変換する画像フォーマット変換部（２４）とを具備し、前記画像読み出し部（２３）は、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出し、前記読み出された静止画像を前記画像フォーマット変換部（２４）へ通知し、前記画像フォーマット変換部（２４）は、前記通知された静止画像の画像フォーマットを変換して前記画像合成部（４１）に出力する。
【００２１】
さらに、前記補助画像選出部（１５）は、動画データを含むムービーファイルを格納するムービーファイル格納部（３０）と、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出すムービーファイル読み出し部（３１）と、前記ムービーファイル読み出し部（３１）が読み出したムービーファイルから動画データを抽出する動画データ抽出部（３２）と、前記動画データ抽出部（３２）が抽出した動画データの動画フォーマットを変換する動画フォーマット変換部（３３）とを具備し、前記ムービーファイル読み出し部（３１）は、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出し、前記読み出されたムービーファイルを前記動画データ抽出部（３２）へ通知し、動画データ抽出部（３２）は、前記通知されたムービーファイルから動画データを抽出し、前記抽出した動画データを前記動画フォーマット変換部（３３）へ通知し、前記動画フォーマット変換部（３３）は、前記通知された動画データの動画フォーマットに変換して前記画像合成に出力する。
【００２２】
さらに、前記キーワード検出部（１４）は、前記検出に応答して、前記入力画像切替部（４２）が出力する画像を切り替える切替信号を出力し、前記入力画像切替部（４２）は前記切替信号に応答して、前記入力画像切替部（４２）が出力する画像を前記カメラ画像から前記合成画像に切り替える。
【００２３】
さらに、前記キーワード検出部（１４）は、特定キーワードの検出に応答して、前記入力画像切替部（４２）が出力する画像を、前記合成画像から前記カメラ画像に切り替える特定切替信号を出力し、前記入力画像切替部（４２）は前記特定切替信号に応答して、前記入力画像切替部（４２）が出力する画像を前記合成画像から前記カメラ画像に切り替える。
【００２４】
音声と画像を送信するステップと、送信者のカメラ画像を撮影するステップと、入力音声から語句を認識するステップと、前記語句が登録されているキーワードに一致していることを検出するステップと、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出するステップと、前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて出力するステップと、前記出力された前記カメラ画像、または、前記補助画像を送信するステップとを具備する通信方法を用いて通信を行う。
【００２５】
さらに、登録キーワードに関連付けられた特定の静止画像を予め格納するステップと、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、読み出すステップと、前記読み出された静止画像を通知するステップと、前記通知された静止画像の画像フォーマットを変換するステップと、前記変換された静止画像を出力するステップとを具備する通信方法を用いて通信を行う。
【００２６】
さらに、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを読み出すステップと、前記読み出されたムービーファイルから動画データを抽出するステップと、前記抽出した動画データの動画フォーマットを変換するステップと、前記変換された動画データを出力するステップとを具備する通信方法を用いて通信を行う。
【００２７】
さらに、前記検出に応答して、前記送信する画像を切り替える切替信号を出力するステップと、前記切替信号に応答して、前記送信する画像を前記カメラ画像から前記補助画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００２８】
さらに、特定キーワードの検出に応答して、前記送信する画像を、前記補助画像から前記カメラ画像に切り替える特定切替信号を出力するステップと、前記特定切替信号に応答して、前記送信する画像を前記補助画像から前記カメラ画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００２９】
音声と画像を送信するステップと、送信者のカメラ画像を撮影するステップと、
入力音声から語句を認識するステップと、前記語句が登録されているキーワードに一致していることを検出するステップと、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出するステップと、前記カメラ画像と前記補助画像を合成した合成画像を作成するステップと、前記検出に応答して前記カメラ画像と前記合成画像とを切り替えて出力するステップと、前記出力された画像を送信するステップとを具備する通信方法を用いて通信を行う。
【００３０】
さらに、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を読み出すステップと、前記読み出された静止画像を通知するステップと、前記通知された静止画像の画像フォーマットを変換するステップと、前記変換された静止画像を出力するステップとを具備する通信方法を用いて通信を行う。
【００３１】
さらに、前記登録キーワードに関連付けられた特定のムービーファイルを、読み出すステップと、前記読み出されたムービーファイルから動画データを抽出するステップと、前記抽出した動画データの動画フォーマットを変換するステップと、前記動画フォーマットを変換された動画データを出力するステップと、
を具備する通信方法を用いて通信を行う。
【００３２】
さらに、前記検出に応答して、前記入力画像切替部（１６）に入力される画像を切り替える切替信号を出力するステップと、前記切替信号に応答して、入力される画像を前記カメラ画像から前記合成画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００３３】
さらに、特定キーワードの検出に応答して、前記送信する画像を、前記合成画像から前記カメラ画像に切り替える特定切替信号を出力するステップと、前記特定切替信号に応答して、前記送信する画像を前記合成画像から前記カメラ画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００３４】
【発明の実施の形態】
以下に、図面を用いて本発明の実施の形態を述べる。
【００３５】
（実施例の構成）
図１は、本実施の形態の概略構成を示すブロック図である。本実施の形態に係るテレビ電話は、一つのテレビ電話装置が送信装置１と受信装置２の両方を備えるものとする。以下に述べる説明では、理解を容易にするために送信側の受信装置に関する説明と、受信側の送信装置に関する説明は省略する。
【００３６】
図１を参照すると、本実施の形態の構成は送信装置１と受信装置２と情報通信ネットワークで構成される。
【００３７】
情報通信ネットワークは、優先通信または無線通信を使用した、双方向の通信データの送受信が可能なネットワークである。
【００３８】
送信装置１は、送信者が入力した音声と、受信装置で表示する画像を情報通信ネットワークを介して送信可能なデータ形式に変換して、受信装置に送信する。
【００３９】
受信装置２は、情報通信ネットワークを介して送信装置１から送信されたデータを受信して音声、画像を出力表示する。
【００４０】
送信装置１は、さらに、音声取り込み部３、撮像部４、音声エンコーダ５、動画エンコーダ６、多重化部１７、音声認識部１３、キーワード判定部１４、補助画像選出部１５、入力画像切り替えスイッチ１６、送信部７を備える。
【００４１】
撮像部４は、デジタルカメラなどの静止画像撮影装置、または、ビデオカメラなどの動画撮影装置である。送信装置１に内蔵、又は、外部接続され、送信者の映像をリアルタイムで撮像し、撮像した画像を電気信号に変換して画像データとして入力画像切り替えスイッチ１６に出力する。
【００４２】
音声取り込み部３は、送信者の発声する音声などを集音する集音装置である。送信装置１に内蔵、又は、外部接続され、送信者の発声する音声をリアルタイムで集音し、集音した音声を電気信号に変換して、変換した音声を音声データとして音声認識部１３と音声エンコーダ５に出力する。
【００４３】
音声認識部１３は、音声取り込み部３から出力された音声データを入力し、入力した音声データにどのような語句が含まれるのかを自動的に認識する機能を有する情報処理機能である。この音声認識処理で認識された語句を認識語句データとして出力する。
【００４４】
キーワード判定部１４は、音声認識部１３から出力された認識語句データが、予め登録されたキーワードに合致するかどうかを判定処理する情報処理機能である。入力画像切り替えスイッチ１６のスイッチを切り替えるための制御信号を入力画像切り替えスイッチ１６に出力し、補助画像を選出するための命令を補助画像選出部１５に出力する。キーワード判定部１４から出力される制御信号と、補助画像を選出するための命令はは、キーワード判定部１４による判定処理の結果に基づいて出力される。
【００４５】
補助画像選出部１５は、キーワード判定部１４から送信された補助画像選出命令とキーワードを受信する。受信した命令に基づいて、キーワードに対応する画像データを選出し、入力画像切り替えスイッチ１６に出力する。
【００４６】
入力画像切り替えスイッチ１６は、撮像部４から出力される画像データと補助画像選出部１５から出力される補助画像データの少なくとも一方を動画エンコーダ６に出力するための切り替えスイッチである。動画エンコーダ６に出力する画像データの切り替えは、キーワード判定部１４から出力される切り替えスイッチ制御信号で行う。
【００４７】
動画エンコーダ６は、撮像部４から出力された画像データ、または、補助画像入力装置１５から出力された補助画像データを受信装置２に送信するために、データ形式を変換する画像データ変換機能である。変換形式は動画データを情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【００４８】
音声エンコーダ５は、音声取り込み部３から出力された音声データを、受信装置２に送信するためにデータ形式を変換する音声データ変換機能である。変換形式は音声データが情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【００４９】
多重化部１７は、動画エンコーダ６でデータ形式変換を行った送信用動画データと、音声エンコーダ５でデータ形式変換を行った送信用音声データとを多重化するデータ合成機能である。多重化されたデータは、多重化データとして送信部７へ出力する。
【００５０】
送信部７は、データ送信機能である。多重化部１７から出力された多重化データを受信装置２の受信部８へ情報通信ネットワークを介して送信する。
【００５１】
受信装置２は、さらに、受信部８、多重分離部１８、音声デコーダ９、動画デコーダ１０、音声出力部１１、表示部１２を備える。
【００５２】
受信部８は、データ受信機能である。送信装置１の送信部７から送信された多重化データを情報通信ネットワークを介して受信し、受信した多重化データを多重分離部１８へ出力する。
【００５３】
多重分離部１８は、受信部８から送られた多重化データを音声データと動画データに分離するデータ分離機能である。分離した音声データを音声デコーダ９に出力し、分離した動画データを動画デコーダ１０に出力する。
【００５４】
音声デコーダ９は、音声データ形式変換機能である。多重分離部１８が分離した音声データを、情報通信ネットワークで送信されるのに適した形式から、音声出力部１１で出力可能な形式に変換して出力する。
【００５５】
動画デコーダ１０は、画像データ形式変換機能である。多重分離部１８が分離した動画データを情報通信ネットワークで送信されるのに適した形式から、表示部１２で表示可能な形式に変換して出力する。
【００５６】
音声出力部１１は、スピーカなどの音声出力装置である。音声デコーダ９で形式変換された音声データを音声にして出力する。
【００５７】
表示部１２は、画像表示装置である。動画デコーダ１０で形式変換された動画データを表示画像にして出力する。
【００５８】
図２は、補助画像に静止画像を用いる場合のキーワード判定部１４と補助画像選出部１５の内部構成を詳細に示したブロック図である。
【００５９】
図２を参照すると、キーワード判定部１４は、さらに、登録キーワード格納メモリ２０、キーワードマッチング部２１を含み、補助画像選出部１５は、さらに、静止画像格納メモリ２２、キーワード対応画像読み出し部２３、画像フォーマット変換部２４を含む。
【００６０】
登録キーワード格納メモリ２０は、予め登録されたキーワードを格納する記憶装置である。キーワード登録者が予め登録し、キーワード判定に用いられるキーワードを複数記憶する。
【００６１】
キーワードマッチング部２１は、音声認識部から出力された認識語句データに合致するキーワードが登録キーワード格納メモリ２０に登録されているかどうかの検索処理を行う情報処理機能である。音声認識部から出力された認識語句データの入力に応答して、登録キーワード格納メモリ２０を検索し、その検索結果、認識語句データに合致するキーワードが登録されている場合と、認識語句データに合致するキーワードが登録されていない場合の各々に対応する制御信号を出力する。また、その検索結果、認識語句データに合致するキーワードが登録されている場合、キーワード対応補助画像の読み出し命令をキーワード対応画像読み出し部２３に出力する。
【００６２】
静止画像格納メモリ２２は、補助画像に用いられる静止画像を予め格納する記憶装置である。本実施例のテレビ電話での通話中に、補助画像として用いられる可能性のある静止画像と、その静止画像を出力するために用いられるキーワードを対応させて格納する。
【００６３】
キーワード対応画像読み出し部２３は、静止画像格納メモリ２２から静止画像の読み出し処理をする情報処理機能である。キーワードマッチング部２１から出力されたキーワード対応補助画像読み出し命令に応答して、対応する静止画像を静止画像格納メモリ２２から抽出し、画像フォーマット変換部２４へ出力する。
【００６４】
画像フォーマット変換部２４は、キーワード対応画像読み出し部２３が読み出した静止画像の画像フォーマットを変換するデータ変換機能である。キーワード対応画像読み出し部２３が出力する補助画像用静止画像の画像フォーマットを動画エンコーダ６に入力するのに適した画像フォーマットに変換する。例えば当該静止画像がＪＰＥＧ形式であった場合、これを伸張してＹＵＶ形式にするなどである。
【００６５】
図３は、補助画像に動画像を用いる場合のキーワード判定部１４と補助画像選出部１５の内部構成を詳細に示したブロック図である。
【００６６】
図３を参照すると、キーワード判定部１４は、さらに、登録キーワード格納メモリ２０、キーワードマッチング部２１を含み、補助画像選出部１５は、さらに、ムービーファイル格納メモリ３０、キーワード対応ファイル読み出し部３１、動画データ抽出部３２、動画フォーマット変換部３３を含む。
【００６７】
登録キーワード格納メモリ２０は、予め登録されたキーワードを格納する記憶装置である。キーワード登録者が予め登録し、キーワード判定に用いられるキーワードを複数記憶する。
【００６８】
キーワードマッチング部２１は、音声認識部から出力された認識語句データに合致するキーワードが登録キーワード格納メモリ２０に登録されているかどうかの検索処理を行う情報処理機能である。音声認識部から出力された認識語句データの入力に応答して、登録キーワード格納メモリ２０を検索し、その検索結果、認識語句データに合致するキーワードが登録されている場合と、認識語句データに合致するキーワードが登録されていない場合の各々に対応する制御信号を出力する。また、その検索結果、認識語句データに合致するキーワードが登録されている場合、キーワード対応補助画像の読み出し命令をキーワード対応ファイル読み出し部３１に出力する。
【００６９】
ムービーファイル格納メモリ３０は、補助画像に用いられるムービーファイルを予め格納する記憶装置である。本実施例のテレビ電話での通話中に、補助画像として用いられる可能性のあるムービーファイルと、そのムービーファイルを出力するために用いられるキーワードを対応させて格納する。
【００７０】
キーワード対応ファイル読み出し部３１は、ムービーファイル格納メモリ３０からムービーファイルの読み出し処理をする情報処理機能である。キーワードマッチング部２１から出力されたキーワード対応補助画像読み出し命令に応答して、対応するムービーファイルをムービーファイル格納メモリ３０から抽出し、動画データ抽出部３２へ出力する。
【００７１】
動画データ抽出部３２は、ムービーファイルを分離し、画像データを取り出すデータ抽出機能である。動画データ抽出部３２で取り出された画像データは、画像フォーマット変換部２４に出力される。
【００７２】
動画フォーマット変換部３３は、キーワード対応ファイル読み出し部３１が読み出した静止画像の画像フォーマットを変換するデータ変換機能である。動画データ抽出部３２が出力する補助画像用画像データの画像フォーマットを動画エンコーダ６に入力するのに適した画像フォーマットに変換する。例えばＹＵＶ形式などである。変換された動画データは各フレーム毎、動画エンコーダ６に入力されていく。
【００７３】
図４は、登録キーワード格納メモリ２０に格納された登録キーワードの一例を示す登録キーワードデータテーブルである。図４を参照すると、登録キーワードデータテーブルは、本実施例のテレビ電話利用者によって予め登録されたキーワードを格納する。格納するキーワードは、そのキーワードを登録する場合に使用されたテキストデータと、実際に音声認識に使用される音声データとを対応させて格納する。
【００７４】
図５は、静止画像格納メモリ２２に格納された画像データと登録キーワードの対応の一例を示す静止画像データテーブルである。図５を参照すると、静止画像データテーブルは、キーワード対応補助画像の読み出し命令に含まれるキーワードと、静止画像データを対応させて格納し、キーワード対応補助画像の読み出し命令を受け取ったキーワード対応画像読み出し部２３が補助画像用静止画像を抽出するために用いられる。
【００７５】
図６は、ムービーファイル格納メモリ３０に格納された動画データと登録キーワードの対応の一例を示すムービーファイルデータテーブルである。図６を参照すると、ムービーファイルデータテーブルは、キーワード対応補助画像の読み出し命令に含まれるキーワードと、ムービーファイルデータを対応させて格納し、キーワード対応補助画像の読み出し命令を受け取ったキーワード対応ファイル読み出し部３１が補助画像用ムービーファイルを抽出するために用いられる。
【００７６】
（実施例の動作）
次に、図面を用いて本発明の実施の形態の動作について述べる。
【００７７】
図７は、本実施の形態の動作において、補助画像に静止画像を用いた場合の送信側の動作を示す流れ図である。
【００７８】
図７を参照すると、本実施の形態に述べるテレビ電話の利用者は、ステップＳ１０１において、通話のための音声を音声取り込み部３から入力する。音声取り込み部３は、ステップＳ１０１で入力された音声を電気信号に変換し、音声データとして音声認識部１３と音声エンコーダ５に出力する。
【００７９】
ステップＳ１０３において、音声取り込み部３から出力された音声データは、音声認識部１３に入力される。音声認識部１３は、入力した音声データにどのような語句が含まれるのかを自動的に認識する音声認識処理を行い、認識された語句を認識語句データとして出力する。
【００８０】
音声認識部１３から出力された認識語句データはキーワード判定部１４に送られる。キーワード判定部１４は、ステップＳ１０５において、認識語句データに登録キーワードが含まれるかどうかの判定を行う。ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれる場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓが接続するように制御する制御信号と、補助画像を読み出すためのキーワード対応補助画像の読み出し命令を出力し、ステップＳ１０７へ進む。
【００８１】
ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれない場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の入力画像切り替えスイッチの端子Ａと端子Ｓが接続するように制御する制御信号を出力し、ステップＳ１０９へ進む。
【００８２】
ステップＳ１０７において、キーワード判定部１４から出力された補助画像を読み出すためのキーワード対応補助画像の読み出し命令は、補助画像選出部１５へ入力される。キーワード対応補助画像読み出し命令を入力された補助画像選出部１５は、キーワード対応画像読み出し部２３で命令を実行する。キーワード対応画像読み出し部２３は、キーワード対応静止画像を静止画像格納メモリ２２から読み出し、読み出したキーワード対応補助画像を画像フォーマット変換部２４へ出力する。
【００８３】
ステップＳ１１１において、画像フォーマット変換部２４は、キーワード対応画像読み出し部２３が出力する補助画像用静止画像の画像フォーマットを、動画エンコーダ６に入力するのに適した画像フォーマットに変換し、入力画像切り替えスイッチ１６へ出力する。
【００８４】
ステップＳ１１３において、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓを経由し、補助画像選出部１５から出力された補助静止画像は、動画エンコーダ６に入力される。
【００８５】
ステップＳ１０９において、ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれない場合、入力画像切り替えスイッチ１６は、画像切り替えスイッチの端子Ａと端子Ｓが接続するように制御し、撮像部４から出力されたカメラ画像を動画エンコーダに入力する。
【００８６】
ステップＳ１１５において、動画エンコーダ６は、撮像部４から出力されたカメラ画像データ、または、補助画像選出部１５から出力された補助静止画像データを、ネットワークを経由して送信するのに適した形式に変換した送信用動画データを作成し、多重化部１７に出力する。
【００８７】
ステップＳ１１７において、多重化部１７は、ステップＳ１０１で音声取り込み部３から出力され、音声エンコーダ５でデータ形式変換を行った送信用音声データと、ステップＳ１１５で動画エンコーダ６が出力した送信用動画データを多重化し多重化データとして送信部７へ出力する。
【００８８】
ステップＳ１１９において、送信部７は、多重化部１７から出力された多重化データを情報通信ネットワークを介して送信する。
【００８９】
図８は、本実施の形態の動作において、受信側の動作を示す流れ図である。
【００９０】
ステップＳ２０１において、受信部８は、図７のステップＳ１１９で送信部７から送信された多重化データを情報通信ネットワークを介して受信し、受信した多重化データを多重分離部１８に出力する。
【００９１】
ステップＳ２０３において、多重分離部１８は受信部８から出力された多重化データを、音声データと動画データに分離する。分離した音声データを音声デコーダ９に出力し、分離した動画データを動画デコーダ１０に出力する。
【００９２】
ステップＳ２０５において、動画デコーダ１０は、多重分離部１８が分離した動画データを情報通信ネットワークで送信されるのに適した形式から、表示部１２で表示可能な形式に変換して出力する。
【００９３】
ステップＳ２０７において、表示部１２は、動画デコーダ１０で形式変換されて出力された動画データを表示画像にして表示する。
【００９４】
ステップＳ２０９において、音声デコーダ９は、多重分離部１８が分離した音声データを、情報通信ネットワークで送信されるのに適した形式から、音声出力部１１で出力可能な形式に変換して出力する。
【００９５】
ステップＳ２１１において、音声出力部１１は、音声デコーダ９で形式変換されて出力された音声データを音声にして出力する。
【００９６】
図９は、本実施の形態の動作において、補助画像にムービーファイルを用いた場合の流れ図である。
【００９７】
図９を参照すると、本実施の形態に述べるテレビ電話の利用者は、ステップＳ３０１において、通話のための音声を音声取り込み部３から入力する。音声取り込み部３は、ステップＳ３０１で入力された音声を電気信号に変換し、音声データとして音声認識部１３と音声エンコーダ５に出力する。
【００９８】
ステップＳ３０３において、音声取り込み部３から出力された音声データは、音声認識部１３に入力される。音声認識部１３は、入力した音声データにどのような語句が含まれるのかを自動的に認識する音声認識処理を行い、認識された語句を認識語句データとして出力する。
【００９９】
音声認識部１３から出力された認識語句データはキーワード判定部１４に送られる。キーワード判定部１４は、ステップＳ３０５において、認識語句データに登録キーワードが含まれるかどうかの判定を行う。ステップＳ３０５における判定の結果、認識語句データに登録キーワードが含まれる場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓが接続するように制御する制御信号と、補助画像を読み出すためのキーワード対応補助画像の読み出し命令を出力し、ステップＳ３０７へ進む。
【０１００】
ステップＳ３０５における判定の結果、認識語句データに登録キーワードが含まれない場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の端子Ａと端子Ｓが接続するように制御する制御信号を出力し、ステップＳ３０９へ進む。
【０１０１】
ステップＳ３０７において、キーワード判定部１４から出力された補助画像を読み出すためのキーワード対応補助画像の読み出し命令は、補助画像選出部１５へ入力される。キーワード対応補助画像読み出し命令を入力された補助画像選出部１５は、キーワード対応ファイル読み出し部３１でこの命令を実行する。キーワード対応ファイル読み出し部３１は、ムービーファイルをムービーファイル格納メモリ３０から読み出し、読み出したキーワード対応ムービーファイルを動画データ抽出部３２へ出力する。
【０１０２】
ステップＳ３１１において、画像データ抽出部は、キーワード対応ファイル読み出し部３１から出力されたキーワード対応ムービーファイルから画像データを抽出し、抽出した画像データを動画フォーマット変換部３３へ出力する。
【０１０３】
ステップＳ３１３において、動画フォーマット変換部３３は、動画データ抽出部３２が出力する補助画像動画の動画フォーマットを、動画エンコーダ６に入力するのに適した動画フォーマットに変換し、入力画像切り替えスイッチ１６へ出力する。
【０１０４】
ステップＳ３１５において、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓを経由し、補助画像選出部１５から出力された補助静止画像は、動画エンコーダ６に入力される。
【０１０５】
ステップＳ３０９において、ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれない場合、入力画像切り替えスイッチ１６は、画像切り替えスイッチの端子Ａと端子Ｓが接続するように制御し、撮像部４から出力されたカメラ画像を動画エンコーダに入力する。
【０１０６】
ステップＳ３１７において、動画エンコーダ６は、撮像部４から出力されたカメラ画像データ、または、補助画像選出部１５から出力された補助動画像データを、ネットワークを経由して送信するのに適した形式に変換して送信用動画データを作成し、多重化部１７に出力する。
【０１０７】
ステップＳ３１９において、多重化部１７は、ステップＳ３０１で音声取り込み部３から出力され、音声エンコーダ５でデータ形式変換を行った送信用音声データと、ステップＳ３１７で動画エンコーダ６が出力した送信用動画データを多重化し多重化データとして送信部７へ出力する。
【０１０８】
ステップＳ３２１において、送信部７は、多重化部１７から出力された多重化データを情報通信ネットワークを介して送信する。
【０１０９】
送信部７から送信された多重化データは、受信装置２の受信部８で受信され、補助画像に静止画像を用いた場合と同じように表示部１２で表示される。
【０１１０】
なお、補助画像に静止画像を用いた場合、または、補助画像に動画像を用いた場合における補助画像の表示期間は一定時間としてもよいし、予め表示を終了するキーワードを登録しておき、そのキーワードを発声することにより終了させてもよい。すなわち、キーワードマッチング部２１で表示終了を表すキーワードが検索された場合、入力画像切り替えスイッチ１６は端子Ｓと端子Ａとを接続する。撮像部４が出力するカメラ画像は、入力画像切り替えスイッチ１６の端子Ａと端子Ｓとを経由して動画エンコーダ６に出力される。
【０１１１】
以上により、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させ、より操作性の高い通信装置と通信方法を提供することができ、さらに、画像表示に係る資源の消費を減少させる効果がある。
【０１１２】
さらに、上記の通信装置と通信方法において、簡易なプロトコルを用いてリアルタイムで画像を表示する通信を実現するのに効果がある。
【０１１３】
次に、本発明における第２の実施の形態について述べる。
【０１１４】
（第２の実施例の構成）
図１０は、本発明の第２の実施の形態の概略構成を示すブロック図である。本第２の実施の形態は、送信装置４０に画像合成部４１を設け、カメラ入力画像と補助画像を合成した動画データを作成する。本第２の実施の形態に係るテレビ電話は、一つのテレビ電話装置が送信装置４０と受信装置２の両方を備えるものとする。以下に述べる第２の実施の形態の説明では、理解を容易にするために送信側の受信装置に関する説明と、受信側の送信装置に関する説明を省略する。また、受信側の動作は第１の実施の形態で述べた動作と概ね同様である。
【０１１５】
図１０を参照すると、本発明の第２の実施の形態は、送信装置４０と受信装置２と情報通信ネットワークで構成される。
【０１１６】
情報通信ネットワークは、優先通信または無線通信を使用した、双方向の通信データの送受信が可能なネットワークである。
【０１１７】
送信装置４０は、送信者が入力した音声と、受信装置２で表示する画像を情報通信ネットワークを介して送信可能なデータ形式に変換して、受信装置２に送信する。
【０１１８】
受信装置２は、情報通信ネットワークを介して送信装置１から送信されたデータを受信して音声、画像を出力表示する。
【０１１９】
送信装置４０は、さらに、音声取り込み部３、撮像部４、音声エンコーダ５、動画エンコーダ６、多重化部１７、音声認識部１３、キーワード判定部１４、補助画像選出部１５、入力画像切り替えスイッチ４２、画像合成部４１、送信部７を備える。
【０１２０】
撮像部４は、デジタルカメラなどの静止画像撮影装置、または、ビデオカメラなどの動画撮影装置である。送信装置４０に内蔵、又は、外部接続され、送信者の映像をリアルタイムで撮像し、撮像した画像を電気信号に変換して画像データとして画像切り替え部４２に出力する。
【０１２１】
音声取り込み部３は、送信者の発声する音声などを集音する集音装置である。送信装置１に内蔵、又は、外部接続され、送信者の発声する音声をリアルタイムで集音し、集音した音声を電気信号に変換して、変換した音声を音声データとして音声認識部１３に出力する。
【０１２２】
音声認識部１３は、音声取り込み部３から出力された音声データを入力し、入力した音声データにどのような語句が含まれるのかを自動的に認識する機能を有する情報処理機能である。この音声認識処理で認識された語句を認識語句データとして出力する。
【０１２３】
キーワード判定部１４は、音声認識部１３から出力された認識語句データが、予め登録されたキーワードに合致するかどうかを判定処理する情報処理機能である。入力画像切り替えスイッチ１６のスイッチを切り替えるための制御信号を入力画像切り替えスイッチ１６に出力し、補助画像を選出するための命令を補助画像選出部１５に出力する。キーワード判定部１４から出力される制御信号と、補助画像を選出するための命令は、キーワード判定部１４による判定処理の結果に基づいて出力される。
【０１２４】
補助画像選出部１５は、キーワード判定部１４から送信された補助画像選出命令とキーワードを受信する。受信した命令に基づいて、キーワードに対応する画像データを選出し、入力画像切り替えスイッチ４２に出力する。
【０１２５】
入力画像切り替えスイッチ４２は、撮像部４から出力される画像データと補助画像選出部１５から出力される補助画像データの少なくとも一方を動画エンコーダ６に出力するための切り替えスイッチである。動画エンコーダ６に出力する画像データの切り替えは、キーワード判定部１４から出力される切り替えスイッチ制御信号で行う。
【０１２６】
画像合成部４１は、カメラ画像と補助画像を合成した合成画像を作成する画像合成機能である。
【０１２７】
動画エンコーダ６は、撮像部４から出力された画像データ、または、補助画像入力装置１５から出力された補助画像データを受信装置２に送信するために、データ形式を変換する画像データ変換機能である。変換形式は動画データを情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【０１２８】
音声エンコーダ５は、音声取り込み部３から出力された音声データを、受信装置２に送信するためにデータ形式を変換する音声データ変換機能である。変換形式は音声データが情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【０１２９】
多重化部１７は、動画エンコーダ６でデータ形式変換を行った送信用動画データと、音声エンコーダ５でデータ形式変換を行った送信用音声データとを多重化するデータ合成機能である。多重化されたデータは、多重化データとして送信部７へ出力する。
【０１３０】
送信部７は、データ送信機能である。多重化部１７から出力された多重化データを受信装置２の受信部８へ情報通信ネットワークを介して送信する。
【０１３１】
（第２の実施例の動作）
図１１は、本発明の第２の実施例の動作を示す流れである。図１１を参照すると、本実施の形態に述べるテレビ電話の利用者は、ステップＳ４０１において、通話のための音声を音声取り込み部３から入力する。音声取り込み部３は、ステップＳ４０１で入力された音声を電気信号に変換し、音声データとして音声認識部１３と音声エンコーダ５に出力する。
【０１３２】
ステップＳ４０３において、音声取り込み部３から出力された音声データは、音声認識部１３に入力される。音声認識部１３は、入力した音声データにどのような語句が含まれるのかを自動的に認識する音声認識処理を行い、認識された語句を認識語句データとして出力する。
【０１３３】
音声認識部１３から出力された認識語句データはキーワード判定部１４に送られる。キーワード判定部１４は、ステップＳ４０５において、認識語句データに登録キーワードが含まれるかどうかの判定を行う。ステップＳ４０５における判定の結果、認識語句データに登録キーワードが含まれる場合、キーワード判定部１４は、入力画像切り替えスイッチ４２の端子Ｓ１と端子Ｂ１が接続し、端子Ｂ２と端子Ｓ２が接続するように制御する制御信号を入力画像切り替えスイッチ４２へ出力し、さらに、補助画像を読み出すためのキーワード対応補助画像の読み出し命令を画像合成部４１へ出力してステップＳ４０７へ進む。
【０１３４】
ステップＳ４０５における判定の結果、認識語句データに登録キーワードが含まれない場合、キーワード判定部１４は、入力画像切り替えスイッチ４２の端子Ｓ１と端子Ａ１が接続し端子Ａ２と端子Ｓ２が接続するように制御する制御信号を入力画像切り替えスイッチ４２へ出力し、ステップＳ４０９へ進む。
【０１３５】
ステップＳ４０７において、キーワード判定部１４から出力されたキーワード対応補助画像読み出し命令は、補助画像選出部１５へ入力される。補助画像が静止画像であった場合、キーワード対応補助画像読み出し命令を入力された補助画像選出部１５は、キーワード対応画像読み出し部２３で命令を実行する。キーワード対応画像読み出し部２３は、キーワード対応静止画像を静止画像格納メモリ２２から読み出し、読み出したキーワード対応補助画像を画像フォーマット変換部２４へ出力し、画像フォーマット変換部２４は、キーワード対応画像読み出し部２３が出力する補助画像用静止画像の画像フォーマットを、動画エンコーダ６に入力するのに適した画像フォーマットに変換し、画像合成部４１へ出力する。
【０１３６】
補助画像が動画像であった場合、キーワード対応ファイル読み出し部３１でこの命令を実行する。キーワード対応ファイル読み出し部３１は、ムービーファイルをムービーファイル格納メモリ３０から読み出し、読み出したキーワード対応ムービーファイルを動画データ抽出部３２へ出力する。データ抽出部３２は、キーワード対応ファイル読み出し部３１から出力されたキーワード対応ムービーファイルから画像データを抽出し、抽出した補助画像データの動画フォーマットを、動画エンコーダ６に入力するのに適した動画フォーマットに変換し、画像合成部４１へ出力する。
【０１３７】
ステップＳ４１１において、画像合成部４１は、補助画像選出部が選出した静止画像または動画像と、撮像部から出力されたカメラ画像を合成して合成画像を作成し、入力画像切り替えスイッチ４２へ出力する。
【０１３８】
ステップＳ４０９において、ステップＳ４０５における判定の結果、認識語句データに登録キーワードが含まれない場合、入力画像切り替えスイッチ４２は端子Ｓ１と端子Ａ１を接続し、端子Ａ２と端子Ｓ２を接続する。撮像部４で撮影されたカメラ画像は端子Ｓ１、端子Ａ１、端子Ａ２、端子Ｓ２を経由して動画エンコーダ６に出力される。
【０１３９】
ステップＳ４１３において、動画エンコーダ６は、撮像部４から出力されたカメラ画像または、画像合成部４１で作成された合成画像をネットワークを経由して送信するのに適した形式に変換して送信用動画データを作成し、多重化部１７に出力する。
【０１４０】
ステップＳ４１５において、多重化部１７は、ステップＳ４０１で音声取り込み部３から出力され、音声エンコーダ５でデータ形式変換を行った送信用音声データと、ステップＳ４１５で動画エンコーダ６が出力した送信用動画データを多重化し多重化データとして送信部７へ出力する。
【０１４１】
ステップＳ４１７において、送信部７は、多重化部１７から出力された多重化データを情報通信ネットワークを介して送信する。
【０１４２】
送信部７から送信された多重化データは、受信装置２の受信部８で受信され、第１の実施の形態と同じように表示部１２で表示される。
【０１４３】
なお、補助画像に静止画像を用いた場合、または、補助画像に動画像を用いた場合における補助画像の表示期間は一定時間としてもよいし、予め表示を終了するキーワードを登録しておき、そのキーワードを発声することにより終了させてもよい。すなわち、キーワードマッチング部２１で表示終了を表すキーワードが検索された場合、入力画像切り替えスイッチ４２は端子Ｓ１と端子Ａ１とを接続し、端子Ｓ２と端子Ａ２とを接続する。撮像部４が出力するカメラ画像は、入力画像切り替えスイッチ４２の端子Ｓ１と端子Ａ１とを経由し、端子Ａ２と端子Ｓ２とを経由して動画エンコーダ６に出力される。
【０１４４】
以上により、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく主画像と同時に表示させ、より操作性の高い通信装置と通信方法を提供することができ、さらに、画像表示に係る資源の消費を減少させる効果がある。
【０１４５】
さらに、上記の通信装置と通信方法において、簡易なプロトコルを用いてリアルタイムで画像を表示する通信を実現するのに効果がある。
【０１４６】
【発明の効果】
本発明は、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させることが可能な、より操作性の高い通信装置と通信方法の提供に効果がある。
【０１４７】
さらに、上記の通信装置と通信方法において、画像表示に係る資源の消費を減少させる効果がある。
【０１４８】
さらに、上記の通信装置と通信方法において、簡易なプロトコルを用いてリアルタイムで画像を表示する通信を実現するのに効果がある。
【図面の簡単な説明】
【図１】図１は、本実施の形態の概略構成を示すブロック図である。
【図２】図２は、補助画像に静止画像を用いる場合のキーワード判定部と補助画像選出部の内部構成を詳細に示したブロック図である。
【図３】図３は、補助画像に動画像を用いる場合のキーワード判定部と補助画像選出部の内部構成を詳細に示したブロック図である。
【図４】図４は、登録キーワードの一例を示す登録キーワードデータテーブルである。
【図５】図５は、画像データと登録キーワードの対応の一例を示す静止画像データテーブルである。
【図６】図６は、動画データと登録キーワードの対応の一例を示すムービーファイルデータテーブルである。
【図７】図７は、補助画像に静止画像を用いた場合の送信側の動作を示す流れ図である。
【図８】図８は、受信側の動作を示す流れ図である。
【図９】図９は、補助画像にムービーファイルを用いた場合の流れ図である。
【図１０】図１０は、本発明の第２の実施の形態の概略構成を示すブロック図である。
【図１１】図１１は、第２の実施例の動作を示す流れである。
【図１２】図１２は、従来技術の構成を示すブロック図である。
【符号の説明】
１ 送信装置
２ 受信装置
３ 音声取り込み部
４ 撮像部
５ 音声エンコーダ
６ 動画エンコーダ
７ 送信部
８ 受信部
９ 音声デコーダ
１０ 動画デコーダ
１１ 音声出力部
１２ 表示部
１３ 音声認識部
１４ キーワード判定部
１５ 補助画像選出部
１６ 入力画像切り替えスイッチ
１７ 多重化部
１８ 多重分離部
２０ 登録キーワード格納メモリ
２１ キーワードマッチング部
２２ 静止画像格納メモリ
２３ キーワード対応画像読み出し部
２４ 画像フォーマット変換部
３０ ムービーファイル格納メモリ
３１ キーワード対応ファイル読み出し部
３２ 動画データ抽出部
３３ 動画フォーマット変換部
４０ 送信装置
４１ 画像合成部
４２ 入力画像切り替えスイッチ
５０ 送信装置
５１ 受信装置
５２ 静止画像データベース
５３ 静止画エンコーダ
５４ 多重化部
５５ 多重分離部
５６ 静止画デコーダ
５７ 静止画像データベース
５８ 音声認識部
５９ データ判定部
【発明の属する技術分野】
本発明はテレビ電話装置と、テレビ電話通信方法に関する。
【０００２】
【従来の技術】
一般にテレビ電話を使用する場合、通話中は相手の映像のみを見ていることが多いが、補助的な資料等を見ながら会話をすすめたいこともある。例えば、テレビ会議などでは、具体的な図表などのプレゼンテーション資料を示しながら説明すると内容がより理解し易くなるであろうし、一般家庭や携帯電話におけるテレビ電話でも、写真や地図などを相手と同時に見ながら会話をすればより楽しめる。
従来、このような補助的な資料を送る機能をもつテレビ会議システムでは、映像と音声に加えて静止画像を伝送する仕掛けを持ち、資料を予めＪＰＥＧなどの静止画像として保存しておき、所用のキー操作を用いてこれを伝送するというものであった。
【０００３】
このような所用のキー操作の手間を省く方法として、音声認識を用いたテレビ会議システムがある（例えば、特許文献１参照。）。図１２にこのテレビ会議システムの構成の一例を示す。
【０００４】
図１２を参照すると、従来のテレビ会議システムは送信装置５０と受信装置５１とで構成されている。送信装置５０は、音声取り込み部３、カメラなどの撮像部４、取り込まれた音声を符号化する音声エンコーダ５、取り込まれた動画像を符号化する動画エンコーダ６を備えている。さらに、静止画像データベース５２と、静止画像データベース５２から取り込まれた静止画データを符号化する静止画エンコーダ５３を備えている。静止画像データベース５２には会議で使用する補助資料である静止画像データがキーワードとなる音声とともに保存されている。
【０００５】
音声エンコーダ５で得られた音声、動画エンコーダ６で得られた動画、および静止画エンコーダ５３で得られた静止画圧縮データは、それぞれ多重化部５４により多重化されて送信部７を介して受信装置５１に向けて送信される。例えば、静止画像データベース５２に保存されている補助画像は、あらかじめ先に受信装置５１に送信されるようにする。受信装置５１は、受信された多重化データを個々の圧縮データに分離する多重分離部５５と、音声、動画および静止画圧縮データをそれぞれ復号化する音声デコーダ９、動画デコーダ１０、静止画デコーダ５６を備えている。さらに、音声認識部５８と静止画データベース５７を備えることを特徴とする。
【０００６】
受信装置５１において、あらかじめ先に受信した補助画像データは、静止画像データベース５７に保持しておく。また、キーワードは、音声認識部５８に登録されて、静止画データベース５７内の特定の静止画像データと関連付けられる。テレビ会議中、受信部８を介して受信された多重化データは多重分離部５５で動画および音声圧縮データに分離され、動画デコーダ１０、音声デコーダ９で復号化された後、各々表示部１２、音声出力部１１に出力される。同時に、音声デコーダ９の出力データは音声認識部５８に入力され、認識された音声データが上記登録されたキーワードと一致した場合には、その結果がデータ判定部５９に送られる。データ判定部５９では、認識されたキーワードに対応する静止画像データを静止画データベース５７から選択し、選択された静止画像データが補助画像として表示部１２に表示される。
【０００７】
以上のような仕組みにより、特定のキー操作を行うことなく、相手側に補助画像を表示させることが可能となることが示されている。
【０００８】
リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させることが可能な、より操作性の高い通信装置と通信方法が望まれる。
【０００９】
さらに、より操作性の高い通信装置と通信方法において、画像表示に係る資源の消費を減少させたより操作性の高い通信装置と通信方法が望まれる。
【００１０】
【特許文献１】
特開平１１−３５５７４７号公報
【００１１】
【発明が解決しようとする課題】
本発明が解決しようとする課題は、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させることが可能な、より操作性の高い通信装置と通信方法を提供することにある。
【００１２】
さらに、この通信装置とこの通信方法において、画像表示に係る資源の消費を減少させたより操作性の高い通信装置と通信方法を提供することにある。
【００１３】
【課題を解決するための手段】
以下に、［発明の実施の形態］で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明の実施の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１４】
音声と画像を送信する送信部（７）と、送信者のカメラ画像を撮影する撮像部（４）と、入力音声から語句を認識する音声認識部（１３）と、前記語句が登録されているキーワードに一致していることを検出するキーワード検出部（１４）と、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部（１５）と、入力画像切替部（１６）とを具備し、前記入力画像切替部（１６）は、前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて、前記送信部（７）に出力し、前記送信部（７）は、前記入力画像切替部（１６）から出力された画像を送信する。
【００１５】
さらに、前記補助画像選出部（１５）は、登録キーワードに関連付けられた特定の静止画像を予め格納する静止画像格納部（２２）と、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出す画像読み出し部（２３）と、前記読み出された静止画像の画像フォーマットを変換する画像フォーマット変換部（２４）とを具備し、前記画像読み出し部（２３）は、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出し、前記読み出された静止画像を前記画像フォーマット変換部（２４）へ通知し、前記画像フォーマット変換部（２４）は、前記通知された静止画像の画像フォーマットを変換し、前記補助画像として前記入力画像切替部（１６）に出力する。
【００１６】
さらに、前記補助画像選出部（１５）は、動画データを含むムービーファイルを格納するムービーファイル格納部（３０）と、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出すムービーファイル読み出し部（３１）と、前記ムービーファイル読み出し部（３１）が読み出したムービーファイルから動画データを抽出する動画データ抽出部（３２）と、前記動画データ抽出部（３２）が抽出した動画データの動画フォーマットを変換する動画フォーマット変換部（３３）とを具備し、前記ムービーファイル読み出し部（３１）は、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出し、前記読み出されたムービーファイルを前記動画データ抽出部（３２）へ通知し、動画データ抽出部（３２）は、前記通知されたムービーファイルから動画データを抽出し、前記抽出した動画データを前記動画フォーマット変換部（３３）へ通知し、前記動画フォーマット変換部（３３）は、前記通知された動画データの動画フォーマットに変換し、前記補助画像として前記入力画像切替部（１６）に出力する。
【００１７】
さらに、前記キーワード検出部（１４）は、前記検出に応答して、前記入力画像切替部（１６）が出力する画像を、前記カメラ画像から前記補助画像に切り替える切替信号を出力し、前記入力画像切替部（１６）は前記切替信号に応答して、前記入力画像切替部（１６）が出力する画像を前記カメラ画像から前記補助画像に切り替える。
【００１８】
さらに、前記キーワード検出部（１４）は、特定キーワードの検出に応答して、前記入力画像切替部（１６）が出力する画像を、前記補助画像から前記カメラ画像に切り替える特定切替信号を出力し、前記入力画像切替部（１６）は前記特定切替信号に応答して、前記入力画像切替部（１６）が出力する画像を前記補助画像から前記カメラ画像に切り替える。
【００１９】
音声と画像を送信する送信部（７）と、送信者のカメラ画像を撮影する撮像部（４）と、入力音声から語句を認識する音声認識部（１３）と、前記語句が登録されているキーワードに一致していることを検出するキーワード検出部（１４）と、前記キーワード検出部（１４）が、前記登録されているキーワードを検出したことに応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部（１５）と、画像合成部（４１）と、入力画像切替部（４２）とを具備し、前記画像合成部（４１）は、前記検出に応答して前記カメラ画像と前記補助画像を合成した合成画像を作成し、前記合成画像を前記入力画像切替部（４２）に出力し、前記入力画像切替部（４２）は、前記検出に応答して前記カメラ画像と前記合成画像とを切り替えて、前記送信部（７）に出力し、前記送信部（７）は、前記入力画像切替部（４２）から出力された画像を送信する。
【００２０】
さらに、前記補助画像選出部（１５）は、登録キーワードに関連付けられた特定の静止画像を予め格納する静止画像格納部（２２）と、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出す画像読み出し部（２３）と、前記静止画像の画像フォーマットを変換する画像フォーマット変換部（２４）とを具備し、前記画像読み出し部（２３）は、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部（２２）から読み出し、前記読み出された静止画像を前記画像フォーマット変換部（２４）へ通知し、前記画像フォーマット変換部（２４）は、前記通知された静止画像の画像フォーマットを変換して前記画像合成部（４１）に出力する。
【００２１】
さらに、前記補助画像選出部（１５）は、動画データを含むムービーファイルを格納するムービーファイル格納部（３０）と、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出すムービーファイル読み出し部（３１）と、前記ムービーファイル読み出し部（３１）が読み出したムービーファイルから動画データを抽出する動画データ抽出部（３２）と、前記動画データ抽出部（３２）が抽出した動画データの動画フォーマットを変換する動画フォーマット変換部（３３）とを具備し、前記ムービーファイル読み出し部（３１）は、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部（３０）から読み出し、前記読み出されたムービーファイルを前記動画データ抽出部（３２）へ通知し、動画データ抽出部（３２）は、前記通知されたムービーファイルから動画データを抽出し、前記抽出した動画データを前記動画フォーマット変換部（３３）へ通知し、前記動画フォーマット変換部（３３）は、前記通知された動画データの動画フォーマットに変換して前記画像合成に出力する。
【００２２】
さらに、前記キーワード検出部（１４）は、前記検出に応答して、前記入力画像切替部（４２）が出力する画像を切り替える切替信号を出力し、前記入力画像切替部（４２）は前記切替信号に応答して、前記入力画像切替部（４２）が出力する画像を前記カメラ画像から前記合成画像に切り替える。
【００２３】
さらに、前記キーワード検出部（１４）は、特定キーワードの検出に応答して、前記入力画像切替部（４２）が出力する画像を、前記合成画像から前記カメラ画像に切り替える特定切替信号を出力し、前記入力画像切替部（４２）は前記特定切替信号に応答して、前記入力画像切替部（４２）が出力する画像を前記合成画像から前記カメラ画像に切り替える。
【００２４】
音声と画像を送信するステップと、送信者のカメラ画像を撮影するステップと、入力音声から語句を認識するステップと、前記語句が登録されているキーワードに一致していることを検出するステップと、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出するステップと、前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて出力するステップと、前記出力された前記カメラ画像、または、前記補助画像を送信するステップとを具備する通信方法を用いて通信を行う。
【００２５】
さらに、登録キーワードに関連付けられた特定の静止画像を予め格納するステップと、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、読み出すステップと、前記読み出された静止画像を通知するステップと、前記通知された静止画像の画像フォーマットを変換するステップと、前記変換された静止画像を出力するステップとを具備する通信方法を用いて通信を行う。
【００２６】
さらに、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを読み出すステップと、前記読み出されたムービーファイルから動画データを抽出するステップと、前記抽出した動画データの動画フォーマットを変換するステップと、前記変換された動画データを出力するステップとを具備する通信方法を用いて通信を行う。
【００２７】
さらに、前記検出に応答して、前記送信する画像を切り替える切替信号を出力するステップと、前記切替信号に応答して、前記送信する画像を前記カメラ画像から前記補助画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００２８】
さらに、特定キーワードの検出に応答して、前記送信する画像を、前記補助画像から前記カメラ画像に切り替える特定切替信号を出力するステップと、前記特定切替信号に応答して、前記送信する画像を前記補助画像から前記カメラ画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００２９】
音声と画像を送信するステップと、送信者のカメラ画像を撮影するステップと、
入力音声から語句を認識するステップと、前記語句が登録されているキーワードに一致していることを検出するステップと、前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出するステップと、前記カメラ画像と前記補助画像を合成した合成画像を作成するステップと、前記検出に応答して前記カメラ画像と前記合成画像とを切り替えて出力するステップと、前記出力された画像を送信するステップとを具備する通信方法を用いて通信を行う。
【００３０】
さらに、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を読み出すステップと、前記読み出された静止画像を通知するステップと、前記通知された静止画像の画像フォーマットを変換するステップと、前記変換された静止画像を出力するステップとを具備する通信方法を用いて通信を行う。
【００３１】
さらに、前記登録キーワードに関連付けられた特定のムービーファイルを、読み出すステップと、前記読み出されたムービーファイルから動画データを抽出するステップと、前記抽出した動画データの動画フォーマットを変換するステップと、前記動画フォーマットを変換された動画データを出力するステップと、
を具備する通信方法を用いて通信を行う。
【００３２】
さらに、前記検出に応答して、前記入力画像切替部（１６）に入力される画像を切り替える切替信号を出力するステップと、前記切替信号に応答して、入力される画像を前記カメラ画像から前記合成画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００３３】
さらに、特定キーワードの検出に応答して、前記送信する画像を、前記合成画像から前記カメラ画像に切り替える特定切替信号を出力するステップと、前記特定切替信号に応答して、前記送信する画像を前記合成画像から前記カメラ画像に切り替えるステップとを具備する通信方法を用いて通信を行う。
【００３４】
【発明の実施の形態】
以下に、図面を用いて本発明の実施の形態を述べる。
【００３５】
（実施例の構成）
図１は、本実施の形態の概略構成を示すブロック図である。本実施の形態に係るテレビ電話は、一つのテレビ電話装置が送信装置１と受信装置２の両方を備えるものとする。以下に述べる説明では、理解を容易にするために送信側の受信装置に関する説明と、受信側の送信装置に関する説明は省略する。
【００３６】
図１を参照すると、本実施の形態の構成は送信装置１と受信装置２と情報通信ネットワークで構成される。
【００３７】
情報通信ネットワークは、優先通信または無線通信を使用した、双方向の通信データの送受信が可能なネットワークである。
【００３８】
送信装置１は、送信者が入力した音声と、受信装置で表示する画像を情報通信ネットワークを介して送信可能なデータ形式に変換して、受信装置に送信する。
【００３９】
受信装置２は、情報通信ネットワークを介して送信装置１から送信されたデータを受信して音声、画像を出力表示する。
【００４０】
送信装置１は、さらに、音声取り込み部３、撮像部４、音声エンコーダ５、動画エンコーダ６、多重化部１７、音声認識部１３、キーワード判定部１４、補助画像選出部１５、入力画像切り替えスイッチ１６、送信部７を備える。
【００４１】
撮像部４は、デジタルカメラなどの静止画像撮影装置、または、ビデオカメラなどの動画撮影装置である。送信装置１に内蔵、又は、外部接続され、送信者の映像をリアルタイムで撮像し、撮像した画像を電気信号に変換して画像データとして入力画像切り替えスイッチ１６に出力する。
【００４２】
音声取り込み部３は、送信者の発声する音声などを集音する集音装置である。送信装置１に内蔵、又は、外部接続され、送信者の発声する音声をリアルタイムで集音し、集音した音声を電気信号に変換して、変換した音声を音声データとして音声認識部１３と音声エンコーダ５に出力する。
【００４３】
音声認識部１３は、音声取り込み部３から出力された音声データを入力し、入力した音声データにどのような語句が含まれるのかを自動的に認識する機能を有する情報処理機能である。この音声認識処理で認識された語句を認識語句データとして出力する。
【００４４】
キーワード判定部１４は、音声認識部１３から出力された認識語句データが、予め登録されたキーワードに合致するかどうかを判定処理する情報処理機能である。入力画像切り替えスイッチ１６のスイッチを切り替えるための制御信号を入力画像切り替えスイッチ１６に出力し、補助画像を選出するための命令を補助画像選出部１５に出力する。キーワード判定部１４から出力される制御信号と、補助画像を選出するための命令はは、キーワード判定部１４による判定処理の結果に基づいて出力される。
【００４５】
補助画像選出部１５は、キーワード判定部１４から送信された補助画像選出命令とキーワードを受信する。受信した命令に基づいて、キーワードに対応する画像データを選出し、入力画像切り替えスイッチ１６に出力する。
【００４６】
入力画像切り替えスイッチ１６は、撮像部４から出力される画像データと補助画像選出部１５から出力される補助画像データの少なくとも一方を動画エンコーダ６に出力するための切り替えスイッチである。動画エンコーダ６に出力する画像データの切り替えは、キーワード判定部１４から出力される切り替えスイッチ制御信号で行う。
【００４７】
動画エンコーダ６は、撮像部４から出力された画像データ、または、補助画像入力装置１５から出力された補助画像データを受信装置２に送信するために、データ形式を変換する画像データ変換機能である。変換形式は動画データを情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【００４８】
音声エンコーダ５は、音声取り込み部３から出力された音声データを、受信装置２に送信するためにデータ形式を変換する音声データ変換機能である。変換形式は音声データが情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【００４９】
多重化部１７は、動画エンコーダ６でデータ形式変換を行った送信用動画データと、音声エンコーダ５でデータ形式変換を行った送信用音声データとを多重化するデータ合成機能である。多重化されたデータは、多重化データとして送信部７へ出力する。
【００５０】
送信部７は、データ送信機能である。多重化部１７から出力された多重化データを受信装置２の受信部８へ情報通信ネットワークを介して送信する。
【００５１】
受信装置２は、さらに、受信部８、多重分離部１８、音声デコーダ９、動画デコーダ１０、音声出力部１１、表示部１２を備える。
【００５２】
受信部８は、データ受信機能である。送信装置１の送信部７から送信された多重化データを情報通信ネットワークを介して受信し、受信した多重化データを多重分離部１８へ出力する。
【００５３】
多重分離部１８は、受信部８から送られた多重化データを音声データと動画データに分離するデータ分離機能である。分離した音声データを音声デコーダ９に出力し、分離した動画データを動画デコーダ１０に出力する。
【００５４】
音声デコーダ９は、音声データ形式変換機能である。多重分離部１８が分離した音声データを、情報通信ネットワークで送信されるのに適した形式から、音声出力部１１で出力可能な形式に変換して出力する。
【００５５】
動画デコーダ１０は、画像データ形式変換機能である。多重分離部１８が分離した動画データを情報通信ネットワークで送信されるのに適した形式から、表示部１２で表示可能な形式に変換して出力する。
【００５６】
音声出力部１１は、スピーカなどの音声出力装置である。音声デコーダ９で形式変換された音声データを音声にして出力する。
【００５７】
表示部１２は、画像表示装置である。動画デコーダ１０で形式変換された動画データを表示画像にして出力する。
【００５８】
図２は、補助画像に静止画像を用いる場合のキーワード判定部１４と補助画像選出部１５の内部構成を詳細に示したブロック図である。
【００５９】
図２を参照すると、キーワード判定部１４は、さらに、登録キーワード格納メモリ２０、キーワードマッチング部２１を含み、補助画像選出部１５は、さらに、静止画像格納メモリ２２、キーワード対応画像読み出し部２３、画像フォーマット変換部２４を含む。
【００６０】
登録キーワード格納メモリ２０は、予め登録されたキーワードを格納する記憶装置である。キーワード登録者が予め登録し、キーワード判定に用いられるキーワードを複数記憶する。
【００６１】
キーワードマッチング部２１は、音声認識部から出力された認識語句データに合致するキーワードが登録キーワード格納メモリ２０に登録されているかどうかの検索処理を行う情報処理機能である。音声認識部から出力された認識語句データの入力に応答して、登録キーワード格納メモリ２０を検索し、その検索結果、認識語句データに合致するキーワードが登録されている場合と、認識語句データに合致するキーワードが登録されていない場合の各々に対応する制御信号を出力する。また、その検索結果、認識語句データに合致するキーワードが登録されている場合、キーワード対応補助画像の読み出し命令をキーワード対応画像読み出し部２３に出力する。
【００６２】
静止画像格納メモリ２２は、補助画像に用いられる静止画像を予め格納する記憶装置である。本実施例のテレビ電話での通話中に、補助画像として用いられる可能性のある静止画像と、その静止画像を出力するために用いられるキーワードを対応させて格納する。
【００６３】
キーワード対応画像読み出し部２３は、静止画像格納メモリ２２から静止画像の読み出し処理をする情報処理機能である。キーワードマッチング部２１から出力されたキーワード対応補助画像読み出し命令に応答して、対応する静止画像を静止画像格納メモリ２２から抽出し、画像フォーマット変換部２４へ出力する。
【００６４】
画像フォーマット変換部２４は、キーワード対応画像読み出し部２３が読み出した静止画像の画像フォーマットを変換するデータ変換機能である。キーワード対応画像読み出し部２３が出力する補助画像用静止画像の画像フォーマットを動画エンコーダ６に入力するのに適した画像フォーマットに変換する。例えば当該静止画像がＪＰＥＧ形式であった場合、これを伸張してＹＵＶ形式にするなどである。
【００６５】
図３は、補助画像に動画像を用いる場合のキーワード判定部１４と補助画像選出部１５の内部構成を詳細に示したブロック図である。
【００６６】
図３を参照すると、キーワード判定部１４は、さらに、登録キーワード格納メモリ２０、キーワードマッチング部２１を含み、補助画像選出部１５は、さらに、ムービーファイル格納メモリ３０、キーワード対応ファイル読み出し部３１、動画データ抽出部３２、動画フォーマット変換部３３を含む。
【００６７】
登録キーワード格納メモリ２０は、予め登録されたキーワードを格納する記憶装置である。キーワード登録者が予め登録し、キーワード判定に用いられるキーワードを複数記憶する。
【００６８】
キーワードマッチング部２１は、音声認識部から出力された認識語句データに合致するキーワードが登録キーワード格納メモリ２０に登録されているかどうかの検索処理を行う情報処理機能である。音声認識部から出力された認識語句データの入力に応答して、登録キーワード格納メモリ２０を検索し、その検索結果、認識語句データに合致するキーワードが登録されている場合と、認識語句データに合致するキーワードが登録されていない場合の各々に対応する制御信号を出力する。また、その検索結果、認識語句データに合致するキーワードが登録されている場合、キーワード対応補助画像の読み出し命令をキーワード対応ファイル読み出し部３１に出力する。
【００６９】
ムービーファイル格納メモリ３０は、補助画像に用いられるムービーファイルを予め格納する記憶装置である。本実施例のテレビ電話での通話中に、補助画像として用いられる可能性のあるムービーファイルと、そのムービーファイルを出力するために用いられるキーワードを対応させて格納する。
【００７０】
キーワード対応ファイル読み出し部３１は、ムービーファイル格納メモリ３０からムービーファイルの読み出し処理をする情報処理機能である。キーワードマッチング部２１から出力されたキーワード対応補助画像読み出し命令に応答して、対応するムービーファイルをムービーファイル格納メモリ３０から抽出し、動画データ抽出部３２へ出力する。
【００７１】
動画データ抽出部３２は、ムービーファイルを分離し、画像データを取り出すデータ抽出機能である。動画データ抽出部３２で取り出された画像データは、画像フォーマット変換部２４に出力される。
【００７２】
動画フォーマット変換部３３は、キーワード対応ファイル読み出し部３１が読み出した静止画像の画像フォーマットを変換するデータ変換機能である。動画データ抽出部３２が出力する補助画像用画像データの画像フォーマットを動画エンコーダ６に入力するのに適した画像フォーマットに変換する。例えばＹＵＶ形式などである。変換された動画データは各フレーム毎、動画エンコーダ６に入力されていく。
【００７３】
図４は、登録キーワード格納メモリ２０に格納された登録キーワードの一例を示す登録キーワードデータテーブルである。図４を参照すると、登録キーワードデータテーブルは、本実施例のテレビ電話利用者によって予め登録されたキーワードを格納する。格納するキーワードは、そのキーワードを登録する場合に使用されたテキストデータと、実際に音声認識に使用される音声データとを対応させて格納する。
【００７４】
図５は、静止画像格納メモリ２２に格納された画像データと登録キーワードの対応の一例を示す静止画像データテーブルである。図５を参照すると、静止画像データテーブルは、キーワード対応補助画像の読み出し命令に含まれるキーワードと、静止画像データを対応させて格納し、キーワード対応補助画像の読み出し命令を受け取ったキーワード対応画像読み出し部２３が補助画像用静止画像を抽出するために用いられる。
【００７５】
図６は、ムービーファイル格納メモリ３０に格納された動画データと登録キーワードの対応の一例を示すムービーファイルデータテーブルである。図６を参照すると、ムービーファイルデータテーブルは、キーワード対応補助画像の読み出し命令に含まれるキーワードと、ムービーファイルデータを対応させて格納し、キーワード対応補助画像の読み出し命令を受け取ったキーワード対応ファイル読み出し部３１が補助画像用ムービーファイルを抽出するために用いられる。
【００７６】
（実施例の動作）
次に、図面を用いて本発明の実施の形態の動作について述べる。
【００７７】
図７は、本実施の形態の動作において、補助画像に静止画像を用いた場合の送信側の動作を示す流れ図である。
【００７８】
図７を参照すると、本実施の形態に述べるテレビ電話の利用者は、ステップＳ１０１において、通話のための音声を音声取り込み部３から入力する。音声取り込み部３は、ステップＳ１０１で入力された音声を電気信号に変換し、音声データとして音声認識部１３と音声エンコーダ５に出力する。
【００７９】
ステップＳ１０３において、音声取り込み部３から出力された音声データは、音声認識部１３に入力される。音声認識部１３は、入力した音声データにどのような語句が含まれるのかを自動的に認識する音声認識処理を行い、認識された語句を認識語句データとして出力する。
【００８０】
音声認識部１３から出力された認識語句データはキーワード判定部１４に送られる。キーワード判定部１４は、ステップＳ１０５において、認識語句データに登録キーワードが含まれるかどうかの判定を行う。ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれる場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓが接続するように制御する制御信号と、補助画像を読み出すためのキーワード対応補助画像の読み出し命令を出力し、ステップＳ１０７へ進む。
【００８１】
ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれない場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の入力画像切り替えスイッチの端子Ａと端子Ｓが接続するように制御する制御信号を出力し、ステップＳ１０９へ進む。
【００８２】
ステップＳ１０７において、キーワード判定部１４から出力された補助画像を読み出すためのキーワード対応補助画像の読み出し命令は、補助画像選出部１５へ入力される。キーワード対応補助画像読み出し命令を入力された補助画像選出部１５は、キーワード対応画像読み出し部２３で命令を実行する。キーワード対応画像読み出し部２３は、キーワード対応静止画像を静止画像格納メモリ２２から読み出し、読み出したキーワード対応補助画像を画像フォーマット変換部２４へ出力する。
【００８３】
ステップＳ１１１において、画像フォーマット変換部２４は、キーワード対応画像読み出し部２３が出力する補助画像用静止画像の画像フォーマットを、動画エンコーダ６に入力するのに適した画像フォーマットに変換し、入力画像切り替えスイッチ１６へ出力する。
【００８４】
ステップＳ１１３において、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓを経由し、補助画像選出部１５から出力された補助静止画像は、動画エンコーダ６に入力される。
【００８５】
ステップＳ１０９において、ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれない場合、入力画像切り替えスイッチ１６は、画像切り替えスイッチの端子Ａと端子Ｓが接続するように制御し、撮像部４から出力されたカメラ画像を動画エンコーダに入力する。
【００８６】
ステップＳ１１５において、動画エンコーダ６は、撮像部４から出力されたカメラ画像データ、または、補助画像選出部１５から出力された補助静止画像データを、ネットワークを経由して送信するのに適した形式に変換した送信用動画データを作成し、多重化部１７に出力する。
【００８７】
ステップＳ１１７において、多重化部１７は、ステップＳ１０１で音声取り込み部３から出力され、音声エンコーダ５でデータ形式変換を行った送信用音声データと、ステップＳ１１５で動画エンコーダ６が出力した送信用動画データを多重化し多重化データとして送信部７へ出力する。
【００８８】
ステップＳ１１９において、送信部７は、多重化部１７から出力された多重化データを情報通信ネットワークを介して送信する。
【００８９】
図８は、本実施の形態の動作において、受信側の動作を示す流れ図である。
【００９０】
ステップＳ２０１において、受信部８は、図７のステップＳ１１９で送信部７から送信された多重化データを情報通信ネットワークを介して受信し、受信した多重化データを多重分離部１８に出力する。
【００９１】
ステップＳ２０３において、多重分離部１８は受信部８から出力された多重化データを、音声データと動画データに分離する。分離した音声データを音声デコーダ９に出力し、分離した動画データを動画デコーダ１０に出力する。
【００９２】
ステップＳ２０５において、動画デコーダ１０は、多重分離部１８が分離した動画データを情報通信ネットワークで送信されるのに適した形式から、表示部１２で表示可能な形式に変換して出力する。
【００９３】
ステップＳ２０７において、表示部１２は、動画デコーダ１０で形式変換されて出力された動画データを表示画像にして表示する。
【００９４】
ステップＳ２０９において、音声デコーダ９は、多重分離部１８が分離した音声データを、情報通信ネットワークで送信されるのに適した形式から、音声出力部１１で出力可能な形式に変換して出力する。
【００９５】
ステップＳ２１１において、音声出力部１１は、音声デコーダ９で形式変換されて出力された音声データを音声にして出力する。
【００９６】
図９は、本実施の形態の動作において、補助画像にムービーファイルを用いた場合の流れ図である。
【００９７】
図９を参照すると、本実施の形態に述べるテレビ電話の利用者は、ステップＳ３０１において、通話のための音声を音声取り込み部３から入力する。音声取り込み部３は、ステップＳ３０１で入力された音声を電気信号に変換し、音声データとして音声認識部１３と音声エンコーダ５に出力する。
【００９８】
ステップＳ３０３において、音声取り込み部３から出力された音声データは、音声認識部１３に入力される。音声認識部１３は、入力した音声データにどのような語句が含まれるのかを自動的に認識する音声認識処理を行い、認識された語句を認識語句データとして出力する。
【００９９】
音声認識部１３から出力された認識語句データはキーワード判定部１４に送られる。キーワード判定部１４は、ステップＳ３０５において、認識語句データに登録キーワードが含まれるかどうかの判定を行う。ステップＳ３０５における判定の結果、認識語句データに登録キーワードが含まれる場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓが接続するように制御する制御信号と、補助画像を読み出すためのキーワード対応補助画像の読み出し命令を出力し、ステップＳ３０７へ進む。
【０１００】
ステップＳ３０５における判定の結果、認識語句データに登録キーワードが含まれない場合、キーワード判定部１４は、入力画像切り替えスイッチ１６の端子Ａと端子Ｓが接続するように制御する制御信号を出力し、ステップＳ３０９へ進む。
【０１０１】
ステップＳ３０７において、キーワード判定部１４から出力された補助画像を読み出すためのキーワード対応補助画像の読み出し命令は、補助画像選出部１５へ入力される。キーワード対応補助画像読み出し命令を入力された補助画像選出部１５は、キーワード対応ファイル読み出し部３１でこの命令を実行する。キーワード対応ファイル読み出し部３１は、ムービーファイルをムービーファイル格納メモリ３０から読み出し、読み出したキーワード対応ムービーファイルを動画データ抽出部３２へ出力する。
【０１０２】
ステップＳ３１１において、画像データ抽出部は、キーワード対応ファイル読み出し部３１から出力されたキーワード対応ムービーファイルから画像データを抽出し、抽出した画像データを動画フォーマット変換部３３へ出力する。
【０１０３】
ステップＳ３１３において、動画フォーマット変換部３３は、動画データ抽出部３２が出力する補助画像動画の動画フォーマットを、動画エンコーダ６に入力するのに適した動画フォーマットに変換し、入力画像切り替えスイッチ１６へ出力する。
【０１０４】
ステップＳ３１５において、入力画像切り替えスイッチ１６の端子Ｂと端子Ｓを経由し、補助画像選出部１５から出力された補助静止画像は、動画エンコーダ６に入力される。
【０１０５】
ステップＳ３０９において、ステップＳ１０５における判定の結果、認識語句データに登録キーワードが含まれない場合、入力画像切り替えスイッチ１６は、画像切り替えスイッチの端子Ａと端子Ｓが接続するように制御し、撮像部４から出力されたカメラ画像を動画エンコーダに入力する。
【０１０６】
ステップＳ３１７において、動画エンコーダ６は、撮像部４から出力されたカメラ画像データ、または、補助画像選出部１５から出力された補助動画像データを、ネットワークを経由して送信するのに適した形式に変換して送信用動画データを作成し、多重化部１７に出力する。
【０１０７】
ステップＳ３１９において、多重化部１７は、ステップＳ３０１で音声取り込み部３から出力され、音声エンコーダ５でデータ形式変換を行った送信用音声データと、ステップＳ３１７で動画エンコーダ６が出力した送信用動画データを多重化し多重化データとして送信部７へ出力する。
【０１０８】
ステップＳ３２１において、送信部７は、多重化部１７から出力された多重化データを情報通信ネットワークを介して送信する。
【０１０９】
送信部７から送信された多重化データは、受信装置２の受信部８で受信され、補助画像に静止画像を用いた場合と同じように表示部１２で表示される。
【０１１０】
なお、補助画像に静止画像を用いた場合、または、補助画像に動画像を用いた場合における補助画像の表示期間は一定時間としてもよいし、予め表示を終了するキーワードを登録しておき、そのキーワードを発声することにより終了させてもよい。すなわち、キーワードマッチング部２１で表示終了を表すキーワードが検索された場合、入力画像切り替えスイッチ１６は端子Ｓと端子Ａとを接続する。撮像部４が出力するカメラ画像は、入力画像切り替えスイッチ１６の端子Ａと端子Ｓとを経由して動画エンコーダ６に出力される。
【０１１１】
以上により、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させ、より操作性の高い通信装置と通信方法を提供することができ、さらに、画像表示に係る資源の消費を減少させる効果がある。
【０１１２】
さらに、上記の通信装置と通信方法において、簡易なプロトコルを用いてリアルタイムで画像を表示する通信を実現するのに効果がある。
【０１１３】
次に、本発明における第２の実施の形態について述べる。
【０１１４】
（第２の実施例の構成）
図１０は、本発明の第２の実施の形態の概略構成を示すブロック図である。本第２の実施の形態は、送信装置４０に画像合成部４１を設け、カメラ入力画像と補助画像を合成した動画データを作成する。本第２の実施の形態に係るテレビ電話は、一つのテレビ電話装置が送信装置４０と受信装置２の両方を備えるものとする。以下に述べる第２の実施の形態の説明では、理解を容易にするために送信側の受信装置に関する説明と、受信側の送信装置に関する説明を省略する。また、受信側の動作は第１の実施の形態で述べた動作と概ね同様である。
【０１１５】
図１０を参照すると、本発明の第２の実施の形態は、送信装置４０と受信装置２と情報通信ネットワークで構成される。
【０１１６】
情報通信ネットワークは、優先通信または無線通信を使用した、双方向の通信データの送受信が可能なネットワークである。
【０１１７】
送信装置４０は、送信者が入力した音声と、受信装置２で表示する画像を情報通信ネットワークを介して送信可能なデータ形式に変換して、受信装置２に送信する。
【０１１８】
受信装置２は、情報通信ネットワークを介して送信装置１から送信されたデータを受信して音声、画像を出力表示する。
【０１１９】
送信装置４０は、さらに、音声取り込み部３、撮像部４、音声エンコーダ５、動画エンコーダ６、多重化部１７、音声認識部１３、キーワード判定部１４、補助画像選出部１５、入力画像切り替えスイッチ４２、画像合成部４１、送信部７を備える。
【０１２０】
撮像部４は、デジタルカメラなどの静止画像撮影装置、または、ビデオカメラなどの動画撮影装置である。送信装置４０に内蔵、又は、外部接続され、送信者の映像をリアルタイムで撮像し、撮像した画像を電気信号に変換して画像データとして画像切り替え部４２に出力する。
【０１２１】
音声取り込み部３は、送信者の発声する音声などを集音する集音装置である。送信装置１に内蔵、又は、外部接続され、送信者の発声する音声をリアルタイムで集音し、集音した音声を電気信号に変換して、変換した音声を音声データとして音声認識部１３に出力する。
【０１２２】
音声認識部１３は、音声取り込み部３から出力された音声データを入力し、入力した音声データにどのような語句が含まれるのかを自動的に認識する機能を有する情報処理機能である。この音声認識処理で認識された語句を認識語句データとして出力する。
【０１２３】
キーワード判定部１４は、音声認識部１３から出力された認識語句データが、予め登録されたキーワードに合致するかどうかを判定処理する情報処理機能である。入力画像切り替えスイッチ１６のスイッチを切り替えるための制御信号を入力画像切り替えスイッチ１６に出力し、補助画像を選出するための命令を補助画像選出部１５に出力する。キーワード判定部１４から出力される制御信号と、補助画像を選出するための命令は、キーワード判定部１４による判定処理の結果に基づいて出力される。
【０１２４】
補助画像選出部１５は、キーワード判定部１４から送信された補助画像選出命令とキーワードを受信する。受信した命令に基づいて、キーワードに対応する画像データを選出し、入力画像切り替えスイッチ４２に出力する。
【０１２５】
入力画像切り替えスイッチ４２は、撮像部４から出力される画像データと補助画像選出部１５から出力される補助画像データの少なくとも一方を動画エンコーダ６に出力するための切り替えスイッチである。動画エンコーダ６に出力する画像データの切り替えは、キーワード判定部１４から出力される切り替えスイッチ制御信号で行う。
【０１２６】
画像合成部４１は、カメラ画像と補助画像を合成した合成画像を作成する画像合成機能である。
【０１２７】
動画エンコーダ６は、撮像部４から出力された画像データ、または、補助画像入力装置１５から出力された補助画像データを受信装置２に送信するために、データ形式を変換する画像データ変換機能である。変換形式は動画データを情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【０１２８】
音声エンコーダ５は、音声取り込み部３から出力された音声データを、受信装置２に送信するためにデータ形式を変換する音声データ変換機能である。変換形式は音声データが情報通信ネットワークを介し最適な状態で受信装置２に送信されるような形式を用いる。
【０１２９】
多重化部１７は、動画エンコーダ６でデータ形式変換を行った送信用動画データと、音声エンコーダ５でデータ形式変換を行った送信用音声データとを多重化するデータ合成機能である。多重化されたデータは、多重化データとして送信部７へ出力する。
【０１３０】
送信部７は、データ送信機能である。多重化部１７から出力された多重化データを受信装置２の受信部８へ情報通信ネットワークを介して送信する。
【０１３１】
（第２の実施例の動作）
図１１は、本発明の第２の実施例の動作を示す流れである。図１１を参照すると、本実施の形態に述べるテレビ電話の利用者は、ステップＳ４０１において、通話のための音声を音声取り込み部３から入力する。音声取り込み部３は、ステップＳ４０１で入力された音声を電気信号に変換し、音声データとして音声認識部１３と音声エンコーダ５に出力する。
【０１３２】
ステップＳ４０３において、音声取り込み部３から出力された音声データは、音声認識部１３に入力される。音声認識部１３は、入力した音声データにどのような語句が含まれるのかを自動的に認識する音声認識処理を行い、認識された語句を認識語句データとして出力する。
【０１３３】
音声認識部１３から出力された認識語句データはキーワード判定部１４に送られる。キーワード判定部１４は、ステップＳ４０５において、認識語句データに登録キーワードが含まれるかどうかの判定を行う。ステップＳ４０５における判定の結果、認識語句データに登録キーワードが含まれる場合、キーワード判定部１４は、入力画像切り替えスイッチ４２の端子Ｓ１と端子Ｂ１が接続し、端子Ｂ２と端子Ｓ２が接続するように制御する制御信号を入力画像切り替えスイッチ４２へ出力し、さらに、補助画像を読み出すためのキーワード対応補助画像の読み出し命令を画像合成部４１へ出力してステップＳ４０７へ進む。
【０１３４】
ステップＳ４０５における判定の結果、認識語句データに登録キーワードが含まれない場合、キーワード判定部１４は、入力画像切り替えスイッチ４２の端子Ｓ１と端子Ａ１が接続し端子Ａ２と端子Ｓ２が接続するように制御する制御信号を入力画像切り替えスイッチ４２へ出力し、ステップＳ４０９へ進む。
【０１３５】
ステップＳ４０７において、キーワード判定部１４から出力されたキーワード対応補助画像読み出し命令は、補助画像選出部１５へ入力される。補助画像が静止画像であった場合、キーワード対応補助画像読み出し命令を入力された補助画像選出部１５は、キーワード対応画像読み出し部２３で命令を実行する。キーワード対応画像読み出し部２３は、キーワード対応静止画像を静止画像格納メモリ２２から読み出し、読み出したキーワード対応補助画像を画像フォーマット変換部２４へ出力し、画像フォーマット変換部２４は、キーワード対応画像読み出し部２３が出力する補助画像用静止画像の画像フォーマットを、動画エンコーダ６に入力するのに適した画像フォーマットに変換し、画像合成部４１へ出力する。
【０１３６】
補助画像が動画像であった場合、キーワード対応ファイル読み出し部３１でこの命令を実行する。キーワード対応ファイル読み出し部３１は、ムービーファイルをムービーファイル格納メモリ３０から読み出し、読み出したキーワード対応ムービーファイルを動画データ抽出部３２へ出力する。データ抽出部３２は、キーワード対応ファイル読み出し部３１から出力されたキーワード対応ムービーファイルから画像データを抽出し、抽出した補助画像データの動画フォーマットを、動画エンコーダ６に入力するのに適した動画フォーマットに変換し、画像合成部４１へ出力する。
【０１３７】
ステップＳ４１１において、画像合成部４１は、補助画像選出部が選出した静止画像または動画像と、撮像部から出力されたカメラ画像を合成して合成画像を作成し、入力画像切り替えスイッチ４２へ出力する。
【０１３８】
ステップＳ４０９において、ステップＳ４０５における判定の結果、認識語句データに登録キーワードが含まれない場合、入力画像切り替えスイッチ４２は端子Ｓ１と端子Ａ１を接続し、端子Ａ２と端子Ｓ２を接続する。撮像部４で撮影されたカメラ画像は端子Ｓ１、端子Ａ１、端子Ａ２、端子Ｓ２を経由して動画エンコーダ６に出力される。
【０１３９】
ステップＳ４１３において、動画エンコーダ６は、撮像部４から出力されたカメラ画像または、画像合成部４１で作成された合成画像をネットワークを経由して送信するのに適した形式に変換して送信用動画データを作成し、多重化部１７に出力する。
【０１４０】
ステップＳ４１５において、多重化部１７は、ステップＳ４０１で音声取り込み部３から出力され、音声エンコーダ５でデータ形式変換を行った送信用音声データと、ステップＳ４１５で動画エンコーダ６が出力した送信用動画データを多重化し多重化データとして送信部７へ出力する。
【０１４１】
ステップＳ４１７において、送信部７は、多重化部１７から出力された多重化データを情報通信ネットワークを介して送信する。
【０１４２】
送信部７から送信された多重化データは、受信装置２の受信部８で受信され、第１の実施の形態と同じように表示部１２で表示される。
【０１４３】
なお、補助画像に静止画像を用いた場合、または、補助画像に動画像を用いた場合における補助画像の表示期間は一定時間としてもよいし、予め表示を終了するキーワードを登録しておき、そのキーワードを発声することにより終了させてもよい。すなわち、キーワードマッチング部２１で表示終了を表すキーワードが検索された場合、入力画像切り替えスイッチ４２は端子Ｓ１と端子Ａ１とを接続し、端子Ｓ２と端子Ａ２とを接続する。撮像部４が出力するカメラ画像は、入力画像切り替えスイッチ４２の端子Ｓ１と端子Ａ１とを経由し、端子Ａ２と端子Ｓ２とを経由して動画エンコーダ６に出力される。
【０１４４】
以上により、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく主画像と同時に表示させ、より操作性の高い通信装置と通信方法を提供することができ、さらに、画像表示に係る資源の消費を減少させる効果がある。
【０１４５】
さらに、上記の通信装置と通信方法において、簡易なプロトコルを用いてリアルタイムで画像を表示する通信を実現するのに効果がある。
【０１４６】
【発明の効果】
本発明は、リアルタイムで画像を表示する通信装置を用いて通信を行う場合において、主画像以外の補助画像を、操作性を気にすることなく表示させることが可能な、より操作性の高い通信装置と通信方法の提供に効果がある。
【０１４７】
さらに、上記の通信装置と通信方法において、画像表示に係る資源の消費を減少させる効果がある。
【０１４８】
さらに、上記の通信装置と通信方法において、簡易なプロトコルを用いてリアルタイムで画像を表示する通信を実現するのに効果がある。
【図面の簡単な説明】
【図１】図１は、本実施の形態の概略構成を示すブロック図である。
【図２】図２は、補助画像に静止画像を用いる場合のキーワード判定部と補助画像選出部の内部構成を詳細に示したブロック図である。
【図３】図３は、補助画像に動画像を用いる場合のキーワード判定部と補助画像選出部の内部構成を詳細に示したブロック図である。
【図４】図４は、登録キーワードの一例を示す登録キーワードデータテーブルである。
【図５】図５は、画像データと登録キーワードの対応の一例を示す静止画像データテーブルである。
【図６】図６は、動画データと登録キーワードの対応の一例を示すムービーファイルデータテーブルである。
【図７】図７は、補助画像に静止画像を用いた場合の送信側の動作を示す流れ図である。
【図８】図８は、受信側の動作を示す流れ図である。
【図９】図９は、補助画像にムービーファイルを用いた場合の流れ図である。
【図１０】図１０は、本発明の第２の実施の形態の概略構成を示すブロック図である。
【図１１】図１１は、第２の実施例の動作を示す流れである。
【図１２】図１２は、従来技術の構成を示すブロック図である。
【符号の説明】
１ 送信装置
２ 受信装置
３ 音声取り込み部
４ 撮像部
５ 音声エンコーダ
６ 動画エンコーダ
７ 送信部
８ 受信部
９ 音声デコーダ
１０ 動画デコーダ
１１ 音声出力部
１２ 表示部
１３ 音声認識部
１４ キーワード判定部
１５ 補助画像選出部
１６ 入力画像切り替えスイッチ
１７ 多重化部
１８ 多重分離部
２０ 登録キーワード格納メモリ
２１ キーワードマッチング部
２２ 静止画像格納メモリ
２３ キーワード対応画像読み出し部
２４ 画像フォーマット変換部
３０ ムービーファイル格納メモリ
３１ キーワード対応ファイル読み出し部
３２ 動画データ抽出部
３３ 動画フォーマット変換部
４０ 送信装置
４１ 画像合成部
４２ 入力画像切り替えスイッチ
５０ 送信装置
５１ 受信装置
５２ 静止画像データベース
５３ 静止画エンコーダ
５４ 多重化部
５５ 多重分離部
５６ 静止画デコーダ
５７ 静止画像データベース
５８ 音声認識部
５９ データ判定部
Claims (20)
- 音声と画像を送信する送信部と、
送信者のカメラ画像を撮影する撮像部と、
入力音声から語句を認識する音声認識部と、
前記語句が登録されているキーワードに一致していることを検出するキーワード検出部と、
前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部と、
入力画像切替部と、
を具備し、
前記入力画像切替部は、前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて、前記送信部に出力し、
前記送信部は、前記入力画像切替部から出力された画像を送信する
通信装置。 - 請求項１に記載の通信装置において、
前記補助画像選出部は、登録キーワードに関連付けられた特定の静止画像を予め格納する静止画像格納部と、
前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部から読み出す画像読み出し部と、
前記読み出された静止画像の画像フォーマットを変換する画像フォーマット変換部とを具備し、
前記画像読み出し部は、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部から読み出し、前記読み出された静止画像を前記画像フォーマット変換部へ通知し、
前記画像フォーマット変換部は、前記通知された静止画像の画像フォーマットに変換し、前記補助画像として前記入力画像切替部に出力する
通信装置。 - 請求項１に記載の通信装置において、
前記補助画像選出部は、動画データを含むムービーファイルを格納するムービーファイル格納部と、
前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部から読み出すムービーファイル読み出し部と、
前記ムービーファイル読み出し部が読み出したムービーファイルから動画データを抽出する動画データ抽出部と、
前記動画データ抽出部が抽出した動画データの動画フォーマットを変換する動画フォーマット変換部と、
を具備し、
前記ムービーファイル読み出し部は、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部から読み出し、前記読み出されたムービーファイルを前記動画データ抽出部へ通知し、
動画データ抽出部は、前記通知されたムービーファイルから動画データを抽出し、前記抽出した動画データを前記動画フォーマット変換部へ通知し、
前記動画フォーマット変換部は、前記通知された動画データの動画フォーマットに変換し、前記補助画像として前記入力画像切替部に出力する
通信装置。 - 請求項２または３に記載の通信装置において、
前記キーワード検出部は、前記検出に応答して、前記入力画像切替部が出力する画像を、前記カメラ画像から前記補助画像に切り替える切替信号を出力し、
前記入力画像切替部は前記切替信号に応答して、前記入力画像切替部が出力する画像を前記カメラ画像から前記補助画像に切り替える
通信装置。 - 請求項４に記載の通信装置において、
前記キーワード検出部は、特定キーワードの検出に応答して、前記入力画像切替部が出力する画像を、前記補助画像から前記カメラ画像に切り替える特定切替信号を出力し、
前記入力画像切替部は前記特定切替信号に応答して、前記入力画像切替部が出力する画像を前記補助画像から前記カメラ画像に切り替える
通信装置。 - 音声と画像を送信する送信部と、
送信者のカメラ画像を撮影する撮像部と、
入力音声から語句を認識する音声認識部と、
前記語句が登録されているキーワードに一致していることを検出するキーワード検出部と、
前記キーワード検出部が、前記登録されているキーワードを検出したことに応答して、前記登録キーワードに関連付けられた特定の補助画像を選出する補助画像選出部と、
画像合成部と、
入力画像切替部と、
を具備し、
前記画像合成部は、前記検出に応答して前記カメラ画像と前記補助画像を合成した合成画像を作成し、前記合成画像を前記入力画像切替部に出力し、
前記入力画像切替部は、前記検出に応答して前記カメラ画像と前記合成画像とを切り替えて、前記送信部に出力し、
前記送信部は、前記入力画像切替部から出力された画像を送信する
通信装置。 - 請求項６に記載の通信装置において、
前記補助画像選出部は、登録キーワードに関連付けられた特定の静止画像を予め格納する静止画像格納部と、
前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部から読み出す画像読み出し部と、
前記静止画像の画像フォーマットを変換する画像フォーマット変換部と、
を具備し、
前記画像読み出し部は、前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部から読み出し、前記読み出された静止画像を前記画像フォーマット変換部へ通知し、
前記画像フォーマット変換部は、前記通知された静止画像の画像フォーマットを変換して前記画像合成部に出力する
通信装置。 - 請求項６に記載の通信装置において、
前記補助画像選出部は、動画データを含むムービーファイルを格納するムービーファイル格納部と、
前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部から読み出すムービーファイル読み出し部と、
前記ムービーファイル読み出し部が読み出したムービーファイルから動画データを抽出する動画データ抽出部と、
前記動画データ抽出部が抽出した動画データの動画フォーマットを変換する動画フォーマット変換部と、
を具備し、
前記ムービーファイル読み出し部は、前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを、前記ムービーファイル格納部から読み出し、前記読み出されたムービーファイルを前記動画データ抽出部へ通知し、
動画データ抽出部は、前記通知されたムービーファイルから動画データを抽出し、前記抽出した動画データを前記動画フォーマット変換部へ通知し、
前記動画フォーマット変換部は、前記通知された動画データの動画フォーマットに変換して前記画像合成に出力する
通信装置。 - 請求項７または８に記載の通信装置において、
前記キーワード検出部は、前記検出に応答して、前記入力画像切替部が出力する画像を、前記カメラ画像から前記合成画像に切り替える切替信号を出力し、
前記入力画像切替部は前記切替信号に応答して、前記入力画像切替部が出力する画像を前記カメラ画像から前記合成画像に切り替える
通信装置。 - 請求項８に記載の通信装置において、
前記キーワード検出部は、特定キーワードの検出に応答して、前記入力画像切替部が出力する画像を、前記合成画像から前記カメラ画像に切り替える特定切替信号を出力し、
前記入力画像切替部は前記特定切替信号に応答して、前記入力画像切替部が出力する画像を前記合成画像から前記カメラ画像に切り替える
通信装置。 - 送信者のカメラ画像を撮影するステップと、
入力音声から語句を認識するステップと、
前記語句が登録されているキーワードに一致していることを検出するステップと、
前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出するステップと、
前記検出に応答して前記カメラ画像と前記補助画像とを切り替えて出力するステップと、
前記出力された前記カメラ画像、または、前記補助画像を送信するステップとを具備する通信方法。 - 請求項１１に記載の通信方法において、
登録キーワードに関連付けられた特定の静止画像を予め格納するステップと、
前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、前記静止画像格納部から読み出すステップと、
前記読み出された静止画像を前記画像フォーマット変換部へ通知するステップと、
前記通知された静止画像の画像フォーマットを変換するステップと、
前記変換された静止画像を前記補助画像として出力するステップと
を具備する通信方法。 - 請求項１１に記載の通信方法において、
前記検出に応答して、前記登録キーワードに関連付けられた特定のムービーファイルを読み出すステップと、
前記読み出されたムービーファイルから動画データを抽出するステップと、
前記抽出した動画データの動画フォーマットを変換するステップと、
前記変換された動画データを前記補助画像として出力するステップと、
を具備する通信方法。 - 請求項１２または１３に記載の通信方法において、
前記検出に応答して、前記送信する画像を、前記カメラ画像から前記補助画像に切り替える切替信号を出力するステップと、
前記切替信号に応答して、前記送信する画像を、前記カメラ画像から前記補助画像に切り替えるステップと、
を具備する通信方法。 - 請求項１４に記載の通信方法において、
特定キーワードの検出に応答して、前記送信する画像を、前記補助画像から前記カメラ画像に切り替える特定切替信号を出力するステップと、
前記特定切替信号に応答して、前記送信する画像を、前記補助画像から前記カメラ画像に切り替えるステップと、
を具備する通信方法。 - 送信者のカメラ画像を撮影するステップと、
入力音声から語句を認識するステップと、
前記語句が登録されているキーワードに一致していることを検出するステップと、
前記検出に応答して、前記登録キーワードに関連付けられた特定の補助画像を選出するステップと、
前記カメラ画像と前記補助画像を合成した合成画像を作成するステップと、
前記検出に応答して前記カメラ画像と前記合成画像とを切り替えて出力するステップと、
前記出力された画像を送信するステップと
を具備する通信方法。 - 請求項１６に記載の通信方法において、
前記検出に応答して、前記登録キーワードに関連付けられた特定の静止画像を、読み出すステップと、
前記読み出された静止画像を通知するステップと、
前記通知された静止画像の画像フォーマットを変換するステップと、
前記変換された静止画像を出力するステップと、
を具備する通信方法。 - 請求項１６に記載の通信方法において、
前記登録キーワードに関連付けられた特定のムービーファイルを、読み出すステップと、
前記読み出されたムービーファイルから動画データを抽出するステップと、
前記抽出した動画データの動画フォーマットを変換するステップと、
前記動画フォーマットを変換された動画データを出力するステップと、
を具備する通信方法。 - 請求項１７または１８に記載の通信方法において、
前記検出に応答して、前記送信する画像を、前記カメラ画像から前記合成画像に切り替える切替信号を出力するステップと、
前記切替信号に応答して、前記送信する画像を、前記カメラ画像から前記合成画像に切り替えるステップと、
を具備する通信方法。 - 請求項１９に記載の通信方法において、
特定キーワードの検出に応答して、前記送信する画像を、前記合成画像から前記カメラ画像に切り替える特定切替信号を出力するステップと、
前記特定切替信号に応答して、前記送信する画像を、前記合成画像から前記カメラ画像に切り替えるステップと、
を具備する通信方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003134811A JP2004343232A (ja) | 2003-05-13 | 2003-05-13 | 通信装置及び通信方法 |
| EP04010904A EP1478178A1 (en) | 2003-05-13 | 2004-05-07 | Communication apparatus and method |
| CNB2004100379014A CN100345448C (zh) | 2003-05-13 | 2004-05-10 | 通信设备和方法 |
| US10/843,419 US7233345B2 (en) | 2003-05-13 | 2004-05-12 | Communication apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003134811A JP2004343232A (ja) | 2003-05-13 | 2003-05-13 | 通信装置及び通信方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004343232A true JP2004343232A (ja) | 2004-12-02 |
Family
ID=33028347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003134811A Pending JP2004343232A (ja) | 2003-05-13 | 2003-05-13 | 通信装置及び通信方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7233345B2 (ja) |
| EP (1) | EP1478178A1 (ja) |
| JP (1) | JP2004343232A (ja) |
| CN (1) | CN100345448C (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010213129A (ja) * | 2009-03-12 | 2010-09-24 | Brother Ind Ltd | テレビ会議装置、テレビ会議システム、テレビ会議制御方法、及びテレビ会議装置のプログラム |
| US8661471B2 (en) | 2008-10-29 | 2014-02-25 | Sony Corporation | Information processing apparatus and information processing method |
| JP2019121336A (ja) * | 2017-12-28 | 2019-07-22 | シャープ株式会社 | 操作支援装置、操作支援システム、及び操作支援方法 |
| US11568866B2 (en) | 2019-06-05 | 2023-01-31 | Sharp Kabushiki Kaisha | Audio processing system, conferencing system, and audio processing method |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7092735B2 (en) * | 2002-03-22 | 2006-08-15 | Osann Jr Robert | Video-voicemail solution for wireless communication devices |
| GB2405948B (en) * | 2003-09-12 | 2006-06-28 | Canon Res Ct Europ Ltd | Voice activated device |
| EP1771006A1 (en) * | 2005-09-29 | 2007-04-04 | Hewlett-Packard Development Company, L.P. | Remote media source device access |
| US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
| JP2008270914A (ja) * | 2007-04-16 | 2008-11-06 | Ntt Docomo Inc | 制御装置、移動通信システム及び通信端末 |
| JP2008270912A (ja) * | 2007-04-16 | 2008-11-06 | Ntt Docomo Inc | 制御装置、移動通信システム及び通信端末 |
| JP2009044328A (ja) | 2007-08-07 | 2009-02-26 | Seiko Epson Corp | 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体 |
| WO2009034412A1 (en) * | 2007-09-13 | 2009-03-19 | Alcatel Lucent | Method of controlling a video conference |
| KR20100007625A (ko) * | 2008-07-14 | 2010-01-22 | 엘지전자 주식회사 | 이동 단말기 및 그 메뉴 표시 방법 |
| US20110001878A1 (en) * | 2009-07-02 | 2011-01-06 | Sony Corporation | Extracting geographic information from tv signal to superimpose map on image |
| US20110311144A1 (en) * | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Rgb/depth camera for improving speech recognition |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0313092A (ja) * | 1989-06-09 | 1991-01-22 | Nec Commun Syst Ltd | テレビ電話機 |
| JPH08339198A (ja) * | 1995-06-12 | 1996-12-24 | Nec Corp | プレゼンテーション装置 |
| JPH11259269A (ja) * | 1998-03-13 | 1999-09-24 | Omron Corp | 情報処理装置および方法、並びに記録媒体 |
| JP2000032422A (ja) * | 1998-07-08 | 2000-01-28 | Nec Corp | 画像伝送装置 |
| JP2000250392A (ja) * | 1999-03-02 | 2000-09-14 | Kansai Tlo Kk | 遠隔講義装置 |
| JP2001127990A (ja) * | 1999-11-01 | 2001-05-11 | Mega Chips Corp | 情報通信システム |
| JP2002185632A (ja) * | 2000-12-14 | 2002-06-28 | Nec Saitama Ltd | テレビ電話機 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01160277A (ja) * | 1987-12-17 | 1989-06-23 | Mitsubishi Electric Corp | 静止画テレビ電話装置 |
| JPH0332187A (ja) * | 1989-06-28 | 1991-02-12 | Sharp Corp | テレビ電話装置 |
| JP3172199B2 (ja) * | 1990-04-04 | 2001-06-04 | 株式会社東芝 | テレビ電話装置 |
| JPH04150686A (ja) * | 1990-10-15 | 1992-05-25 | Sharp Corp | テレビ電話装置 |
| JPH06276520A (ja) * | 1993-03-22 | 1994-09-30 | Sony Corp | 画像処理装置 |
| US5528285A (en) * | 1993-04-30 | 1996-06-18 | Casio Computer Co., Ltd. | TV telephone system which sends and receives image data to another TV telephone system and having power supply and image display control |
| JP3185505B2 (ja) * | 1993-12-24 | 2001-07-11 | 株式会社日立製作所 | 会議録作成支援装置 |
| JPH11355747A (ja) | 1998-06-10 | 1999-12-24 | Nec Corp | 映像・音声通信装置と同装置を用いたテレビ会議装置 |
| JP2001075965A (ja) * | 1999-06-30 | 2001-03-23 | Mega Chips Corp | 情報通信システム |
| EP1190413A2 (de) * | 1999-06-24 | 2002-03-27 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur spracherkennung |
| DE60032982T2 (de) * | 1999-09-13 | 2007-11-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Spracherkennung zur Steuerung eines Geräts |
| CN1148062C (zh) * | 1999-12-18 | 2004-04-28 | 深圳市中兴通讯股份有限公司 | 远端画中画的实现方法 |
| JP2002215514A (ja) * | 2001-01-16 | 2002-08-02 | Hitachi Ltd | 情報処理システム |
| JP2003219327A (ja) * | 2001-09-28 | 2003-07-31 | Canon Inc | 画像管理装置、画像管理方法、制御プログラム、情報処理システム、画像データ管理方法、アダプタ、及びサーバ |
-
2003
- 2003-05-13 JP JP2003134811A patent/JP2004343232A/ja active Pending
-
2004
- 2004-05-07 EP EP04010904A patent/EP1478178A1/en not_active Withdrawn
- 2004-05-10 CN CNB2004100379014A patent/CN100345448C/zh not_active Expired - Fee Related
- 2004-05-12 US US10/843,419 patent/US7233345B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0313092A (ja) * | 1989-06-09 | 1991-01-22 | Nec Commun Syst Ltd | テレビ電話機 |
| JPH08339198A (ja) * | 1995-06-12 | 1996-12-24 | Nec Corp | プレゼンテーション装置 |
| JPH11259269A (ja) * | 1998-03-13 | 1999-09-24 | Omron Corp | 情報処理装置および方法、並びに記録媒体 |
| JP2000032422A (ja) * | 1998-07-08 | 2000-01-28 | Nec Corp | 画像伝送装置 |
| JP2000250392A (ja) * | 1999-03-02 | 2000-09-14 | Kansai Tlo Kk | 遠隔講義装置 |
| JP2001127990A (ja) * | 1999-11-01 | 2001-05-11 | Mega Chips Corp | 情報通信システム |
| JP2002185632A (ja) * | 2000-12-14 | 2002-06-28 | Nec Saitama Ltd | テレビ電話機 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8661471B2 (en) | 2008-10-29 | 2014-02-25 | Sony Corporation | Information processing apparatus and information processing method |
| JP2010213129A (ja) * | 2009-03-12 | 2010-09-24 | Brother Ind Ltd | テレビ会議装置、テレビ会議システム、テレビ会議制御方法、及びテレビ会議装置のプログラム |
| JP2019121336A (ja) * | 2017-12-28 | 2019-07-22 | シャープ株式会社 | 操作支援装置、操作支援システム、及び操作支援方法 |
| JP7044633B2 (ja) | 2017-12-28 | 2022-03-30 | シャープ株式会社 | 操作支援装置、操作支援システム、及び操作支援方法 |
| US11568866B2 (en) | 2019-06-05 | 2023-01-31 | Sharp Kabushiki Kaisha | Audio processing system, conferencing system, and audio processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100345448C (zh) | 2007-10-24 |
| CN1551630A (zh) | 2004-12-01 |
| US7233345B2 (en) | 2007-06-19 |
| US20040227811A1 (en) | 2004-11-18 |
| EP1478178A1 (en) | 2004-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004343232A (ja) | 通信装置及び通信方法 | |
| JP4842033B2 (ja) | 携帯端末機の画像表示装置及び方法 | |
| US8633959B2 (en) | Video telephony apparatus and signal transmitting/receiving method for mobile terminal | |
| AU2003264436B2 (en) | A videophone sign language conversation assistance device and a sign language interpretation system using the same | |
| KR20070006336A (ko) | 휴대단말기의 이미지 제어방법 | |
| AU2003264435B2 (en) | A videophone sign language interpretation assistance device and a sign language interpretation system using the same. | |
| CN101267528A (zh) | 双向通信系统、通信终端设备和图像静音控制方法 | |
| JP2002218424A (ja) | 映像表示制御装置 | |
| KR100969218B1 (ko) | 채팅 문자 인식을 이용한 영상 합성 통화 서비스 제공 방법및 장치 | |
| JP2003061098A (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム | |
| KR100893546B1 (ko) | 음성 인식을 이용한 영상 합성 통화 서비스 방법 및 장치 | |
| JP2002051312A (ja) | 情報処理装置、情報処理方法およびその方法をコンピュータに実行可能な記録媒体 | |
| WO2010140864A2 (ko) | 스테레오 영상 처리 장치 및 방법 | |
| KR100584352B1 (ko) | 동영상 전화장치의 영상 송,수신 제어방법 | |
| JPH099220A (ja) | 通信装置および通信システム | |
| JPH0879721A (ja) | テレビ電話装置 | |
| JPH0775075A (ja) | テレビ電話装置 | |
| JPH09200712A (ja) | 音声・画像伝送装置 | |
| JP2664679B2 (ja) | 通信システム | |
| KR100793014B1 (ko) | 주소록 정보 갱신 방법 및 이를 이용한 단말기 | |
| KR20080035788A (ko) | 이동통신 단말기의 화상통화 방법 | |
| JPH10173827A (ja) | 画像データ通信システム | |
| JPH05168007A (ja) | 画像通信装置 | |
| JP2003178066A (ja) | 生活支援システムおよび装置 | |
| JP2000201334A (ja) | テレビ電話装置及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090623 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100112 |