JP2001057672A - 通信装置および方法、並びに媒体 - Google Patents

通信装置および方法、並びに媒体

Info

Publication number
JP2001057672A
JP2001057672A JP11232248A JP23224899A JP2001057672A JP 2001057672 A JP2001057672 A JP 2001057672A JP 11232248 A JP11232248 A JP 11232248A JP 23224899 A JP23224899 A JP 23224899A JP 2001057672 A JP2001057672 A JP 2001057672A
Authority
JP
Japan
Prior art keywords
biological information
communication device
image data
receiving
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11232248A
Other languages
English (en)
Other versions
JP4359968B2 (ja
JP2001057672A5 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Junichi Ishibashi
淳一 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP23224899A priority Critical patent/JP4359968B2/ja
Publication of JP2001057672A publication Critical patent/JP2001057672A/ja
Publication of JP2001057672A5 publication Critical patent/JP2001057672A5/ja
Application granted granted Critical
Publication of JP4359968B2 publication Critical patent/JP4359968B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 ユーザの生体情報に基づいて、表示を制御す
ることができるようにする。 【解決手段】 生体情報が、参加者Aが不快を感じてい
ることを示している場合(この例では、視線ゆらぎの大
きさが大きい場合)、参加者Aが参加者Bと少し離れて
座っているかのように、参加者Bの映像が小さく表示さ
れる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、通信装置および方
法、並びに媒体に関し、特に、ユーザの生体情報に対応
して画像の表示や音声の出力を制御する通信装置および
方法、並びに提供媒体に関する。
【0002】
【従来の技術】現在、遠隔にいる者の画像および音声
を、ネットワークを介して相互に通信し、その映像およ
び音声を再生することより、あたかも1つのテーブルを
囲んでるかのように会議を行うことができる遠隔会議シ
ステムや、あたかも会話の相手が目の前にいるかのよう
に会話することができるテレビジョン電話システムが存
在する。
【0003】
【発明が解決しようとする課題】ところで、現実の会議
や会話においては、自分自身が持つ、会議の相手や会話
の相手(以下、会話相手と称する)に対して持つ感情に
よって、会話相手との距離を調整し、快適に会議や会話
を行うようにする。例えば、会話相手と親しい場合、そ
の会話相手に近寄って(近くの席に座って)会話をする
が、あまり親しくない場合、少し離れて(離れた席に座
って)会話をする。つまり、会話相手が近くにいること
を快く感じる場合、その者に近寄り、一方、会話相手が
そばにすることに不快を感じる場合(例えば、緊張する
場合)、その者から離れるようにする。
【0004】しかしながら、上述した従来の遠隔会議シ
ステムやテレビジョン電話システムにおいては、会話相
手が予め決められた倍率で撮像され、その映像が一定の
大きさで表示されるようになされている。すなわち、こ
れらのシステムでは、会話相手と近寄って会話している
かのように、その映像が大きく表示されたり、また離れ
て会話しているかのように、その映像が小さく表示され
ない。結局、このことより、利用者が、快適に会議や会
話を行うことがきない課題があった。
【0005】また音量についても、例えば、ボリューム
ダイヤルを操作して調整することが可能であるが、自分
自身で操作する必要があり、利用者が快適に会議や会話
を行うことができない課題があった。
【0006】本発明はこのような状況に鑑みてなされた
ものであり、相手の画像や音声を、最適に調整すること
ができるようにするものである。
【0007】
【課題を解決するための手段】請求項1に記載の通信装
置は、他の通信装置から送信されてきた音声データを受
信する第1の受信手段と、第1の受信手段により受信さ
れた音声データの出力を制御する出力制御手段と、他の
通信装置から送信されてきた画像データを受信する第2
の受信手段と、生体情報を検出する検出手段と、検出手
段により検出された生体情報に基づいて、第2の受信手
段により受信された画像データの表示を制御する表示制
御手段とを備えることを特徴とする。
【0008】検出手段は、生体情報として、視線ゆらぎ
の大きさ、瞳孔の径の大きさ、発汗量、心拍数、または
血圧の少なくとも1つを検出することができる。
【0009】出力制御手段は、検出手段により検出され
た生体情報に基づいて、第1の受信手段により受信され
た音声データの出力を制御することができる。
【0010】出力制御手段は、音声データを増幅する増
幅率を調整することができる。
【0011】出力制御手段は、音声データのイコライズ
を調整することができる。
【0012】請求項6に記載の通信装置は、生体情報と
対応して画像データを記憶する記憶手段をさらに備え、
表示制御手段は、記憶手段に画像データに対応して記憶
されている生体情報に基づいて、画像データの表示を制
御することを特徴とすることができる。
【0013】請求項7に記載の通信装置は、生体情報と
対応して画像データを記憶する記憶手段をさらに備え、
出力制御手段は、生体情報に基づいて、音声データの出
力を制御することができる。
【0014】請求項8に記載の通信方法は、他の通信装
置から送信されてきた音声データを受信する第1の受信
ステップと、第1の受信ステップの処理で受信された音
声データの出力を制御する出力制御ステップと、他の通
信装置から送信されてきた画像データを受信する第2の
受信ステップと、生体情報を検出する検出ステップと、
検出ステップの処理で検出された生体情報に基づいて、
第2の受信ステップの処理で受信された画像データの表
示を制御する表示制御ステップとを含むことを特徴とす
る。
【0015】請求項9に記載の媒体は、他の通信装置か
ら送信されてきた音声データを入力する第1の入力ステ
ップと、第1の入力ステップの処理で入力された音声デ
ータの出力を制御する出力制御ステップと、他の通信装
置から送信されてきた画像データを入力する第2の入力
ステップと、生体情報を検出する検出ステップと、検出
ステップの処理で検出された生体情報に基づいて、第2
の入力ステップの処理で入力された画像データの表示を
制御する表示制御ステップとからなることを特徴とす
る。
【0016】請求項1に記載の通信装置、請求項8に記
載の通信方法、および請求項9に記載の媒体おいては、
他の通信装置から送信されてきた音声データが入力さ
れ、入力された音声データの出力が制御され、他の通信
装置から送信されてきた画像データが入力され、生体情
報が検出され、検出された生体情報に基づいて、入力さ
れた画像データの表示が制御される。
【0017】請求項10に記載の通信装置は、ユーザを
撮像する撮像手段と、ユーザの音声を集音する集音手段
と、生体情報を検出する検出手段と、他の通信装置から
送信されてきた生体情報を受信する受信手段と、受信手
段により受信された生体情報に基づいて、撮像手段によ
る撮像を制御する第1の制御手段と、受信手段により受
信された生体情報に基づいて、集音手段による集音を制
御する第2の制御手段とを備えることを特徴とする。
【0018】撮像手段は、ビデオカメラであり、第1の
制御手段は、ビデオカメラの配置位置を調整することが
できる。
【0019】撮像手段は、ビデオカメラであり、第1の
制御手段は、ビデオカメラのズーム倍率を調整すること
ができる。
【0020】集音手段は、マイクロフォンであり、第2
の制御手段は、マイクロフォンの配置位置を調整するこ
とができる。
【0021】集音手段は、マイクロフォンであり、第2
の制御手段は、マイクロフォンの指向性を調整すること
ができる。
【0022】請求項15に記載の通信方法は、ユーザを
撮像する撮像ステップと、ユーザの音声を集音する集音
ステップと、生体情報を検出する検出ステップと、他の
通信装置から送信されてきた生体情報を受信する受信ス
テップと、受信ステップの処理で受信された生体情報に
基づいて、撮像ステップの処理での撮像を制御する第1
の制御ステップと、受信ステップの処理で受信された生
体情報に基づいて、集音ステップの処理での集音を制御
する第2の制御ステップとを含むことを特徴とする。
【0023】請求項16に記載の媒体は、ユーザを撮像
する撮像ステップと、ユーザの音声を集音する集音ステ
ップと、生体情報を検出する検出ステップと、他の通信
装置から送信されてきた生体情報を入力する入力ステッ
プと、入力ステップの処理で入力された生体情報に基づ
いて、撮像ステップの処理での撮像を制御する第1の制
御ステップと、入力ステップの処理で入力された生体情
報に基づいて、集音ステップの処理での集音を制御する
第2の制御ステップとからなることを特徴とする。
【0024】請求項10に記載の通信装置、請求項15
に記載の通信方法、および請求項16に記載の媒体にお
いては、ユーザが撮像され、ユーザの音声が集音され、
生体情報が検出され、他の通信装置から送信されてきた
生体情報が入力され、入力された生体情報に基づいて、
撮像が制御され、入力された生体情報に基づいて、集音
が制御される。
【0025】
【発明の実施の形態】図1は、本発明を適用した遠隔会
議システムの構成例を示している。この遠隔会議システ
ムにおいては、2個の遠隔会議装置1−1,1−2(以
下、遠隔会議装置1−1,1−2を個々に区別する必要
がない場合、単に遠隔会議装置1と記述する。他の装置
についても同様である)がネットワーク2を介して接続
されている。遠隔会議装置1−1は、会議に参加する参
加者Aの画像データおよび音声データを、ネットワーク
2を介して遠隔会議装置1−2に送信したり、遠隔会議
装置1−2から送信されてきた画像データおよび音声デ
ータを再生する。
【0026】遠隔会議装置1−2は、会議に参加する参
加者Bの画像データおよび音声データを、ネットワーク
2を介して遠隔会議装置1−1に送信したり、遠隔会議
装置1−1から送信されてきた画像データおよび音声デ
ータを再生する。
【0027】図2は、遠隔会議装置1−1の外観の構成
例を示している。遠隔会議装置1−1は、再生装置1
1、ビデオカメラ12、マイクロフォン13、および生
体情報検出装置14から構成されている。
【0028】再生装置11は、ディスプレイ21および
スピーカ22から構成されている。ディスプレイ21
は、遠隔会議装置1−2から送信された画像データに対
応する映像(例えば、参加者Bの映像)を、生体情報検
出装置14からの生体情報に基づいて所定の大きさ(図
2の例では、表示スケールBの大きさ)で表示する。ス
ピーカ22は、遠隔会議装置1−2から送信された音声
データに対応する音声(例えば、参加者Bの発言)を出
力する。
【0029】ビデオカメラ12は、参加者Aの顔の部分
を撮像する。マイクロフォン13は、参加者Aの発言を
集音する。ビデオカメラ12により撮像された映像およ
びマイクロフォン13により集音された音声は、遠隔会
議装置1−2に送信される。
【0030】生体情報検出装置14は、参加者Aの生体
情報を検出する装置で、この例の場合、図3に示すよう
に、光学部31を有する、眼鏡に類似した装置である。
生体情報とは、参加者Aが快い感情を有しているか、ま
たは不快感を有しているかを示す情報であり、この例の
場合、参加者Aの視線のゆらぎの大きさでる。人間(参
加者A)は、不快感を有しているとき、視線が大きく動
き(視線ゆらぎが大きく)、また快い感情を有している
とき、視線があまり動かない(視線ゆらぎが小さい)。
【0031】参加者Aは、生体情報検出装置14を、そ
の光学部31が両目を覆うようにして装着する。光学部
31は、参加者Aの視線ゆらぎの大きさを検出し、再生
装置11に供給する。
【0032】次に、再生装置11の第1の実施の形態の
構成を説明する。図4は、再生装置11の第1の実施の
形態の表示スケール調整処理を行う部分の構成例を示し
ている。通信部41は、遠隔会議装置1−2から供給さ
れる画像データ(参加者Bの映像の画像データ)を受信
し、制御部42に供給する。通信部43は、生体情報検
出装置14からの生体情報(視線ゆらぎの大きさ)を受
信し、制御部42に供給する。なお、生体情報がアナロ
グ信号で再生装置11に供給される場合、通信部43
は、A/D変換器(図示せぬ)などを有し、それを利用
してアナログ信号(生体情報)をデジタル信号に変換し
て制御部42に供給する。
【0033】制御部42は、通信部41から供給された
画像データを表示制御部44に供給するとともに、その
画像データに対応する映像の表示スケールを、通信部4
3からの生体情報に基づいて決定し、表示制御部44に
通知する。
【0034】表示制御部44は、制御部42から供給さ
れる画像データを、制御部42から通知された表示スケ
ールでディスプレイ21に表示させる。
【0035】遠隔会議装置1−2は、遠隔会議装置1−
1と同様の構成を有するので、その図示と説明は省略す
る。
【0036】次に、遠隔会議装置1−1における表示ス
ケール調整処理の処理手順を、図5のフローチャートを
参照して説明する。図2に示すように、参加者Aが生体
情報検出装置14を装着している状態で、ディスプレイ
21に参加者Bの映像が表示スケールB(初期状態の表
示スケール)で表示されると、ステップS1において、
生体情報検出装置14は、参加者Aの視線ゆらぎの大き
さを検出し、検出結果を再生装置11に供給する。
【0037】ステップS2において、再生装置11の制
御部42は、通信部43を介して、生体情報検出装置1
4から供給された視線ゆらぎの大きさを受信し、参加者
Bの映像の表示スケールを決定する。この表示スケール
決定処理の詳細は、図6のフローチャートに示されてい
る。
【0038】すなわち、ステップS11において、制御
部42は、視線ゆらぎの大きさが大きさAより大きいか
否かを判定し、大きいと判定した場合、ステップS12
に進み、表示スケールを表示スケールAに決定する。こ
の例の場合、表示スケールAは、表示スケールBの約8
0%のスケールとする。
【0039】ステップS11において、視線ゆらぎの大
きさが大きさAより大きくない(それ以下である)と判
定された場合、ステップS13に進み、制御部42は、
視線ゆらぎの大きさが大きさB(大きさAよりも小さい
大きさ)より大きいか否かを判定し、それより大きいと
判定した場合(大きさA以下で大きさBより大きい場
合)、ステップS14に進み、表示スケールを表示スケ
ールB(初期状態の表示スケール)に決定する。
【0040】ステップS13において、視線ゆらぎの大
きさが大きさBより大きくない(それ以下である)と判
定された場合、ステップS15に進み、制御部42は、
表示スケールを表示スケールCに決定する。この例の場
合、表示スケールCは、表示スケールBの約120%の
スケールとする。
【0041】ステップS12、ステップS14、または
ステップS15において表示スケールが決定されると、
表示スケール決定処理は完了し、図5のステップS3に
進む。
【0042】ステップS3において、再生装置11の制
御部42は、表示制御部44に、ステップS2で決定さ
れた表示スケールを通知する。ステップS4において、
表示制御部44は、制御部42から通知された表示スケ
ールに基づいて、通信部41により受信された参加者B
の映像をディスプレイ21に表示させる。
【0043】例えば、ステップS2において、検出され
た視線ゆらぎの大きさが大きさAより大きく、表示スケ
ールが表示スケールAに決定された場合、参加者Bの映
像は、図7に示すように、表示スケールBで表示された
場合に比べ(図2)小さく表示される。一方、検出され
た視線ゆらぎの大きさが大きさB以下で、表示スケール
が表示スケールCに決定された場合、参加者Bの映像
は、図8に示すように、表示スケールBで表示された場
合に比べ、大きく表示される。
【0044】すなわち、生体情報が、参加者Aが不快を
感じていることを示している場合(この例では、視線ゆ
らぎの大きさが大きい場合)、参加者Aが参加者Bと少
し離れて座っているかのように、参加者Bの映像が小さ
く表示される(図7)。逆に、生体情報が、参加者Aが
快いと感じていることを示している場合(この例では、
視線ゆらぎの大きさが小さい場合)、参加者Aが参加者
Bのそばに座っているかのように、参加者Bの映像が大
きく表示される(図8)。
【0045】なお、表示された映像とそのとき検出され
た生体情報(視線ゆらぎの大きさ)を対応させて記憶し
ておき、次回その映像が表示される場合、それに対応し
て記憶されている生体情報に基づいて表示スケールを決
定し、決定した表示スケールでその映像を表示するよう
にすることもできる。
【0046】なお、以上の例においては、表示スケール
Aが、表示スケールBの80%で、表示スケールCが、
その120%である場合を例として説明したが、各表示
スケールの値は、映像の大きさと視線ゆらぎ(快/不
快)の関係を予め計測し、その計測結果に基づいて設定
することができる。
【0047】次に、再生装置11の第2の実施の形態の
構成を説明する。図9は、再生装置11の第2の実施の
形態の表示スケール調整処理および音声調整処理を行う
部分の構成例を示している。この再生装置11には、図
4の再生装置11の通信部41に代えて通信部51が、
制御部42に代えて制御部51が設けられ、そして音声
制御部53がさらに設けられている。
【0048】通信部51は、遠隔会議装置1−2から供
給される画像データの他、音声データも受信し、制御部
52に供給する。制御部52は、通信部51から供給さ
れた画像データを表示制御部44に、そして音声データ
を音声制御部53に供給する。制御部52は、生体情報
検出装置14からの生体情報を通信部43を介して受信
し、図4の制御部42の場合と同様に表示スケールを決
定し、表示制御部44に通知する。制御部52はまた、
音声データの増幅率を、その生体情報に基づいて決定
し、音声制御部53に通知する。
【0049】音声制御部53は、制御部52から供給さ
れた音声データを、制御部52から通知された増幅率で
増幅し、スピーカ22から出力させる。
【0050】次に、遠隔会議装置1−1における音声調
整処理の処理手順を、図10のフローチャートを参照し
て説明する。参加者Aが、図2に示すように生体情報検
出装置14を装着している状態において、ディスプレイ
21に参加者Bの映像が表示スケールBで表示されると
(または、スピーカ22から、増幅率B(初期値)で増
幅された参加者Bの音声が出力されると)、ステップS
21において、生体情報検出装置14は、参加者Aの視
線ゆらぎの大きさ検出し、検出結果を再生装置11に供
給する。
【0051】ステップS22において、再生装置11の
制御部52は、通信部43を介して生体情報検出装置1
4からの視線ゆらぎの大きさを受信し、受信した視線ゆ
らぎの大きさに基づいて、増幅率を決定する。この増幅
率決定処理の詳細は、図11のフローチャートに示され
ている。
【0052】すなわち、ステップS31において、制御
部52は、視線ゆらぎの大きさが大きさAより大きいか
否かを判定し、大きいと判定した場合、ステップS32
に進み、増幅率を増幅率Aに決定する。この例の場合、
増幅率Aは、増幅率Bの約80%の値とする。
【0053】ステップS31において、視線ゆらぎの大
きさが大きさAより大きくない(それ以下である)と判
定された場合、ステップS33に進み、制御部52は、
視線ゆらぎの大きさが大きさBより大きいか否かを判定
し、それより大きいと判定した場合(大きさA以下で大
きさBより大きい場合)、ステップS34に進み、増幅
率を増幅率B(初期値)に決定する。
【0054】ステップS33において、視線ゆらぎの大
きさが大きさBより大きくない(それ以下である)と判
定された場合、ステップS35に進み、制御部52は、
増幅率を増幅率Cに決定する。この例の場合、増幅率C
は、増幅率Bの約120%の値とする。
【0055】ステップS32、ステップS34、または
ステップS35において増幅率が決定されると、増幅率
決定処理は完了し、図10のステップS23に進む。
【0056】ステップS23において、制御部52は、
音声制御部53に、ステップS22で決定された増幅率
を通知する。ステップS24において、音声制御部53
は、制御部52から通知された増幅率に基づいて、通信
部51により受信された音声データを増幅し、スピーカ
22から出力する。
【0057】例えば、ステップS22において、検出さ
れた視線ゆらぎの大きさが大きさAより大きく、増幅率
が増幅率Aに決定されてそれで音声データが増幅された
場合、参加者Bの音声は、増幅率Bで増幅された場合に
比べ小さい音量でスピーカ22から出力される。一方、
検出された視線ゆらぎの大きさが大きさBより小さく、
増幅率が増幅率Cに決定されてそれで音声データが増幅
された場合、参加者Bの音声は、増幅率Bで増幅された
場合に比べ、大きい音量でスピーカ22から出力され
る。
【0058】すなわち、生体情報が、参加者Aが不快を
感じていることを示している場合(この例では、視線ゆ
らぎの大きさが大きい場合)、参加者Aが参加者Bと離
れて会話しているかのように、参加者Bの音声が小さい
音量で出力される。逆に、生体情報が、参加者Aが快い
と感じていることを示している場合(この例では、視線
ゆらぎの大きさが小さい場合)、参加者Aが参加者Bに
近寄って会話しているかのように、参加者Bの音声が大
きな音量で出力される。
【0059】なお、以上においては、増幅率が調整され
る場合を例として説明したが、音声データのイコライズ
を調整するようにすることもできる。
【0060】また、表示された映像(又は音声)とその
とき検出された生体情報(視線ゆらぎ)を対応させて記
憶しておき、次回その映像(又は音声)が表示される場
合、それに対応して記憶されている生体情報に基づく増
幅率でその音声を増幅するようにすることもできる。
【0061】また、以上においては、簡単のために、音
声調整処理についてのみ説明したが、表示スケール処理
と音声調整処理を平行して実行することも可能である。
【0062】図12は、本発明を適用した他の遠隔会議
装置1−1の構成例を示している。この遠隔会議装置1
−1には、図2の遠隔会議装置1−1の再生装置11に
代えて再生装置61が設けられ、そして位置制御装置6
2がさらに設けられてる。
【0063】再生装置61においては、遠隔会議装置1
−2から送信されたきた画像データが、一定の表示スケ
ールでディスプレイ11に表示され、また送信されてき
た音声データが一定の増幅率で増幅され、スピーカ22
から出力される。すなわち、再生装置11における場合
のように、生体情報検出装置14からの生体情報に基づ
いて表示スケールや増幅率は変更されない。生体情報検
出装置14により検出された視線ゆらぎの大きさは(生
体情報)は、この例の場合、遠隔会議装置1−2に送信
される。
【0064】位置制御装置62は、遠隔会議装置1−2
から送信されてくる生体情報(参加者Bの生体情報)に
基づいて、ビデオカメラ12をラインAに沿って、そし
てマイクロフォン13をラインBに沿って移動させる。
【0065】図13は、位置制御装置62の構成例を示
している。通信部71は、遠隔会議装置1−2の生体情
報検出装置84(図14)により検出された参加者Bの
生体情報を受信し、制御部72に供給する。制御部72
は、通信部71から供給された視線ゆらぎの大きさに基
づいて、ビデオカメラ12のラインA上の位置を決定
し、ビデオカメラ移動部73に通知する。制御部72
は、通信部71から供給された視線ゆらぎの大きさに基
づいて、マイクロフォン13のラインB上の位置を決定
し、マイクロフォン移動部74に通知する。
【0066】ビデオカメラ移動部73は、制御部72か
ら通知されたラインA上の位置にビデオカメラ12を移
動させる。マイクロフォン移動部74は、制御部72か
ら通知されたラインB上の位置にマイクロフォン13を
移動させる。
【0067】図14は、この例の場合の遠隔会議装置1
−2の構成例を示している。遠隔会議装置1−2の再生
装置81乃至生体情報検出装置84は、遠隔会議装置1
−1の再生装置61,ビデオカメラ12乃至生体情報検
出装置14と、遠隔会議装置1−2の位置制御装置10
1は、遠隔会議装置1−1の位置制御装置62と同様の
機能を有しているので、その説明は省略する。
【0068】次に、遠隔会議装置1−1の位置制御装置
62の動作について説明する。
【0069】位置制御部62の制御部72は、通信部7
1から遠隔会議装置1−2から送信されてきた、生体情
報検出装置84により検出された参加者Bの視線ゆらぎ
の大きさを受信すると、受信した視線ゆらぎの大きさに
対応した、ビデオカメラ12のラインA上の位置および
マイクロフォン13のラインB上の位置をそれぞれ決定
する。例えば、参加者Bの視線ゆらぎの大きさが所定の
大きさXより大きい場合、現在の位置から、その視線ゆ
らぎの大きさと大きさXとの差に対応する距離分だけ、
端A2(ラインA)または端B2(ラインB)方向(参加
者Aから遠ざかる方向)に離れた位置が検出される。ま
た、参加者Bの視線ゆらぎの大きさが大きさXより小さ
い場合、現在の位置から、その視線ゆらぎの大きさと大
きさXとの差に対応する距離分だけ、端A1(ライン
A)または端B2(ラインB)方向(参加者Aに近づく
方向)に離れた位置が検出される。
【0070】制御部72は、このようにして検出した、
ビデオカメラ12のラインA上の位置をビデオカメラ移
動部73に通知し、またマイクロフォン13のラインB
上の位置をマイクロフォン移動部74に通知する。
【0071】ビデオカメラ移動部73は、制御部72か
ら通知されたラインA上の位置にビデオカメラ12を移
動させる。マイクロフォン移動部74は、制御部72か
ら通知されたラインB上の位置にマイクロフォン13を
移動させる。例えば、ビデオカメラ12がラインA上で
端A2方向に移動されると、ビデオカメラ12と参加者
Aとの距離が大きくなるため、参加者Aは小さく撮像さ
れ、その結果、参加者Aの映像が、遠隔会議装置1−2
の再生装置81のディスプレイ91により小さく表示さ
れる。逆に、ビデオカメラ12がラインA上で端A1方
向に移動されると、ビデオカメラ12と参加者Aとの距
離が小さくなるため、参加者Aはより大きく撮像され、
その結果、参加者Aの映像が、遠隔会議装置1−2の再
生装置81のディスプレイ91に、大きく表示される。
【0072】また、マイクロフォン13がラインB上で
端B2方向に移動されると、マイクロフォン13と参加
者Aとの距離が大きくなるため、参加者Aの音声が小さ
く集音され、その結果、参加者Aの音声が、遠隔会議装
置1−2のスピーカ92から小さい音量で出力される。
逆に、マイクロフォン13がラインB上で端B1方向に
移動されると、マイクロフォン13と参加者Aとの距離
が短くなり、参加者Aの音声がより大きく集音され、そ
の結果、参加者Aの音声が、遠隔会議装置1−2の再生
装置81のスピーカ92から大きく出力される。
【0073】すなわち、図2の遠隔会議装置1−1の場
合では、送信されてきた画像データおよび音声データの
再生が、参加者Aの生体情報に基づいて調整されたのに
対し、この例では、参加者B(相手)の生体情報に基づ
いて、遠隔会議装置1−2に送信される画像データおよ
び音声データが調整されるものである。
【0074】なお、以上においては、ビデオカメラ12
と参加者Aとの距離が調整される場合を例として説明し
たが、ビデオカメラ12のズーム倍率を調整するなど、
光学的に撮像状態を調整することもできる。また、以上
においては、マイクロフォン13と参加者Aとの距離が
調整される場合を例として説明したが、マイクロフォン
13の指向性を調整することもできる。
【0075】以上においては、生体情報として、視線ゆ
らぎの大きさを生体情報とした場合を例として説明した
が、その他、瞳孔の径の大きさ(不快である場合、その
大きさは小さくなる)、発汗量(不快であるときその量
が増える)、心拍数(不快であるときその数が増え
る)、または血圧(不快であるときその大きさが大きく
なる)などを生体情報として、本発明を利用することも
できる。なお、生体情報検出装置14の構成は、生体情
報の種類に対応して異なる。例えば、生体情報を瞳孔の
径の大きさとした場合、生体情報検出装置14は、瞳孔
の径の大きさを検出することができる構成を有する。同
様に、生体情報検出装置14は、構成生体情報を発汗量
とした場合は発汗量を、生体情報を心拍数とした場合は
心拍数を、また生体情報を血圧とした場合は血圧を検出
することができる構成を有する。
【0076】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウエアとしての遠隔会議装置1
に組み込まれているコンピュータ、または、各種のプロ
グラムをインストールすることで、各種の機能を実行す
ることが可能な、例えば汎用のパーソナルコンピュータ
などにインストールされる。
【0077】次に、図15を参照して、上述した一連の
処理を実行するプログラムをコンピュータにインストー
ルし、コンピュータによって実行可能な状態とするため
に用いられる媒体について、そのコンピュータが汎用の
パーソナルコンピュータである場合を例として説明す
る。
【0078】プログラムは、図15(A)に示すよう
に、パーソナルコンピュータ101に内蔵されている記
録媒体としてのハードディスク102や半導体メモリ1
03に予めインストールした状態でユーザに提供するこ
とができる。
【0079】あるいはまた、プログラムは、図15
(B)に示すように、フロッピーディスク111、CD-R
OM(Compact Disk-Read Only Memory)112、MO(Mag
neto-Optical)ディスク113、DVD(Digital Versatile
Disk)114、磁気ディスク115、半導体メモリ11
6などの記録媒体に、一時的あるいは永続的に格納し、
パッケージソフトウエアとして提供することができる。
【0080】さらに、プログラムは、図15(C)に示
すように、ダウンロードサイト121から、デジタル衛
星放送用の人工衛星122を介して、パーソナルコンピ
ュータ101に無線で転送したり、ローカルエリアネッ
トワーク、インターネットといったネットワーク131
を介して、パーソナルコンピュータ101に有線で転送
し、パーソナルコンピュータ101において、内蔵する
ハードディスク102などに格納させることができる。
【0081】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。
【0082】パーソナルコンピュータ101は、例え
ば、図16に示すように、CPU(Central Processing Un
it)142を内蔵している。CPU142にはバス141
を介して入出力インタフェース145が接続されてお
り、CPU142は、入出力インタフェース145を介し
て、ユーザから、キーボード、マウスなどよりなる入力
部147から指令が入力されると、それに対応して、図
15(A)の半導体メモリ103に対応するROM(Read
Only Memory)143に格納されているプログラムを実
行する。あるいはまた、CPU142は、ハードディスク
102に予め格納されているプログラム、衛星122も
しくはネットワーク131から転送され、通信部148
により受信され、さらにハードディスク102にインス
トールされたプログラム、またはドライブ149に装着
されたフロッピーディスク111、CD-ROM112、MO
ディスク113、DVD114、もしくは磁気ディスク1
15から読み出され、ハードディスク102にインスト
ールされたプログラムを、RAM(Random Access Memor
y)144にロードして実行する。さらに、CPU142
は、その処理結果を、例えば、入出力インタフェース1
45を介して、LCD(Liquid Crystal Display)などよ
りなる表示部146に必要に応じて出力する。
【0083】なお、本明細書において、媒体により提供
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【0084】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。
【0085】
【発明の効果】請求項1に記載の通信装置、請求項8に
記載の通信方法、および請求項9に記載の媒体によれ
ば、生体情報に基づいて、他の通信装置から送信されて
きた画像データの表示を制御するようにしたので、画像
データに対応する映像を最適の大きさで表示させること
ができる。
【0086】請求項10に記載の通信装置、請求項15
に記載の通信方法、および請求項19に記載の媒体によ
れば、他の通信装置から送信されてきた生体情報に基づ
いて、撮像および集音を制御するようにしたので、撮像
された画像データおよび集音された音声データが、例え
ば、他の通信装置において最適に再生される。
【図面の簡単な説明】
【図1】本発明を適用した遠隔会議システムの構成例を
示すブロック図である。
【図2】図1の遠隔会議装置1−1の構成例を示すブロ
ック図である。
【図3】生体情報検出装置14の構成例を示す図であ
る。
【図4】再生装置11の第1の実施の形態の表示スケー
ル調整処理を行う部分の構成例を示すブロック図であ
る。
【図5】表示スケール調整処理を説明するフローチャー
トである。
【図6】ステップS2の処理の詳細を説明するフローチ
ャートである。
【図7】ディスプレイ21の表示例を示す図である。
【図8】ディスプレイ21の他の表示例を示す図であ
る。
【図9】再生装置11の第2の実施の形態の表示スケー
ル調整処理および音声調整処理を行う部分の構成例を示
すブロック図である。
【図10】音声調整処理を説明するフローチャートであ
る。
【図11】ステップS22の処理の詳細を説明するフロ
ーチャートである。
【図12】遠隔会議装置1−1の他の構成例を示す図で
ある。
【図13】図12の位置制御装置62の構成例を示すブ
ロック図である。
【図14】遠隔会議装置1−2の構成例を示す図であ
る。
【図15】媒体を説明する図である。
【図16】図15のパーソナルコンピュータ101の構
成例を示すブロック図である。
【符号の説明】
1 遠隔会議装置, 2 ネットワーク, 11 再生
装置, 12 ビデオカメラ,13 マイクロフォン,
14 生体情報検出装置, 21 ディスプレイ,
22 スピーカ, 31 光学部, 41 通信部,
42 制御部,43 通信部, 44 表示制御部,
51 通信部, 52 制御部, 53 音声制御部,
61 再生装置, 62 位置制御装置, 71 通
信部,72 制御部, 73 ビデオカメラ移動部,
74 マイクロフォン移動部, 81 再生装置, 8
2 ビデオカメラ, 83 マイクロフォン, 84生
体情報検出装置, 91 ディスプレイ, 92 スピ
ーカ,

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 複数の他の通信装置と相互に画像データ
    および音声データを通信する通信装置において、 前記他の通信装置から送信されてきた前記音声データを
    受信する第1の受信手段と、 前記第1の受信手段により受信された前記音声データの
    出力を制御する出力制御手段と、 前記他の通信装置から送信されてきた前記画像データを
    受信する第2の受信手段と、 生体情報を検出する検出手段と、 前記検出手段により検出された前記生体情報に基づい
    て、前記第2の受信手段により受信された前記画像デー
    タの表示を制御する表示制御手段とを備えることを特徴
    とする通信装置。
  2. 【請求項2】 前記検出手段は、前記生体情報として、
    視線ゆらぎの大きさ、瞳孔の径の大きさ、発汗量、心拍
    数、または血圧の少なくとも1つを検出することを特徴
    とする請求項1に記載の通信装置。
  3. 【請求項3】 前記出力制御手段は、前記検出手段によ
    り検出された前記生体情報に基づいて、前記第1の受信
    手段により受信された前記音声データの出力を制御する
    ことを特徴とする請求項1に記載の通信装置。
  4. 【請求項4】 前記出力制御手段は、前記音声データを
    増幅する増幅率を調整することを特徴とする請求項3に
    記載の通信装置。
  5. 【請求項5】 前記出力制御手段は、前記音声データの
    周波数または位相特性を調整することを特徴とする請求
    項3に記載の通信装置。
  6. 【請求項6】 前記生体情報と対応して画像データを記
    憶する記憶手段をさらに備え、 前記表示制御手段は、前記記憶手段に前記画像データに
    対応して記憶されている前記生体情報に基づいて、前記
    画像データの表示を制御することを特徴とする請求項1
    に記載の通信装置。
  7. 【請求項7】 前記生体情報と対応して画像データを記
    憶する記憶手段をさらに備え、 前記出力制御手段は、前記生体情報に基づいて、前記音
    声データの出力を制御することを特徴とする請求項3に
    記載の通信装置。
  8. 【請求項8】 複数の他の通信装置と相互に画像データ
    および音声データを通信する通信装置の通信方法におい
    て、 前記他の通信装置から送信されてきた前記音声データを
    受信する第1の受信ステップと、 前記第1の受信ステップの処理で受信された前記音声デ
    ータの出力を制御する出力制御ステップと、 前記他の通信装置から送信されてきた前記画像データを
    受信する第2の受信ステップと、 生体情報を検出する検出ステップと、 前記検出ステップの処理で検出された前記生体情報に基
    づいて、前記第2の受信ステップの処理で受信された前
    記画像データの表示を制御する表示制御ステップとを含
    むことを特徴とする通信方法。
  9. 【請求項9】 複数の他の通信装置と相互に画像データ
    および音声データを通信する場合の通信用プログラムで
    あって、 前記他の通信装置から送信されてきた前記音声データを
    入力する第1の入力ステップと、 前記第1の入力ステップの処理で入力された前記音声デ
    ータの出力を制御する出力制御ステップと、 前記他の通信装置から送信されてきた前記画像データを
    入力する第2の入力ステップと、 生体情報を検出する検出ステップと、 前記検出ステップの処理で検出された前記生体情報に基
    づいて、前記第2の入力ステップの処理で入力された前
    記画像データの表示を制御する表示制御ステップとから
    なることを特徴とするプログラムをコンピュータに実行
    させる媒体。
  10. 【請求項10】 複数の他の通信装置と相互に画像デー
    タおよび音声データを通信する通信装置において、 ユーザを撮像する撮像手段と、 前記ユーザの音声を集音する集音手段と、 生体情報を検出する検出手段と、 前記他の通信装置から送信されてきた生体情報を受信す
    る受信手段と、 前記受信手段により受信された前記生体情報に基づい
    て、前記撮像手段による撮像を制御する第1の制御手段
    と、 前記受信手段により受信された前記生体情報に基づい
    て、前記集音手段による集音を制御する第2の制御手段
    とを備えることを特徴とする通信装置。
  11. 【請求項11】 前記撮像手段は、ビデオカメラであ
    り、 前記第1の制御手段は、前記ビデオカメラの配置位置を
    調整することを特徴とする請求項10に記載の通信装
    置。
  12. 【請求項12】 前記撮像手段は、ビデオカメラであ
    り、 前記第1の制御手段は、前記ビデオカメラのズーム倍率
    を調整することを特徴とする請求項10に記載の通信装
    置。
  13. 【請求項13】 前記集音手段は、マイクロフォンであ
    り、 前記第2の制御手段は、前記マイクロフォンの配置位置
    を調整することを特徴とする請求項10に記載の通信装
    置。
  14. 【請求項14】 前記集音手段は、マイクロフォンであ
    り、 前記第2の制御手段は、前記マイクロフォンの指向性を
    調整することを特徴とする請求項10に記載の通信装
    置。
  15. 【請求項15】 複数の他の通信装置と相互に画像デー
    タおよび音声データを通信する通信装置の通信方法にお
    いて、 ユーザを撮像する撮像ステップと、 前記ユーザの音声を集音する集音ステップと、 生体情報を検出する検出ステップと、 前記他の通信装置から送信されてきた生体情報を受信す
    る受信ステップと、 前記受信ステップの処理で受信された前記生体情報に基
    づいて、前記撮像ステップの処理での撮像を制御する第
    1の制御ステップと、 前記受信ステップの処理で受信された前記生体情報に基
    づいて、前記集音ステップの処理での集音を制御する第
    2の制御ステップとを含むことを特徴とする通信方法。
  16. 【請求項16】 複数の他の通信装置と相互に画像デー
    タおよび音声データを通信する場合の通信用のプログラ
    ムであって、 ユーザを撮像する撮像ステップと、 前記ユーザの音声を集音する集音ステップと、 生体情報を検出する検出ステップと、 前記他の通信装置から送信されてきた生体情報を入力す
    る入力ステップと、 前記入力ステップの処理で入力された前記生体情報に基
    づいて、前記撮像ステップの処理での撮像を制御する第
    1の制御ステップと、 前記入力ステップの処理で入力された前記生体情報に基
    づいて、前記集音ステップの処理での集音を制御する第
    2の制御ステップとからなることを特徴とするプログラ
    ムをコンピュータに実行させる媒体。
JP23224899A 1999-08-19 1999-08-19 通信装置および方法、並びに記録媒体 Expired - Fee Related JP4359968B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23224899A JP4359968B2 (ja) 1999-08-19 1999-08-19 通信装置および方法、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23224899A JP4359968B2 (ja) 1999-08-19 1999-08-19 通信装置および方法、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2001057672A true JP2001057672A (ja) 2001-02-27
JP2001057672A5 JP2001057672A5 (ja) 2006-04-27
JP4359968B2 JP4359968B2 (ja) 2009-11-11

Family

ID=16936306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23224899A Expired - Fee Related JP4359968B2 (ja) 1999-08-19 1999-08-19 通信装置および方法、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4359968B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066265A1 (ja) * 2003-01-21 2004-08-05 Sony Corporation データの記録、送信または再生に関する方法並びに装置
WO2004066264A1 (ja) * 2003-01-17 2004-08-05 Sony Corporation 情報伝送方法及び装置、情報記録又は再生方法及び装置、並びに記録媒体
JP2005063087A (ja) * 2003-08-11 2005-03-10 Sony Corp 記録再生装置、再生装置、記録再生方法および再生方法
JP2007053755A (ja) * 2005-08-17 2007-03-01 Palo Alto Research Center Inc 電子送信装置
JP2008131143A (ja) * 2006-11-17 2008-06-05 Sony Computer Entertainment Inc 符号化処理装置および符号化処理方法
WO2009069187A1 (ja) * 2007-11-26 2009-06-04 Fujitsu Limited テレビジョン番組表示システム
US8621088B2 (en) 2006-05-02 2013-12-31 Sony Corporation Communication system, communication apparatus, communication program, and computer-readable storage medium stored with the communication progam
WO2020213292A1 (ja) * 2019-04-17 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2022254497A1 (ja) * 2021-05-31 2022-12-08 株式会社I’mbesideyou 動画像分析システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094588B2 (en) 2003-01-17 2012-01-10 Sony Corporation Information transmission method, information transmission apparatus, information recording or reproducing method, information recording or reproducing apparatus and recording medium
WO2004066264A1 (ja) * 2003-01-17 2004-08-05 Sony Corporation 情報伝送方法及び装置、情報記録又は再生方法及び装置、並びに記録媒体
US9185440B2 (en) 2003-01-17 2015-11-10 Sony Corporation Information transmission method and device, information recording or reproduction method and device, and recording medium
WO2004066265A1 (ja) * 2003-01-21 2004-08-05 Sony Corporation データの記録、送信または再生に関する方法並びに装置
JP2005063087A (ja) * 2003-08-11 2005-03-10 Sony Corp 記録再生装置、再生装置、記録再生方法および再生方法
JP2007053755A (ja) * 2005-08-17 2007-03-01 Palo Alto Research Center Inc 電子送信装置
US8621088B2 (en) 2006-05-02 2013-12-31 Sony Corporation Communication system, communication apparatus, communication program, and computer-readable storage medium stored with the communication progam
JP4753204B2 (ja) * 2006-11-17 2011-08-24 株式会社ソニー・コンピュータエンタテインメント 符号化処理装置および符号化処理方法
US8848790B2 (en) 2006-11-17 2014-09-30 Sony Corporation Encoding processing apparatus and method for a moving image
JP2008131143A (ja) * 2006-11-17 2008-06-05 Sony Computer Entertainment Inc 符号化処理装置および符号化処理方法
WO2009069187A1 (ja) * 2007-11-26 2009-06-04 Fujitsu Limited テレビジョン番組表示システム
WO2020213292A1 (ja) * 2019-04-17 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2022254497A1 (ja) * 2021-05-31 2022-12-08 株式会社I’mbesideyou 動画像分析システム

Also Published As

Publication number Publication date
JP4359968B2 (ja) 2009-11-11

Similar Documents

Publication Publication Date Title
US10970037B2 (en) System and method for differentially locating and modifying audio sources
JP6651989B2 (ja) 映像処理装置、映像処理方法、及び映像処理システム
US20170303052A1 (en) Wearable auditory feedback device
CN109587533A (zh) 具有增强音频的设备
US20220066207A1 (en) Method and head-mounted unit for assisting a user
JP4359968B2 (ja) 通信装置および方法、並びに記録媒体
JP2007213282A (ja) 講演者支援装置および講演者支援方法
EP3412036A1 (fr) Procédé d'aide au suivi d'une conversation pour personne malentendante
JP5515728B2 (ja) 端末装置、処理方法および処理プログラム
US20230143588A1 (en) Bone conduction transducers for privacy
WO2018168247A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2009060220A (ja) コミュニケーションシステム及びコミュニケーションプログラム
JP4772315B2 (ja) 情報変換装置及び情報変換方法、並びに通信装置及び通信方法
KR101322081B1 (ko) 비디오 주밍에 연동한 오디오 출력장치 및 방법
JP2007251355A (ja) 対話システム用中継装置、対話システム、対話方法
JP7249371B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7292343B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP3783504B2 (ja) 対話記録システム
JPH10145852A (ja) 携帯形の情報伝達装置
JP7269269B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2019071515A (ja) 通信装置、通信システムおよびプログラム
JP2011223092A (ja) 発言機会均等化方法、発言機会均等化装置及び発言機会均等化プログラム
JP2023080604A (ja) 音声制御装置、および音声制御方法
JP2023075426A (ja) 会議支援装置、会議支援方法、会議支援システム、および会議支援プログラム
JP4496060B2 (ja) 遷移支援方法及び映像音声通信システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090721

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090803

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130821

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees