JP2003304515A - Voice output method, terminal device, and two-way interactive system - Google Patents

Voice output method, terminal device, and two-way interactive system

Info

Publication number
JP2003304515A
JP2003304515A JP2002108453A JP2002108453A JP2003304515A JP 2003304515 A JP2003304515 A JP 2003304515A JP 2002108453 A JP2002108453 A JP 2002108453A JP 2002108453 A JP2002108453 A JP 2002108453A JP 2003304515 A JP2003304515 A JP 2003304515A
Authority
JP
Japan
Prior art keywords
interlocutor
image
party
voice
monitor screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002108453A
Other languages
Japanese (ja)
Inventor
Yoichi Hata
洋一 畑
Toshiaki Kakii
俊昭 柿井
Hiroo Matsuda
裕男 松田
Hisao Maki
久雄 牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2002108453A priority Critical patent/JP2003304515A/en
Publication of JP2003304515A publication Critical patent/JP2003304515A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a voice output method or the like provided with a structure capable of realizing an interactive environment full of presence in the interaction with a remote place implemented through a prescribed transmission means. <P>SOLUTION: A display position (O<SB>2</SB>) of an image of an opposite interlocutor (800a, 800b) displayed on a monitor screen (8) is specified, a deviation amount (L1) from a display reference position (O<SB>1</SB>) on the monitor screen (8) is calculated and a volume of the voice of the opposite interlocutor stereophonically outputted from speakers (920a, 920b) is adjusted depending on the deviation amount (L1). <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は、所定の伝送手段
で接続された端末装置を介して遠隔地対話を実現する双
方向対話型システムに適用可能な対話者の音声出力方法
等に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an interlocutor voice output method and the like applicable to a two-way interactive system for realizing remote dialogue via a terminal device connected by a predetermined transmission means. .

【0002】[0002]

【従来の技術】近年、英会話学習やカウンセリングなど
の伝送手段を介した遠隔地間で、テキストデータや映像
データを送受信する遠隔地対話を実現する双方向対話型
システムが構築されている。このような遠隔地対話で
は、単にテキストデータや相手側対話者像のやり取りの
みならず、対話者同士が表示される相手側対話者像を介
して間接的に視線一致した状態でのより親密な対話環境
を実現するシステムとして、例えば特許第307467
7号には、視線一致した状態での遠隔地対話を可能にす
る双方向対話型システムが提案されている。
2. Description of the Related Art In recent years, a two-way interactive system has been constructed which realizes a remote dialog for transmitting and receiving text data and video data between remote sites via transmission means such as English conversation learning and counseling. In such a remote dialogue, not only the exchange of text data and the image of the other party's interlocutor, but also the more intimate contact in the state where the interlocutors indirectly see each other through the image of the other party's interlocutor is displayed. As a system for realizing a dialogue environment, for example, Japanese Patent No. 307467
No. 7 proposes a two-way interactive system that enables remote communication while keeping the line of sight.

【0003】[0003]

【発明が解決しようとする課題】発明者らは、従来の双
方向対話型システムについて詳細に検討した結果、以下
のような課題を発見した。すなわち、互いに相手側対話
者像を見ながら行われる一対一の遠隔地対話において、
対話者は対面するモニタ画面上の任意の位置に相手側対
話者像が表示される一方、予め所定方向に向けて設置さ
れたスピーカ(ヘッドホンやイヤホンのスピーカでもよ
い)から既定された音量バランスの相手側対話者の音声
が出力されていた。このように、モニタ画面上における
相手側対話者像の表示位置の変動にも関わらず音声の出
力方向は一定であるので、該相手側対話者像と対面した
対話者は相手側対話者像の移動に伴って対話中、違和感
を覚え該対話に集中できなくなるという課題があった。
DISCLOSURE OF THE INVENTION As a result of detailed examination of a conventional interactive dialog system, the inventors have found the following problems. In other words, in a one-on-one remote dialogue that is performed while looking at the image of the other party
The interlocutor displays the image of the other party's interlocutor at any position on the monitor screen that he / she faces, while the speaker (headphone or earphone speaker may be installed) is installed in a predetermined direction in advance to provide a predetermined volume balance. The voice of the other party's interlocutor was being output. In this way, the output direction of the voice is constant regardless of the change in the display position of the other-side interlocutor image on the monitor screen, so that the interlocutor facing the other-side interlocutor image is There was a problem that the user felt discomfort during the conversation accompanying the movement and could not concentrate on the conversation.

【0004】また、モニタ画面上に複数の相手側対話者
像が表示される場合(モニタ画面上における各相手側対
話者像の表示位置は異なる)も、予め出力方向が固定さ
れたスピーカから一定量の音声が出力されるので、この
ような一対多の遠隔地対話においても各対話者は、対話
中に違和感を覚え該対話に集中できなくなるという課題
があった。
Also, when a plurality of partner dialog images are displayed on the monitor screen (the display positions of the partner dialog images are different on the monitor screen), the speaker whose output direction is fixed in advance is fixed. Since a large amount of voice is output, even in such a one-to-many remote location dialogue, there is a problem that each interlocutor feels discomfort during the dialogue and cannot concentrate on the dialogue.

【0005】この発明は上述のような課題を解決するた
めになされたものであり、所定の伝送手段を介して行わ
れる遠隔地対話において、より臨場感に富んだ対話環境
の実現を可能にするための構造を備えた音声出力方法、
それを実現する表示装置、該表示装置を含む双方向対話
型システム、該表示方法を実行するコンピュータプログ
ラム及び該コンピュータプログラムが記録された記録媒
体を提供することを目的としている。
The present invention has been made to solve the above problems, and enables a more realistic dialogue environment to be realized in a remote dialogue performed through a predetermined transmission means. Audio output method with a structure for
An object of the present invention is to provide a display device that realizes it, a two-way interactive system including the display device, a computer program that executes the display method, and a recording medium on which the computer program is recorded.

【0006】[0006]

【課題を解決するための手段】この発明に係る音声出力
方法は、所定の伝送手段を介して接続された端末装置間
での遠隔地対話を実現する双方向対話型システムにおい
て、より臨場感に富んだ対話環境を実現する。ここで、
当該双方向対話型システムにおける端末装置の少なくと
も一方は、相手側対話者像をモニタ画面上に表示するた
めの表示部と、該相手側対話者の音声をステレオ出力す
るための少なくとも一対の音声出力部と、該音声出力部
それぞれの音量調節を個別に制御する制御部を備える。
A voice output method according to the present invention provides a more realistic presence in a two-way interactive system for realizing a remote dialogue between terminal devices connected via a predetermined transmission means. Create a rich dialogue environment. here,
At least one of the terminal devices in the two-way interactive system includes a display unit for displaying the image of the other party's interlocutor on the monitor screen, and at least a pair of voice outputs for stereo-outputting the voice of the other party's interlocutor. And a control unit for individually controlling the volume control of each of the audio output units.

【0007】特に、上記制御部は、表示部のモニタ画面
上に表示された相手側対話者像の表示位置を特定し、特
定された該相手側対話者像の表示位置の、モニタ画面上
における所定の表示基準位置に対するずれ量を算出し、
そして、検出された相手側対話者像の表示位置のずれ量
に対応して、音声出力部それぞれから出力される相手側
対話者音声の音量配分を調節する。
In particular, the control unit specifies the display position of the image of the other party's interlocutor displayed on the monitor screen of the display unit, and the display position of the specified image of the other party's interlocutor on the monitor screen. Calculate the amount of deviation from the predetermined display reference position,
Then, the volume distribution of the other party interlocutor voice output from each of the audio output units is adjusted according to the detected amount of deviation of the display position of the other party interlocutor image.

【0008】上記音声出力部は、表示部のモニタ画面上
に表示された相手側対話者像に対して実質的に対称にな
るよう配置されたスピーカを含む。このとき、スピーカ
は相手側対話者像に対して上下、左右いずれの方向に配
置されてもよく、また、表示部に内蔵されたスピーカも
含む。上記音声出力部は、ヘッドホンスピーカあるいは
イヤホンスピーカを含んでもよい。
The voice output section includes a speaker arranged so as to be substantially symmetrical with respect to the image of the other party's interlocutor displayed on the monitor screen of the display section. At this time, the speaker may be arranged in any of the upper, lower, left and right directions with respect to the image of the other party's interlocutor, and includes the speaker built in the display unit. The audio output unit may include a headphone speaker or an earphone speaker.

【0009】上述のような構成を備えた端末装置により
実現される音声出力方法(この発明に係る音声出力方
法)は、表示部のモニタ画面上に表示された相手側対話
者像の表示位置を特定し、該特定された相手側対話者像
の表示位置の、モニタ画面上における所定の表示基準位
置に対するずれ量を算出し、該検出された相手側対話者
像の表示位置のずれ量に対応して、上記一対の音声出力
部それぞれから出力される相手側対話者音声の音量配分
を調節する。
A voice output method (a voice output method according to the present invention) realized by a terminal device having the above-mentioned configuration is such that the display position of the image of the other party's interlocutor displayed on the monitor screen of the display unit is displayed. The calculated amount of deviation of the specified display position of the other party's interlocutor image from a predetermined display reference position on the monitor screen corresponds to the detected amount of deviation of the display position of the other party's interlocutor image. Then, the volume distribution of the other party interlocutor voice output from each of the pair of voice output units is adjusted.

【0010】上述のような音声出力方法は、コンピュー
タ等で実行されるプログラムであってもよく、この場
合、当該プログラムは、有線、無線を問わずネットワー
クを介して配信されてもよく、また、CD、DVD、フラ
ッシュメモリ等の記録媒体に格納されていてもよい。
The audio output method as described above may be a program executed by a computer or the like. In this case, the program may be distributed via a network whether wired or wireless. It may be stored in a recording medium such as a CD, a DVD, or a flash memory.

【0011】[0011]

【発明の実施の形態】以下、この発明に係る音声出力方
法、端末装置等の各実施形態について、図1〜図7を用
いて詳細に説明する。なお、図面の説明において、同一
部位には同一符号を付して重複する説明を省略する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of a voice output method, a terminal device and the like according to the present invention will be described in detail below with reference to FIGS. In the description of the drawings, the same parts will be denoted by the same reference symbols and redundant description will be omitted.

【0012】この発明に係る音声出力方法を実現する端
末装置は、所定の伝送手段を介して接続された端末装置
間での遠隔地対話を実現する、例えば特許第30746
77号に記載された双方向対話型システムに適応可能で
ある。
A terminal device for realizing the voice output method according to the present invention realizes a remote dialogue between the terminal devices connected via a predetermined transmission means, for example, Japanese Patent No. 30746.
It is applicable to the interactive system described in No. 77.

【0013】まず、ここでは、当該音声出力方法及びそ
れを実現する端末装置が適応可能な、上記双方向対話型
システムについて説明する。なお、この双方向対話型シ
ステムは、視線一致した状態での遠隔地対話を実現する
システムであるが、当該音声出力方法及びそれを実現す
る端末装置は、対話者間で視線一致できない構成であっ
ても相手側対話者像を表示する双方向対話型システムで
あれば適応可能である。
First, the bidirectional interactive system to which the voice output method and a terminal device that implements the voice output method are applicable will be described. Note that this two-way interactive system is a system that realizes remote dialogue in a state where the line-of-sight matches, but the voice output method and the terminal device that realizes it have a configuration in which the line-of-sight cannot be matched between the interlocutors. However, a two-way interactive system that displays the image of the interlocutor can be applied.

【0014】図1は、遠隔地に居る対話者間の視線一致
を可能にする双方向対話型システム全体を示す論理構成
図である。このシステムは、A地点(第1地点)にいる
対話者3A(第1対話者)とB地点(第2地点)にいる
対話者3B(第2対話者)との間で双方向対話を実現す
るシステムである。特に、このシステムは遠隔地にいる
対話者間でも親密な信頼関係を確立し綿密なコミュニケ
ーションを実現するカウンセリング・システムや家庭学
習を志向したシステムであるので、少なくとも一方の対
話者として、教師、医師、心理学者などのカウンセラを
想定している。したがって、このシステムはこれらカウ
ンセラがカウンセリングを行うために必要な情報、及び
理想的なカウンセリング環境を提供できるよう種々の機
能及び構成を備える。
FIG. 1 is a logical configuration diagram showing the entire interactive interactive system that enables line-of-sight matching between interlocutors at remote locations. This system realizes a two-way dialogue between an interlocutor 3A (first interlocutor) at point A (first point) and an interlocutor 3B (second interlocutor) at point B (second point). It is a system that does. In particular, this system is a counseling system that establishes intimate relationships of trust even with interlocutors in remote areas and enables close communication, and a system that aims at home learning. , Is supposed to be a counselor such as a psychologist. Therefore, this system has various functions and configurations so that these counselors can provide information necessary for counseling and an ideal counseling environment.

【0015】具体的には、A地点において、(a)対話
者3A(例えはカウンセラ)が座る椅子4A(高さ調節
機構40Aを有する)と、(b)対話者3Aが向かうテ
ーブル2Aと、(c)伝送手段27を介して対話者間の
視線を一致させるための機構を備えた端末装置20Aと
が設置され、対話者3Aはパーティション22Aにより
隔離されている。一方、B地点には、(a)対話者3B
(例えばカウンセリングを受けるクライアント)が座る
椅子4Bと(高さ調節機構40Bを有する)、(b)対
話者3Bが向かうテーブル2Bと、(c)伝送手段27
を介して対話者間の視線を一致させるための機構を備え
た端末装置20Bとが設置され、対話者3Bはパーティ
ション22Bにより隔離されている。ここで、伝送手段
27は、A地点の端末装置20AとB地点の端末装置2
0Bとの間で画像情報及び音声情報の送受信を可能にす
るため、大容量伝送を可能にする光ファイバ伝送路31
(主伝送路)及び衛星通信伝送路32(バックアップ用
伝送路)等を含む。なお、この伝送手段27は有線、無
線のいずれであってもよい。また、伝送手段は、既に敷
設された電話回線網等のネットワークを含み、さらに種
々のデータベースを備えた電子掲示板システム(BBS: B
ulletin Board System)も含む。
Specifically, at the point A, (a) a chair 4A (having a height adjusting mechanism 40A) on which an interlocutor 3A (for example, a counselor) sits, and (b) a table 2A to which the interlocutor 3A faces. (C) The terminal device 20A having a mechanism for matching the line of sight between the interlocutors via the transmission means 27 is installed, and the interlocutor 3A is isolated by the partition 22A. On the other hand, at point B, (a) Interlocutor 3B
A chair 4B on which (for example, a client who receives counseling) sits (having a height adjusting mechanism 40B), (b) a table 2B to which the interlocutor 3B faces, and (c) a transmission means 27.
A terminal device 20B having a mechanism for matching the line of sight between the interlocutors is installed via the interlocutor, and the interlocutor 3B is isolated by a partition 22B. Here, the transmission means 27 uses the terminal device 20A at the point A and the terminal device 2 at the point B.
Optical fiber transmission line 31 that enables large-capacity transmission in order to enable transmission / reception of image information and audio information to / from 0B.
It includes a (main transmission line) and a satellite communication transmission line 32 (a backup transmission line). The transmission means 27 may be wired or wireless. In addition, the transmission means includes a network such as a telephone line network that has already been laid, and further has an electronic bulletin board system (BBS: B
ulletin Board System) is also included.

【0016】A地点において、上述の椅子4Aは対話者
3Aの位置を規定するために機能する。この椅子4Aは
端末装置20Aの表示部21Aとの距離を一定に保つた
めに固定されるのが好ましい。しかし、該椅子4Aが固
定されていない場合であっても、テーブル2Aを対話者
3Aと表示部21Aに設置することによりこの椅子4A
と表示部21Aとの距離を一定に保つことが可能になる
(テーブル2Aの存在が対話者3Aの心理的な距離の基
準となる事実が確認されている)。なお、相手側の対話
者3B(例えば、カウンセリングを受ける者等)がいる
B地点の端末装置20Bの構成も同様である。
At point A, the chair 4A described above functions to define the position of the interlocutor 3A. This chair 4A is preferably fixed in order to keep a constant distance from the display unit 21A of the terminal device 20A. However, even if the chair 4A is not fixed, the chair 4A can be installed by installing the table 2A on the interlocutor 3A and the display unit 21A.
It becomes possible to maintain a constant distance from the display unit 21A (the fact that the existence of the table 2A serves as a reference for the psychological distance of the interlocutor 3A has been confirmed). The configuration of the terminal device 20B at the point B where the other party's interlocutor 3B (for example, a person who receives counseling) is the same.

【0017】A地点において、端末装置20Aは、(1)
B地点の端末装置20Bから伝送手段27を介して伝送
されてきた画像情報に基づいて対話者3Bの映像などを
表示する、テーブル2Aの上に配置された、モニタTV
1Aを備えた表示部21Aと、(2)CCDカメラ5Aで
撮像された対話者3Aの映像を画像情報として取り込
み、B地点の端末装置20Bへ向けて伝送するための撮
像ユニット6Aと、(3)B地点の端末装置20Bから伝
送手段27を介して伝送されてきた音声情報に基づいて
対話者3Bの音声を出力するための音声出力部23A
(スピーカ)と、(4)対話者3Aの音声を音声情報とし
て集音し、B地点の端末装置20Bへ向けて伝送するた
めの音声入力部24A(マイク)を備える。さらに、こ
のシステムはカウンセリング・システムとしてより綿密
なコミュニケーションを実現するため、(5)対話者3A
が文字や図形を入力し、入力された文字や図形を表示部
21Aに表示するとともに、文字図形情報としてB地点
の端末装置20Bへ向けて伝送するための文字図形入力
部25A(キーボード、ポインティング・デバイス、タ
ッチパネルなどのインターフェース)と、(6)上記各構
成要素と伝送手段27との間に設けられ、信号処理、伝
送制御及び映像データの編集作業等を行う映像処理装置
26A(制御部含む)とを備える。なお、B地点の端末
装置20Bも、上述したA地点の端末装置20Aと同様
に構成されており、具体的には、表示部21B、CCD
カメラ5Bと撮像ユニット6Bからなる撮像装置600
B、音声出力部23B、音声入力部24B、文字図形入
力部25B、及び映像処理装置26Bを備える。
At the point A, the terminal device 20A (1)
A monitor TV arranged on the table 2A for displaying the image of the interlocutor 3B based on the image information transmitted from the terminal device 20B at the point B via the transmission means 27.
A display unit 21A provided with 1A, (2) an image pickup unit 6A for taking in the image of the interlocutor 3A picked up by the CCD camera 5A as image information, and transmitting it to the terminal device 20B at the point B, (3 ) A voice output unit 23A for outputting the voice of the interlocutor 3B based on the voice information transmitted from the terminal device 20B at the point B via the transmission means 27.
(Speaker), and (4) a voice input unit 24A (microphone) for collecting the voice of the interlocutor 3A as voice information and transmitting it to the terminal device 20B at the point B. In addition, this system, as a counseling system, realizes more detailed communication.
Input a character or a graphic, display the input character or graphic on the display unit 21A, and transmit the character or graphic information to the terminal device 20B at the point B as a character or graphic information (keyboard, pointing, An image processing device 26A (including a control unit) which is provided between each component and the transmission means 27 and which performs signal processing, transmission control, video data editing work, etc. With. The terminal device 20B at the point B is also configured in the same manner as the terminal device 20A at the point A, and specifically, the display unit 21B and the CCD.
Imaging device 600 including camera 5B and imaging unit 6B
B, a voice output unit 23B, a voice input unit 24B, a character / graphics input unit 25B, and a video processing device 26B.

【0018】さらに、A地点及びB地点の端末装置20
A、20Bにおいて、撮像装置600A、600B(撮
像手段)の構成を説明する。なお、説明の都合上、A地
点及びB地点の各端末装置20A、20Bに共通する構
成要素について言及する場合には、例えば撮像装置60
0のように、各地点を区別する文字A、Bを省略して説
明する。また、特に説明がされていない場合には、原則
としてA地点の端末装置20Aについて説明しているも
のとして、共通する構成を有するB地点の端末装置20
Bについては重複する説明は省略する。
Further, the terminal devices 20 at the points A and B
In A and 20B, the configurations of the imaging devices 600A and 600B (imaging means) will be described. For convenience of description, when referring to components common to the terminal devices 20A and 20B at points A and B, for example, the imaging device 60
The description will be made by omitting the letters A and B that distinguish each point like 0. In addition, unless specifically described, the terminal device 20A at the point A is described in principle, and the terminal device 20 at the point B having a common configuration is described.
Overlapping description of B is omitted.

【0019】この撮像装置600は、撮像部である超小
型CCDカメラ5(5A)、該CCDカメラ5を支持し
た状態で所定位置に設置するための支持機構10(図2
参照)、及び該CCDカメラ5を制御するための撮像ユ
ニット6(6A)とを備える。モニタTV1(1A)は
テーブル2(2A)の上に載置されており、対話者3
(3A)はこのモニタTV1から距離L(m)離れて置
かれた高さ調整機構40(40A)を備えた椅子4(4
A)に座っている。この距離L(LA)は0.5m以上
5m以下に設定される。撮影される対話者3及びモニタ
TV1間には、外径φ20mm以下,長さ約100mm
の円筒状の超小型CCDカメラ5が設けられている。ま
た、このCCDカメラ5はその撮像方向が撮影される対
話者3に向けられるよう設置されている。そしてカメラ
5で撮像された対話者3の映像は、画像情報として撮像
ユニット6から他方の対話者側に伝送される(伝送手段
27を介してB地点の端末装置20Bに伝送される)。
なお、対話者によっては表示部21と該対話者間の間隔
が弱冠ずれる可能性もある。したがって、このような状
況にも対処すべく、CCDカメラ5は焦点深度の深いも
のを選択するのが好ましい。
The image pickup device 600 includes a micro CCD camera 5 (5A) which is an image pickup section, and a support mechanism 10 (FIG. 2) for installing the CCD camera 5 at a predetermined position in a supported state.
Reference unit) and an image pickup unit 6 (6A) for controlling the CCD camera 5. The monitor TV 1 (1A) is placed on the table 2 (2A), and the interlocutor 3
(3A) is a chair 4 (4) provided with a height adjusting mechanism 40 (40A) placed at a distance L (m) from the monitor TV 1.
Sitting in A). This distance L (LA) is set to 0.5 m or more and 5 m or less. An outer diameter of 20 mm or less and a length of about 100 mm between the interlocutor 3 and the monitor TV 1 to be photographed.
A cylindrical microminiature CCD camera 5 is provided. Further, the CCD camera 5 is installed so that its imaging direction is directed to the interlocutor 3 who is imaged. Then, the image of the interlocutor 3 imaged by the camera 5 is transmitted as image information from the imaging unit 6 to the other interlocutor side (transmitted to the terminal device 20B at the point B via the transmission means 27).
Depending on the interlocutor, the space between the display unit 21 and the interlocutor may be weakened. Therefore, in order to cope with such a situation, it is preferable that the CCD camera 5 has a deep focal depth.

【0020】次に、超小型CCDカメラ5の具体的な設
置位置を図2を用いて説明する。
Next, a specific installation position of the microminiature CCD camera 5 will be described with reference to FIG.

【0021】まず、撮像装置600の撮像ユニット6は
伝送されてきた他方の対話者の映像を表示するための表
示部21上に設置される。この撮像ユニット6本体には
カメラ5によって撮影された対話者自身の映像(カメラ
ケーブル50を介して撮像ユニット6に取り込まれる)
の表示と、伝送されてきた他方の対話者3Bの映像の表
示を切り換えるための、切り換えスイッチ6aの他、種
々の調節用スイッチ6bが設けられている。なお、スイ
ッチ210はモニタTV1の電源をオン/オフする電源
スイッチ等を含む。CCDカメラ5は、伝送されてきた
他方の対話者3Bの像9が表示されるモニタ画面8の前
方の所定位置に支持機構10(ロボット・アーム)によ
って設置される。なお、このモニタ画面8は4インチ程
度であれば十分に利用できる。
First, the image pickup unit 6 of the image pickup apparatus 600 is installed on the display section 21 for displaying the transmitted image of the other interlocutor. An image of the interlocutor himself / herself taken by the camera 5 is captured in the body of the imaging unit 6 (captured by the imaging unit 6 via the camera cable 50)
In addition to the changeover switch 6a, various adjustment switches 6b are provided for switching between the display of 1) and the display of the transmitted image of the interlocutor 3B. The switch 210 includes a power switch for turning on / off the power of the monitor TV 1. The CCD camera 5 is installed by a support mechanism 10 (robot arm) at a predetermined position in front of the monitor screen 8 on which the transmitted image 9 of the interlocutor 3B is displayed. The monitor screen 8 can be sufficiently used if it has a size of about 4 inches.

【0022】具体的には、CCDカメラ5はモニタ画面
8から前方w(cm)の位置であって、該モニタ画面8
に表示された対話者像9の頭部9a付近に配置される。
円筒状CCDカメラ5の中心軸は、点線で示す対話者像
9の目の位置の上方h(cm)の部位に位置している。
Specifically, the CCD camera 5 is at a position forward w (cm) from the monitor screen 8, and the monitor screen 8
It is arranged near the head 9a of the interlocutor image 9 displayed in FIG.
The central axis of the cylindrical CCD camera 5 is located at a position h (cm) above the eye position of the interlocutor image 9 shown by the dotted line.

【0023】このように超小型のCCDカメラ5は、大
型モニタTV1の画面8に表示された対話者像9の目の
位置より上の頭部付近に位置しているため、双方向対話
に特別な支障は生じない。例えば、CCDカメラ5が画
面8に表示された対話者像9の目の位置(図中、点線で
示す位置)の上方h=約10(cm)に設けられ、モニ
タTV1および対話者3間の距離Lが約2.5(m)に
設定されているシステム構成の場合、視差角は2.3°
で十分検知限界の視差角3°を下回ることが可能である
(モニタ画面8とCCDカメラ5の間隔wが10(c
m)程度ある場合でも、視差角の変動には特に影響はな
い)。つまり、視線一致時に相手の目(モニタ画面8に
表示された他方の対話者3Bの像の目)がはっきりと見
えれば、その頭部辺りに超小型のカメラ5が設けてあっ
ても、モニタTV1の画面8が大型であれば、双方向対
話に支障はほとんどないことが確認されている。この画
面8の大きさは、実験の結果、横35cm,縦26cm
程度以上の大きさがあれば良好な双方向対話が実現でき
ることも確認されている。なお、相互の対話者が知人同
志であれば、画面の大きさは小さくとも心理的な障害も
少ない傾向を示す結果も得られており、画面サイズに関
しては用途に応じて使いわけるとよい。
As described above, since the microminiature CCD camera 5 is located near the head above the eye position of the interlocutor image 9 displayed on the screen 8 of the large monitor TV 1, it is particularly suitable for two-way dialogue. No trouble will occur. For example, the CCD camera 5 is provided above the eye position (the position shown by the dotted line in the figure) of the interlocutor image 9 displayed on the screen 8 at h = about 10 (cm), and between the monitor TV 1 and the interlocutor 3. In the case of the system configuration in which the distance L is set to about 2.5 (m), the parallax angle is 2.3 °.
It is possible to sufficiently fall below the detection limit parallax angle of 3 ° (the interval w between the monitor screen 8 and the CCD camera 5 is 10 (c
Even if there is about m), there is no particular effect on the variation of the parallax angle). That is, if the eyes of the other party (the eyes of the image of the other interlocutor 3B displayed on the monitor screen 8) can be clearly seen at the time of line-of-sight matching, even if the microminiature camera 5 is provided near the head, the monitor It has been confirmed that if the screen 8 of the TV 1 is large, there is almost no hindrance to the interactive dialogue. As a result of the experiment, the size of this screen 8 is 35 cm in width and 26 cm in height.
It has also been confirmed that good two-way dialogue can be realized if the size is at least a certain level. It should be noted that if mutual interlocutors are acquaintances, there is a result that there is a tendency that there are few psychological obstacles even if the size of the screen is small, and it is advisable to properly use the screen size according to the application.

【0024】さらに、視差角について、図3を用いて説
明する。この明細書において、視差角とは、図3に示さ
れたように、モニタ画面8に表示された対話者像9へ向
けられた、撮影される対話者3の視線と、CCDカメラ
5へ向けられた、該対話者3の視線とがなす角度θを言
う。換言すれば、対話者3の視線に対するCCDカメラ
5の設置位置のずれ角を意味している。また、ここでい
う視線一致とは、昭和42年電気四学会連合大会(N
o.1998)で報告されているように、CCDカメラ
5の設置位置による不自然さの許容限界以下を意味して
いる。定量的には、視差角として、左右方向4.5°以
下(対話者像9の目の中心Aに対し、該像9の両こめか
み側),真上方向12°(像中心Aに対し、像9の頭部
9b側),真下方向8°(像中心Aに対し、像9の胴体
側)以下を視線一致範囲内としている。もちろん、この
視差角は小さい方が良く、左右上下方向3°以下が検知
限界とされている。したがって、CCDカメラ5が設置
可能な領域は、図4に示された円錐領域である。なお、
この円錐領域は、対話者3の目30とモニタ画面8に表
示された対話者像9の中心点A(この実施形態では、対
話者像9の両目の中心を該対話者像9の中心点Aとして
定義している)とを結ぶ該対話者3の視線31に対し、
所定距離L(m)離れた時のモニタ画面8上の視線一致
領域9b、及び、該対話者3の目30の位置とで規定さ
れる。なお、モニタ画面8上に表示される対話者像9の
サイズが小さい場合には、必ずしも該CCDカメラ5と
対話者像9の頭部が重なっている必要はない。むしろ対
話者9の頭部がCCDカメラ5に隠れてしまい見にくく
なる。上述のように視線一致の条件は視差角3°の領域
内にCCDカメラ5と対話者像9の目が存在することで
あり、具体的に画面から50cm離れた位置で約3cm
程度(図2におけるh)である。したがって、この範囲
内であればCCDカメラ5と対話者像9の頭部をずらし
ても視線一致状態は維持される。この対話者像9とCC
Dカメラ5をずらすには、例えばモニタ画面8上におけ
る画像表示位置を調節したり、CCDカメラ5の支持部
を調節してCCDカメラ5自体の位置を変更することに
より実現される。
Further, the parallax angle will be described with reference to FIG. In this specification, the parallax angle means, as shown in FIG. 3, the line of sight of the interlocutor 3 to be photographed, which is directed to the interlocutor image 9 displayed on the monitor screen 8, and the direction of the CCD camera 5. The angle θ formed by the line of sight of the interlocutor 3 is defined. In other words, it means the shift angle of the installation position of the CCD camera 5 with respect to the line of sight of the interlocutor 3. In addition, the line-of-sight matching here means the 4th Japan Electrical Engineers Union Meeting (N)
o. 1998), it means that the unnaturalness due to the installation position of the CCD camera 5 is below the allowable limit. Quantitatively, the parallax angle is 4.5 ° or less in the left and right direction (both temple sides of the image 9 with respect to the eye center A of the interlocutor image 9), and 12 ° directly above (with respect to the image center A, The head 9b side of the image 9) and 8 ° below (the body side of the image 9 with respect to the image center A) or less are within the line-of-sight matching range. Of course, the smaller the parallax angle, the better, and the detection limit is 3 ° or less in the horizontal and vertical directions. Therefore, the area in which the CCD camera 5 can be installed is the conical area shown in FIG. In addition,
This conical area is the center point A of the interlocutor image 9 displayed on the monitor screen 8 and the eye 30 of the interlocutor 3 (in this embodiment, the center of both eyes of the interlocutor image 9 is the center point of the interlocutor image 9). Defined as A), the line of sight 31 of the interlocutor 3 connecting
It is defined by the line-of-sight matching region 9b on the monitor screen 8 and the position of the eye 30 of the interlocutor 3 when the monitor is separated by a predetermined distance L (m). If the size of the interlocutor image 9 displayed on the monitor screen 8 is small, the CCD camera 5 and the head of the interlocutor image 9 do not necessarily have to overlap each other. Rather, the head of the interlocutor 9 is hidden by the CCD camera 5 and becomes difficult to see. As described above, the condition for line-of-sight matching is that the CCD camera 5 and the eyes of the interlocutor image 9 are present in the area with a parallax angle of 3 °, and specifically, about 3 cm at a position 50 cm away from the screen.
The degree (h in FIG. 2). Therefore, within this range, the line-of-sight matching state is maintained even if the CCD camera 5 and the head of the interlocutor image 9 are displaced. This interlocutor image 9 and CC
The D camera 5 can be displaced by, for example, adjusting the image display position on the monitor screen 8 or adjusting the support portion of the CCD camera 5 to change the position of the CCD camera 5 itself.

【0025】図5は、この発明に係る端末装置の構成を
示す図である。この端末装置は、モニタ等の表示部21
(図1に示された双方向対話型システムにおける表示部
21A、21Bに相当)と、映像処理部26(図1に示
された双方向対話型システムにおける映像処理装置26
A、26Bに相当)と、外部記録装置700と、マウス
等のポインティングデバイス800と、音声出力手段と
して一対のスピーカ910a、910b(音声出力部)
を有するヘッドホン900とを備える。特に映像処理部
26は、撮像手段に含まれる撮像ユニット6からの画像
情報の取り込みや伝送手段27を介して相手側対話者の
画像情報の送受信を行うためのデータ入出力部261
(図中、I/O)と、画像表示動作及び音量調節動作
(この発明に係る音声出力方法)を実施するための制御
部263、送受信される画像情報の他、予め対話者自身
が用意した文字データ、映像データ等を格納しておくた
めのデータベース262(図中、D/B)、表示部21
へ制御手段263の指示に従って所定のパターンを表示
させる描画部264と、マウス等のポインティングデバ
イス800からの位置情報の取り込みや外部記録装置7
00とのデータ授受を可能にするデータ入出力部265
(図中、I/O)と、一対のスピーカ910a、910
bそれぞれへ画像情報に対応した音声を出力するための
音源コントローラ266を備える。なお、外部記録装置
700は、例えば磁気テープ、CD、光ディスク、ハー
ドディスク、DVD、フラッシュメモリ等を含む。
FIG. 5 is a diagram showing the configuration of the terminal device according to the present invention. This terminal device includes a display unit 21 such as a monitor.
(Corresponding to the display units 21A and 21B in the interactive interactive system shown in FIG. 1) and the video processing unit 26 (the video processing device 26 in the interactive interactive system shown in FIG. 1).
A, 26B), an external recording device 700, a pointing device 800 such as a mouse, and a pair of speakers 910a and 910b (audio output unit) as audio output means.
Headphones 900 having In particular, the video processing unit 26 receives the image information from the image pickup unit 6 included in the image pickup unit and transmits / receives the image information of the other party's interlocutor via the transmission unit 27.
(I / O in the figure), a control unit 263 for performing an image display operation and a volume control operation (a voice output method according to the present invention), image information to be transmitted and received, and the interlocutor himself prepared in advance. Database 262 (D / B in the figure) for storing character data, video data, etc., display unit 21
A drawing unit 264 that displays a predetermined pattern in accordance with an instruction from the control unit 263, and the acquisition of position information from a pointing device 800 such as a mouse or the external recording device 7.
Data input / output unit 265 that enables data exchange with 00
(I / O in the figure) and a pair of speakers 910a and 910
A sound source controller 266 for outputting sound corresponding to the image information is provided to each of b. The external recording device 700 includes, for example, a magnetic tape, a CD, an optical disk, a hard disk, a DVD, a flash memory and the like.

【0026】具体的に、伝送手段27を介してI/O2
61が、相手側対話者の画像データ及びその音声データ
を受信すると、制御部263は、該相手側対話者像の表
示動作とともにこの発明に係る音声出力方法を実施す
る。すなわち、制御部263はまず、描画部264に対
して、表示部21のモニタ画面8上において予めマウス
800等で指定された位置にウィンドウ表示するよう、
受信した該相手側対話者像の表示制御を行う。なお、制
御部263による表示制御では、相手側対話者像の目よ
りも上方の頭部と表示部21のモニタ画面前方に予め設
置されているCCDカメラ(撮像部)5とが重なるよう
表示位置が調節され、伝送手段27を介した視線一致状
態が確保される。
Specifically, the I / O 2 is transmitted via the transmission means 27.
When 61 receives the image data and the voice data of the other party's interlocutor, the control unit 263 carries out the voice output method according to the present invention together with the display operation of the other party's interlocutor image. That is, the control unit 263 first causes the drawing unit 264 to display a window on the monitor screen 8 of the display unit 21 at a position previously designated by the mouse 800 or the like.
Display control of the received image of the other party's interlocutor is performed. In the display control by the control unit 263, the display position is set so that the head above the eyes of the other-side interlocutor image and the CCD camera (imaging unit) 5 previously installed in front of the monitor screen of the display unit 21 overlap. Is adjusted, and the line-of-sight matching state via the transmission means 27 is secured.

【0027】このような相手側対話者像の表示状態が、
図6(a)に示されている。表示部21の両側に音声の
ステレオ出力を可能にするよう一対のスピーカ920
a、920bが配置されている場合、相手側対話者像が
表示されるウィンドウ800aの基準表示位置は、モニ
タ画面8上の基準線CL上に位置しなければならない。
換言すれば、ウィンドウ800aの中心O1は基準線C
L上に位置している。このとき、制御部263は、基準
線CLとウィンドウ中心O1との間にモニタ画面8上に
おいてX軸方向のずれは生じていないことから、音源コ
ントローラ266に対し、左側スピーカ920aと右側
スピーカ920bとの音量比を50%、50%として各
スピーカへ音声出力するよう指示する。
The display state of the image of the other party's interlocutor is
It is shown in FIG. A pair of speakers 920 are provided on both sides of the display unit 21 to enable stereo output of sound.
When a and 920b are arranged, the reference display position of the window 800a in which the image of the interlocutor is displayed must be on the reference line CL on the monitor screen 8.
In other words, the center O 1 of the window 800a is the reference line C.
It is located on L. At this time, the control unit 263 does not cause a deviation in the X-axis direction on the monitor screen 8 between the reference line CL and the window center O 1 , so that the left-side speaker 920a and the right-side speaker 920b with respect to the sound source controller 266. It is instructed to output the sound to each speaker with the volume ratio of 50% and 50%.

【0028】一方、図6(b)は、相手側対話者像を表
示するウィンドウ800bが基準線CL上よりも右側ス
ピーカ920b側に配置されて状態を示している。この
ような表示状態において、制御部263は、まず、表示
されたウィンドウ800bと基準線CLとの距離、すな
わち、ウィンドウ800bの中心O2と基準線CLとの
距離をずれ量L1として計算し、このずれ量に応じて右
側スピーカ920bと左側スピーカ920aの音量配分
を決定する。例えば、図6(b)に示されたように、相
手側対話者像が表示されるウィンドウ800bが右側ス
ピーカ920bよりに表示された場合、制御部263
は、音源コントローラ266に対し、左側スピーカ92
0aよりも右側スピーカ920bの音量が大きくなるよ
う(例えば、右側スピーカ920bが70%、左側スピ
ーカ920aが30%)、音量調節の指示を行う。
On the other hand, FIG. 6B shows a state in which the window 800b for displaying the image of the other party's interlocutor is arranged on the right speaker 920b side rather than on the reference line CL. In such a display state, the control unit 263 first calculates the distance between the displayed window 800b and the reference line CL, that is, the distance between the center O 2 of the window 800b and the reference line CL as the deviation amount L1, The volume distribution of the right speaker 920b and the left speaker 920a is determined according to the amount of deviation. For example, as shown in FIG. 6B, when the window 800b displaying the image of the other party's interlocutor is displayed from the right speaker 920b, the control unit 263.
To the sound source controller 266, the left speaker 92
A volume adjustment instruction is given so that the volume of the right speaker 920b becomes louder than 0a (for example, 70% for the right speaker 920b and 30% for the left speaker 920a).

【0029】以上のように、制御部263は、描画部2
64がモニタ画面8上に表示した相手側対話者像のウィ
ンドウ表示位置に応じて左右スピーカ920a、920
bそれぞれの音量調節するよう音源コントローラを制御
している。
As described above, the control unit 263 controls the drawing unit 2
The left and right speakers 920a and 920 are displayed according to the window display position of the image of the interlocutor on the other side displayed on the monitor screen 8 by 64.
b The sound source controller is controlled to adjust the volume of each.

【0030】なお、上述の音量調節動作では、一対一の
双方向対話について説明したが、この発明に係る音声出
力方法は、一対多の双方向対話にも十分適応可能であ
る。図7は、この発明に係る音声出力方法における他の
音量調節動作を説明するための図である。この図7で
は、モニタ画面8上に同時対話を行っている2人の相手
側対話者がそれぞれウィンドウ表示されている。この場
合も表示部21の両側に一対のスピーカ920a、92
0bが配置されており、また、CLが各スピーカの音量
配分が50%づつに設定されるモニタ画面8上の基準線
となる。
In the above-mentioned volume adjusting operation, a one-to-one interactive dialogue has been described, but the voice output method according to the present invention can be sufficiently applied to a one-to-many interactive dialogue. FIG. 7 is a diagram for explaining another volume adjusting operation in the audio output method according to the present invention. In FIG. 7, two other party interlocutors who are engaged in simultaneous dialogue are displayed on the monitor screen 8 as windows. Also in this case, a pair of speakers 920a and 92a are provided on both sides of the display unit 21.
0b is arranged, and CL is a reference line on the monitor screen 8 in which the volume distribution of each speaker is set to 50%.

【0031】制御部263は、まず、第1相手側対話者
像が表示されているウィンドウ800cと基準線CLと
の距離、すなわちウィンドウ800cの中心O3と基準
線CLとのずれ量L2を計算するとともに、第2相手側
対話者像が表示されているウィンドウ800dと基準線
CLとの距離、すなわちウィンドウ800dの中心O 4
と基準線CLとのずれ量L3を計算する。そして、制御
部263は音源コントローラ266に対し、これら得ら
れたずれ量L2、L3に応じた音量配分でそれぞれの音
声出力を行うよう指示する。例えば、図7に示されたウ
ィンドウ表示状態において、第1相手側対話者が対話し
ている場合、制御部263は音源コントローラ266に
対し、第1相手側対話者の音声について左側スピーカ9
20aの音量配分を右側スピーカ920bよりも大きく
なるよう調節する(例えば左側スピーカ920aの音量
を70%、右側スピーカ920bの音量を30%に設
定)。一方、制御部263は、第2相手側対話者が対話
している場合、音源コントローラ266に対し、第2相
手側対話者の音声について右側スピーカ920bの音量
配分を左側スピーカ920aよりも大きくなるよう調節
する(例えば右側スピーカ920bの音量を70%、左
側スピーカ920aの音量を30%に設定)。
The control unit 263 first determines the first partner interlocutor.
The window 800c in which the image is displayed and the reference line CL
, The center O of the window 800c3And criteria
The amount of deviation L2 from the line CL is calculated, and the second opponent
Window 800d displaying the image of the interlocutor and the reference line
Distance from CL, that is, center O of window 800d Four
The deviation amount L3 between the reference line CL and the reference line CL is calculated. And control
The unit 263 informs the sound source controller 266 of these information.
The sound volume is distributed according to the deviation amounts L2 and L3.
Instruct to output voice. For example, the window shown in FIG.
When the window is displayed,
Control unit 263, the controller 263
On the other hand, regarding the voice of the first other party's interlocutor, the left speaker 9
The volume distribution of 20a is made larger than that of the right speaker 920b.
(For example, the volume of the left speaker 920a is adjusted.
Is set to 70% and the volume of the right speaker 920b is set to 30%.
Fixed). On the other hand, the control unit 263 controls the second partner dialogue
2nd phase to the sound source controller 266 if
About the voice of the hand side interlocutor Volume of the right speaker 920b
Adjust distribution to be greater than left speaker 920a
(For example, the volume of the right speaker 920b is 70%,
The volume of the side speaker 920a is set to 30%).

【0032】なお、上述の音量調節動作は、図6及び図
7に示されたように、表示部21の両側に一対のスピー
カ920a920bが配置された実施形態について説明
されているが、スピーカの種類及び配置はこれに限定さ
れるものではない。例えば、一対のスピーカは、図5に
示されたように、ヘッドホンスピーカやイヤホンスピー
カであってもよい。また、表示部21自体に内蔵された
スピーカであってもよい。内蔵型スピーカの場合、基準
線CLに対して実質的に対称であれば、例えばモニタ画
面8の下方に並べて配置されてもよい。また、モニタ画
面8を挟んで上下にそれぞれ配置されてもよい。モニタ
画面8前方に位置する対話者にステレオ音声として認知
できる配置であれば特に制限されるものではない。
The volume control operation described above has been described for an embodiment in which a pair of speakers 920a 920b are arranged on both sides of the display section 21 as shown in FIGS. 6 and 7. The arrangement is not limited to this. For example, the pair of speakers may be a headphone speaker or an earphone speaker, as shown in FIG. Further, it may be a speaker built in the display unit 21 itself. In the case of built-in speakers, if they are substantially symmetrical with respect to the reference line CL, they may be arranged side by side below the monitor screen 8, for example. Further, they may be arranged above and below with the monitor screen 8 interposed therebetween. The arrangement is not particularly limited as long as it is arranged so that an interlocutor located in front of the monitor screen 8 can perceive it as stereo sound.

【0033】[0033]

【発明の効果】以上のようにこの発明によれば、モニタ
画面上に表示された相手側対話者像の表示位置の、該モ
ニタ画面上の表示基準位置からのずれ量を算出し、該ず
れ量に応じてステレオ出力する各スピーカから出力され
る該相手側対話者音声の音量を調節するので、該モニタ
画面に対面した対話者は相手側対話者像の表示位置と一
致した音声の視聴が可能になり、より臨場感に富んだ遠
隔地対話が提供され得るという効果がある。
As described above, according to the present invention, the deviation amount of the display position of the image of the other party's interlocutor displayed on the monitor screen from the display reference position on the monitor screen is calculated, and the deviation is calculated. Since the volume of the voice of the other party's interlocutor output from each speaker for stereo output is adjusted according to the amount, the interlocutor facing the monitor screen can listen to and listen to the sound that matches the display position of the image of the other party's interlocutor. This has the effect of making it possible and providing a more realistic remote dialogue.

【図面の簡単な説明】[Brief description of drawings]

【図1】遠隔地間において伝送手段を介して視線一致を
実現する双方向対話型システムの一構成を示す図であ
る。
FIG. 1 is a diagram showing a configuration of a two-way interactive system that realizes line-of-sight matching between remote places via transmission means.

【図2】図1に示された撮像装置を示す図であって、視
線一致のためのCCDカメラの設置方法を説明するため
の図である。
FIG. 2 is a diagram showing the image pickup device shown in FIG. 1, and a diagram for explaining a method of installing a CCD camera for line-of-sight matching.

【図3】視差角を説明するための図である。FIG. 3 is a diagram illustrating a parallax angle.

【図4】CCDカメラが設置されるべき領域を示す図で
ある。
FIG. 4 is a diagram showing an area where a CCD camera is to be installed.

【図5】この発明に係る端末装置の構成を示すブロック
図である。
FIG. 5 is a block diagram showing a configuration of a terminal device according to the present invention.

【図6】この発明に係る音声出力方法における音量調節
動作を説明するための図である。
FIG. 6 is a diagram for explaining a volume adjusting operation in the audio output method according to the present invention.

【図7】この発明に係る音声出力方法における他の音量
調節動作を説明するための図である。
FIG. 7 is a diagram for explaining another volume adjusting operation in the audio output method according to the present invention.

【符号の説明】[Explanation of symbols]

8…モニタ画面、21(21A、21B)…表示部、3
(3A、3B)…対話者A、B、5A、5B…CCDカ
メラ、6(6A、6B)…撮像ユニット、600(60
0A、600B)…撮像装置、26(26A、26B)
…映像処理装置、262…D/B、263…制御部、8
00…マウス(ポインティング・デバイス)、900…
ヘッドホン、910a、910b、920a、920b
…スピーカ。
8 ... Monitor screen, 21 (21A, 21B) ... Display section, 3
(3A, 3B) ... Interlocutors A, B, 5A, 5B ... CCD camera, 6 (6A, 6B) ... Imaging unit, 600 (60)
0A, 600B) ... Imaging device, 26 (26A, 26B)
... video processing device, 262 ... D / B, 263 ... control unit, 8
00 ... Mouse (pointing device), 900 ...
Headphones, 910a, 910b, 920a, 920b
… Speaker.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 裕男 神奈川県横浜市栄区田谷町1番地 住友電 気工業株式会社横浜製作所内 (72)発明者 牧 久雄 神奈川県横浜市栄区田谷町1番地 住友電 気工業株式会社横浜製作所内 Fターム(参考) 5C064 AA01 AC02 AC06 AC12 AC16 AC22 5D062 CC02    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Hiroo Matsuda             Sumitomoden 1 Taya-cho, Sakae-ku, Yokohama-shi, Kanagawa             Ki Industry Co., Ltd. Yokohama Works (72) Inventor Hisao Maki             Sumitomoden 1 Taya-cho, Sakae-ku, Yokohama-shi, Kanagawa             Ki Industry Co., Ltd. Yokohama Works F term (reference) 5C064 AA01 AC02 AC06 AC12 AC16                       AC22                 5D062 CC02

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 相手側対話者像とともに所定の伝送手段
を介して送信されてきた該相手側対話者の音声をステレ
オ出力するために用意された少なくとも一対の音声出力
部を備えた端末装置において該相手側対話者像とともに
その音声を出力する音声出力方法であって、 前記表示部のモニタ画面上に表示された前記相手側対話
者像の表示位置を特定し、 特定された前記相手側対話者像の表示位置の、前記モニ
タ画面上における所定の表示基準位置に対するずれ量を
算出し、 検出された前記相手側対話者像の表示位置のずれ量に対
応して、前記音声出力 部それぞれから出力される前記相手側対話者音声の音量
配分を調節する音声出力方法。
1. A terminal device comprising at least a pair of audio output units prepared for stereo-outputting the voice of the other party's interlocutor transmitted through a predetermined transmission means together with the image of the other party's interlocutor. A voice output method for outputting the voice together with the image of the other party dialogue person, wherein the display position of the image of the other party dialogue person displayed on the monitor screen of the display unit is specified, and the identified other party dialogue A displacement amount of the display position of the person image with respect to a predetermined display reference position on the monitor screen is calculated, and in correspondence with the detected displacement amount of the display position of the other party dialogue person image, from each of the voice output units. A voice output method for adjusting the volume distribution of the voice of the other party's interlocutor to be output.
【請求項2】 請求項1記載の音声出力方法により、前
記表示部のモニタ画面上に表示された前期相手側対話者
像の表示位置のずれ量に応じて、前記一対の音声出力部
それぞれから出力される前記相手側対話者音声の音量配
分を調節する制御部を備えた端末装置。
2. The voice output method according to claim 1, wherein each of the pair of voice output units outputs from the pair of voice output units in accordance with a shift amount of a display position of the interlocutor image of the other party displayed on the monitor screen of the display unit. A terminal device comprising a control unit for adjusting the volume distribution of the voice of the other party's interlocutor output.
【請求項3】 所定の伝送手段を介して相手側対話者像
及びその音声を送受信することにより遠隔地対話を実現
する双方向対話型システムにおける端末装置であって、 前記相手側対話者像をモニタ画面上に表示するための表
示部と、 前記相手側対話者の音声をステレオ出力するための少な
くとも一対の音声出力部と、 前記表示部のモニタ画面上に表示された前記相手側対話
者像の表示位置を特定し、特定された前記相手側対話者
像の表示位置の、前記モニタ画面上における所定の表示
基準位置に対するずれ量を算出し、検出された前記相手
側対話者像の表示位置のずれ量に対応して、前記音声出
力部それぞれから出力される前記相手側対話者音声の音
量配分を調節する制御部とを備えた端末装置。
3. A terminal device in a two-way interactive system that realizes a remote dialogue by transmitting and receiving the image of the other party's interlocutor through a predetermined transmission means, and the image of the other party's interlocutor is displayed. A display unit for displaying on the monitor screen, at least a pair of voice output units for stereo-outputting the voice of the other-side interlocutor, and the other-side interlocutor image displayed on the monitor screen of the display unit. The display position of the other party interlocutor image is detected by calculating the displacement amount of the specified display position of the other party interlocutor image with respect to a predetermined display reference position on the monitor screen. And a control unit that adjusts the volume distribution of the other party's interlocutor's voice output from each of the voice output units according to the amount of deviation.
【請求項4】 前記音声出力部は、前記表示部のモニタ
画面上に表示された相手側対話者像に対して実質的に対
称になるよう配置されたスピーカを含むことを特徴とす
る請求項2又は3記載の端末装置。
4. The voice output unit includes a speaker arranged so as to be substantially symmetrical with respect to the image of the other party's interlocutor displayed on the monitor screen of the display unit. The terminal device according to 2 or 3.
【請求項5】 前記音声出力部は、ヘッドホンスピーカ
あるいはイヤホンスピーカを含むことを特徴とする請求
項2又は3記載の端末装置。
5. The terminal device according to claim 2, wherein the audio output unit includes a headphone speaker or an earphone speaker.
【請求項6】 所定の伝送手段を介して端末装置間にお
いて互いに相手側対話者像を送受信することにより遠隔
地対話を実現する双方向対話型システムであって、 前記端末装置の少なくとも一方は、請求項2〜5のいず
れか一項記載の端末装置と同じ構造を有する双方向対話
型システム。
6. A two-way interactive system that realizes remote dialogue by transmitting and receiving the image of the other party's interlocutor between the terminal devices via a predetermined transmission means, wherein at least one of the terminal devices comprises: A two-way interactive system having the same structure as the terminal device according to claim 2.
【請求項7】 コンピュータにより請求項1記載の方法
を実行するコンピュータプログラム。
7. A computer program for executing the method of claim 1 by a computer.
【請求項8】 コンピュータにより請求項1記載の方法
を実行するコンピュータプログラムが記録された記録媒
体。
8. A recording medium on which a computer program for executing the method according to claim 1 is recorded by a computer.
JP2002108453A 2002-04-10 2002-04-10 Voice output method, terminal device, and two-way interactive system Pending JP2003304515A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002108453A JP2003304515A (en) 2002-04-10 2002-04-10 Voice output method, terminal device, and two-way interactive system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002108453A JP2003304515A (en) 2002-04-10 2002-04-10 Voice output method, terminal device, and two-way interactive system

Publications (1)

Publication Number Publication Date
JP2003304515A true JP2003304515A (en) 2003-10-24

Family

ID=29392228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002108453A Pending JP2003304515A (en) 2002-04-10 2002-04-10 Voice output method, terminal device, and two-way interactive system

Country Status (1)

Country Link
JP (1) JP2003304515A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860964B1 (en) 2006-07-05 2008-09-30 삼성전자주식회사 Apparatus and method for playback multimedia contents
CN110719545A (en) * 2019-09-12 2020-01-21 连尚(新昌)网络科技有限公司 Audio playing device and method for playing audio

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860964B1 (en) 2006-07-05 2008-09-30 삼성전자주식회사 Apparatus and method for playback multimedia contents
CN110719545A (en) * 2019-09-12 2020-01-21 连尚(新昌)网络科技有限公司 Audio playing device and method for playing audio

Similar Documents

Publication Publication Date Title
US20200389623A1 (en) Devices with enhanced audio
US6005604A (en) Two-way interactive system, terminal equipment and image pick-up apparatus having mechanism for matching lines of sight between interlocutors through transmission means
US6714238B2 (en) Video/audio communication system with confirmation capability
US6275258B1 (en) Voice responsive image tracking system
US8711201B2 (en) Controlling a video window position relative to a video camera position
US20100328423A1 (en) Method and apparatus for improved mactching of auditory space to visual space in video teleconferencing applications using window-based displays
US10951859B2 (en) Videoconferencing device and method
JP2003186593A (en) Multiwindow display method and system thereof
JPH1042264A (en) Video conference system
JP2005033570A (en) Method and system for providing mobile body image
US10674259B2 (en) Virtual microphone
WO2020003730A1 (en) Information processing device, information processing method, and information processing system
US11140508B2 (en) Apparatus and associated methods for audio presented as spatial audio
JP2003304515A (en) Voice output method, terminal device, and two-way interactive system
KR102501244B1 (en) Continuous mobile wireless live broadcasting and real-time video conferencing device
JP3027983B2 (en) Two-way interactive system
JP4329300B2 (en) Multi-window display method
JP2004007561A (en) Video conference system, terminal equipment included in the same system, and data distributing method
JP2003309828A (en) Method for correcting display position of monitor image, terminal, mount tool, and two-way interactive system
JP2970661B2 (en) How to display a monitor image
JPH11289523A (en) Bidirectional interactive system
JP2003333561A (en) Monitor screen displaying method, terminal, and video conference system
WO2023176389A1 (en) Information processing device, information processing method, and recording medium
JP2003296010A (en) Method of generating effective sound in pen input operation, terminal unit and two-way interactive system
JPH1175173A (en) Bidirectional interactive system having mechanism to secure coincidence of lines of sight between dialogists via transmission means

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071030