JP5007590B2

JP5007590B2 - Videophone system and agent device

Info

Publication number: JP5007590B2
Application number: JP2007090400A
Authority: JP
Inventors: 鎭治加古
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2012-08-22
Anticipated expiration: 2027-03-30
Also published as: JP2008252455A

Description

本発明は、複数の通話者の間で音声および画像を用いて通信を行うテレビ電話システム、およびそれに用いるエージェント装置、並びにテレビ電話システムにおける話題の対象の指示方法に関する。 The present invention relates to a videophone system that performs communication using voice and images among a plurality of callers, an agent device used therefor, and a method for instructing a topic target in the videophone system.

従来より、複数の通話者の間で音声および画像を用いて通信を行うテレビ電話システムが用いられている。そのようなテレビ電話システムでは、ディスプレイ装置のモニタ画面に相手の顔や姿を映しながら電話で会話を行うことができる。 2. Description of the Related Art Conventionally, a videophone system that performs communication using voice and images between a plurality of callers has been used. In such a videophone system, it is possible to carry out a telephone conversation while reflecting the face and appearance of the other party on the monitor screen of the display device.

図１９は従来のテレビ電話システム８０を示す図である。 FIG. 19 is a diagram showing a conventional videophone system 80.

図１９に示すテレビ電話システム８０おいては、互いに離れた場所にいる２人の通話者Ａ，Ｂが、テレビ電話装置８２ａ，８２ｂを用いて通信を行う。各テレビ電話装置８２ａ，８２ｂには、各通話者Ａ，Ｂを撮影するビデオカメラ、音声を拾うマイク、および、相手側から送られてきた画像（映像）を表示するディスプレイ装置が備えられている。 In the videophone system 80 shown in FIG. 19, two callers A and B who are remote from each other communicate using videophone devices 82a and 82b. Each of the video phone devices 82a and 82b is provided with a video camera that captures each of the callers A and B, a microphone that picks up sound, and a display device that displays an image (video) sent from the other party. .

また、テレビ電話を用いて多人数で同時に会議を開けるようにしたテレビ電話システムでは、複数台のビデオカメラおよびマイクが設置され、ビデオカメラを遠隔操作することにより会場の全体の様子や発言者の顔などを離れた場所のディスプレイ装置に表示できるようになっている。 In addition, in a videophone system that allows a large number of people to hold a conference simultaneously using a videophone, multiple video cameras and microphones are installed. It can be displayed on a display device at a distant place such as a face.

また、ビデオカメラを遠隔操作するためにビデオカメラを移動型ロボットに搭載し、ロボットを遠隔操縦することによって、多数のビデオカメラを設置することなく、複数箇所の画像を取得して離れた場所で監視する技術が提案されている（特許文献１）。 In addition, a video camera is installed in a mobile robot to remotely control the video camera, and by remotely manipulating the robot, multiple images can be acquired at a remote location without installing a large number of video cameras. A technique for monitoring has been proposed (Patent Document 1).

また、Ｗ−ＣＤＭＡなどの高伝送能力の次世代通信方式の携帯電話機を用いたテレビ電話において、携帯電話機によって相手側のカメラを制御することが提案されている（特許文献２）
また、カメラで撮影を行う場合に、レーザ光をスポット照射して対象物を指し示す指示装置も提案されている（特許文献３）。
特開２００２−８４５３１特開２００２−５７８０８特開２００４−３６４０６７ In addition, in a videophone using a mobile phone of a next-generation communication system with high transmission capability such as W-CDMA, it has been proposed to control a camera on the other side by the mobile phone (Patent Document 2).
In addition, an instruction device has also been proposed that irradiates a laser beam with a spot and points to an object when photographing with a camera (Patent Document 3).
JP 2002-84531 A JP 2002-57808 A JP-A 2004-364067

しかし、従来のテレビ電話システムでは次のような問題がある。 However, the conventional videophone system has the following problems.

すなわち、テレビ電話を利用する通話者Ａ，Ｂは、その時々の話題について会話を行うが、通常、その話題の対象となっている物（対象物）は、通話者Ａ，Ｂのいずれか一方のみに存在するので、他方の通話者は、その対象物を相手側のビデオカメラで撮影して送信されてきた画像を見ながら会話を行うこととなる。 That is, the callers A and B who use the videophone call have conversations on the topic at that time, but the object (object) that is the subject of the topic is usually one of the callers A and B. Therefore, the other party talks while looking at the image transmitted by photographing the target object with the video camera of the other party.

したがって、例えば、対象物が通話者Ａの側にあるとした場合に、その相手方である通話者Ｂが、テレビ電話装置８２ｂに映し出された対象物またはその特定の部分を「これ」と言って指差したとしても、通話者Ａには通話者Ｂが何を指しているのか理解できない。そのため、通話者Ｂは、「赤くて、丸くて…」などと多くの言葉で補いながら会話を進める必要があった。 Therefore, for example, when the object is on the side of the caller A, the other party, the caller B, says "this" the object displayed on the videophone device 82b or a specific part thereof. Even if he points, the caller A cannot understand what the caller B is pointing to. Therefore, the caller B had to proceed with the conversation while supplementing with many words such as “red, round ...”.

そこで、通話者Ａのテレビ電話装置８２ａにも、通話者Ｂのテレビ電話装置８２ｂと同じ映像を映し出すようにし、通話者Ｂの「指差し」位置を通話者Ａのテレビ電話装置８２ａに表示することによって、通話者Ｂが「これ」と言って指差した内容を通話者Ａが理解できるようにすることが考えられる。 Therefore, the same video as the video phone device 82b of the caller B is displayed on the video phone device 82a of the caller A, and the “pointing” position of the caller B is displayed on the video phone device 82a of the caller A. Thus, it is conceivable that the caller A can understand the content pointed by the caller B saying “this”.

しかし、その場合でも、通話者Ａの意識は実空間とモニタ画面上の空間との間を行き来することがあり、その場合には、話題とは乖離した画像操作が必要となって会話の進行が円滑に進まない要因ともなる。 However, even in that case, the consciousness of the caller A sometimes goes back and forth between the real space and the space on the monitor screen. In this case, an image operation that deviates from the topic is required, and the conversation progresses. Is also a factor that does not proceed smoothly.

また、話題の対象物が通話者Ａ，Ｂのそれぞれの近傍に存在する場合にも、それらを相互に参照する場合において、話題の対象物の所在場所を言葉で説明する必要があるために会話の進行が円滑に進まないことがある。 In addition, even when a topical object exists in the vicinity of each of the callers A and B, it is necessary to explain the location of the topical object in words when referring to each other. May not progress smoothly.

また、特許文献１および２のようにビデオカメラを遠隔操作した場合であっても、それだけでは話題の対象物を旨く指し示すことは困難である。 Further, even when the video camera is remotely operated as in Patent Documents 1 and 2, it is difficult to point out a topical object by itself.

また、特許文献３のような指示装置をテレビ電話システムに用いたとした場合に、どのようにすれば話題の対象物を旨く指し示すことができるかについて未解決である。 Further, when an instruction device such as that disclosed in Patent Document 3 is used in a videophone system, it is not yet solved how to indicate a topical object.

このように、従来においては、テレビ電話システムを用いて会話を行うときに、今どれを話題の対象物としているのかを相手方に分かり易く示すことが容易ではなかった。 As described above, conventionally, when a conversation is performed using a videophone system, it is not easy to easily show to the other party which is the subject of interest.

本発明は、上述の問題に鑑みてなされたもので、テレビ電話システムを用いて会話を行うときに、今どれを話題の対象物としているのかを相手方により分かり易く示せるようにすることを目的とする。 The present invention has been made in view of the above-described problems, and it is an object of the present invention to make it easier for the other party to understand which is the subject of interest when a conversation is performed using a videophone system. To do.

本発明に係る実施形態のテレビ電話システムは、複数の通話者の間で音声および画像を用いて通信を行うテレビ電話システムであって、他の通話者から送信される画像を表示するするディスプレイ装置、および、他の通話者に送信するための画像を撮影するカメラおよび近傍にある対象物を指し示すための指示装置を搭載した移動可能なエージェント装置が、各通話者の側に配置されており、しかも、前記各エージェント装置は、前記カメラを支持するとともにその光軸の角度を変更し調整するためのアングル制御装置、および、当該エージェント装置を前記対象物の近傍に移動させるための移動装置を備え、さらに、前記ディスプレイ装置および前記エージェント装置には、他の通話者からの音声を出力するためのスピーカが搭載され、他の通話者の動作または操作によって、当該他の通話者の音声が前記ディスプレイ装置のスピーカまたは前記エージェント装置のスピーカから選択的に切り替えられて出力される。 A videophone system according to an embodiment of the present invention is a videophone system that performs communication using voice and images among a plurality of callers, and displays an image transmitted from another caller A movable agent device equipped with a camera that captures an image to be transmitted to other callers and an instruction device for pointing an object in the vicinity is disposed on each caller's side, In addition, each agent device includes an angle control device for supporting and changing the angle of the optical axis of the camera device, and a moving device for moving the agent device in the vicinity of the object. , further, the said display device and said agent device, a speaker for outputting voice from the other party are mounted, other The talker operation or operations, the voice of the other party are outputted selectively switched by the speaker or the speaker of the agent device of the display device.

通話者の動作または操作によって相手方のスピーカを切り替えることにより、音声が出力される位置や音質などが変化することから、相手方は、話題の対象物が変化したことを認識することができる。また、これとともに音声の内容、例えば「あれ」「これ」などの語句によって、話題の対象物がより一層分かり易くなる。 By switching the speaker of the other party according to the operation or operation of the caller, the position where the sound is output, the sound quality, and the like change, so that the other party can recognize that the topical object has changed. In addition, the content of the voice, for example, phrases such as “that” and “this” make it easier to understand the topical object.

また、エージェント装置は、光軸の角度を変更できるカメラを備えかつ対象物の近傍に移動可能であるので、通話者が相手方のエージェント装置を遠隔操作することにより、カメラによって撮影した相手方の対象物の画像をディスプレイ装置に表示させながら、指示装置によって相手方の対象物を容易に差し示すことができ、話題の対象物を相手方に容易に理解させることができる。 The agent device, movable der Runode near the a camera capable of changing the angle of the optical axis and the object, by the party to remotely control the other party agent apparatus, the other party of the subject taken by the camera While the object image is displayed on the display device, the object of the other party can be easily indicated by the pointing device, and the other party can easily understand the topic object.

切り替えのための動作または操作として、音声による指示、接触センサによる指示、操作ボタンなどによる指示などを用いることが可能である。 As an operation or operation for switching, an instruction by voice, an instruction by a contact sensor, an instruction by an operation button, or the like can be used.

また、前記ディスプレイ装置および前記エージェント装置に、通話者が接触したことを検出する接触センサを設けておき、他の通話者が当該他の通話者の側の前記ディスプレイ装置に接触したときには前記エージェント装置のスピーカから音声が出力され、他の通話者が当該他の通話者の側の前記エージェント装置に接触したときには前記ディスプレイ装置のスピーカから音声が出力されるように構成してもよい。 In addition, the display device and the agent device are provided with a contact sensor that detects that a caller has touched, and when another caller contacts the display device on the other caller side, the agent device. A voice may be output from the speaker of the display device, and a voice may be output from the speaker of the display device when another caller contacts the agent device on the other caller's side.

これによって、通話者は、ディスプレイ装置またはエージェント装置に接触することによって、自分の音声を出力する相手方のスピーカを切り替え、自分が話題としている対象物を相手方に分からせることが一層容易になる。 This makes it easier for the caller to switch the speaker of the other party that outputs his / her voice by touching the display device or the agent device, so that the other party knows the subject he / she is talking about.

本発明によると、テレビ電話システムを用いて会話を行うときに、今どれを話題の対象物としているのかを相手方により分かり易く示せるようになる。 According to the present invention, when a conversation is performed using a videophone system, it is possible to easily show which is the subject of interest now to the other party.

図１は本発明に係る一実施形態のテレビ電話システム１を示すブロック図、図２は携帯電話機１１の構成の例を示すブロック図、図３はディスプレイ装置１２の構成の例を示すブロック図、図４はエージェント装置１３の構成の例を示すブロック図、図５はカメラ装置５１の構成の例を示す図である。 1 is a block diagram showing a videophone system 1 according to an embodiment of the present invention, FIG. 2 is a block diagram showing an example of the configuration of a mobile phone 11, and FIG. 3 is a block diagram showing an example of the configuration of a display device 12. FIG. 4 is a block diagram showing an example of the configuration of the agent device 13, and FIG. 5 is a diagram showing an example of the configuration of the camera device 51.

図１に示すテレビ電話システム１は、２人の通話者Ａ，Ｂの間で音声（Voice ）および画像（Video ）を用いて通信を行う場合の例を示す。 The videophone system 1 shown in FIG. 1 shows an example in which communication is performed between two callers A and B using voice (Voice) and images (Video).

図１において、テレビ電話システム１では、各通話者Ａ，Ｂの近傍に、携帯電話機１１ａ，１１ｂ、ディスプレイ装置（モニタ装置）１２ａ，１２ｂ、エージェント装置１３ａ，１３ｂが設けられている。これらの機器は、各通話者Ａ，Ｂの側において、ルータＢＳａ，ｂを経由して相互に通信を行うことができる。また、各通話者Ａ，Ｂは、これらの機器によって、ＩＰ網およびルータＢＳａ，ｂを経由して、他の通話者Ｂ，Ａとテレビ電話を行うことができる。通話者がさらに増える場合には、その通話者の近傍にこれら携帯電話機１１、ディスプレイ装置１２、エージェント装置１３、およびルータＢＳと同じものを設ければよい。 In FIG. 1, in the videophone system 1, mobile phones 11a and 11b, display devices (monitor devices) 12a and 12b, and agent devices 13a and 13b are provided in the vicinity of the callers A and B. These devices can communicate with each other via the routers BSa and b on the side of the callers A and B. In addition, each of the callers A and B can make a videophone call with other callers B and A via the IP network and the routers BSa and b by using these devices. When the number of callers further increases, the same mobile phone 11, display device 12, agent device 13, and router BS may be provided in the vicinity of the callers.

なお、携帯電話機１１ａ，１１ｂは互いに同じ機能を有するものであり、本明細書においてはそれらのいずれかまたは両方を指して「携帯電話機１１」と記載することがある。ディスプレイ装置１２ａ，１２ｂ、エージェント装置１３ａ，１３ｂなどについても同様である。 Note that the mobile phones 11a and 11b have the same functions as each other, and in this specification, either or both of them may be referred to as “mobile phone 11”. The same applies to the display devices 12a and 12b and the agent devices 13a and 13b.

携帯電話機１１は、通話者Ａ，Ｂが携帯可能であり、種々の携帯電話事業者が提供する移動体通信システムを用いて相手方と電話やメールなどの通信を行うものである。また、携帯電話機１１は、相手方との通信のみでなく、テレビ電話システム１における相手方の機器を遠隔操作することも可能である。 The mobile phone 11 can be carried by the callers A and B, and communicates with the other party using a mobile communication system provided by various mobile phone carriers. In addition, the mobile phone 11 can not only communicate with the other party, but also remotely operate the other party's device in the videophone system 1.

図２に示すように、携帯電話機１１には、ボタン入力部およびジョイスティック入力部などからなる操作部３１、スピーカやイヤホンジャックなどを含む音声出力部３２、マイクなどを含む音声入力部３３、ディスプレイ３４、通信制御部３５、記憶部３６、および制御部３０などが設けられている。このような携帯電話機１１の構成それ自体については公知であるので、ここでは本実施形態に特徴的な構成および作用などについてのみ説明する。 As shown in FIG. 2, the cellular phone 11 includes an operation unit 31 including a button input unit and a joystick input unit, an audio output unit 32 including a speaker and an earphone jack, an audio input unit 33 including a microphone, and a display 34. A communication control unit 35, a storage unit 36, a control unit 30, and the like are provided. Since the configuration of the mobile phone 11 as such is well known, only the configuration and operation characteristic of this embodiment will be described here.

通信制御部３５は、ディスプレイ装置１２、エージェント装置１３、またはルータＢＳなどを中継機として利用し、他の機器との無線による通信を制御する。 The communication control unit 35 uses the display device 12, the agent device 13, the router BS, or the like as a relay device, and controls wireless communication with other devices.

記憶部３６には、アドレス情報記憶部３６ａが設けられている。アドレス情報記憶部３６ａには、送信先アドレス情報、受信アドレス情報、および制御アドレス情報などが格納される。また、送信先アドレス情報および受信アドレス情報として、画像、音声、遠隔制御、許可信号、および指定位置のそれぞれについての情報が格納される。制御アドレス情報として、エージェント接続、モニタ接続、および相手携帯装置接続のそれぞれについての情報が格納される。これらのうち、指定位置受信アドレス情報は、位置指定信号を受信するためのアドレス情報である。

記憶部３６には、また、対象位置ｘ比率座標、対象位置ｙ比率座標が格納される。これらの情報は、エージェント装置１３に備えられた指示装置６２で指示を行う際の指定位置を示す座標情報である。 The storage unit 36 is provided with an address information storage unit 36a. The address information storage unit 36a stores transmission destination address information, reception address information, control address information, and the like. In addition, information about each of the image, sound, remote control, permission signal, and designated position is stored as transmission destination address information and reception address information. Information about each of agent connection, monitor connection, and partner mobile device connection is stored as control address information. Among these, designated position reception address information is address information for receiving a position designation signal.

The storage unit 36 also stores target position x ratio coordinates and target position y ratio coordinates. These pieces of information are coordinate information indicating a designated position when an instruction is issued by the instruction device 62 provided in the agent device 13.

記憶部３６は、これらアドレス情報および座標情報の他、制御部３０で実行するプログラムやプログラム処理に必要な情報が格納されている。 In addition to the address information and coordinate information, the storage unit 36 stores programs executed by the control unit 30 and information necessary for program processing.

制御部３０は、記憶部３６に格納されたプログラムなどを実行しまたは処理することにより、携帯電話機１１の全体を制御する。 The control unit 30 controls the entire mobile phone 11 by executing or processing a program stored in the storage unit 36.

携帯電話機１１を使用する通話者Ａ，Ｂが操作部３１を操作（アングル調整）することによって、相手方のエージェント装置１３のアングル制御装置５２を遠隔操作することができる。 When the callers A and B who use the mobile phone 11 operate the operation unit 31 (angle adjustment), the angle control device 52 of the partner agent device 13 can be remotely operated.

また、携帯電話機１１を操作（引込操作、訪問操作、押戻操作、退去操作）することによって、当該通話者Ａ，Ｂの声を、他の通話者Ｂ，Ａの側の携帯電話機１１ａ，１１ｂのスピーカ、ディスプレイ装置１２ｂ，１２ａのスピーカ、またはエージェント装置１３ａ，１３ｂのスピーカのいずれかに選択的に切り替えて出力させることができる。その動作については後で説明する。 Further, by operating the cellular phone 11 (withdrawing operation, visiting operation, pushing back operation, leaving operation), the voices of the callers A and B can be transmitted to the cellular phones 11a and 11b on the other callers B and A side. Can be selectively switched to any one of the above speakers, the speakers of the display devices 12b and 12a, or the speakers of the agent devices 13a and 13b. The operation will be described later.

図３に示すように、ディスプレイ装置１２には、ＬＣＤなどからなるビデオ表示部４１、タッチパネル入力部４１ａ、スピーカを含む音声出力部４２、通信制御部４３、記憶部４４、接触センサＳＥ２、操作入力部ＳＮ２、および制御部４０などが設けられている。 As shown in FIG. 3, the display device 12 includes a video display unit 41 such as an LCD, a touch panel input unit 41a, an audio output unit 42 including a speaker, a communication control unit 43, a storage unit 44, a contact sensor SE2, and an operation input. The unit SN2, the control unit 40, and the like are provided.

ビデオ表示部４１には、他の通話者から送信される画像が表示される。ビデオ表示部４１には、タッチパネル入力部４１ａが一体的に設けられており、通話者は、ビデオ表示部４１に表示された画像を見ながらタッチパネル入力部４１ａから入力を行うことができる。これにより、ビデオ表示部４１に表示された画像に対して、特定の部位を容易に指定することができる。指定された位置は、例えば指定位置情報として出力される。 The video display unit 41 displays images transmitted from other callers. The video display unit 41 is integrally provided with a touch panel input unit 41 a, and a caller can input from the touch panel input unit 41 a while viewing an image displayed on the video display unit 41. Thereby, it is possible to easily specify a specific part for the image displayed on the video display unit 41. The designated position is output as designated position information, for example.

音声出力部４２からは、当該ディスプレイ装置１２が音声出力用として選択されている場合に、他の通話者から送信される音声が出力される。 The audio output unit 42 outputs audio transmitted from other callers when the display device 12 is selected for audio output.

通信制御部４３は、携帯電話機１１、エージェント装置１３、またはルータＢＳなどを中継機として利用し、他の機器との無線による通信を制御する。 The communication control unit 43 uses the mobile phone 11, the agent device 13, or the router BS as a relay device, and controls wireless communication with other devices.

記憶部４４には、アドレス情報記憶部４４ａが設けられており、携帯電話機１１のアドレス情報記憶部３６ａと同様なアドレス情報が格納されている。また、アドレス情報の他、制御部４０で実行するプログラムやプログラム処理に必要な情報が格納されている。 The storage unit 44 is provided with an address information storage unit 44 a and stores address information similar to the address information storage unit 36 a of the mobile phone 11. In addition to address information, a program executed by the control unit 40 and information necessary for program processing are stored.

接触センサＳＥ２は、通話者がディスプレイ装置１２に接触した場合にそれを検出する。つまり、通話者がディスプレイ装置１２に接触した場合に、接触センサＳＥ２から信号が出力され、それに応じて後で説明するような処理が行われる。 The contact sensor SE2 detects when a caller contacts the display device 12. That is, when the caller touches the display device 12, a signal is output from the contact sensor SE2, and processing described later is performed accordingly.

操作入力部ＳＮ２は、種々のボタン、キー、マウスなどであり、通話者の操作によって指令などを入力する。 The operation input unit SN2 includes various buttons, keys, a mouse, and the like, and inputs commands and the like by a caller's operation.

制御部４０は、記憶部４４に格納されたプログラムなどを実行しまたは処理することにより、ディスプレイ装置１２の全体を制御する。 The control unit 40 controls the entire display device 12 by executing or processing a program stored in the storage unit 44.

図４に示すように、エージェント装置１３には、カメラ装置５１、アングル制御装置５２、移動装置５３、スピーカを含む音声出力部５４、マイクを含む音声入力部５５、音声認識部５６、音声認識辞書部５７、通信制御部５８、記憶部５９、および制御部５０などが設けられている。 As shown in FIG. 4, the agent device 13 includes a camera device 51, an angle control device 52, a moving device 53, a voice output unit 54 including a speaker, a voice input unit 55 including a microphone, a voice recognition unit 56, a voice recognition dictionary. A unit 57, a communication control unit 58, a storage unit 59, a control unit 50, and the like are provided.

カメラ装置５１には、他の通話者に送信するための画像を撮影するカメラ６１、および近傍にある対象物ＪＴを指し示すための指示装置６２が設けられている。 The camera device 51 is provided with a camera 61 that captures an image for transmission to another caller, and an instruction device 62 for pointing to a target object JT in the vicinity.

つまり、図５に示すように、カメラ装置５１は、カメラ６１および指示装置６２が一体になって構成されている。カメラ６１は、レンズ６３、ＣＣＤ６４、およびフォーカス制御部６５などからなる。対象物ＪＴの像が、レンズ６３を介してＣＣＤ６４上に結像する。フォーカス制御部６５は、対象物ＪＴの距離に応じてレンズ６３を光軸方向に移動させて焦点を合わせる。 That is, as shown in FIG. 5, the camera device 51 is configured by integrating a camera 61 and an instruction device 62. The camera 61 includes a lens 63, a CCD 64, a focus control unit 65, and the like. An image of the object JT is formed on the CCD 64 via the lens 63. The focus control unit 65 moves the lens 63 in the optical axis direction according to the distance of the target object JT to focus.

指示装置６２は、プロジェクタ６７および平面板ガラス６８などからなる。プロジェクタ６７の発光面は、ＣＣＤ６４の受光面に対し、平面板ガラス６８を対称面として鏡像の位置関係に配置されており、プロジェクタ６７の発光面上の任意の位置を発光させることができる。プロジェクタ６７から射出された光スポットは、平面板ガラス６８で反射し、レンズ６３を通過して対象物ＪＴの表面の一点を照射する。これによって、ＣＣＤ６４による対象物ＪＴの撮影と同期して、対象物ＪＴ上の位置を指し示すことができる。なお、平面板ガラス６８は、プロジェクタ６７から照射された光は反射するが、レンズ６３から入射した光は透過してＣＣＤ６４上に結像する。 The pointing device 62 includes a projector 67 and a flat plate glass 68. The light emitting surface of the projector 67 is arranged in a mirror image positional relationship with respect to the light receiving surface of the CCD 64 with the flat plate glass 68 as a symmetrical surface, and can emit light at an arbitrary position on the light emitting surface of the projector 67. The light spot emitted from the projector 67 is reflected by the flat plate glass 68, passes through the lens 63, and irradiates one point on the surface of the object JT. Thereby, the position on the object JT can be pointed in synchronization with the photographing of the object JT by the CCD 64. The flat plate glass 68 reflects the light emitted from the projector 67 but transmits the light incident from the lens 63 and forms an image on the CCD 64.

例えば、図５に示すように、ＣＣＤ６４の受光面６４Ｓに対象物ＪＴの像ＦＱ１が結像しているとすると、それと相似の関係にあるプロジェクタ６７の発光面６７Ｓにも、それに対応する像ＦＱ２が仮想的に存在する。そこで、発光面６７Ｓの像ＦＱ２の１つの点ＰＴ１を指定して発光させると、その光スポットは、対象物ＪＴ上の１つの点ＰＴ２を照射する。 For example, as shown in FIG. 5, if an image FQ1 of the object JT is formed on the light receiving surface 64S of the CCD 64, the image FQ2 corresponding to the light emitting surface 67S of the projector 67 having a similar relationship therewith is also displayed. Exists virtually. Therefore, when one point PT1 of the image FQ2 on the light emitting surface 67S is designated and emitted, the light spot irradiates one point PT2 on the object JT.

したがって、例えば、ＣＣＤ６４で撮影した像ＦＱ１を、タッチパネルの設けられた表示画面ＨＧで表示し、その像ＦＱ１上の特定の点ＰＴ１をタッチパネルで指定し、指定した点ＰＴ１に対応した位置からプロジェクタ６７が光スポットを照射するように構成しておくことにより、対象物ＪＴ上の点ＰＴ２を光スポットによって指し示すことができる。対象物ＪＴから離れた相手方の通話者の側に、このような表示画面ＨＧを備えたエージェント装置１３を配置しておけばよい。 Therefore, for example, the image FQ1 photographed by the CCD 64 is displayed on the display screen HG provided with the touch panel, a specific point PT1 on the image FQ1 is designated by the touch panel, and the projector 67 is selected from the position corresponding to the designated point PT1. Is configured to irradiate the light spot, the point PT2 on the object JT can be indicated by the light spot. The agent device 13 having such a display screen HG may be arranged on the side of the other party who is away from the object JT.

なお、プロジェクタ６７に代えて、平面上を移動可能な点光源、例えばＬＥＤ、レーザダイオードなどを設けてもよい。 Instead of the projector 67, a point light source that can move on a plane, such as an LED or a laser diode, may be provided.

図４に戻って、アングル制御装置５２は、カメラ装置５１を支持するとともに、その光軸の角度を垂直および水平方向に変更し調整する。移動装置５３は、エージェント装置１３の全体を移動させて位置を変更する。これらにより、任意の位置にある対象物ＪＴに対して、エージェント装置１３がその近傍に移動し、カメラ装置５１を対象物ＪＴの方向に向け、カメラ６１によって対象物ＪＴの撮影を行い、指示装置６２によって対象物ＪＴ上に光スポットを照射して位置を差し示すことができる。 Returning to FIG. 4, the angle control device 52 supports the camera device 51 and changes and adjusts the angle of the optical axis in the vertical and horizontal directions. The moving device 53 changes the position by moving the entire agent device 13. As a result, the agent device 13 moves to the vicinity of the target object JT at an arbitrary position, directs the camera device 51 in the direction of the target object JT, images the target object JT with the camera 61, and indicates the pointing device. The position can be indicated by irradiating a light spot on the object JT by 62.

音声出力部５４からは、当該エージェント装置１３が音声出力用として選択されている場合に、他の通話者から送信される音声が出力される。 The voice output unit 54 outputs a voice transmitted from another caller when the agent device 13 is selected for voice output.

なお、上に述べたように、音声出力部３２，４２，５４は、いずれもスピーカを含むものであり、現実にはスピーカから音声が出力されるので、これらを、「スピーカ３２」「スピーカ４２」「スピーカ５４」と記載することがある。なお、スピーカには、その原理、構造、形状がどのようなものであれ、音声を出力する全ての機器が含まれる。同様に、マイクには、音声を入力する全ての機器が含まれる。 Note that, as described above, each of the audio output units 32, 42, and 54 includes a speaker, and since audio is actually output from the speaker, these are output as “speaker 32” and “speaker 42”. "Speaker 54". Note that the speaker includes all devices that output sound regardless of the principle, structure, or shape. Similarly, the microphone includes all devices that input audio.

音声入力部５５は、マイクから通話者の音声などを入力する。音声認識部５６は、音声入力部５５から入力された音声のなかで、音声認識辞書部５７に登録された「ことば」を検知して音声認識を行う。 The voice input unit 55 inputs a caller's voice and the like from a microphone. The voice recognition unit 56 detects the “word” registered in the voice recognition dictionary unit 57 from the voices input from the voice input unit 55 and performs voice recognition.

通信制御部５８は、携帯電話機１１、ディスプレイ装置１２、またはルータＢＳなどを中継機として利用し、他の機器との無線による通信を制御する。 The communication control unit 58 uses the mobile phone 11, the display device 12, or the router BS as a relay device, and controls wireless communication with other devices.

記憶部５９には、アドレス情報記憶部５９ａが設けられており、携帯電話機１１のアドレス情報記憶部３６ａと同様なアドレス情報が格納されている。また、アドレス情報の他、制御部５０で実行するプログラムやプログラム処理に必要な情報が格納されている。 The storage unit 59 is provided with an address information storage unit 59a, and stores address information similar to the address information storage unit 36a of the mobile phone 11. In addition to the address information, a program executed by the control unit 50 and information necessary for program processing are stored.

接触センサＳＥ３は、通話者がエージェント装置１３に接触した場合にそれを検出する。つまり、通話者がエージェント装置１３に接触した場合に、接触センサＳＥ３から信号が出力され、それに応じて後で説明するような処理が行われる。 The contact sensor SE3 detects when the caller contacts the agent device 13. That is, when the caller contacts the agent device 13, a signal is output from the contact sensor SE3, and processing described later is performed accordingly.

操作入力部ＳＮ３は、種々のボタン、キー、タッチパネルなどであり、通話者の操作によって指令などを入力する。 The operation input unit SN3 is various buttons, keys, a touch panel, and the like, and inputs a command and the like by a caller's operation.

制御部５０は、記憶部５９に格納されたプログラムなどを実行しまたは処理することにより、エージェント装置１３の全体を制御する。 The control unit 50 controls the entire agent device 13 by executing or processing a program stored in the storage unit 59.

このように構成されたエージェント装置１３は、一種のロボットまたはラジコンカーであるということができ、他の通話者の側のディスプレイ装置１２によって遠隔操作され、対象物ＪＴその他の画像や通話者の音声などを取得して他の通話者に提示する。 The agent device 13 configured in this way can be said to be a kind of robot or radio controlled car, and is remotely operated by the display device 12 on the other party's side, and the object JT or other images or the voice of the party's call. Etc. and present it to other parties.

例えば、ディスプレイ装置１２の表示画面ＨＧ上に相手方の対象物ＪＴの画像を表示させておき、当該通話者が画面ＨＧ上で対象物ＪＴ上の特定の位置を指で押して指示する。すると、その位置を示す信号がその対象物ＪＴの存在する相手方のエージェント装置１３に送信され、その位置が相手方のエージェント装置１３によって差し示される。 For example, an image of the other party's target object JT is displayed on the display screen HG of the display device 12, and the caller gives an instruction by pressing a specific position on the target object JT with the finger on the screen HG. Then, a signal indicating the position is transmitted to the partner agent apparatus 13 where the target object JT exists, and the position is indicated by the partner agent apparatus 13.

また、表示画面ＨＧ上において、当該通話者が任意の位置を指で押して指示する。すると、相手方のエージェント装置１３は、差し示された対象物ＪＴ上の位置がカメラ装置５１の光軸上となるように、移動装置５３によって移動し、アングル制御装置５２によってカメラ装置５１の角度方向を制御する。 On the display screen HG, the caller gives an instruction by pressing an arbitrary position with a finger. Then, the partner agent device 13 is moved by the moving device 53 so that the position on the indicated object JT is on the optical axis of the camera device 51, and the angle direction of the camera device 51 by the angle control device 52. To control.

また、エージェント装置１３は、音声入力部５５によって音を感知した場合に、カメラ装置５１をその音の方向へ向ける。また、通話者の音声によってエージェント装置１３を制御することもできる。例えば、通話者が「とまれ」と言った場合に、エージェント装置１３がそれを音声認識して「制止」の命令であると認識し、他の通話者による遠隔操作を制止する。また、携帯電話機１１の操作によって、エージェント装置１３に対する他の通話者からの遠隔操作を許容するように制御することもできる。 Further, when the agent device 13 senses sound by the voice input unit 55, the agent device 13 turns the camera device 51 in the direction of the sound. The agent device 13 can also be controlled by the voice of the caller. For example, when the caller says “Tarely”, the agent device 13 recognizes the voice and recognizes it as a “stop” command, and stops remote operation by other callers. Further, it is possible to control the remote operation of the agent device 13 from another caller by operating the mobile phone 11.

さて、本実施形態のテレビ電話システム１では、通話者の発する声を、通信の相手方の複数のスピーカのうちのいずれかを指定して出力させることができる。つまり、テレビ電話システム１で２人の通話者Ａ，Ｂが通信を行っている間において、各通話者Ａ，Ｂは、自分の音声を相手側で出力するスピーカとして、相手側にあるディスプレイ装置１２のスピーカ４２またはエージェント装置１３のスピーカ５４のどちらかを指定することができる。換言すれば、通話者Ａ，Ｂの動作または操作によって、相手方のスピーカ４２，５４を切り替えることができる。 Now, in the videophone system 1 of the present embodiment, the voice uttered by the caller can be output by designating any one of a plurality of speakers of the communication partner. That is, while the two callers A and B are communicating with each other in the videophone system 1, each caller A and B uses the display device on the other side as a speaker that outputs their voice on the other side. Either 12 speakers 42 or the speaker 54 of the agent device 13 can be designated. In other words, the other party's speakers 42 and 54 can be switched by the operation or operation of the callers A and B.

切り替えのための動作または操作として、音声による指示、接触センサＳＥによる指示、操作ボタンなどによる指示などがある。音声による指示では、通話者Ａ，Ｂが特定の語句を発したときに、エージェント装置１３が音声認識によってそれをスピーカの切り替えの命令であると認識し、通信の相手方のスピーカを順次切り替えるか、または指定されたスピーカから出力されるように切り替える。 As an operation or operation for switching, there are an instruction by voice, an instruction by the contact sensor SE, an instruction by an operation button, and the like. In the voice instruction, when the callers A and B utter a specific word, the agent device 13 recognizes it as a speaker switching command by voice recognition and sequentially switches the speaker of the communication partner. Or switch to output from the specified speaker.

そのような特定の語句として、例えば、「切り替え」「ディスプレイ」「エージェント」「それ」「これ」「そちら」「こちら」「あなたの」「わたしの」などを用いればよい。 As such specific phrases, for example, “switch”, “display”, “agent”, “it”, “this”, “this”, “here”, “your”, “my”, etc. may be used.

その場合に、それぞれの語句を特定のスピーカと予め対応付けておき、その語句を認識したときに対応付けられたスピーカから音声が出力されるように切り替えるようにしてもよい。 In that case, each phrase may be associated with a specific speaker in advance, and switching may be performed so that sound is output from the associated speaker when the phrase is recognized.

接触センサＳＥ２による指示では、通話者がディスプレイ装置１２またはエージェント装置１３のいずれかに接触することにより、接触センサＳＥ２，３がそれを検出して信号を出し、通信の相手方のスピーカをいずれかのスピーカに切り替える。つまり、例えば、通話者が当該通話者の側のディスプレイ装置１２に接触したときには、相手方のエージェント装置１３のスピーカ５４から音声が出力され、エージェント装置１３に接触したときには、相手方のディスプレイ装置１２のスピーカ４２から音声が出力されるよう、それぞれ切り替える。 In the instruction by the contact sensor SE2, when the caller contacts either the display device 12 or the agent device 13, the contact sensors SE2 and 3 detect it and output a signal, and the speaker of the other party of communication is Switch to speaker. That is, for example, when a caller touches the display device 12 on the side of the caller, sound is output from the speaker 54 of the partner agent device 13, and when the caller contacts the agent device 13, the speaker of the display device 12 of the other party Each is switched so that sound is output from 42.

また、接触センサＳＥは、通話者が接触したことを検出するだけでなく、ディスプレイ装置１２またはエージェント装置１３を通話者が床面から持ち上げたことをも検出する。例えば、通話者がエージェント装置１３を持ち上げた場合には、それを接触センサＳＥ３が検出し、相手方における音声の出力をディスプレイ装置１２のスピーカ４２に切り替える。 Further, the contact sensor SE not only detects that the caller has touched, but also detects that the caller has lifted the display device 12 or the agent device 13 from the floor surface. For example, when the caller lifts the agent device 13, the contact sensor SE <b> 3 detects this and switches the voice output at the other party to the speaker 42 of the display device 12.

なお、持ち上げたことの検出に当たって、例えば、接触センサＳＥによって接触が検出されたとき、またはその状態が所定時間持続したときに、持ち上げたと判断することでもよい。 In detecting the lift, for example, when the contact is detected by the contact sensor SE or when the state has been maintained for a predetermined time, it may be determined that the lift has been made.

操作ボタンなどによる指示では、通話者が操作入力部ＳＮ２，３を操作して切り替えの指令を入力することにより、相手方のスピーカが切り替えられる。 In the instruction by the operation button or the like, the other party's speaker is switched when the caller operates the operation input sections SN2 and SN3 and inputs a switching command.

このように、相手方のスピーカを切り替えることによって、音声が出力される位置や音質などが変化することから、相手方は、話題の対象物ＪＴが変化したことを認識することができ、これとともに音声の内容、例えば「あれ」「これ」などの語句の意味とを総合することによって、今どれを話題の対象物としているのかがより一層分かり易くなる。 In this way, by switching the other party's speaker, the position where the sound is output, the sound quality, and the like change, so that the other party can recognize that the topical object JT has changed, and with this, By combining the contents, for example, the meanings of phrases such as “that” and “this”, it becomes easier to understand which is the subject of the topic now.

また、エージェント装置１３は移動可能であり、かつ対象物ＪＴおよび対象物ＪＴ上の位置を差し示すことができるから、通話者が相手方のエージェント装置１３を遠隔操作することにより、話題の対象物ＪＴを相手方に容易に理解させることができる。 Further, since the agent device 13 is movable and can indicate the target object JT and the position on the target object JT, when the caller remotely operates the partner agent device 13, the topic target object JT. Can be easily understood by the other party.

例えば、通話者Ｂが、「これ」と言って対象物ＪＴを指し示す場合には、通話者Ｂは、ディスプレイ装置１２ｂを利用して相手方のエージェント装置１３ａを制御し、通話者Ａに「これ」の対象物ＪＴを指し示す。通話者Ａは、通話者Ｂが話題の対象としたいものが何であるかを「これ」という語句とエージェント装置１３ａの動作により理解することができる。 For example, when the caller B says “this” and points to the target object JT, the caller B uses the display device 12b to control the partner agent device 13a and asks the caller A “this”. Indicates the target object JT. The caller A can understand what the caller B wants to talk about by the phrase “this” and the operation of the agent device 13a.

また、通話者Ａが、「これ」と言って対象物ＪＴを差し示す場合には、通話者Ａは、ディスプレイ装置１２ａを利用して相手方のエージェント装置１３ｂを制御し、通話者Ａが指し示したものをエージェント装置１３ａの視界に入れる。通話者Ｂは、ディスプレイ装置１２ｂを通して、話題の対象が何であるかを理解することができる。 When the caller A says “this” and points to the object JT, the caller A uses the display device 12a to control the partner agent device 13b, and the caller A points to it. Things are put into the field of view of the agent device 13a. The caller B can understand what the subject of the topic is through the display device 12b.

上に述べたように、テレビ電話システム１では、話題の対象を指示するために、通話者の近辺の複数の異なる位置にそれぞれスピーカを配置しておき、他の通話者の動作または操作によって、複数のスピーカのいずれかに切り替えて当該他の通話者の音声を出力する。 As described above, in the videophone system 1, in order to indicate the subject of the topic, speakers are arranged at a plurality of different positions in the vicinity of the caller, and by the operation or operation of other callers, The voice of the other party is output by switching to one of the plurality of speakers.

このように、テレビ電話システム１によると、通話者Ａ，Ｂのいずれもが、話題の対象物ＪＴから視点をそらすことなく、会話を進めることが可能となる。対象物ＪＴの名称が不明な場合であっても、対象物ＪＴが何であるかを容易に理解させることができる。 Thus, according to the videophone system 1, it is possible for both of the callers A and B to advance the conversation without diverting the viewpoint from the topic target object JT. Even if the name of the target object JT is unknown, it is possible to easily understand what the target object JT is.

テレビ電話システム１は、さらに次に述べる動作を行うことができる。 The videophone system 1 can further perform the following operations.

すなわち、相手方のスピーカを、ディスプレイ装置１２とエージェント装置１３とで切り替えるのみでなく、これに携帯電話機１１のスピーカを含めた３者のうちから選択して切り替えることができる。このように、３つの異なった位置にあるスピーカを切り替えることにより、通話者の意識の変遷を相手方に知らせ、話題の対象物ＪＴが何であるかを一層分かり易くすることができる。 That is, not only can the speaker of the other party be switched between the display device 12 and the agent device 13, but it can also be selected and switched from among three parties including the speaker of the mobile phone 11. In this way, by switching the speakers at three different positions, it is possible to inform the other party of the change in the consciousness of the caller and to make it easier to understand what the topical object JT is.

また、話題の対象が具体的な物ではなく、抽象的なもののように仮想の共有空間である場合に、特定の機器のスピーカから音声が出力された場合にそのような仮想の共有空間が対象であることとして相手方に知らせることができる。 Also, if the topic is not a concrete object but a virtual shared space such as an abstract one, such a virtual shared space is targeted when sound is output from the speaker of a specific device. The other party can be informed that this is the case.

例えば、話題の対象が相手方である通話者Ｂの近傍にあるときには、相手方のエージェント装置１３ｂから音声を出力し、話題の対象が本人である通話者Ａの近傍にあるときは、相手方のディスプレイ装置１２ｂから音声を出力し、話題の対象が仮想の共有空間であるときには、相手方の携帯電話機１１ｂから音声を出力する。 For example, when the topic target is in the vicinity of the caller B who is the other party, a voice is output from the other party's agent device 13b, and when the topic target is in the vicinity of the caller A who is the other party, the display apparatus of the other party Audio is output from 12b, and audio is output from the other party's mobile phone 11b when the subject of interest is a virtual shared space.

また、通話者の動作または操作によって、音声を出力する相手方のスピーカがエージェント装置１３からディスプレイ装置１２に切り替えられたときに、そのエージェント装置１３の指示装置６２の処理動作が中断するようにしてもよい。例えば、エージェント装置１３は、指示装置６２が切り替え前まで差し示していた状態を維持したり、プロジェクタ６７を消灯して指示装置６２による指示を行わないようにする。これによって、相手方は、話題の対象物ＪＴが他に移ったことをより一層認識し易くなる。 Further, when the speaker of the other party that outputs the sound is switched from the agent device 13 to the display device 12 by the caller's operation or operation, the processing operation of the instruction device 62 of the agent device 13 is interrupted. Good. For example, the agent device 13 maintains the state indicated by the instruction device 62 before switching, or turns off the projector 67 so that the instruction device 62 does not give an instruction. This makes it easier for the other party to recognize that the topical object JT has moved to another.

また、同じく、音声を出力する相手方のスピーカがエージェント装置１３からディスプレイ装置１２に切り替えられたときに、そのエージェント装置１３の指示装置６２がディスプレイ装置１２を指示するようにしてもよい。 Similarly, the instruction device 62 of the agent device 13 may instruct the display device 12 when the speaker of the other party outputting the sound is switched from the agent device 13 to the display device 12.

また、通話者の動作または操作によって、音声を出力する相手方のスピーカがディスプレイ装置１２からエージェント装置１３に切り替えられたときに、当該ディスプレイ装置１２によって、エージェント装置１３の側に切り替えられた旨を示すメッセージを表示する。メッセージとして、例えば「エージェントの方に話題が移りました」「エージェントの方を見てください」などとすればよい。これによって、それまでディスプレイ装置１２を見ていた通話者は、対象物ＪＴが他に移ったことをより明確に知ることができる。 In addition, when the speaker of the other party that outputs the sound is switched from the display device 12 to the agent device 13 by the operation or operation of the caller, the display device 12 is switched to the agent device 13 side. Display a message. The message may be, for example, “The topic has moved to the agent” or “Look at the agent”. Thus, the caller who has been watching the display device 12 until then can know more clearly that the object JT has moved to another.

また、通話者が、携帯電話機１１に向かって話すかまたはディスプレイ装置１２に向かって話すかによって、その音声が相手方で出力される機器を切り替えてもよい。例えば、通話者が携帯電話機１１に向かって話した場合に、相手方のディスプレイ装置１２のスピーカ４２からその音声が出力され、ディスプレイ装置１２に向かって話した場合に、相手方のエージェント装置１３のスピーカ５４からその音声が出力されるようにする。また、通話者が携帯電話機１１に向かって話している場合に、携帯電話機１１の操作部３１を操作することによって、それらのスピーカ４２，５４を切り替えてもよい。 Further, the device to which the voice is output by the other party may be switched depending on whether the caller speaks to the mobile phone 11 or the display device 12. For example, when a caller speaks to the mobile phone 11, the sound is output from the speaker 42 of the other party's display device 12, and when the speaker speaks to the display device 12, the speaker 54 of the other party's agent device 13. So that the sound is output. Further, when the caller is talking toward the mobile phone 11, the speakers 42 and 54 may be switched by operating the operation unit 31 of the mobile phone 11.

また、通話者のいずれかの側においてスピーカが切り替えられたときに、切り替え元のスピーカ、または切り替え後のスピーカから、切り替えを示すためのビープ音を出力するようにしてもよい。 Further, when the speaker is switched on either side of the caller, a beep sound for indicating switching may be output from the switching source speaker or the switched speaker.

次に、テレビ電話システム１における通話に関する種々のシーケンスの例について説明する。 Next, examples of various sequences relating to a call in the videophone system 1 will be described.

図６は通話開始シーケンスの例を示す図である。 FIG. 6 is a diagram showing an example of a call start sequence.

図６においては、通話者Ａから通話者Ｂにテレビ電話をかける例が示されている。まず、通話者Ａが携帯電話機１１ａの発呼操作を行う。携帯電話機１１ａは、ディスプレイ装置１２ａに接続要求を送り、接続応答を待つ。ディスプレイ装置１２ａからの接続応答を受けると、エージェント装置１３ａに接続要求を送り、接続応答を待つ。 FIG. 6 shows an example of making a videophone call from the caller A to the caller B. First, the caller A performs a call operation on the mobile phone 11a. The cellular phone 11a sends a connection request to the display device 12a and waits for a connection response. When a connection response is received from the display device 12a, a connection request is sent to the agent device 13a and a connection response is awaited.

携帯電話機１１ａは、エージェント装置１３ａからの接続応答を受けると、相手方の携帯電話機１１ｂにＳｅｔｕｐ信号を送る。 When the mobile phone 11a receives a connection response from the agent device 13a, the mobile phone 11a sends a Setup signal to the other party's mobile phone 11b.

携帯電話機１１ｂは、Ｓｅｔｕｐ信号を受けると、ディスプレイ装置１２ｂに接続要求を送り、接続応答を待つ。ディスプレイ装置１２ｂからの接続応答を受けると、エージェント装置１３ｂに接続要求を送り、接続応答を待つ。 Upon receiving the Setup signal, the mobile phone 11b sends a connection request to the display device 12b and waits for a connection response. When a connection response is received from the display device 12b, a connection request is sent to the agent device 13b and a connection response is awaited.

携帯電話機１１ｂは、エージェント装置１３ｂからの接続応答を受けると、携帯電話機１１ａにＡｌｅｒｔｉｎｇ信号を送る。また、携帯電話機１１ｂは鳴動を開始し、通話者Ｂに着信を知らせる。 When receiving the connection response from the agent device 13b, the mobile phone 11b sends an Alerting signal to the mobile phone 11a. In addition, the mobile phone 11b starts ringing and notifies the caller B of the incoming call.

携帯電話機１１ａは、携帯電話機１１ｂからＡｌｅｒｔｉｎｇ信号を受けると、ＲＢＴ（リングバックトーン）により、通話者Ｂを呼び出し中であることを通話者Ａに知らせる。 When receiving the Alerting signal from the mobile phone 11b, the mobile phone 11a notifies the caller A that the caller B is being called by RBT (ringback tone).

通話者Ｂが携帯電話機１１ｂの応答操作を行うと、携帯電話機１１ｂは携帯電話機１１ａにＣｏｎｎｅｃｔ信号を送る。携帯電話機１１ａはＣｏｎｎｅｃｔ信号を受けると、通話者Ａ，Ｂの間でテレビ電話により通話可能な状態となる。 When the caller B performs a response operation on the mobile phone 11b, the mobile phone 11b sends a Connect signal to the mobile phone 11a. When the cellular phone 11a receives the Connect signal, the cellular phone 11a is in a state in which a telephone call can be made between the callers A and B by a videophone.

図７は話題の対象指示シーケンスの例を示す図である。 FIG. 7 is a diagram showing an example of a topic target instruction sequence.

図７には、通話者Ａの近傍にある対象物ＪＴを通話者Ｂが「これ」と言って指し示す場合が示されている。通話者Ａ，Ｂの間で音声および画像を互いに通信している状態において、通話者Ｂが携帯電話機１１ｂを操作してアングル調整操作を行うと、携帯電話機１１ｂは、携帯電話機１１ａを経由してエージェント装置１３ａに首方向調整信号を送る。首方向調整信号には、指定位置情報、例えば、ｘｙ座標面における照射先のｘｙ座標、またはｘ軸からの回転角度などの情報を含めることができる。エージェント装置１３ａは、首方向調整信号を受けると、そのアングル制御装置５２を制御し、それに応じてカメラ装置５１の向きを変える。 FIG. 7 shows a case where the caller B points to the object JT near the caller A by saying “this”. When the caller B operates the mobile phone 11b and performs an angle adjustment operation in a state in which voice and image are communicated between the callers A and B, the mobile phone 11b passes through the mobile phone 11a. A neck direction adjustment signal is sent to the agent device 13a. The neck direction adjustment signal can include specified position information, for example, information such as the xy coordinates of the irradiation destination on the xy coordinate plane or the rotation angle from the x axis. Upon receiving the neck direction adjustment signal, the agent device 13a controls the angle control device 52 and changes the orientation of the camera device 51 accordingly.

これにより、通話者Ｂは、話題の対象物の中心となる画像がディスプレイ装置１２ｂに映るように調整することができる。そして、通話者Ｂが携帯電話機１１ｂに作動指示操作を行うと、携帯電話機１１ｂは、携帯電話機１１ａを経由して、エージェント装置１３ａに作動指示を送る。エージェント装置１３ａは、作動指示を受けると、エージェント装置１３ａの指示装置６２のプロジェクタ６７を点灯する。 As a result, the caller B can make adjustments so that the image that is the center of the subject of interest is displayed on the display device 12b. When the caller B performs an operation instruction operation on the mobile phone 11b, the mobile phone 11b sends an operation instruction to the agent device 13a via the mobile phone 11a. When receiving the operation instruction, the agent device 13a turns on the projector 67 of the instruction device 62 of the agent device 13a.

これにより、通話者Ａは、通話者Ｂが話題の対象物としたいものを「これ」という語句とともに明確に知ることができる。 Thereby, the caller A can clearly know what the caller B wants to be the subject of the topic together with the phrase “this”.

図８は話題空間の切り替えシーケンスの例を示す図である。 FIG. 8 is a diagram illustrating an example of a topic space switching sequence.

図８には、通話者Ａの意思により、仮想共有空間から通話者Ａのいる実空間へ話題を転換しようとする場合の例が示されている。 FIG. 8 shows an example in which the topic is changed from the virtual shared space to the real space where the caller A is present by the intention of the caller A.

通話者Ａが携帯電話機１１ａの引込操作を行うと、携帯電話機１１ａは、携帯電話機１１ａの音声入力部３３から入力された音声信号の送信先を携帯電話機１１ｂからディスプレイ装置１２ｂに切り替える。これにより、通話者Ａは、通話者Ｂの意識を、通話者Ａの側の画像を表示しているディスプレイ装置１２ｂに向けさせることができる。 When the caller A performs the pull-in operation of the mobile phone 11a, the mobile phone 11a switches the transmission destination of the audio signal input from the audio input unit 33 of the mobile phone 11a from the mobile phone 11b to the display device 12b. Thereby, the caller A can make the caller B's consciousness turn to the display device 12b displaying the image of the caller A.

同様に、通話者Ｂの側においても、携帯電話機１１ｂの引込操作を行って同様な切り替えを行うことができる。 Similarly, on the side of the caller B, the same switching can be performed by performing the pull-in operation of the mobile phone 11b.

図９は話題空間の切り替えシーケンスの他の例を示す図である。 FIG. 9 is a diagram showing another example of the topic space switching sequence.

図９には、通話者Ｂの意思により、仮想共有空間から通話者Ａのいる実空間へ話題を転換しようとする場合の例が示されている。 FIG. 9 shows an example in which the topic is changed from the virtual shared space to the real space where the caller A is present by the intention of the caller B.

通話者Ｂが携帯電話機１１ｂの訪問操作を行うと、携帯電話機１１ｂは、携帯電話機１１ｂの音声入力部３３から入力された音声信号の送信先を携帯電話機１１ａからエージェント装置１３ａに切り替える。これにより、通話者Ｂは、通話者Ａの意識を、エージェント装置１３ａに向けさせることができる。 When the caller B visits the mobile phone 11b, the mobile phone 11b switches the destination of the audio signal input from the audio input unit 33 of the mobile phone 11b from the mobile phone 11a to the agent device 13a. Accordingly, the caller B can make the caller A aware of the agent device 13a.

図１０は話題空間の切り替えシーケンスの他の例を示す図である。 FIG. 10 is a diagram showing another example of the topic space switching sequence.

図１０には、通話者Ａの意思により、通話者Ａのいる実空間から仮想共有空間へ話題を転換しようとする場合の例が示されている。 FIG. 10 shows an example in which the topic is changed from the real space where the caller A is present to the virtual shared space by the intention of the caller A.

通話者Ａが携帯電話機１１ａの押戻操作を行うと、携帯電話機１１ａは、携帯電話機１１ａの音声入力部３３から入力された音声信号の送信先をディスプレイ装置１２ｂから携帯電話機１１ｂに切り替える。これにより、通話者Ａは、通話者Ｂの意識を、ディスプレイ装置１２ｂから離して携帯電話機１１ｂに向けさせることができる。 When the caller A pushes back the mobile phone 11a, the mobile phone 11a switches the transmission destination of the audio signal input from the audio input unit 33 of the mobile phone 11a from the display device 12b to the mobile phone 11b. Thereby, the caller A can make the caller B's consciousness turn away from the display device 12b and be directed to the mobile phone 11b.

図１１は話題空間の切り替えシーケンスの他の例を示す図である。 FIG. 11 is a diagram showing another example of the topic space switching sequence.

図１１には、通話者Ｂの意思により、通話者Ａのいる実空間から仮想共有空間へ話題を転換しようとする場合の例が示されている。 FIG. 11 shows an example in which the topic is changed from the real space where the caller A is present to the virtual shared space by the intention of the caller B.

通話者Ｂが携帯電話機１１ｂの退去操作を行うと、携帯電話機１１ｂは、携帯電話機１１ｂの音声入力部３３から入力された音声信号の送信先をエージェント装置１３ａから携帯電話機１１ａに切り替える。これにより、通話者Ｂは、通話者Ａの意識を、エージェント装置１３ａから離して携帯電話機１１ａに向けさせることができる。 When the caller B performs the leaving operation of the mobile phone 11b, the mobile phone 11b switches the transmission destination of the audio signal input from the audio input unit 33 of the mobile phone 11b from the agent device 13a to the mobile phone 11a. Thereby, the caller B can make the caller A's consciousness away from the agent device 13a and direct it toward the mobile phone 11a.

図１２は近傍エージェントの制止シーケンスの例を示す図である。 FIG. 12 is a diagram illustrating an example of a stop sequence of neighboring agents.

図１２には、通話者Ｂからの遠隔制御によるエージェント装置１３ａの動作に不具合がある場合に、通話者Ａの意思によってエージェント装置１３ａの動作を制止する場合の例が示されている。 FIG. 12 shows an example in which the operation of the agent device 13a is stopped by the intention of the caller A when there is a malfunction in the operation of the agent device 13a by remote control from the caller B.

通話者Ａがエージェント装置１３ａに制止を命令するための語句を言うと、エージェント装置１３ａは、ディスプレイ装置１２ｂへの画像信号を停止し、携帯電話機１１ｂからの遠隔制御信号を破棄する状態となる。 When the caller A says a phrase for instructing the agent device 13a to stop, the agent device 13a stops the image signal to the display device 12b and cancels the remote control signal from the mobile phone 11b.

図１３は近傍エージェントの遠隔制御許可シーケンスの例を示す図である。 FIG. 13 is a diagram showing an example of the remote control permission sequence of the neighboring agent.

図１３には、通話者Ａが、通話者Ｂに対して遠隔制御を許可する場合の例が示されている。 FIG. 13 shows an example where the caller A permits the caller B to perform remote control.

通話者Ａが携帯電話機１１ａの許可操作を行うと、携帯電話機１１ａは、許可信号をエージェント装置１３ａに送る。エージェント装置１３ａは、携帯電話機１１ａからの許可信号を受けると、ディスプレイ装置１２ｂへの画像信号の送信を再開し、携帯電話機１１ｂからの遠隔制御信号を処理可能とする状態となる。 When the caller A performs a permission operation on the mobile phone 11a, the mobile phone 11a sends a permission signal to the agent device 13a. When the agent device 13a receives the permission signal from the mobile phone 11a, the agent device 13a resumes the transmission of the image signal to the display device 12b and becomes ready to process the remote control signal from the mobile phone 11b.

図１４は話題の対象指示シーケンスの他の例を示す図である。 FIG. 14 is a diagram showing another example of the topic target instruction sequence.

図１４には、通話者Ａの近傍にある対象物ＪＴを通話者Ｂが「これ」と言って指し示す場合が示されている。 FIG. 14 shows a case where the caller B points to the object JT in the vicinity of the caller A by saying “this”.

通話者Ａ，Ｂの間で音声および画像を互いに通信している状態において、通話者Ｂがディスプレイ装置１２ｂのタッチパネル入力部４１ａによってタッチ操作を行うと、ディスプレイ装置１２ｂは、タッチ操作によって得られた指定位置情報を携帯電話機１１ｂへ送る。携帯電話機１１ｂは、ディスプレイ装置１２ｂからの指定位置情報を受けると、指定位置の座標を記憶する。通話者Ｂが携帯電話機１１ｂを操作してアングル調整操作を行うと、携帯電話機１１ｂは、携帯電話機１１ａを経由してエージェント装置１３ａに首方向調整信号を送る。エージェント装置１３ａは、首方向調整信号を受けると、そのアングル制御装置５２を制御し、それに応じてカメラ装置５１の向きを変える。 When the caller B performs a touch operation with the touch panel input unit 41a of the display device 12b in a state where voice and images are communicated with each other between the callers A and B, the display device 12b is obtained by the touch operation. The designated position information is sent to the mobile phone 11b. When receiving the designated position information from the display device 12b, the mobile phone 11b stores the coordinates of the designated position. When the caller B operates the mobile phone 11b to perform an angle adjustment operation, the mobile phone 11b sends a neck direction adjustment signal to the agent device 13a via the mobile phone 11a. Upon receiving the neck direction adjustment signal, the agent device 13a controls the angle control device 52 and changes the orientation of the camera device 51 accordingly.

さらに、通話者Ｂが携帯電話機１１ｂに作動指示操作を行うと、携帯電話機１１ｂは、携帯電話機１１ａを経由して、エージェント装置１３ａに作動指示を送る。エージェント装置１３ａは、作動指示を受けると、エージェント装置１３ａの指示装置６２のプロジェクタ６７を点灯する。 Further, when the caller B performs an operation instruction operation on the mobile phone 11b, the mobile phone 11b sends an operation instruction to the agent device 13a via the mobile phone 11a. When receiving the operation instruction, the agent device 13a turns on the projector 67 of the instruction device 62 of the agent device 13a.

図１５は話題の対象指示シーケンスの他の例を示す図である。 FIG. 15 is a diagram showing another example of the topic target instruction sequence.

図１５には、通話者Ａの近傍にある対象物ＪＴを通話者Ｂが「これ」と言って指し示す場合が示されている。 FIG. 15 shows a case where the caller B points to the object JT in the vicinity of the caller A by saying “this”.

通話者Ｂがディスプレイ装置１２ｂのタッチパネル入力部４１ａによってタッチ操作を行うと、ディスプレイ装置１２ｂは、タッチ操作によって得られた指定位置情報を携帯電話機１１ｂへ送る。携帯電話機１１ｂは、ディスプレイ装置１２ｂからの指定位置情報を受けると、指定位置の座標を記憶する。通話者Ｂが携帯電話機１１ｂを操作して作動指示操作を行うと、携帯電話機１１ｂは、携帯電話機１１ａを経由してエージェント装置１３ａに作動指示を送る。エージェント装置１３ａは、作動指示を受けると、エージェント装置１３ａの指示装置６２のプロジェクタ６７を点灯する。 When the caller B performs a touch operation using the touch panel input unit 41a of the display device 12b, the display device 12b sends the specified position information obtained by the touch operation to the mobile phone 11b. When receiving the designated position information from the display device 12b, the mobile phone 11b stores the coordinates of the designated position. When the caller B operates the mobile phone 11b to perform an operation instruction operation, the mobile phone 11b sends an operation instruction to the agent device 13a via the mobile phone 11a. When receiving the operation instruction, the agent device 13a turns on the projector 67 of the instruction device 62 of the agent device 13a.

図１６は話題空間の切り替えシーケンスの他の例を示す図である。 FIG. 16 is a diagram showing another example of the topic space switching sequence.

図１６には、通話者Ａの意思により、エージェント装置１３ａを持ち上げることにより、仮想共有空間から通話者Ａのいる実空間へ話題を転換しようとする場合の例が示されている。 FIG. 16 shows an example in which the topic is changed from the virtual shared space to the real space where the caller A is located by lifting the agent device 13a with the intention of the caller A.

通話者Ａがエージェント装置１３ａを持ち上げると、エージェント装置１３ａの接触センサＳＥ３がそれを検出し、携帯電話機１１ａへ持ち上げ感知信号を送る。携帯電話機１１ａが持ち上げ感知信号を受信すると、携帯電話機１１ａは、携帯電話機１１ａの音声入力部３３から入力した音声信号の送信先を携帯電話機１１ｂからディスプレイ装置１２ｂへ切り替える。 When the caller A lifts the agent device 13a, the contact sensor SE3 of the agent device 13a detects it and sends a lift detection signal to the mobile phone 11a. When the mobile phone 11a receives the lifting detection signal, the mobile phone 11a switches the transmission destination of the audio signal input from the audio input unit 33 of the mobile phone 11a from the mobile phone 11b to the display device 12b.

次に、テレビ電話システム１におけるスピーカの切り替え動作について、フローチャートを参照して説明する。 Next, a speaker switching operation in the videophone system 1 will be described with reference to a flowchart.

図１７はテレビ電話システム１のスピーカの切り替え動作の概略を示すフローチャートである。 FIG. 17 is a flowchart showing an outline of the speaker switching operation of the videophone system 1.

図１７において、通話者の間でテレビ電話による通信が行われている状態で（＃１１）、いずれかの通話者が切り替えのための操作を行うと（＃１２）、異なった位置にある複数のスピーカの中で切り替えられ（＃１３）、切り替えられたスピーカから相手方の音声が出力される。これによって、またこれと相手方の言う言葉とによって、相手方の話題の対象物ＪＴが変更されたことが分かり易くなる。 In FIG. 17, in a state where videophone communication is performed between the callers (# 11), when any caller performs an operation for switching (# 12), a plurality of callers at different positions are displayed. The other party's voice is output from the switched speaker (# 13). This makes it easier to understand that the subject JT of the opponent's topic has been changed by this and the words the opponent says.

図１８は通話者の接触によるスピーカの切り替え動作を示すフローチャートである。 FIG. 18 is a flowchart showing a speaker switching operation by contact of a caller.

図１８において、テレビ電話による通信が行われている状態で（＃２１）、通話者がディスプレイ装置１２に接触すると（＃２２）、相手方のエージェント装置１３のスピーカから音声が出るように切り替えられ（＃２３）、相手方のディスプレイ装置１２に、エージェント装置１３の方に注目する旨のメッセージを表示する（＃２４）。通話者がエージェント装置１３に接触すると（＃２５）、相手方のディスプレイ装置１２のスピーカから音声が出るように切り替えられ（＃２６）、相手方のエージェント装置１３は指示装置６２による指示動作を中断する（＃２７）。 In FIG. 18, in a state in which videophone communication is performed (# 21), when a caller touches the display device 12 (# 22), switching is performed so that sound is output from the speaker of the partner agent device 13 ( # 23) A message to pay attention to the agent device 13 is displayed on the display device 12 of the other party (# 24). When the caller contacts the agent device 13 (# 25), switching is performed so that sound is output from the speaker of the other display device 12 (# 26), and the other agent device 13 interrupts the instruction operation by the instruction device 62 ( # 27).

なお、音声を出力するスピーカを切り替えるために、種々の構成を採用することができる。 It should be noted that various configurations can be employed to switch the speaker that outputs sound.

例えば、音声を携帯電話機１１から送信する場合には、携帯電話機１１からの音声の送信先アドレス情報を切り替え先の機器のアドレスに変更する。その場合に、ディスプレイ装置１２の操作によって切り替え先が決定された場合には、切り替え先の機器のアドレスをディスプレイ装置１２から携帯電話機１１に送信する。また、エージェント装置１３の操作によって切り替え先が決定された場合には、切り替え先の機器のアドレスをエージェント装置１３から携帯電話機１１に送信する。 For example, when transmitting voice from the mobile phone 11, the destination address information of the voice from the mobile phone 11 is changed to the address of the switching destination device. In this case, when the switching destination is determined by the operation of the display device 12, the address of the switching destination device is transmitted from the display device 12 to the mobile phone 11. When the switching destination is determined by operating the agent device 13, the address of the switching destination device is transmitted from the agent device 13 to the mobile phone 11.

また、例えば、音声をディスプレイ装置１２から送信する場合には、ディスプレイ装置１２からの音声の送信先アドレス情報を切り替え先の機器のアドレスに変更する。音声をエージェント装置１３から送信する場合には、エージェント装置１３からの音声の送信先アドレス情報を切り替え先の機器のアドレスに変更する。また、それらの情報をルータＢＳその他の装置を経由して配信するようにしてもよい。また、ルータＢＳを無線ルータとしてもよい。 Further, for example, when audio is transmitted from the display device 12, the audio transmission destination address information from the display device 12 is changed to the address of the switching destination device. When the voice is transmitted from the agent device 13, the voice destination address information from the agent device 13 is changed to the address of the switching destination device. Further, such information may be distributed via the router BS or other devices. The router BS may be a wireless router.

なお、スピーカの切り替え先をどこにするかという点については、話題の対象物ＪＴが存在する位置に近いスピーカから音声が出力されるように切り替えると、相手方の意識が音声の出る方に向くため、対象物ＪＴが変更されたこと、また、変更された対象物ＪＴがどれであるかということが、一層分かり易い。その場合に、対象物ＪＴとスピーカとの位置関係に応じて、通話者が「あれ」「これ」などの言葉を送ると、より一層対象物ＪＴが分かり易い。 As for where to switch the speaker, because the other party's consciousness is suitable for the direction of the voice when switching so that the voice is output from the speaker close to the position where the topical object JT exists, It is easier to understand that the object JT has been changed and which object JT has been changed. In this case, if the caller sends a word such as “that” or “this” in accordance with the positional relationship between the target object JT and the speaker, the target object JT can be understood more easily.

また、ディスプレイ装置１２およびエージェント装置１３の２つのスピーカのみでなく、携帯電話機１１のスピーカを含めた３つのスピーカから選択して切り替えることによって、より一層対象物ＪＴを特定し易い。 Further, by selecting and switching from three speakers including the speaker of the mobile phone 11 as well as the two speakers of the display device 12 and the agent device 13, it is easier to specify the target JT.

また、ディスプレイ装置１２やエージェント装置１３には、それぞれ、スピーカが１つ設けられた例を説明したが、離れた位置に２つ以上のスピーカを設け、それらのスピーカを切り替えるようにしてもよい。これによって、音声の出る位置を対象物ＪＴの位置に応じてきめ細かく切り替えることができ、より一層対象物ＪＴを認識し易くなる。 Further, the display device 12 and the agent device 13 have been described with examples in which one speaker is provided. However, two or more speakers may be provided at different positions, and the speakers may be switched. As a result, the position where the sound comes out can be finely switched according to the position of the object JT, and the object JT can be recognized more easily.

以上、本実施形態のテレビ電話システム１の動作について説明したが、上に説明した種々の処理動作またはスピーカの切り替え方法を適宜組み合わせることにより、種々の状況において話題の対象物ＪＴを通信の相手に分からせることが可能である。 The operation of the videophone system 1 according to the present embodiment has been described above. By appropriately combining the various processing operations described above or the speaker switching method, the subject JT that is a topic in various situations can be used as a communication partner. It is possible to understand.

上に述べた実施形態において、携帯装置として携帯電話機１１を例にとって説明したが、携帯電話機１１以外の種々の携帯装置を用いることが可能である。ディスプレイ装置１２にマイクを設けてもよい。 In the above-described embodiment, the mobile phone 11 has been described as an example of the mobile device, but various mobile devices other than the mobile phone 11 can be used. The display device 12 may be provided with a microphone.

その他、携帯電話機１１、ディスプレイ装置１２、エージェント装置１３、カメラ装置５１、指示装置６２、またはテレビ電話システム１の全体または各部の構成、構造、形状、寸法、個数、処理の内容またはタイミング、音声の内容などは、本発明の趣旨に沿って適宜変更することができる。 In addition, the configuration, structure, shape, dimensions, number, processing content or timing of the whole or each part of the mobile phone 11, the display device 12, the agent device 13, the camera device 51, the pointing device 62, or the videophone system 1, and the audio content The contents and the like can be appropriately changed in accordance with the spirit of the present invention.

以下の付記に示される形態も本発明による実施形態に含まれる。
（付記１）
複数の通話者の間で音声および画像を用いて通信を行うテレビ電話システムであって、
他の通話者から送信される画像を表示するするディスプレイ装置、および、他の通話者に送信するための画像を撮影するカメラおよび近傍にある対象物を指し示すための指示装置を搭載した移動可能なエージェント装置が、各通話者の側に配置されており、
前記ディスプレイ装置および前記エージェント装置には、他の通話者からの音声を出力するためのスピーカが搭載され、他の通話者の動作または操作によって、当該他の通話者の音声が前記ディスプレイ装置のスピーカまたは前記エージェント装置のスピーカから選択的に切り替えられて出力されるように構成されている、
ことを特徴とするテレビ電話システム。
（付記２）
前記ディスプレイ装置および前記エージェント装置には、通話者が接触したことを検出する接触センサが設けられており、
他の通話者が当該他の通話者の側の前記ディスプレイ装置に接触したときには前記エージェント装置のスピーカから音声が出力され、他の通話者が当該他の通話者の側の前記エージェント装置に接触したときには前記ディスプレイ装置のスピーカから音声が出力される、
付記１記載のテレビ電話システム。
（付記３）
他の通話者が発する特定の語句を音声認識することによって、前記ディスプレイ装置のスピーカまたは前記エージェント装置のスピーカから選択的に切り替えられて音声が出力される、
付記１記載のテレビ電話システム。
（付記４）
いずれかの通話者の側に、当該通話者が携帯可能であり且つ操作部および他の通話者に送信する音声を入力するマイクが設けられた携帯装置が配置され、
当該通話者による前記操作部の操作によって、他の通話者の側の前記ディスプレイ装置のスピーカまたは前記エージェント装置のスピーカから選択的に切り替えられて音声が出力される、
付記１記載のテレビ電話システム。
（付記５）
他の通話者の動作または操作によって前記エージェント装置のスピーカから前記ディスプレイ装置のスピーカに切り替えられたときに、当該エージェント装置の指示装置の処理動作を中断する、
付記１ないし４のいずれかに記載のテレビ電話システム。
（付記６）
他の通話者の動作または操作によって前記ディスプレイ装置のスピーカから前記エージェント装置のスピーカに切り替えられたときに、当該ディスプレイ装置によって、前記エージェント装置の側に切り替えられた旨を示すメッセージを表示する、
付記１ないし５のいずれかに記載のテレビ電話システム。
（付記７）
複数の通話者の間で音声および画像を用いて通信を行うテレビ電話システムに用いるエージェント装置であって、
他の通話者に送信するための画像を撮影するカメラと、
他の通話者からの音声を出力するスピーカと、
近傍にある対象物を指し示すための指示装置と、
通話者が接触したことを検出する接触センサと、
当該エージェント装置を移動するための移動装置と、
を有してなることを特徴とするテレビ電話システムに用いるエージェント装置。
（付記８）
他の通話者からの音声の出力が前記スピーカから他のスピーカに切り替えられたときに、前記指示装置の処理動作を中断する、
付記７記載のテレビ電話システムに用いるエージェント装置。
（付記９）
複数の通話者の間で音声および画像を用いて通信を行うテレビ電話システムにおける話題の対象の指示方法であって、
通話者の近辺の複数の異なる位置にそれぞれスピーカを配置しておき、
他の通話者の動作または操作によって、前記スピーカのいずれかに切り替えて当該他の通話者の音声を出力する、
ことを特徴とするテレビ電話システムにおける話題の対象の指示方法。 The forms shown in the following supplementary notes are also included in the embodiments according to the present invention.
(Appendix 1)
A videophone system that communicates between a plurality of callers using sound and images,
A mobile device equipped with a display device that displays an image transmitted from another party, a camera that captures an image to be transmitted to another party, and a pointing device for pointing a nearby object An agent device is located on each party's side,
The display device and the agent device are each equipped with a speaker for outputting sound from another caller, and the other caller's sound is output from the speaker of the display device by the operation or operation of the other caller. Or configured to be selectively switched from the speaker of the agent device and output.
A videophone system characterized by that.
(Appendix 2)
The display device and the agent device are provided with a contact sensor for detecting contact of a caller,
When another caller touches the display device on the other caller's side, sound is output from the speaker of the agent device, and another caller touches the agent device on the other caller's side. Sometimes audio is output from the speaker of the display device,
The videophone system according to attachment 1.
(Appendix 3)
By recognizing a specific phrase from another caller, the speaker is selectively switched from the speaker of the display device or the speaker of the agent device, and the sound is output.
The videophone system according to attachment 1.
(Appendix 4)
On either party's side, a portable device provided with a microphone that can be carried by the caller and that inputs a voice to be transmitted to the operation unit and another caller is disposed,
By the operation of the operation unit by the caller, a voice is output by selectively switching from the speaker of the display device or the speaker of the agent device on the other caller side.
The videophone system according to attachment 1.
(Appendix 5)
When the speaker of the agent device is switched from the speaker of the agent device to the speaker of the display device by the operation or operation of another party, the processing operation of the instruction device of the agent device is interrupted.
The videophone system according to any one of appendices 1 to 4.
(Appendix 6)
When the speaker of the display device is switched from the speaker of the display device to the agent device by an operation or operation of another caller, a message indicating that the display device has been switched to the agent device side is displayed by the display device.
The videophone system according to any one of appendices 1 to 5.
(Appendix 7)
An agent device used in a videophone system that communicates between a plurality of callers using sound and images,
A camera that captures images for transmission to other parties,
A speaker that outputs audio from other parties;
An indicating device for pointing an object in the vicinity;
A contact sensor that detects contact of the caller;
A mobile device for moving the agent device;
An agent device for use in a videophone system, comprising:
(Appendix 8)
Interrupting the processing operation of the pointing device when the output of voice from another party is switched from the speaker to the other speaker;
An agent device used in the videophone system according to attachment 7.
(Appendix 9)
A method for instructing a subject of a topic in a videophone system that performs communication using voice and images between a plurality of callers,
Place speakers at several different locations near the caller,
According to the operation or operation of another party, the voice of the other party is output by switching to one of the speakers.
A method for indicating a topic of interest in a videophone system.

本発明に係る一実施形態のテレビ電話システムを示すブロック図である。It is a block diagram which shows the videophone system of one Embodiment which concerns on this invention. 携帯電話機の構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of a mobile telephone. ディスプレイ装置の構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of a display apparatus. エージェント装置の構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of an agent apparatus. カメラ装置の構成の例を示す図である。It is a figure which shows the example of a structure of a camera apparatus. 通話開始シーケンスの例を示す図である。It is a figure which shows the example of a call start sequence. 話題の対象指示シーケンスの例を示す図である。It is a figure which shows the example of a subject instruction | indication sequence of a topic. 話題空間の切り替えシーケンスの例を示す図である。It is a figure which shows the example of the switching sequence of a topic space. 話題空間の切り替えシーケンスの他の例を示す図である。It is a figure which shows the other example of the switching sequence of a topic space. 話題空間の切り替えシーケンスの他の例を示す図である。It is a figure which shows the other example of the switching sequence of a topic space. 話題空間の切り替えシーケンスの他の例を示す図である。It is a figure which shows the other example of the switching sequence of a topic space. 近傍エージェントの制止シーケンスの例を示す図である。It is a figure which shows the example of the stop sequence of a near agent. 近傍エージェントの遠隔制御許可シーケンスの例を示す図である。It is a figure which shows the example of the remote control permission sequence of a neighborhood agent. 話題の対象指示シーケンスの他の例を示す図である。It is a figure which shows the other example of a subject instruction | indication sequence of a topic. 話題の対象指示シーケンスの他の例を示す図である。It is a figure which shows the other example of a subject instruction | indication sequence of a topic. 話題空間の切り替えシーケンスの他の例を示す図である。It is a figure which shows the other example of the switching sequence of a topic space. スピーカの切り替え動作の概略を示すフローチャートである。It is a flowchart which shows the outline of the switching operation | movement of a speaker. 通話者の接触によるスピーカの切り替え動作を示すフローチャートである。It is a flowchart which shows the switching operation of the speaker by a caller's contact. 従来のテレビ電話システムを示す図である。It is a figure which shows the conventional videophone system.

Explanation of symbols

１テレビ電話システム
１１携帯電話機（携帯装置）
１２ディスプレイ装置
１３エージェント装置
３２音声出力部（スピーカ）
３３音声入力部（マイク）
４１ビデオ表示部
４１ａタッチパネル入力部
４２音声出力部（スピーカ）
５１カメラ装置
５３移動装置
５４音声出力部（スピーカ）
５５音声入力部（マイク）
５６音声認識部
５７音声認識辞書部
６１カメラ
６２指示装置
６７プロジェクタ
ＳＥ２，３接触センサ
ＪＴ対象物 1 Videophone system 11 Mobile phone (mobile device)
12 Display device 13 Agent device 32 Audio output unit (speaker)
33 Voice input unit (microphone)
41 Video display unit 41a Touch panel input unit 42 Audio output unit (speaker)
51 Camera Device 53 Moving Device 54 Audio Output Unit (Speaker)
55 Voice input unit (microphone)
56 voice recognition unit 57 voice recognition dictionary unit 61 camera 62 pointing device 67 projector SE2, 3 contact sensor JT object

Claims

A videophone system that communicates between a plurality of callers using sound and images,
An agent device equipped with a display device that displays an image transmitted from another caller, a camera that captures an image for transmission to another caller, and a pointing device for pointing an object in the vicinity, Located on each party's side,
In addition, each agent device includes an angle control device for supporting and changing the angle of the optical axis of the camera device, and a moving device for moving the agent device in the vicinity of the object. ,
Furthermore, the display device and the agent device are each equipped with a speaker for outputting sound from another caller, and the other caller's voice is transmitted to the display device by the operation or operation of the other caller. Configured to be selectively switched and output from the speaker of the agent device or the speaker of the agent device,
A videophone system characterized by that.

The display device and the agent device are provided with a contact sensor for detecting contact of a caller,
When another caller touches the display device on the other caller's side, sound is output from the speaker of the agent device, and another caller touches the agent device on the other caller's side. Sometimes audio is output from the speaker of the display device,
The videophone system according to claim 1.

By recognizing a specific phrase from another caller, the speaker is selectively switched from the speaker of the display device or the speaker of the agent device, and the sound is output.
The videophone system according to claim 1.

On either party's side, a portable device provided with a microphone that can be carried by the caller and that inputs a voice to be transmitted to the operation unit and another caller is disposed,
By the operation of the operation unit by the caller, a voice is output by selectively switching from the speaker of the display device or the speaker of the agent device on the other caller side.
The videophone system according to claim 1.

When the speaker of the agent device is switched from the speaker of the agent device to the speaker of the display device by the operation or operation of another party, the processing operation of the instruction device of the agent device is interrupted.
The videophone system according to any one of claims 1 to 4.