JP2022165335A

JP2022165335A - Communication system and coaching system

Info

Publication number: JP2022165335A
Application number: JP2021070682A
Authority: JP
Inventors: 謙一郎杉山; Kenichiro Sugiyama; 裕太木村; Yuta Kimura; 洋一谷口; Yoichi Taniguchi; 奈々美坂下; Nanami Sakashita; 拓真安達; Takuma Adachi; 直希江口; Naoki Eguchi
Original assignee: Honda Motor Co Ltd; Honda Finance Co Ltd
Current assignee: Honda Motor Co Ltd; Honda Finance Co Ltd
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2022-10-31

Abstract

To enhance reality in a communication system for allowing users to perform communication through avatars and in a coaching system using the communication system.SOLUTION: Communication systems 1, 101 for performing communication between both users by making a plurality of users A, B, C operate respective avatars include visual/audio information transmission parts 13A, 13B for mutually transmitting at least one of visual information and audio information between users, a user information acquisition part 65 capable of acquiring surface information on the respective uses, and a tactile information transmission part 13C for transmitting the surface information to a user to be a communication partner.SELECTED DRAWING: Figure 1

Description

本開示は、仮想空間内に設けられたアバターを介してコミュニケーションを行うためのコミュニケーションシステム、及び、当該コミュニケーションシステムを用いたコーチングシステムに関する。 The present disclosure relates to a communication system for communicating via an avatar provided in a virtual space, and a coaching system using the communication system.

仮想的なデートを体験できるバーチャルデートサービスシステムが開示されている（例えば、特許文献１）。バーチャルデートシステムを利用するユーザはバーチャルデート時に自分をアバターによって表示することができ、ネットワークを介して相手とテキストや音声をやり取りすることで、バーチャルデートを楽しむことができる。 A virtual dating service system that allows users to experience a virtual date has been disclosed (for example, Patent Document 1). Users who use the virtual date system can display themselves as avatars during virtual dates, and can enjoy virtual dates by exchanging texts and voices with the other party via the network.

特開２００７－７２８１８号公報JP 2007-72818 A

特許文献１に記載のバーチャルデートシステムでは、デートを行うユーザはそれぞれ仮想空間内においてアバターによって自らを表示して、それぞれ操作することができるため、音声のみの場合に比べて、よりリアルな感覚でデートを楽しむことができる。 In the virtual dating system described in Patent Literature 1, each user who goes on a date can display himself/herself as an avatar in the virtual space and can operate the avatar. You can enjoy dating.

しかし、特許文献１に記載されるようなアバターを用いたコミュニケーションでは、ユーザ間でやり取りされる情報は、視覚情報や、聴覚情報に限定される。そのため、例えば、ユーザは仮想空間内で他のユーザに触れたとしても、接触による感覚を取得できず、リアリティに乏しいという問題がある。 However, in communication using avatars as described in Patent Document 1, information exchanged between users is limited to visual information and auditory information. Therefore, for example, even if the user touches another user in the virtual space, the user cannot acquire the sense of contact, which poses a problem of poor reality.

本発明は、このような背景に鑑み、ユーザがアバターを介してコミュニケーションを行うコミュニケーションシステム、及び、当該コミュニケーションシステムを用いたコーチングシステムにおいて、リアリティを高めることを課題とする。 In view of such a background, it is an object of the present invention to improve reality in a communication system in which users communicate via avatars and in a coaching system using the communication system.

このような課題を解決するために、本発明のある実施形態は、複数のユーザ（Ａ、Ｂ、Ｃ）がそれぞれのアバターを操作することにより、両ユーザ間でコミュニケーションを行うコミュニケーションシステム（１、１０１）であって、視覚情報及び聴覚情報の少なくとも一方を前記ユーザ間において相互に伝達する視覚／聴覚情報伝達部（１３Ａ、１３Ｂ）と、前記ユーザそれぞれの表面情報を取得可能なユーザ情報取得部（６５）と、前記表面情報をコミュニケーション相手となる前記ユーザに伝達する触覚情報伝達部（１３Ｃ）とを有する。 In order to solve such problems, an embodiment of the present invention provides a communication system (1, 101), wherein visual/auditory information transmission units (13A, 13B) mutually transmit at least one of visual information and auditory information between the users, and a user information acquisition unit capable of acquiring surface information of each of the users; (65), and a tactile information transmission unit (13C) for transmitting the surface information to the user who is the communication partner.

この構成によれば、ユーザに、コミュニケーション相手となる他のユーザの表面情報（例えば、温かさ等）が伝えられるため、相互に伝達される情報が視覚情報や聴覚情報のみの場合に比べて、リアリティが高められる。 According to this configuration, the surface information (for example, warmth, etc.) of the other user who is the communication partner is transmitted to the user. is enhanced.

好ましくは、上記態様において、前記触覚情報伝達部は、前記アバターが他の前記アバターに接触したときに、接触された前記アバターを操作する前記ユーザの前記表面情報を、接触した前記アバターを操作する前記ユーザに伝達する。 Preferably, in the above aspect, when the avatar contacts the other avatar, the tactile information transmission unit transmits the surface information of the user operating the contacted avatar to operate the contacted avatar. Communicate to said user.

この構成によれば、アバターが他のアバターに接触したときに、接触されたアバターを操作するユーザの表面情報が、接触したアバターを操作するユーザに伝達される。そのため、接触されたユーザの視覚情報及び聴覚情報以外の情報を、接触したユーザに伝達することができるため、リアリティを高めることができる。 According to this configuration, when an avatar contacts another avatar, the surface information of the user operating the contacted avatar is transmitted to the user operating the contacted avatar. Therefore, information other than the visual information and auditory information of the contacting user can be transmitted to the contacting user, thereby enhancing reality.

好ましくは、上記態様において、前記アバターは実空間（１５）に配置されたロボット（７）により構成され、前記ロボットは、前記ロボットの表面に伝わる触覚情報を取得するアバター情報取得部を備え、前記触覚情報伝達部は、前記ロボットが他の前記ロボット以外の実物体（Ｘ）に接触しているときには、前記アバター情報取得部によって取得した前記触覚情報を前記ユーザに伝達し、前記ロボットが他の前記ロボットに接触しているときには、接触された前記ロボットを操作する前記ユーザの前記表面情報を、接触した前記ロボットを操作する前記ユーザに伝達する。 Preferably, in the above aspect, the avatar is configured by a robot (7) placed in a real space (15), the robot includes an avatar information acquisition unit that acquires tactile information transmitted to the surface of the robot, and the The tactile information transmission section transmits the tactile information acquired by the avatar information acquisition section to the user when the robot is in contact with a real object (X) other than the other robot, and the robot communicates with the other real object (X). When the robot is in contact with the robot, the surface information of the user operating the robot in contact is transmitted to the user operating the robot in contact.

この構成によれば、ユーザの操作するロボットが、他のユーザの操作するロボットに接触したときに、そのユーザの表面情報を取得することができ、実空間内に位置する物体に接触したときには、ロボットによって取得した触覚情報を取得することができる。これにより、ユーザは他のユーザとその実空間に居るかのような感覚を得ることができるため、リアリティを高めることができる。 According to this configuration, when a robot operated by a user contacts a robot operated by another user, the user's surface information can be obtained, and when the robot contacts an object located in the real space, The tactile information acquired by the robot can be acquired. As a result, the user can feel as if he or she is in the real space of another user, thereby enhancing reality.

好ましくは、上記態様において、前記アバターはコンピュータ（１３）に構築された仮想空間（１０７）におけるキャラクター（１０７）により構成され、前記触覚情報伝達部（１３Ｃ）は、前記キャラクターが、前記仮想空間において、他の前記キャラクターに接触しているときには、接触された前記キャラクターを操作する前記ユーザの前記表面情報を、接触した前記キャラクターを操作する前記ユーザに伝達する。 Preferably, in the above aspect, the avatar is a character (107) in a virtual space (107) built on a computer (13), and the tactile information transmission unit (13C) is configured such that the character is in the virtual space , when the user is in contact with another character, the surface information of the user who operates the character in contact is transmitted to the user who operates the character in contact.

この構成によれば、ユーザは、他のユーザの操作するアバターに接触したときに、そのユーザの表面情報を取得することができる。これにより、ユーザは他のユーザとその仮想空間に居るかのような感覚を得ることができるため、リアリティを高めることができる。 According to this configuration, the user can acquire the surface information of the user when touching the avatar operated by another user. As a result, the user can feel as if he or she is in the virtual space with another user, thereby enhancing reality.

好ましくは、上記態様において、前記ユーザ情報取得部は、前記ユーザの温度に係る情報をそれぞれ取得し、前記触覚情報伝達部は、前記アバターが接触する前記アバターを操作する前記ユーザの被接触部位に係る前記温度を取得して、接触部位に対応する前記ユーザの部位を前記温度となるように調整することにより、前記表面情報を前記ユーザに伝達する。 Preferably, in the above aspect, the user information acquisition unit acquires information related to the user's temperature, and the tactile information transmission unit transmits information to the touched part of the user operating the avatar that the avatar touches. The surface information is transmitted to the user by acquiring the temperature and adjusting the part of the user corresponding to the contact part to the temperature.

この構成によれば、ユーザは、他のユーザの操作するアバターに接触したときに、そのユーザの温かさを感じとることができる。 According to this configuration, when the user touches the avatar operated by another user, the user can feel the warmth of the user.

好ましくは、上記態様において、前記アバターに対応する像を、前記ユーザからの入力に基づいて設定した背景イメージ（７１）に重畳して前記ユーザに提示する。 Preferably, in the above aspect, an image corresponding to the avatar is presented to the user by being superimposed on a background image (71) set based on input from the user.

この構成によれば、アバターに対応する像の背面に背景イメージを設定することができるため、コミュニケーションのリアリティを増すことができる。また、背景イメージを変更することで、ユーザに様々な空間にいるかのような感覚を与えることができるため、エンターテインメント性を増すことができる。 According to this configuration, a background image can be set behind the image corresponding to the avatar, thereby increasing the reality of communication. Also, by changing the background image, it is possible to give the user the feeling of being in various spaces, thereby increasing the entertainment value.

好ましくは、上記態様において、前記アバターを介さずに一人の前記ユーザに、選択的に通信可能なコーチ端末（９Ｃ）を備える。 Preferably, in the above aspect, a coach terminal (9C) capable of selectively communicating with one of the users without going through the avatar is provided.

この構成によれば、アバターを介してコミュニケーションを行う他のユーザに知られることなく、ユーザがアドバイスを受けることができる。 According to this configuration, the user can receive advice without being known by other users communicating via the avatar.

このような課題を解決するために、本発明のある実施形態は、コーチングシステムであって、コーチング実施者及びコーチング対象者がそれぞれ、上記のコミュニケーションシステムを用いて、前記アバターを操作してコミュニケーションを行うことにより、コーチングを行う。 In order to solve such a problem, an embodiment of the present invention is a coaching system in which a coaching person and a coaching target each use the above communication system to operate the avatar to communicate. Coaching is done by doing.

この構成によれば、コーチング対象者から離れた場所にいても、コーチング実施者がコーチング対象者にコーチングを行うことができる。 According to this configuration, the coaching person can coach the person to be coached even if the person is away from the person to be coached.

このように本発明によれば、ユーザがアバターを介してコミュニケーションを行うコミュニケーションシステム、及び、当該コミュニケーションシステムを用いたコーチングシステムにおいて、リアリティを高めることができる。 Thus, according to the present invention, reality can be enhanced in a communication system in which users communicate via avatars and in a coaching system using the communication system.

第１実施形態に係る支援システム、及び、コーチングシステムを含むマッチングシステムの構成図1 is a configuration diagram of a matching system including a support system and a coaching system according to a first embodiment; FIG. マッチングシステムの機能ブロック図Functional block diagram of matching system マッチング処理のフロー図Flow diagram of matching processing 触覚伝達処理のフローチャートFlowchart of haptic transmission processing 第２実施形態に係る支援システム、及び、コーチングシステムを含むマッチングシステムの構成図Configuration diagram of a matching system including a support system and a coaching system according to the second embodiment

以下、図面を参照して、本発明に係るコミュニケーションシステム、及び、そのコミュニケーションシステムを用いたコーチングシステムの実施形態について詳細に説明する。 Hereinafter, embodiments of a communication system according to the present invention and a coaching system using the communication system will be described in detail with reference to the drawings.

＜＜第１実施形態＞＞
本発明に係るコミュニケーションシステム１、及び、コーチングシステム３は、恋人探しや結婚相手探しをするためのマッチングシステム５に適用される。マッチングシステム５は、ユーザから入力された情報に基づき、マッチング処理を行って、相手となるユーザを抽出して、相手となるユーザに係る情報をユーザに提供する。 <<First Embodiment>>
A communication system 1 and a coaching system 3 according to the present invention are applied to a matching system 5 for searching for a lover or a marriage partner. The matching system 5 performs matching processing based on the information input by the user, extracts the user to be the other party, and provides the user with information on the user to be the other party.

コーチングシステム３はマッチングシステム５の一部を構成する。コーチングシステム３は、希望するユーザ（以下、コーチング対象者）に対して、デートの予行演習である仮想デートの場を提供する。その他、コーチングシステム３は、コーチング実施者Ｃがデートを行う２名のユーザの一方にアドバイスを行うことを可能とする。 Coaching system 3 forms part of matching system 5 . The coaching system 3 provides a virtual dating site, which is a rehearsal for a date, to a desired user (hereinafter referred to as a coaching target). In addition, the coaching system 3 allows coaching person C to give advice to one of the two users he is dating.

仮想的なデートはコーチング対象者と、コーチングを行うユーザ（以下、コーチング実施者Ｃ）とが、自分の分身となるアバターを操作することによって行われる。コミュニケーションシステム１は、コーチング実施者Ｃを含むユーザのアバター同士のコミュニケーションを行うためのシステムであり、マッチングシステム５及びコーチングシステム３の一部を構成する。 A virtual date is performed by a person to be coached and a user who performs coaching (hereinafter referred to as a coaching person C) by operating an avatar that is their alter ego. The communication system 1 is a system for performing communication between avatars of users including the coaching person C, and constitutes a part of the matching system 5 and the coaching system 3 .

以下、マッチングシステム５は、コーチング実施者Ｃをマッチング処理の際に除外して、マッチングを行うものとし、コーチング実施者Ｃをマッチングシステム５のユーザに含めて説明を行う。 In the following description, the matching system 5 excludes the coaching person C from the matching process, and includes the coaching person C as a user of the matching system 5 .

次に、マッチングシステム５の構成について説明する。図１に示すように、マッチングシステム５は、ユーザのアバターである複数のロボット７と、ユーザがロボット７を操作するための入力を行う端末９と、ロボット７及び端末９にそれぞれネットワーク１１を介して接続可能なサーバ１３とを備える。 Next, the configuration of the matching system 5 will be described. As shown in FIG. 1, the matching system 5 includes a plurality of robots 7 that are user avatars, a terminal 9 for the user to operate the robot 7, and the robots 7 and the terminals 9 via a network 11. and a server 13 that can be connected to.

ロボット７は複数の壁体によって囲まれた一つの空間１５（実空間）に収容されている。壁体にはそれぞれロボット７の位置を取得するためのネットワークカメラ１７が設けられている。また、壁体の空間１５側の面は、クロマキー合成がし易いように、グリーンやブルーなどの所定の色で着色されているとよい。但し、この態様には限定されず、ロボット７は屋外に移動可能であり、且つ、ＧＰＳ等の公知のシステムを用いて、自己位置が取得できるように構成されていてもよい。 The robot 7 is accommodated in one space 15 (real space) surrounded by a plurality of walls. Each wall is provided with a network camera 17 for acquiring the position of the robot 7 . Also, the surface of the wall on the space 15 side may be colored with a predetermined color such as green or blue to facilitate chromakey synthesis. However, it is not limited to this aspect, and the robot 7 may be configured to be able to move outdoors and to acquire its own position using a known system such as GPS.

ロボット７は人型のいわゆるヒューマノイドロボットであって、それぞれ胴体となる胴部１９と、胴部１９に連結された頭部２１と、胴部１９に連結された左右の腕部２３と、胴部１９に連結された左右の脚部２５とを備える。左右の腕部２３先端にはそれぞれ人の手を模倣したハンド２７が設けられている。腕部２３、脚部２５、ハンド２７等には概ね人と同様の位置に関節が設けられている。それぞれの関節には、関節の折り曲げや、伸長を行うための駆動機構が設けられている。 The robot 7 is a so-called humanoid robot in the form of a human, and includes a torso 19 serving as a torso, a head 21 connected to the torso 19, left and right arms 23 connected to the torso 19, and a torso. and left and right legs 25 connected to 19 . Hands 27 imitating human hands are provided at the tips of the left and right arms 23, respectively. The arms 23, the legs 25, the hands 27, etc. are provided with joints at generally the same positions as those of a human. Each joint is provided with a drive mechanism for bending and extending the joint.

ロボット７には、図２に示すように、触覚センサ３１と、視覚センサ３３と、聴覚センサ３５と、音発生装置３７と、制御装置３９とが設けられている。 The robot 7 is provided with a tactile sensor 31, a visual sensor 33, an auditory sensor 35, a sound generator 37, and a controller 39, as shown in FIG.

触覚センサ３１は物体への接触によってアバターであるロボット７の表面に伝わる情報を取得する。触覚センサ３１は、人の触覚の感覚を模したセンサであって、人が感じる皮膚感覚に相当する情報（以下、触覚情報）を取得する。すなわち、触覚センサ３１は、いわばアバターが感じる触覚情報を取得するアバター情報取得部として機能する。 The tactile sensor 31 acquires information transmitted to the surface of the robot 7, which is an avatar, upon contact with an object. The tactile sensor 31 is a sensor imitating human tactile sensation, and acquires information (hereinafter referred to as tactile information) corresponding to the skin sensation that a person feels. In other words, the tactile sensor 31 functions as an avatar information acquisition unit that acquires tactile information that the avatar feels.

触覚センサ３１が取得する情報には、人が感じる皮膚感覚のうち、圧覚に相当する情報（以下、圧覚情報）と、温度感覚に相当する情報とが含まれる。圧覚とは人が物体と接触した際に感じる反力による皮膚感覚である。温度感覚は人が物体表面に接触したときに感じる温度に係る皮膚感覚である。触覚センサ３１は左右のハンド２７にそれぞれ設けられている。 The information acquired by the tactile sensor 31 includes information corresponding to the sense of pressure (hereinafter referred to as pressure information) and information corresponding to the sense of temperature among skin sensations that a person feels. The sense of pressure is the cutaneous sensation caused by the reaction force felt when a person comes into contact with an object. Thermal sensation is the cutaneous sensation related to the temperature that a person feels when touching the surface of an object. The tactile sensors 31 are provided on the left and right hands 27, respectively.

触覚センサ３１は、圧覚情報を取得する圧覚センサ３１Ａと、温度感覚に係る情報（以下、温度情報）を取得する温度センサ３１Ｂとを含む。 The tactile sensor 31 includes a pressure sensor 31A that acquires pressure information, and a temperature sensor 31B that acquires information related to temperature sensation (hereinafter referred to as temperature information).

圧覚センサ３１Ａはハンド２７の表面の各所に設けられ、それぞれ圧覚情報を取得する複数の圧覚検出デバイスを含む。圧覚検出デバイスはそれぞれ、圧力を検出する圧力センサによって構成されていてもよい。圧覚検出デバイスは、抵抗式、静電容量式、圧電式、ひずみゲージ式、磁気式等のいずれかの方法、又は、それらを組み合わせた方法に基づく公知のデバイスに基づくものであってよく、その他、生体模倣型触覚センサによって構成されていてもよい。 The pressure sensor 31A is provided at various locations on the surface of the hand 27 and includes a plurality of pressure detection devices that acquire pressure information. Each pressure sensing device may be configured by a pressure sensor that senses pressure. The pressure sensing device may be based on a known device based on any method such as resistance, capacitance, piezoelectric, strain gauge, magnetic, etc., or a combination thereof, and other , a biomimetic tactile sensor.

温度センサ３１Ｂはハンド２７の表面の各所に設けられ、それぞれ温度情報を取得する複数の感熱デバイスを含む。感温デバイスはそれぞれ熱電対や、温度に応じて抵抗値が変化する抵抗体であってもよい。温度センサ３１Ｂはロボット７のハンド２７を覆うフレキシブルデバイスによって構成されているとよい。 The temperature sensors 31B are provided at various locations on the surface of the hand 27, and include a plurality of heat sensitive devices each acquiring temperature information. Each temperature sensitive device may be a thermocouple or a resistor whose resistance value changes according to temperature. The temperature sensor 31B is preferably configured by a flexible device that covers the hand 27 of the robot 7. FIG.

触覚センサ３１は振動を検出することによって、人が物体表面を撫でた際などに感じるザラザラ感などの皮膚感覚に相当する情報を取得するデバイスを含んでいてもよい。 The tactile sensor 31 may include a device that acquires information corresponding to a skin sensation, such as a rough feeling that a person feels when stroking the surface of an object, by detecting vibration.

視覚センサ３３はロボット７前方を撮像する装置であり、ＣＣＤやＣＭＯＳ等の撮像素子からなるカメラを含む。カメラは人の視覚に対応する情報（視覚情報）を取得する視覚検出デバイスということができる。本実施形態では、２つのカメラがそれぞれ頭部２１の人の左右の目に相当する位置に設けられている。 The visual sensor 33 is a device for capturing an image of the front of the robot 7, and includes a camera made up of an imaging element such as a CCD or CMOS. A camera can be said to be a vision detection device that acquires information (visual information) corresponding to human vision. In this embodiment, two cameras are provided on the head 21 at positions corresponding to the left and right eyes of a person.

聴覚センサ３５は、音を電気信号に変換する装置であって、マイクロホンによって構成されている。聴覚センサ３５は人の聴覚に対応する情報（聴覚情報）を取得する聴覚検出デバイスということができる。本実施形態では、聴覚センサ３５は、ロボット７の頭部２１の人の左右の耳に相当する位置に設けられた２つのマイクロホンによって構成されている。 The auditory sensor 35 is a device that converts sound into an electrical signal and is composed of a microphone. The auditory sensor 35 can be said to be an auditory detection device that acquires information (auditory information) corresponding to human hearing. In this embodiment, the auditory sensor 35 is composed of two microphones provided on the head 21 of the robot 7 at positions corresponding to the left and right ears of a person.

音発生装置３７は、電気信号を音に変換する装置であって、スピーカによって構成されている。音発生装置３７は、頭部２１の人の口に相当する位置に設けられていてもよく、また、頭部２１のその他の位置や、胴部１９に設けられていてもよい。 The sound generator 37 is a device that converts an electrical signal into sound, and is composed of a speaker. The sound generator 37 may be provided at a position on the head 21 corresponding to the mouth of the person, or may be provided at another position on the head 21 or on the body 19 .

制御装置３９は駆動機構の駆動を制御する装置であり、本実施形態では、ロボット７の胴体に設けられている。制御装置３９は、中央演算処理装置（ＣＰＵ）、ＲＡＭ及びＲＯＭ等のメモリ、ＳＳＤやＨＤＤ等の記憶装置を備えたコンピュータによって構成されている。 A control device 39 is a device for controlling the driving of the drive mechanism, and is provided in the body of the robot 7 in this embodiment. The control device 39 is configured by a computer having a central processing unit (CPU), memories such as RAM and ROM, and storage devices such as SSD and HDD.

制御装置３９は触覚センサ３１、視覚センサ３３、及び、聴覚センサ３５に接続され、触覚情報、視覚情報、及び、聴覚情報を取得する。制御装置３９はまた音発生装置３７に接続され、ロボット７から音を発生させる。 The control device 39 is connected to the tactile sensor 31, the visual sensor 33, and the auditory sensor 35, and acquires tactile information, visual information, and auditory information. The controller 39 is also connected to the sound generator 37 to cause the robot 7 to generate sounds.

制御装置３９は無線ＬＡＮを介して、ネットワーク１１（インターネット）に接続し、端末９及びサーバ１３に相互に通信する。制御装置３９は、外部からの信号に基づいて、駆動機構の駆動を制御することにより、ロボット７の姿勢をコントロールする。 The control device 39 connects to the network 11 (Internet) via a wireless LAN and communicates with the terminal 9 and the server 13 mutually. The control device 39 controls the posture of the robot 7 by controlling the driving of the drive mechanism based on signals from the outside.

また、制御装置３９は、触覚センサ３１、視覚センサ３３、及び、聴覚センサ３５によって取得された触覚情報、視覚情報、及び、触覚情報を、適宜、端末９、及び、サーバ１３に送信する。更に、制御装置３９は、外部からの信号に基づき、音発生装置３７を制御して、ロボット７から音を発生させる。 Further, the control device 39 appropriately transmits the tactile information, the visual information, and the tactile information acquired by the tactile sensor 31 , the visual sensor 33 , and the auditory sensor 35 to the terminal 9 and the server 13 . Further, the control device 39 controls the sound generator 37 based on a signal from the outside to cause the robot 7 to generate sound.

端末９はそれぞれ、コーチング実施者Ｃ、及び、コーチング対象者を含むマッチングシステム５の全ユーザに保持されている。端末９はユーザやコーチの住居に設置されるものであってもよく、また、ユーザに持ち運び可能に保持されるものであってもよい。 Terminals 9 are held by all users of the matching system 5, including the coaching person C and the coaching target, respectively. The terminal 9 may be installed in the user's or coach's residence, or may be held by the user in a portable manner.

端末９（端末装置ともいう）は端末本体４１と、出入力装置４３とを含む。端末本体４１は、中央演算処理装置（ＣＰＵ）、ＲＡＭ及びＲＯＭ等のメモリ、ＳＳＤやＨＤＤ等の記憶装置を備えたコンピュータによって構成されている。 A terminal 9 (also referred to as a terminal device) includes a terminal body 41 and an input/output device 43 . The terminal main body 41 is configured by a computer including a central processing unit (CPU), memories such as RAM and ROM, and storage devices such as SSD and HDD.

出入力装置４３は、端末本体４１に対して出入力を行うための装置であって、モニタ４５、キーボード４７、マウス４９、カメラ５１、ヘッドセット５３、及び、コントローラ５５を含む。 The input/output device 43 is a device for inputting/outputting to/from the terminal body 41 and includes a monitor 45 , a keyboard 47 , a mouse 49 , a camera 51 , a headset 53 and a controller 55 .

モニタ４５はユーザの前方に設けられ、端末本体４１からの信号に基づいて画像を表示し、ユーザに視覚情報を伝達する。キーボード４７及びマウス４９はユーザから端末本体４１への入力を受け付ける。カメラ５１はユーザの前方に配置され、ユーザを撮像し、ユーザの姿勢及びユーザの表情を含む視覚情報を取得する。 A monitor 45 is provided in front of the user and displays an image based on a signal from the terminal main body 41 to transmit visual information to the user. A keyboard 47 and a mouse 49 accept input from the user to the terminal body 41 . A camera 51 is placed in front of the user, takes an image of the user, and acquires visual information including the user's posture and the user's facial expression.

ヘッドセット５３は、ユーザの頭に装着される装置であり、左右の耳にそれぞれ装着される左右一対のイヤホン５７と、マイクロホン５９とを含む。イヤホン５７はそれぞれ、端末本体４１からの信号に基づいて音を発生させて、ユーザに聴覚情報を伝達する。マイクロホン５９は、ユーザの発する声を取得し、端末本体４１に出力する。すなわち、マイクロホン５９は、ユーザの声等の聴覚情報を取得する。 The headset 53 is a device worn on the user's head, and includes a pair of left and right earphones 57 worn on the left and right ears, respectively, and a microphone 59 . Each earphone 57 generates a sound based on a signal from the terminal main body 41 to transmit auditory information to the user. The microphone 59 acquires the user's voice and outputs it to the terminal body 41 . That is, the microphone 59 acquires auditory information such as the user's voice.

コントローラ５５はユーザの左右の手にそれぞれ装着されるウエラブルデバイスである。コントローラ５５は左右一対のグローブ６１と、グローブ６１にそれぞれ設けられた触覚付与デバイス６３と、ユーザ情報取得センサ６５と、姿勢センサ６７とを備えている。 The controller 55 is a wearable device worn on the left and right hands of the user. The controller 55 includes a pair of left and right gloves 61 , tactile sense imparting devices 63 provided on each of the gloves 61 , a user information acquisition sensor 65 , and an orientation sensor 67 .

触覚付与デバイス６３はグローブ６１の内側に設けられ、圧力、温度等をユーザの手の表面各所に付与し、ユーザに触覚情報を伝達する。 A tactile sensation imparting device 63 is provided inside the glove 61 and imparts pressure, temperature, etc. to various parts of the surface of the user's hand, thereby transmitting tactile information to the user.

触覚付与デバイス６３は、グローブ６１を装着するユーザの手表面各所に圧力を加える圧力付与デバイス６３Ａと、グローブ６１を装着するユーザの手表面各所に温調する温調デバイス６３Ｂとを含む。 The tactile sense imparting device 63 includes a pressure imparting device 63A that applies pressure to various parts of the hand surface of the user wearing the glove 61, and a temperature control device 63B that adjusts the temperature of various parts of the hand surface of the user wearing the glove 61.

圧力付与デバイス６３Ａは、グローブ６１の各所に設けられたアクチュエータを含む。アクチュエータはグローブ６１の内面各所に設けられ、内部に流体を含む袋体と、袋体に流体を出し入れする給排装置とを含む。アクチュエータは袋体に流体を出し入れすることによってユーザの手に圧力を加え、圧覚情報をユーザに伝達する。 The pressure application device 63A includes actuators provided at various locations on the glove 61 . The actuators are provided at various locations on the inner surface of the glove 61 and include a bag containing fluid and a supply/discharge device for taking the fluid in and out of the bag. The actuator applies pressure to the user's hand by moving fluid into and out of the bladder and conveys pressure information to the user.

また、アクチュエータは、端末本体４１からの信号に基づいて、ユーザの手に振動を加えて、ユーザに圧覚を伝える触感デバイス（触力覚デバイス）であってもよい。触感デバイスは公知のハプティクス技術に基づくものであってよく、その技術に基づいて、端末本体４１は触感デバイスから発生させる振動の波形パターンや振動の周波数を制御するとよい。 The actuator may also be a tactile device (tactile force device) that applies vibration to the user's hand based on a signal from the terminal main body 41 to convey pressure to the user. The tactile device may be based on known haptics technology, and based on that technology, the terminal body 41 may control the waveform pattern and frequency of vibration generated from the tactile device.

温調デバイス６３Ｂはそれぞれ端末本体４１に接続されている。温調デバイス６３Ｂは端末本体４１からの信号に基づいて、ユーザの手の表面各所が端末本体４１によって設定された温度となるように、グローブ６１の内面各所の温度を調節する。これにより、温調デバイス６３Ｂは温度情報をユーザに伝達する。 The temperature control devices 63B are connected to the terminal body 41 respectively. Based on the signal from the terminal body 41 , the temperature control device 63 B adjusts the temperature of various parts of the inner surface of the glove 61 so that various parts of the surface of the user's hand reach the temperature set by the terminal body 41 . Thereby, the temperature control device 63B transmits the temperature information to the user.

温調デバイス６３Ｂはグローブ６１の各所に設けられた温調素子を含む。温調素子は、ヒータや、ペルチェ素子、フレキシブルな有機熱電素子等であってよい。 The temperature control device 63B includes temperature control elements provided at various locations on the globe 61 . The temperature control element may be a heater, a Peltier element, a flexible organic thermoelectric element, or the like.

ユーザ情報取得センサ６５（ユーザ情報取得部）は、コントローラ５５を装着するユーザの表面に係る表面情報（以下、ユーザ表面情報）を取得する。表面情報には、人がその表面に接触したときに感じ取ることのできる情報を意味し、例えば、表面温度や、柔らかさ、表面から受ける反力などが含まれる。 The user information acquisition sensor 65 (user information acquisition unit) acquires surface information (hereinafter referred to as user surface information) relating to the surface of the user wearing the controller 55 . Surface information means information that a person can perceive when touching the surface, and includes, for example, surface temperature, softness, reaction force received from the surface, and the like.

本実施形態では、ユーザ情報取得センサ６５は体表圧センサ６５Ａと、体表温センサ６５Ｂとを含む。体表圧センサ６５Ａと、体表温センサ６５Ｂとはそれぞれグローブ６１の内面に設けられている。 In this embodiment, the user information acquisition sensor 65 includes a body surface pressure sensor 65A and a body surface temperature sensor 65B. A body surface pressure sensor 65A and a body surface temperature sensor 65B are provided on the inner surface of the glove 61, respectively.

体表圧センサ６５Ａはユーザから加わる圧力を検出する。詳細には、体表圧センサ６５Ａは、触覚付与デバイス６３がユーザに圧覚を付与する（ユーザの手に圧力を加える）ことによって、グローブ６１に加わる反力である圧力を検出する。体表圧センサ６５Ａは触覚付与デバイス６３が備える袋体それぞれの圧力を検出する圧力検出素子によって構成されていてもよい。 The body surface pressure sensor 65A detects pressure applied by the user. Specifically, the body surface pressure sensor 65A detects pressure, which is a reaction force applied to the glove 61, when the tactile sense imparting device 63 imparts a sense of pressure to the user (applies pressure to the user's hand). The body surface pressure sensor 65A may be composed of a pressure detection element that detects the pressure of each bag provided in the tactile sensation imparting device 63 .

体表温センサ６５Ｂはグローブ６１の内側に設けられ、ユーザの手各所の表面温度を取得する。体表温センサ６５Ｂはグローブ６１の内側各所に設けられた複数の感温デバイスを含む。感温デバイスは熱電対や、温度に応じて抵抗値が変化する抵抗体であってもよい。体表温センサ６５Ｂはそれぞれフレキシブルなシートにプリントされた感温性抵抗体によって構成されていてもよい。 A body surface temperature sensor 65B is provided inside the glove 61 and acquires the surface temperature of various parts of the user's hand. The body surface temperature sensor 65B includes a plurality of temperature sensing devices provided inside the glove 61 at various locations. The temperature sensing device may be a thermocouple or a resistor whose resistance value changes according to temperature. The body surface temperature sensors 65B may each be composed of a temperature sensitive resistor printed on a flexible sheet.

姿勢センサ６７はグローブ６１の各所に設けられた複数のＩＭＵ（慣性計測センサユニット）を含む。ＩＭＵは３軸の加速度、及び、対応する各軸の角速度を取得する。端末本体４１はＩＭＵによって取得された加速度、及び、各速度に基づいて、ユーザの指の関節や、掌、手首の関節の動きをトラッキングし、手の指、及び手首の位置・姿勢を取得する。 The attitude sensor 67 includes multiple IMUs (inertial measurement sensor units) provided at various locations on the glove 61 . The IMU acquires the acceleration in three axes and the corresponding angular velocity in each axis. The terminal body 41 tracks the movement of the user's finger joints, palm joints, and wrist joints based on the acceleration and each velocity acquired by the IMU, and acquires the positions and postures of the fingers and wrist. .

端末本体４１はネットワーク１１を介してサーバ１３及びロボット７の制御装置３９に接続する。端末本体４１は、姿勢センサ６７によって取得したユーザの指、及び手首の位置・姿勢情報と、カメラ５１によって取得したユーザの姿勢情報と、ユーザ情報取得センサ６５によって取得したユーザ表面情報と、ヘッドセット５３のマイクロホン５９によって取得した音声情報とをサーバ１３に送信する。 The terminal body 41 is connected to the server 13 and the controller 39 of the robot 7 via the network 11 . The terminal main body 41 receives position/orientation information of the user's fingers and wrists obtained by the orientation sensor 67, user orientation information obtained by the camera 51, user surface information obtained by the user information acquisition sensor 65, and a headset. The voice information obtained by the microphone 59 of 53 is transmitted to the server 13 .

サーバ１３は、中央演算処理装置（ＣＰＵ）、ＲＡＭ及びＲＯＭ等のメモリ、ＳＳＤやＨＤＤ等の記憶装置を備えたコンピュータによって構成されている。サーバ１３は、マッチングシステム５の運営を行う会社などの事務所内に設置されているとよい。 The server 13 is configured by a computer having a central processing unit (CPU), memories such as RAM and ROM, and storage devices such as SSD and HDD. The server 13 is preferably installed in an office such as a company that manages the matching system 5 .

サーバ１３は、ネットワーク１１を介して、ネットワークカメラ１７の撮像画像を取得し空間１５内のロボット７の位置及び姿勢を取得する。また、サーバ１３は、端末９から取得した情報に基づいて、その端末９を操作するユーザに対応するロボット７の制御装置３９に信号を送信し、当該ロボット７の駆動を制御することができる。 The server 13 acquires the captured image of the network camera 17 via the network 11 and acquires the position and posture of the robot 7 in the space 15 . Further, the server 13 can transmit a signal to the control device 39 of the robot 7 corresponding to the user operating the terminal 9 based on the information acquired from the terminal 9 to control the driving of the robot 7 .

サーバ１３は、ユーザの希望する条件等のユーザ情報を記憶装置に予め記憶し、コーチ以外の希望するユーザに対して恋人探しや結婚相手探しをするためのマッチング処理を行う。以下、マッチング処理の流れについて、図３を参照して説明する。 The server 13 preliminarily stores user information such as user's desired conditions in a storage device, and performs matching processing for searching for a lover or a marriage partner for a desired user other than a coach. The flow of matching processing will be described below with reference to FIG.

ユーザ（以下、ユーザＡ。図１参照）が端末９に希望する条件を入力してサーバ１３に送信し、申し込みを行うと（ＳＴ１）、サーバ１３は、予め記憶されたユーザ情報を用いて、マッチングするユーザ（以下、ユーザＢ）を抽出する。その後、サーバ１３は、ユーザＡの端末９に通知を行い、その入出力装置にマッチングするユーザＢが抽出され、マッチングが完了した旨の通知を表示させる（ＳＴ２）。 When a user (hereafter referred to as user A; see FIG. 1) enters desired conditions into the terminal 9 and transmits them to the server 13 to make an application (ST1), the server 13 uses pre-stored user information to A matching user (hereinafter referred to as user B) is extracted. After that, the server 13 notifies the terminal 9 of the user A, extracts the user B matching the input/output device, and displays the notification that the matching is completed (ST2).

ユーザＡがデートプランに係るコーチング（以下、プランコーチング）を希望する旨の入力を行うと、サーバ１３はユーザＡの端末９の出入力装置４３に入力画面を表示させ、デートプランの入力を受け付ける。ユーザＡがデートプランの入力を行ってサーバ１３に送信すると、サーバ１３はデートプランの評価処理を行い、ユーザＡの端末９の入出力装置に評価を表示させる（ＳＴ３）。その際、サーバ１３は入出力装置に評価に加えて、デートプランに対するアドバイスを表示させてもよい。また、サーバ１３は再度、ユーザＡの端末９の出入力装置４３に入力画面を表示させ、デートプランの入力を受け付けてもよい。このとき、デートプランが再度入力されたときには、サーバ１３は再度評価処理を行い、ユーザＡの端末９の入出力装置に評価を表示させるとよい。 When the user A inputs a desire for coaching related to a date plan (hereinafter referred to as plan coaching), the server 13 displays an input screen on the input/output device 43 of the terminal 9 of the user A, and accepts input of a date plan. . When the user A inputs a date plan and transmits it to the server 13, the server 13 evaluates the date plan and displays the evaluation on the input/output device of the terminal 9 of the user A (ST3). At that time, the server 13 may cause the input/output device to display advice on the date plan in addition to the evaluation. Further, the server 13 may display the input screen on the input/output device 43 of the terminal 9 of the user A again to receive the input of the date plan. At this time, when the date plan is input again, the server 13 may perform the evaluation process again and display the evaluation on the input/output device of the user A's terminal 9 .

ユーザＡがデートのコーチング（以下、デートコーチング）の実行を希望する旨の入力を行うと、サーバ１３はユーザＡの端末９の出入力装置４３に、コントローラ５５、及び、ヘッドセット５３を装着して、自らの分身（アバター）となるロボット７を操作し、仮想的なデート（以下、予行デート。お試しデートともいう）を行うように指示する表示を行わせる。ユーザはその指示に従い、自らの分身となるロボット７を操作し、予行デートを行う（ＳＴ４）。予行デートとは、ユーザはアバターとなるロボット７を操作することにより、コーチング実施者Ｃの操作するアバターとしてのロボット７と行う仮想的なデートである。 When the user A inputs a desire to perform date coaching (hereinafter referred to as date coaching), the server 13 attaches the controller 55 and the headset 53 to the input/output device 43 of the terminal 9 of the user A. Then, the user operates the robot 7, which is his/her alter ego (avatar), and displays an instruction to perform a virtual date (hereinafter referred to as a preliminary date, or a trial date). According to the instructions, the user operates the robot 7, which is an alter ego of the user, and holds a rehearsal date (ST4). A rehearsal date is a virtual date held by the user operating the robot 7 as an avatar with the robot 7 as an avatar operated by the coaching person C. FIG.

予行デートを行っている間、端末９が姿勢センサ６７による検出結果に基づいて、ユーザの指及び手首の位置・姿勢を取得し、サーバ１３に送信する。サーバ１３はその位置、及び姿勢をロボット７の制御装置３９に送信し、制御装置３９はユーザの指及び手首に対応するように、ユーザに対応するロボット７の手を移動させる。 During the rehearsal date, the terminal 9 acquires the positions and postures of the user's fingers and wrists based on the detection results of the posture sensor 67 and transmits them to the server 13 . The server 13 transmits its position and orientation to the controller 39 of the robot 7, and the controller 39 moves the hand of the robot 7 corresponding to the user so as to correspond to the user's finger and wrist.

更に、端末本体４１はカメラ５１による検出結果に基づいて、サーバ１３にユーザの姿勢に係る情報を送信する。サーバ１３は、ユーザの姿勢に係る情報を受信すると、対応する信号を制御装置３９に送信し、制御装置３９は、ユーザの姿勢と同じ姿勢となるようにロボット７の駆動を制御する。これにより、ロボット７は、ユーザの指、及び手首、姿勢に対応するように駆動する。よって、ロボット７はユーザの分身（アバター）として動作する。 Further, the terminal main body 41 transmits information regarding the user's posture to the server 13 based on the detection result by the camera 51 . When the server 13 receives the information about the user's posture, the server 13 transmits a corresponding signal to the control device 39, and the control device 39 controls the driving of the robot 7 so that the posture is the same as the user's posture. Thereby, the robot 7 is driven so as to correspond to the user's finger, wrist, and posture. Therefore, the robot 7 operates as a user's alter ego (avatar).

予行デートを行っている間、サーバ１３は、ユーザの操作する全てのロボット７の視覚センサ３３によって取得した視覚情報を加工して表示画像を生成し、そのユーザの端末９に表示画像を提示させる視覚伝達処理を行う。サーバ１３が視覚伝達処理を行うと、端末本体４１はモニタ４５に表示画像を表示させて、ユーザに視覚情報を伝達する。 During the rehearsal date, the server 13 processes the visual information acquired by the visual sensors 33 of all the robots 7 operated by the user to generate display images, and causes the terminals 9 of the users to present the display images. Perform visual communication processing. When the server 13 performs visual transmission processing, the terminal main body 41 displays a display image on the monitor 45 to transmit visual information to the user.

サーバ１３は視覚伝達処理において、視覚センサ３３によって取得された画像をそれぞれ左右に並べることによって表示画像を生成してもよい。また、サーバ１３は、ロボット７の視覚センサ３３によって取得した画像を、端末９のカメラ５１によって取得した画像を用いて、ロボット７の代わりに、ロボット７を操作するユーザが撮像されたかのように加工し、表示画像を生成してもよい。 In the visual communication process, the server 13 may generate a display image by arranging the images acquired by the visual sensor 33 horizontally. In addition, the server 13 processes the image acquired by the visual sensor 33 of the robot 7 using the image acquired by the camera 51 of the terminal 9 as if the user operating the robot 7 were captured instead of the robot 7. and may generate a display image.

予行デートを行っている間、サーバ１３は全ロボット７に対して視覚伝達処理を行う。これにより、ユーザのモニタ４５には、予行デートを行う相手のユーザの操作するロボット７の像や、端末９のカメラ５１によって取得した相手ユーザの像が表示される。これにより、ユーザには、相手のユーザに係る視覚情報が伝達されるため、予行デート中、ユーザ間において相互に視覚情報が伝達される。すなわち、視覚伝達処理を実行することによって、サーバ１３には機能部として、ユーザ間において相互に視覚情報を伝達させる視覚伝達部１３Ａが構成される。 During the rehearsal date, the server 13 performs visual communication processing for all the robots 7 . As a result, an image of the robot 7 operated by the other user on the rehearsal date and an image of the other user acquired by the camera 51 of the terminal 9 are displayed on the user's monitor 45 . As a result, visual information relating to the other user is transmitted to the user, so that the visual information is mutually transmitted between the users during the rehearsal date. That is, by executing the visual communication processing, the server 13 is configured with a visual communication unit 13A as a functional unit for mutually transmitting visual information between users.

サーバ１３は、視覚センサ３３によって取得した画像からロボット７の像のみを抽出し、それ以外の部分に対して、所定の背景イメージ７１（図１参照）を挿入してもよい。本実施形態では、サーバ１３は、視覚センサ３３によって取得した画像の中の壁体の空間１５側の面の色の部分を透明にし、そこに別の映像を合成する、いわゆるクロマキー合成を行って、視覚センサ３３によって取得した画像に背景イメージ７１を挿入する。 The server 13 may extract only the image of the robot 7 from the image acquired by the visual sensor 33, and insert a predetermined background image 71 (see FIG. 1) into the rest of the image. In this embodiment, the server 13 performs so-called chromakey synthesis, in which the color portion of the surface of the wall on the space 15 side in the image acquired by the visual sensor 33 is made transparent and another image is synthesized thereon. , inserts the background image 71 into the image acquired by the visual sensor 33 .

端末本体４１は、ユーザから挿入すべき背景イメージ７１の選択をユーザから受け付けるとよい。背景イメージ７１を選択することによって、予行デートの現実感を高めることができる。また、背景イメージ７１を変更することで、ユーザに違った空間１５にいるかのような感覚を与えることができるため、エンターテインメント性を増すことができる。 The terminal body 41 preferably accepts from the user a selection of the background image 71 to be inserted. By selecting the background image 71, it is possible to enhance the reality of the rehearsal date. Also, by changing the background image 71, it is possible to give the user the feeling of being in a different space 15, thereby increasing the entertainment value.

予行デートを行っている間、サーバ１３は、各端末９のヘッドセット５３に設けられたマイクロホン５９が取得した音声をロボット７に出力させるとともに、ロボット７の聴覚センサ３５によって取得した音声を、対応するユーザのヘッドセット５３のイヤホン５７から出力させる聴覚伝達処理を行う。 During the rehearsal date, the server 13 causes the robot 7 to output the voice acquired by the microphone 59 provided in the headset 53 of each terminal 9, and outputs the voice acquired by the auditory sensor 35 of the robot 7 to the robot 7. Auditory transmission processing is performed to output from the earphone 57 of the headset 53 of the user.

具体的には、聴覚伝達処理において、サーバ１３は、ロボット７の聴覚センサ３５（左右のマイクロホン）それぞれで取得した音声信号を制御装置３９から取得し、対応するユーザの端末９に送信する。端末９は、ヘッドセット５３のイヤホン５７からそれぞれ対応する音声を出力させ、ユーザに聴覚情報を伝達する。 Specifically, in the auditory transmission process, the server 13 acquires audio signals obtained by the auditory sensors 35 (left and right microphones) of the robot 7 from the control device 39 and transmits them to the corresponding user terminals 9 . The terminal 9 causes the earphones 57 of the headset 53 to output respective corresponding sounds to transmit auditory information to the user.

但し、この態様には限定されず、例えば、サーバ１３は、聴覚伝達処理において、会話の相手のヘッドセット５３のマイクロホン５９によって取得した聴覚情報を取得し、ユーザのイヤホン５７から直接出力させてもよい。 However, the present invention is not limited to this aspect. For example, in the auditory transmission processing, the server 13 may acquire auditory information acquired by the microphone 59 of the headset 53 of the conversation partner and directly output the auditory information from the earphone 57 of the user. good.

予行デートを行っている間、サーバ１３は全ロボット７、全端末９に対して視覚伝達処理を行う。ユーザのヘッドセット５３のイヤホン５７には、予行デートを行う相手のユーザの音声が出力される。これにより、ユーザには、予行デートを行う相手の聴覚情報が伝達される。すなわち、聴覚伝達処理を実行することによって、サーバ１３には、機能部としてユーザ間において相互に聴覚情報が伝達する聴覚伝達部１３Ｂが構成される。 During the rehearsal date, the server 13 performs visual communication processing for all the robots 7 and all the terminals 9 . The voice of the user with whom the rehearsal date is held is output to the earphone 57 of the user's headset 53 . Thereby, the auditory information of the partner with whom the rehearsal date is held is transmitted to the user. That is, by executing the auditory transmission process, the server 13 includes an auditory transmission unit 13B as a functional unit that transmits auditory information to each other between users.

サーバ１３は、予行デート中、ロボット７に設けられたカメラ５１によって取得した画像や、ネットワークカメラ１７によって取得された画像から、公知の画像解析手法を用いて、空間１５（実空間）内の物体（以下、実物体Ｘ）の位置、及び、全てのロボット７の位置を常時取得する。 During the rehearsal date, the server 13 uses a known image analysis method to analyze objects in the space 15 (real space) from images acquired by the camera 51 provided on the robot 7 and images acquired by the network camera 17. (hereinafter referred to as the real object X) and the positions of all the robots 7 are constantly acquired.

その他、サーバ１３は、ロボット７と対応するユーザの組み合わせごとに触覚伝達処理を行う。 In addition, the server 13 performs haptic transmission processing for each combination of the robot 7 and the corresponding user.

また、予行デートを行っている間、サーバ１３は、カメラ５１、マイクロホン５９、姿勢センサ６７、触覚センサ３１等によって取得したデータ（以下、デートデータ）を記録する。 Also, during the rehearsal date, the server 13 records data (hereinafter referred to as date data) acquired by the camera 51, the microphone 59, the orientation sensor 67, the tactile sensor 31, and the like.

予行デートが完了すると、サーバ１３はデートデータを分析し、予行デートの評価を行う評価処理を実行し、評価値を取得する。その後、サーバ１３はユーザＡの出入力装置４３、及び、コーチング実施者Ｃの端末９の出入力装置４３にそれぞれ評価値を表示させ、ユーザＡ及びコーチング実施者Ｃに通知する。このとき、コーチング実施者Ｃは、予行デートに対するコメントを作成し、ユーザＡに通知する。 When the rehearsal date is completed, the server 13 analyzes the date data, executes evaluation processing for evaluating the rehearsal date, and obtains an evaluation value. Thereafter, the server 13 causes the input/output device 43 of the user A and the input/output device 43 of the terminal 9 of the coaching person C to display the evaluation values, and notifies the user A and the coaching person C of the evaluation values. At this time, the coaching person C prepares a comment for the rehearsal date and notifies the user A of the comment.

ユーザＡが予行デートの印象や、評価値に基づいて、ユーザＢとデートを行ってもよいと判定し、端末９に所定の入力を行うと、サーバ１３はマッチングされたユーザＢに係る情報を取得し、ユーザＡに提示する。その後、ユーザＡは、ユーザＢと実際にデート（以下、実デート。リアルデートともいう）を行う（ＳＴ５）。実デートは、ユーザＡ及びユーザＢが実際に会うものや、それぞれがロボット７を操作することによって行うものであってよい。 When user A determines that he/she may go on a date with user B based on the impression of the rehearsal date and the evaluation value, and performs a predetermined input to the terminal 9, the server 13 displays information related to the matched user B. Obtained and presented to User A. After that, user A actually has a date with user B (hereinafter referred to as a real date) (ST5). The actual date may be one in which user A and user B actually meet, or one in which user A and user B operate the robot 7 respectively.

本実施形態では、ユーザＡとユーザＢとがロボット７を操作することによって実デートを行うときには、サーバ１３は、コーチング実施者ＣがユーザＡにアドバイスを行えるように構成されている。 In this embodiment, the server 13 is configured so that the coaching practitioner C can give advice to the user A when the user A and the user B operate the robot 7 to have a real date.

具体的には、コーチング実施者Ｃが自らの端末９（コーチ端末９Ｃ）の端末本体４１はマイクロホン５９によって取得した音声のみをサーバ１３に送信し、サーバ１３はユーザＡの端末９のイヤホン５７から、対応するロボット７の聴覚センサ３５によって取得した音声とともに、出力させる。これにより、コーチ端末９Ｃはアバターを介さずに一人のユーザ（ユーザＡ）に選択的に通信可能な端末９として機能する。これにより、アバターを介してコミュニケーションを行う他のユーザに知られることなく、ユーザがアドバイスを受けることができる。 Specifically, the terminal body 41 of the terminal 9 (coach terminal 9C) of the coaching practitioner C transmits only the voice acquired by the microphone 59 to the server 13, and the server 13 transmits the voice from the earphone 57 of the terminal 9 of the user A. , along with the sound acquired by the auditory sensor 35 of the corresponding robot 7 . As a result, the coach terminal 9C functions as a terminal 9 capable of selectively communicating with one user (user A) without using an avatar. This allows the user to receive advice without being known by other users communicating via the avatar.

このとき、サーバ１３は、ネットワークカメラ１７によって取得した画像をコーチ端末９Ｃの端末本体４１に送り、コーチ端末９Ｃの端末本体４１はモニタ４５に表示するとよい。 At this time, the server 13 may send the image acquired by the network camera 17 to the terminal body 41 of the coach terminal 9C, and the terminal body 41 of the coach terminal 9C should display it on the monitor 45. FIG.

＜触覚伝達処理＞
次に、触覚伝達処理の詳細について、図４に示すフローチャートを参照して説明する。サーバ１３は予行デート中、予行デートを行うユーザと、ロボット７との全組み合わせについて、触覚伝達処理を常時（例えば、１ミリ秒ごとに）繰り返して行う。 <Haptic transmission processing>
Next, details of the tactile sensation transmission processing will be described with reference to the flowchart shown in FIG. During the rehearsal date, the server 13 constantly (for example, every 1 millisecond) repeats the tactile sensation transmission processing for all combinations of the user performing the rehearsal date and the robot 7 .

触覚伝達処理の最初のステップＳＴ１１において、ハンド２７の触覚センサ３１によって所定の閾値以上の圧力が検出されているかを判定する、所定の閾値以上の圧力が検出されているときには、ステップＳＴ１２を、検出されていないときには触覚伝達処理を終える。 In the first step ST11 of the tactile sensation transmission process, it is determined whether or not the tactile sensor 31 of the hand 27 detects a pressure equal to or greater than a predetermined threshold. If not, the haptic transmission process ends.

サーバ１３は、ステップＳＴ１２において、閾値以上の圧力が検出された触覚センサ３１が設けられたロボット７（以下、接触ロボット７）の位置や姿勢、接触ロボット７に設けられた視覚センサ３３による画像や、ネットワークカメラ１７の画像等に基づいて、接触ロボット７のハンド２７が触れた物体が実物体Ｘであるか、又は、他のロボット７のハンド２７以外の部分であるかを判定する。サーバ１３は、接触ロボット７のハンド２７が触れた物体が実物体Ｘであるか、又は、ロボット７のハンド２７以外の部分である場合には、ステップＳＴ１３を、それ以外の場合、すなわち、接触ロボット７のハンド２７に触れた物体がロボット７のハンド２７である場合にはステップＳＴ１４を実行する。 In step ST12, the server 13 detects the position and orientation of the robot 7 (hereinafter referred to as the contact robot 7) provided with the tactile sensor 31 that detected a pressure equal to or greater than the threshold, and the image and , based on the image of the network camera 17 or the like, it is determined whether the object touched by the hand 27 of the contact robot 7 is the actual object X or a part other than the hand 27 of another robot 7 . If the object touched by the hand 27 of the contact robot 7 is the actual object X or is a part other than the hand 27 of the robot 7, the server 13 performs step ST13. When the object that touches the hand 27 of the robot 7 is the hand 27 of the robot 7, step ST14 is executed.

ステップＳＴ１３において、サーバ１３は接触ロボット７の触覚センサ３１によって取得した触覚情報（温度、圧力）を制御装置３９から取得する。その後、サーバ１３は、接触ロボット７に対応するユーザ（以下、接触ユーザ）の端末本体４１を制御して、触覚付与デバイス６３（圧力付与デバイス６３Ａ及び温調デバイス６３Ｂ）を駆動させ、ユーザ（以下、接触ユーザ）に取得した触覚情報（温度、圧力）を伝達する。 In step ST<b>13 , the server 13 acquires the tactile information (temperature, pressure) acquired by the tactile sensor 31 of the contact robot 7 from the control device 39 . After that, the server 13 controls the terminal body 41 of the user (hereinafter referred to as the contact user) corresponding to the contact robot 7 to drive the tactile sensation imparting device 63 (the pressure imparting device 63A and the temperature control device 63B), and the user (hereinafter referred to as the contact user). , contact user) to transmit the acquired tactile information (temperature, pressure).

具体的には、サーバ１３は、接触ロボット７の圧覚センサ３１Ａによって取得した圧力を制御装置３９から取得し、ユーザの接触ロボット７のハンド２７が接触した部位に対応する部分に加えるべく、圧力付与デバイス６３Ａを駆動させる。また、サーバ１３は、接触ロボット７の温度センサ３１Ｂによって取得した温度を制御装置３９から取得し、ユーザの接触ロボット７のハンド２７が接触した部位が当該温度となるように、温調デバイス６３Ｂを駆動させる。 Specifically, the server 13 acquires the pressure acquired by the pressure sensor 31A of the contact robot 7 from the control device 39, and applies pressure to the part corresponding to the part touched by the hand 27 of the user's contact robot 7. Drive device 63A. In addition, the server 13 acquires the temperature acquired by the temperature sensor 31B of the contact robot 7 from the control device 39, and adjusts the temperature control device 63B so that the part touched by the hand 27 of the user's contact robot 7 reaches the temperature. drive.

触覚付与デバイス６３の動作が完了すると、サーバ１３は触覚伝達処理を終える。 When the operation of the tactile sensation imparting device 63 is completed, the server 13 ends the tactile sensation transmission processing.

ステップＳＴ１４において、サーバ１３は、接触ロボット７の視覚センサ３３、及びネットワークカメラ１７の撮像画像に基づいて、接触ロボット７のハンド２７が接触するロボット７（以下、被接触ロボット７）を同定する。その後、サーバ１３は、被接触ロボット７を操作するユーザ（以下、被接触ユーザ）を同定する。 In step ST<b>14 , the server 13 identifies the robot 7 with which the hand 27 of the contacting robot 7 contacts (hereinafter referred to as the contacted robot 7 ), based on the visual sensor 33 of the contacting robot 7 and the captured image of the network camera 17 . After that, the server 13 identifies the user who operates the contacted robot 7 (hereinafter referred to as the contacted user).

次に、サーバ１３は、接触ロボット７の視覚センサ３３、被接触ロボット７の視覚センサ３３、及び、ネットワークカメラ１７の撮像画像に基づいて、接触ロボット７のハンド２７のうち、被接触ロボット７に接触する部位（以下、接触部位）と、被接触ロボット７のハンド２７のうち、接触ロボット７に接触する部位（以下、被接触部位）とを同定する。同定が完了すると、サーバ１３はステップＳＴ１５を実行する。 Next, based on the visual sensor 33 of the contacting robot 7 , the visual sensor 33 of the contacted robot 7 , and the captured image of the network camera 17 , the server 13 uses the hand 27 of the contacting robot 7 to move the contacting robot 7 . A contact portion (hereinafter referred to as a contact portion) and a portion of the hand 27 of the contacted robot 7 that contacts the contact robot 7 (hereinafter referred to as a contact portion) are identified. After the identification is completed, the server 13 executes step ST15.

ステップＳＴ１５において、サーバ１３は、被接触ユーザの端末本体４１から、被接触ユーザの被接触部位に対応する部分のユーザ表面情報（圧力、温度）を取得する。次に、サーバ１３は、接触ユーザの端末本体４１を介して、接触ユーザの触覚付与デバイス６３を駆動させ、被接触ユーザの被接触部位に対応する部分のユーザ表面情報（圧力、温度）を接触ユーザに伝達する。すなわち、触覚伝達処理を行うことによって、サーバ１３には、機能部として、表面情報をコミュニケーション相手となるユーザに伝達する触覚情報伝達部１３Ｃが構成される。 In step ST15, the server 13 acquires the user surface information (pressure, temperature) of the portion corresponding to the contacted part of the contacted user from the terminal main body 41 of the contacted user. Next, the server 13 drives the tactile sensation imparting device 63 of the contacting user via the terminal body 41 of the contacting user, and applies the user surface information (pressure, temperature) of the portion corresponding to the contacted site of the contacted user. Communicate to users. That is, by performing the tactile sense transmission processing, the server 13 includes, as a functional unit, a tactile information transmission unit 13C that transmits surface information to the user who is the communication partner.

具体的には、サーバ１３は触覚センサ３１から非接触ユーザから被接触部位に対応する部分の圧力及び温度を取得し、接触ユーザの接触部位に対応する部分に当該圧力を加え、且つ、接触ユーザの接触部位に対応する部分が当該温度となるように、触覚付与デバイス６３を駆動させる。 Specifically, the server 13 acquires the pressure and temperature of the portion corresponding to the touched portion from the non-contact user from the tactile sensor 31, applies the pressure to the portion corresponding to the touched portion of the contact user, and The tactile sensation imparting device 63 is driven so that the portion corresponding to the contact portion of is at the temperature.

＜評価処理＞
予行デートが完了した後にサーバ１３が実行する評価処理について詳細に説明する。 <Evaluation process>
The evaluation process executed by the server 13 after the preliminary date is completed will be described in detail.

サーバ１３は、他のユーザのロボット７への操作入力の履歴情報や、ユーザから取得したアンケート結果、人間の行動モデル等を用いた機械学習によって、デートにおいて取るべき模範行動モデルを保持している。 The server 13 holds a model behavior model to be taken on a date by machine learning using history information of other users' operation inputs to the robot 7, questionnaire results obtained from users, human behavior models, and the like. .

サーバ１３は、マイクロホン５９によって取得したユーザＡ及びコーチング実施者Ｃの音声をそれぞれテキストデータに変換する。その後、サーバ１３は、テキストデータや、カメラ５１によって取得した画像、触覚センサ３１等によって取得した情報と、模範行動モデルとに基づいて、ユーザが取るべき模範的な行動を取得する。次に、サーバ１３は、取得した模範的な行動と、ユーザの行動の差分を算出し、評価値を取得する。サーバ１３は、模範的な行動と、ユーザの行動との差分が小さい（すなわち、乖離が小さい）ときに、評価値を高くなるように算出するとよい。 The server 13 converts the voices of the user A and the coaching person C acquired by the microphone 59 into text data. After that, the server 13 acquires an exemplary behavior that the user should take based on the text data, the image acquired by the camera 51, the information acquired by the tactile sensor 31, etc., and the exemplary behavior model. Next, the server 13 calculates the difference between the acquired exemplary behavior and the user's behavior, and acquires an evaluation value. The server 13 may calculate a higher evaluation value when the difference between the exemplary behavior and the user's behavior is small (that is, the divergence is small).

この態様には限定されず、サーバ１３は、テキストデータ、及び、カメラ５１によって取得した画像に基づいて感情分析を行って、評価値を取得してもよい。具体的には、サーバ１３は、会話の内容を示すテキストデータ、音声、カメラ５１によって取得された会話者の表情等を、人工知能等の用いた公知の感情分析手法を用いて、「中立」「怒り」「喜び」「悲しみ」などの分類ごとに、各感情の強さを示す感情スコアを取得する。感情スコアの算出は、例えば、特許第６８０４７６３号公報、米国特許公開第１０２８９８９８号明細書等に記載された各種の公知の方法を用いることができる。 It is not limited to this aspect, and the server 13 may perform emotion analysis based on the text data and the image acquired by the camera 51 to acquire an evaluation value. Specifically, the server 13 uses a well-known emotion analysis method using artificial intelligence or the like to convert text data indicating the content of the conversation, voice, facial expressions of the speaker acquired by the camera 51, etc., into a "neutral" state. For each classification such as 'anger', 'joy', and 'sadness', get an emotion score that indicates the intensity of each emotion. Emotion scores can be calculated using various known methods described in, for example, Japanese Patent No. 6804763, US Patent Publication No. 10289898, and the like.

その後、サーバ１３は評価値を、ポジティブな感情（例えば、「喜び」）の感情スコアが高くなるほど高くなるように算出する。例えば、サーバ１３は、予行デート中の会話の全テキストデータに対して感情スコアを算出し、ポジティブな感情（例えば、「喜び」等）には正の、ネガティブな感情（例えば、「怒り」「悲しみ」等）には負の重みを付けて、感情スコアの和を取ることによって評価値を算出してもよい。また、サーバ１３は、所定時刻ごとのユーザの表情の画像に対して感情スコアを算出し、同様に重みを付けて算出することによって、評価値を算出してもよい。 After that, the server 13 calculates the evaluation value so that the higher the emotion score of the positive emotion (for example, “joy”), the higher the evaluation value. For example, the server 13 calculates an emotion score for all text data of the conversation during the rehearsal date, positive for positive emotion (eg, "joy") and negative emotion (eg, "anger"). "Sorrow" etc.) may be given a negative weight and the evaluation value may be calculated by taking the sum of the emotion scores. Further, the server 13 may calculate the evaluation value by calculating the emotion score for the image of the user's facial expression at each predetermined time and similarly weighting the score.

サーバ１３は、会話を行うユーザそれぞれの画像に対して、公知の感情分析手法を用いて、各時刻の感情スコアを取得する。その後、サーバ１３は、会話を行う２名のユーザにおいて、ポジティブな感情に係る感情スコア（例えば、「喜び」）が同期している度合いを算出し、その度合いに基づいて評価値を算出する。同期している度合いは、会話を行う一方のユーザのポジティブな感情に感情スコアが所定値以上であるときに、他方のユーザのポジティブな感情に感情スコアが所定値以上である割合に基づいて算出されるとよい。 The server 13 uses a known emotion analysis method to obtain an emotion score at each time for each image of the user who is having a conversation. After that, the server 13 calculates the degree of synchronism between the positive emotion scores (for example, “happiness”) of the two users who are conversing with each other, and calculates an evaluation value based on that degree. The degree of synchronism is calculated based on the ratio of the positive emotion score of one user who is having a conversation with a positive emotion equal to or greater than a predetermined value to the positive emotion score of the other user equal to or greater than a predetermined value. should be.

その他、サーバ１３は、ロボット７の触覚センサ３１によって取得された圧力に基づいて、会話の相手となるユーザへの接触のタイミングを取得し、評価値として出力してもよい。サーバ１３は、例えば、会話の相手の表情に基づく感情スコアのうち、ポジティブな感情に対応する感情スコアと、接触のタイミングとの同期度合いに基づいて、評価値を算出するとよい。サーバ１３は、評価値を、同期度合いが高くなるにつれて、高くなるように算出するとよい。 In addition, the server 13 may acquire the timing of contact with the user who is the conversation partner based on the pressure acquired by the tactile sensor 31 of the robot 7 and output it as an evaluation value. The server 13 may calculate the evaluation value based on, for example, the emotion score corresponding to the positive emotion among the emotion scores based on the expression of the conversation partner and the degree of synchronization with the contact timing. The server 13 may calculate the evaluation value so as to increase as the degree of synchronization increases.

次に、このように構成したコミュニケーションシステム１、及び、コーチングシステム３の効果について説明する。 Next, effects of the communication system 1 and the coaching system 3 configured in this manner will be described.

予行デートにおいて、２つのロボット７のハンド２７同士が接触したときには（ＳＴ１２においてＹｅｓ）、ユーザ情報取得センサ６５によって相手方のユーザの被接触部位に対応する部分の温度や圧力（ユーザ表面情報）が取得される。その後、その温度や圧力（ユーザ表面情報）が、触覚付与デバイス６３を介してユーザに伝達される（ＳＴ１５）。これにより、ユーザは、他のユーザの操作するロボット７に接触したときに、その接触相手となるユーザの表面温度や圧力を感じとることができる。よって、接触されたユーザの視覚情報及び聴覚情報以外の「ふれあい」を含めた情報を、接触したユーザに伝達することができるため、コミュニケーションのリアリティを高めることができる。 In the rehearsal date, when the hands 27 of the two robots 7 come into contact with each other (Yes in ST12), the user information acquisition sensor 65 acquires the temperature and pressure (user surface information) of the part corresponding to the contacted part of the other user. be done. After that, the temperature and pressure (user surface information) are transmitted to the user via the tactile sensation imparting device 63 (ST15). Thereby, when the user touches the robot 7 operated by another user, the user can feel the surface temperature and pressure of the other user. Therefore, since information including "contact" other than the visual information and auditory information of the contacting user can be transmitted to the contacting user, the reality of communication can be enhanced.

一方、ユーザが操作するロボット７が、ロボット７以外の空間１５内に位置する物体に接触したとき（ＳＴ１２においてＮｏ）には、ロボット７によって取得した触覚情報が触覚付与デバイス６３を介してユーザに伝達される（ＳＴ１３）。これにより、これにより、ユーザは他のユーザとその空間１５に居るかのような感覚を得ることができ、コミュニケーションのリアリティを増すことができる。 On the other hand, when the robot 7 operated by the user touches an object located in the space 15 other than the robot 7 (No in ST12), the tactile information acquired by the robot 7 is transmitted to the user via the tactile sensation imparting device 63. It is transmitted (ST13). This allows the user to feel as if he or she is in the space 15 with another user, thereby increasing the reality of communication.

また、マッチングシステム５では、ユーザ同士がアバターを使ってデートを行うことができる。よって、ユーザ同士が離れた場所にいた場合であっても、ユーザがデートを楽しむことができる。また、ユーザ自身の姿を表示することなく、分身となるロボット７を使ってデートを楽しむことができるため、ユーザの個人情報を保護することが容易である。 Also, in the matching system 5, users can date each other using avatars. Therefore, the users can enjoy the date even when the users are separated from each other. In addition, since the user can enjoy a date using the robot 7 acting as an alter ego without displaying the user's own image, it is easy to protect the user's personal information.

また、本実施形態では、コーチング実施者Ｃ及びコーチング対象者（ユーザＡ）がそれぞれ、コミュニケーションシステム１を用いて、アバターとなるロボット７をそれぞれ操作してコミュニケーションを行うことにより、コーチングを行う。そのため、コーチング実施者Ｃとコーチング対象者とが離れた場所にいた場合であっても、コーチングを行うことができる。 Further, in the present embodiment, the coaching person C and the person to be coached (user A) use the communication system 1 to operate the robot 7 as an avatar and communicate with each other to perform coaching. Therefore, coaching can be performed even when the coaching practitioner C and the coaching target are in separate locations.

コーチング対象者は、コーチング実施者Ｃと予行デートを行い、いわば実デートの予行演習を行うことができる。コーチング対象者は、予行デートの評価値や、コーチング実施者Ｃのコメントによって、一歩踏み出した行動をとったときにどのように捉えられるのかを実感することができる。 The coaching subject can have a rehearsal date with the coaching person C, so to speak, a rehearsal of an actual date. The coaching subject can feel how he or she will perceive the behavior when taking a step forward, based on the evaluation value of the rehearsal date and the comments of the coaching practitioner C.

＜＜第２実施形態＞＞
第２実施形態に係るコミュニケーションシステム１０１、及び、コーチングシステム１０３もまた、第１実施形態と同様にマッチングシステム５に適用される。但し、第２実施形態が適用されるマッチングシステム５は、ロボット７を含まない点で、第１実施形態と異なる。 <<Second Embodiment>>
The communication system 101 and coaching system 103 according to the second embodiment are also applied to the matching system 5 as in the first embodiment. However, the matching system 5 to which the second embodiment is applied differs from the first embodiment in that the robot 7 is not included.

図５に示すように、マッチングシステム５は、第１実施形態と同様の端末９と、第１実施形態と同様のサーバ１３とを含む。端末９は、第１実施形態と同様にユーザに装着されるコントローラ５５及びヘッドセット５３とを備え、ネットワーク１１を介して、サーバ１３に接続する。 As shown in FIG. 5, the matching system 5 includes a terminal 9 similar to that of the first embodiment and a server 13 similar to that of the first embodiment. The terminal 9 includes a controller 55 and a headset 53 worn by the user as in the first embodiment, and connects to the server 13 via the network 11 .

サーバ１３は、第１実施形態と同様に、予行デートの実行の申し込みを受け付けると、コーチング実施者Ｃと、コーチング対象者（例えば、図５のユーザＡ）とに共通の仮想の３次元空間（以下、仮想空間１１７）を構築する。更に、サーバ１３は、コーチング実施者Ｃと、コーチング対象者との姿勢に応じて、キャラクター１０７を対応するように、変形・移動させる。また、サーバ１３は、第１実施形態と同様に、コーチング実施者Ｃとコーチング対象者との間で聴覚情報を相互に伝達する。これにより、サーバ１３は、コーチング実施者Ｃと、コーチング対象者とが分身（アバター）となるキャラクター１０７を操作してバーチャルデートを行うことのできるコーチングサービスを提供する。 As in the first embodiment, when the server 13 receives an application for a rehearsal date, the virtual three-dimensional space (for example, the user A in FIG. 5) common to the coaching practitioner C and the coaching target Below, a virtual space 117) is constructed. Furthermore, the server 13 deforms and moves the character 107 in accordance with the postures of the coaching person C and the coaching target. In addition, the server 13 mutually transmits auditory information between the coaching person C and the person to be coached, as in the first embodiment. As a result, the server 13 provides a coaching service in which the coaching person C and the person to be coached can operate a character 107 serving as an avatar to have a virtual date.

サーバ１３はまた、実デートの実行の申し込みを受け付けると、共通の仮想空間１１７において、ユーザと、マッチングされたユーザとがそれぞれ対応するキャラクター１０７を操作してバーチャルデートを行うことのできるバーチャルデートサービスを提供する。 The server 13 also provides a virtual date service in which the user and the matched user operate the characters 107 corresponding to each other in the common virtual space 117 to perform a virtual date when receiving an application for execution of the actual date. I will provide a.

図５に示すように、仮想空間１１７内には、２体のキャラクター１０７と、仮想物体Ｙとが設けられている。キャラクター１０７はそれぞれ、胴部１９、頭部２１、２つの腕部２３、及び、２つの脚部２５を有する人型をなす。 As shown in FIG. 5, two characters 107 and a virtual object Y are provided in the virtual space 117 . Each of the characters 107 is humanoid with a torso 19 , a head 21 , two arms 23 and two legs 25 .

仮想物体Ｙは、例えば、テーブルやクッション等の形状をなしている。サーバ１３は、仮想物体Ｙごとに、対応する形状に係る情報と、変形し易さを示す情報（以下、硬さ情報）と、温度を示す情報（以下、温度情報）とを保持している。本実施形態では、サーバ１３は、硬さ情報及び温度情報をそれぞれ数値として記憶装置に記憶している。硬さ情報を示す数値は、変形し難くなるほど高くなるように設定されている。サーバ１３は、硬さ情報に対する数値を、テーブルに対応する仮想物体Ｙに対しては、クッションに対応する仮想物体Ｙよりも、高くなるように記憶している。 The virtual object Y has a shape such as a table or a cushion, for example. The server 13 holds, for each virtual object Y, information related to the corresponding shape, information indicating the ease of deformation (hereinafter referred to as hardness information), and information indicating temperature (hereinafter referred to as temperature information). . In this embodiment, the server 13 stores hardness information and temperature information as numerical values in the storage device. The numerical value indicating the hardness information is set to be higher as the deformation becomes more difficult. The server 13 stores numerical values for the hardness information such that the virtual object Y corresponding to the table is higher than the virtual object Y corresponding to the cushion.

第１実施形態と同様に、サーバ１３は、ユーザの手・指の位置・姿勢や、ユーザの姿勢を取得し、ユーザに対応する仮想空間１１７内のキャラクター１０７の手・指の位置・姿勢や、キャラクター１０７自体の姿勢を対応するように操作する。このような仮想空間１１７内におけるキャラクター１０７の操作は、ゲーム等において用いられる公知の方法に基づくものであってよい。 As in the first embodiment, the server 13 acquires the position/posture of the user's hands/fingers and the user's posture, and acquires the position/posture of the hand/fingers of the character 107 in the virtual space 117 corresponding to the user. , to control the posture of the character 107 itself. Such operations of the character 107 in the virtual space 117 may be based on known methods used in games and the like.

また、サーバ１３は、予行デートを行う一方のユーザのヘッドセット５３のマイクロホン５９から音声を取得すると、他方のユーザの端末９のスピーカから音声を発生させる。これにより、ユーザは聴覚情報を相互に伝達することができる。すなわち、サーバ１３は、聴覚情報をユーザ間において相互に伝達する聴覚情報伝達部を構成し、ユーザは音声によってコミュニケーションを行うことができる。 Further, when the server 13 acquires the sound from the microphone 59 of the headset 53 of one user who is going to have a preliminary date, the server 13 causes the speaker of the terminal 9 of the other user to generate the sound. This allows users to communicate auditory information to each other. That is, the server 13 constitutes an auditory information transmission unit that mutually transmits auditory information between users, and the users can communicate by voice.

サーバ１３は、端末９への入力に応じてキャラクター１０７を移動させるとともに、キャラクター１０７が、仮想空間１１７内の他のキャラクター１０７や仮想物体Ｙに接触すると、第１実施形態と同様に触覚伝達処理を行う。 The server 13 moves the character 107 according to the input to the terminal 9, and when the character 107 contacts another character 107 or the virtual object Y in the virtual space 117, the tactile sensation transmission process is performed in the same manner as in the first embodiment. I do.

サーバ１３は触覚伝達処理において、まず、キャラクター１０７と他のキャラクター１０７と接触しているか、又は、仮想物体Ｙに接触しているかを判定する。 In the tactile transmission process, the server 13 first determines whether the character 107 is in contact with another character 107 or whether the virtual object Y is in contact.

仮想空間１１７においてキャラクター１０７（以下、接触側キャラクター１０７）の手が他のキャラクター１０７（以下、被接触側キャラクター１０７）の手に接触したときには、サーバ１３は、仮想空間１１７内の接触側キャラクター１０７の接触部位及び被接触側キャラクター１０７の被接触部位を取得する。接触部位・非接触部位の取得は、公知の方法に基づくものであってよく、例えば、特開２０１３－１０６７０１号公報に記載された方法に基づいて算出されてもよい。 When the hand of the character 107 (hereinafter referred to as the contacting character 107) touches the hand of another character 107 (hereinafter referred to as the contacted character 107) in the virtual space 117, the server 13 controls the contacting character 107 in the virtual space 117. and the touched portion of the touched character 107 are acquired. Acquisition of the contact site/non-contact site may be based on a known method, for example, may be calculated based on the method described in Japanese Patent Application Laid-Open No. 2013-106701.

次に、サーバ１３は、第１実施形態と同様に、被接触側キャラクター１０７を操作するユーザ（以下、被接触ユーザ）の被接触部位に係るユーザ表面情報（圧力、温度）を取得し、接触側キャラクター１０７を操作するユーザ（以下、接触ユーザ）の接触部位に伝達する。すなわち、触覚伝達処理を実行することによって、サーバ１３には、機能部として、ユーザ表面情報をコミュニケーション相手となるユーザに伝達する触覚情報伝達部１３Ｃが構成される。 Next, as in the first embodiment, the server 13 acquires user surface information (pressure, temperature) related to the touched part of the user operating the touched character 107 (hereafter referred to as the touched user). The information is transmitted to the contact portion of the user who operates the side character 107 (hereinafter referred to as the contact user). That is, by executing the tactile sense transmission process, the server 13 includes, as a functional unit, a tactile information transmission unit 13C that transmits the user surface information to the user who is the communication partner.

具体的には、サーバ１３は、接触ユーザの接触部位に、被接触部位から受けた圧力が加わり、被接触部位から受けた温度が伝わるように、接触ユーザの触覚付与デバイス６３を駆動させる。 Specifically, the server 13 drives the contacting user's tactile sensation imparting device 63 so that the pressure received from the contacted site is applied to the contacting user's contacting site and the temperature received from the contacted site is transmitted.

仮想空間１１７においてキャラクター１０７の手が仮想物体Ｙに接触したときには、サーバ１３は、キャラクター１０７の接触部位、接触した仮想物体Ｙの硬さ情報及び温度情報を取得する。その後、サーバ１３は、対応するユーザの接触部位に対応する部分に、硬さ情報に応じた圧力と、温度情報に対応する温度を伝えるべく、接触ユーザの触覚付与デバイス６３を駆動させる。 When the hand of the character 107 touches the virtual object Y in the virtual space 117, the server 13 acquires the contact portion of the character 107 and hardness information and temperature information of the virtual object Y that touched. After that, the server 13 drives the tactile sensation imparting device 63 of the contacting user so as to transmit the pressure corresponding to the hardness information and the temperature corresponding to the temperature information to the portion corresponding to the corresponding contact portion of the user.

次に、このように構成したコミュニケーションシステム１０１、及び、コーチングシステム１０３の効果について説明する。 Next, effects of the communication system 101 and the coaching system 103 configured as described above will be described.

仮想空間１１７において、キャラクター１０７が他のキャラクター１０７に接触すると、接触ユーザの接触部位に、被接触ユーザの被接触部位に係るユーザ表面情報（圧力、温度）が伝達される。これにより、ユーザは他のユーザとその仮想空間１１７に居て、接触したかのような感覚を得ることができるため、リアリティを高めることができる。 In the virtual space 117, when the character 107 contacts another character 107, user surface information (pressure, temperature) related to the contacted part of the contacted user is transmitted to the contacting part of the contacting user. As a result, the user can feel as if he or she is in the virtual space 117 with another user and is in contact with the other user, thereby enhancing reality.

本実施形態では、キャラクター１０７が仮想物体Ｙに接触すると、接触ユーザの接触部位に、仮想物体Ｙに対応する圧力や温度が伝達される。これにより、ユーザは、仮想空間１１７に居て、仮想物体Ｙに接触しているかのような感覚を得ることができるため、リアリティを高めることができる。 In this embodiment, when the character 107 contacts the virtual object Y, the pressure and temperature corresponding to the virtual object Y are transmitted to the contact portion of the contacting user. As a result, the user can feel as if he or she is in the virtual space 117 and is in contact with the virtual object Y, thereby enhancing reality.

以上で具体的実施形態の説明を終えるが、本発明は上記実施形態に限定されることなく幅広く変形実施することができる。 Although the specific embodiments have been described above, the present invention is not limited to the above embodiments and can be widely modified.

上記実施形態では、コーチング対象者へのコーチングがコーチング実施者Ｃによって行われる例を記載したが、これには限定されず、コーチングがサーバ１３において実行される所定のプログラムによって行われるものであってもよい。 In the above embodiment, an example is described in which the coaching person C coaches the person to be coached. good too.

上記実施形態において、触覚付与デバイス６３は、圧力、温度をユーザに伝達するように構成されていたが、ユーザに伝達する情報はこれには限定されない。触覚付与デバイス６３は、公知の触覚伝達技術によって、他の触覚に係る情報（例えば、ざらざら感や、力覚等）を伝達するものであってもよい。 In the above embodiment, the tactile sensation imparting device 63 is configured to transmit pressure and temperature to the user, but information to be transmitted to the user is not limited to this. The tactile sensation imparting device 63 may transmit information related to other tactile senses (for example, rough feeling, force sense, etc.) using a known tactile sense transmission technology.

上記実施形態では、ハンド２７やユーザの手への触覚に係る情報がユーザに伝達されるように構成されていたが、触覚に係る情報が伝達される部位は手には限定されず、身体各所における触覚に係る情報がユーザ間で相互に伝達されるように構成されていてもよい。 In the above-described embodiment, information related to the tactile sensation of the hand 27 or the user's hand is transmitted to the user. The tactile sense information may be mutually transmitted between users.

１：第１実施形態に係るコミュニケーションシステム
３：第１実施形態に係るコーチングシステム
５：マッチングシステム
７：ロボット
９：端末
９Ｃ：コーチ端末
１３：サーバ（コンピュータ）
１３Ａ：視覚伝達部
１３Ｂ：聴覚伝達部
１３Ｃ：触覚情報伝達部
１５：空間
３１：触覚センサ（アバター情報取得部）
６５：ユーザ情報取得センサ（ユーザ情報取得部）
７１：背景イメージ
１０１：第２実施形態に係るコミュニケーションシステム
１０３：第２実施形態に係るコーチングシステム
１０７：キャラクター（アバター）
１１７：仮想空間
Ｘ：実物体 1: Communication system 3 according to the first embodiment : Coaching system 5 according to the first embodiment : Matching system 7 : Robot 9 : Terminal 9C : Coach terminal 13 : Server (computer)
13A: visual transmission unit 13B: auditory transmission unit 13C: tactile information transmission unit 15: space 31: tactile sensor (avatar information acquisition unit)
65: User information acquisition sensor (user information acquisition unit)
71: Background image 101: Communication system 103 according to the second embodiment: Coaching system 107 according to the second embodiment: Character (avatar)
117: virtual space X: real object

Claims

A communication system in which multiple users communicate with each other by operating their respective avatars,
a visual/auditory information transmission unit that mutually transmits at least one of visual information and auditory information between the users;
a user information acquisition unit capable of acquiring surface information of each of the users;
A communication system comprising a tactile information transmission unit that transmits the surface information to the user who is a communication partner.

3. The tactile information transmission unit transmits the surface information of the user who operates the contacted avatar to the user who operates the contacted avatar when the avatar contacts another avatar. 1. The communication system according to 1.

The avatar is composed of a robot placed in real space,
The robot includes an avatar information acquisition unit that acquires tactile information,
The haptic information transmission unit is
when the robot is in contact with another real object other than the robot, transmitting the tactile information acquired by the avatar information acquiring unit to the user;
3. The communication system according to claim 2, wherein when said robot is in contact with another said robot, said surface information of said user operating said robot in contact is transmitted to said user operating said robot in contact. .

The avatar is composed of a character in a virtual space constructed on a computer,
The haptic information transmission unit is
3. When said character is in contact with another said character in said virtual space, said surface information of said user operating said character contacted is transmitted to said user operating said character contacted. 2. The communication system according to 2.

The user information acquisition unit acquires information related to the user's temperature,
The tactile information transmission unit obtains the temperature of a contact site of the user operating the avatar that the avatar touches, and adjusts a site of the user corresponding to the contact site to the temperature. 5. A communication system according to claim 3 or claim 4, wherein the surface information is conveyed to the user by means of.

6. The communication system according to any one of claims 1 to 5, wherein an image corresponding to said avatar is superimposed on a background image set based on input from said user and presented to said user.

7. The communication system according to any one of claims 1 to 6, further comprising a coach terminal capable of selectively communicating with one user without going through said avatar.

A coaching system in which a coaching person and a person to be coached perform coaching by operating the avatar and communicating with each other using the communication system according to any one of claims 1 to 7.