JP2005269549A - Dummy head and high presence communication device using the same - Google Patents
Dummy head and high presence communication device using the same Download PDFInfo
- Publication number
- JP2005269549A JP2005269549A JP2004082897A JP2004082897A JP2005269549A JP 2005269549 A JP2005269549 A JP 2005269549A JP 2004082897 A JP2004082897 A JP 2004082897A JP 2004082897 A JP2004082897 A JP 2004082897A JP 2005269549 A JP2005269549 A JP 2005269549A
- Authority
- JP
- Japan
- Prior art keywords
- dummy head
- conversation
- head
- remote
- dummy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
この発明は、ダミーヘッドおよびこれを用いた高臨場感通信装置に関し、特に、画像表示装置の曲面形状に形成される表示画面で顔面を構成したダミーヘッドに遠隔地の会話者の表情を表示することで、聴覚的、視覚的に高い臨場感を持った遠隔会話技術を実現するダミーヘッドおよびこれを用いた高臨場感通信装置に関する。 The present invention relates to a dummy head and a highly realistic communication device using the same, and in particular, displays a facial expression of a remote conversation person on a dummy head having a face on a display screen formed in a curved shape of an image display device. In particular, the present invention relates to a dummy head that realizes a remote conversation technology with a high sense of auditory and visual presence, and a highly realistic communication device using the same.
近年、テレイグジスタンスと呼ばれる視覚的および聴覚的な場の臨場感を遠隔地に伝える要素技術が注目されており、それらを応用した高臨場感の遠隔会話技術の実現が望まれている(非特許文献1 参照)。
高臨場感の遠隔会話を実現する技術として、会話者が会話を行っている音場が持つ臨場感を遠隔地に伝えるために、会話者の頭部と同じ音響伝達特性を持つダミーヘッドを遠隔地に設置して、それに装着されたマイクロフォンを利用して録音された自身の音声データを遠隔の会話相手に伝送する技術が確立されている(非特許文献2 参照)。
In recent years, an elemental technology called tele-existence that conveys visual and auditory realism to remote places has attracted attention, and the realization of high-realistic remote conversation technology that applies them is desired (non- (See Patent Document 1).
As a technology that realizes remote conversation with a high sense of presence, a dummy head with the same acoustic transmission characteristics as the conversation person's head is used to remotely convey the sense of reality of the sound field in which the conversation person is talking. There has been established a technique for transmitting voice data recorded on a ground using a microphone installed on the ground to a remote conversation partner (see Non-Patent Document 2).
ここで、ダミーヘッドは人間の頭部形状を模擬した形状のものであるから、視覚と聴覚の遠隔地における臨場感の両立を考えた場合、ダミーヘッドを利用して遠隔地に会話相手の分身を設置し、ダミーヘッドを利用して会話者同士の表情を伝達し合うことが有効である。
ところが、人間の表情をダミーヘッドにより伝達することは難しい。例えば、人間の顔の表情の変化を模擬する顔ロボットなるものを開発しようという動きがあるが、利用することができそうなアクチュエータの性能に限界があり、人間の顔の持つ高い自由度、豊かな表情を再現するには到っていない(非特許文献3 参照)。また、会話者同士の表情を画像で伝送することを考えた場合も、画像は、一般に、平面的な表示装置にて表示されるのが通常であり、ダミーヘッドとの両立は行われていない。
However, it is difficult to transmit human facial expressions with a dummy head. For example, there is a movement to develop a facial robot that simulates changes in facial expression of the human face, but there is a limit to the performance of the actuator that can be used, and the high degree of freedom and richness of the human face It has not yet been possible to reproduce a complex expression (see Non-Patent Document 3). In addition, even when considering the expression of conversational expressions as an image, the image is generally displayed on a flat display device and is not compatible with a dummy head. .
この発明は、画像表示装置の曲面形状に形成される表示画面で顔面を構成したダミーヘッドに遠隔地の会話者の表情を表示することで、上述した課題を解決した、聴覚的、視覚的に高い臨場感を持ったダミーヘッドおよびこれを用いた高臨場感通信装置を提供するものである。 The present invention solves the above-mentioned problems by displaying the facial expression of a remote conversation person on a dummy head that constitutes the face on a display screen formed in a curved shape of an image display device. The present invention provides a dummy head having high presence and a high presence communication device using the same.
請求項1:曲面形状に形成される表示画面で顔面を構成してこれに遠隔地の会話相手の表情を撮影した動画像を表示する画像表示装置を有すると共に遠隔地の会話相手の頭部と同一の音響伝達特性を有するダミーヘッド部と、ダミーヘッド部の姿勢と位置とを会話者の姿勢と位置と同じ状態に駆動するダミーヘッド駆動部とより成る高臨場感通信における送受信部を構成するダミーヘッドを構成した。
そして、請求項2:曲面形状に形成される表示画面で顔面を構成してこれに遠隔地の会話相手の表情を撮影した動画像を表示する画像表示装置を有すると共に遠隔地の会話相手の頭部と同一の音響伝達特性を有するダミーヘッド部と、ダミーヘッド部の表示画面に表示すべき遠隔地の会話相手の表情を撮影するカメラを会話者の頭部その他の部位に設置し、撮影した画像信号を会話相手側のダミーヘッドに伝送する会話相手表情撮影部と、ダミーヘッド部の耳の部分に設置されたマイクロフォンにより録音された遠隔地の会話相手の音声信号を会話者が装着したヘッドフォンに伝送する音声信号伝達部と、ダミーヘッド部の姿勢と位置とを会話者の姿勢と位置と同じ状態に駆動するダミーヘッド駆動部と、より成る高臨場感通信における送受信部を構成するダミーヘッド装置を構成した。
Claim 1: A display screen formed in a curved surface has a face and an image display device for displaying a moving image in which a facial expression of the remote conversation partner is photographed, and a head of the remote conversation partner A transmission / reception unit in high presence communication includes a dummy head unit having the same acoustic transmission characteristics, and a dummy head driving unit that drives the dummy head unit in the same posture and position as the conversationer's posture and position. A dummy head was constructed.
And, the present invention provides an image display device for displaying a moving image obtained by photographing a facial expression of a remote conversation partner on a face formed by a display screen formed in a curved surface, and the head of the remote conversation partner A dummy head unit having the same acoustic transmission characteristics as the unit and a camera for photographing the expression of the remote conversation partner's facial expression to be displayed on the display screen of the dummy head unit were installed on the conversation person's head and other parts. A conversation partner facial expression shooting unit that transmits image signals to a dummy head on the conversation partner side, and a headphone on which a conversation person wears a voice signal of a remote conversation partner recorded by a microphone installed in the ear part of the dummy head unit Transmission / reception in high-realistic communication, comprising: a voice signal transmission unit for transmitting to a voice signal; a dummy head drive unit for driving the posture and position of the dummy head unit to be the same as the posture and position of a conversation person; And the dummy head device constituting a part.
また、請求項3:請求項2に記載されるダミーヘッド装置を1対組み合わせて構成した高臨場感通信装置を構成した。 A third aspect of the present invention is a highly realistic communication device configured by combining a pair of dummy head devices according to the second aspect.
この発明は、曲面形状に形成される画像表示装置の表示画面を備え、会話者頭部の音響伝達特性を一致させたダミーヘッドを利用したことにより、視覚的および聴覚的な両面の臨場感を持った遠隔の会話技術が実現した。 This invention has a display screen of an image display device formed in a curved surface shape, and uses a dummy head in which the acoustic transmission characteristics of the conversation person's head are matched, thereby providing both visual and auditory realism. Realized remote conversation technology.
発明を実施するための最良の形態を図1および図2を参照して具体的に説明する。図1は実施例の全体を説明する図であり、図2は口を駆動する構成を説明する図である。
図1において、会話者Aと会話者Bは、それぞれ相互に離隔した遠隔地におり、両会話者Aおよび会話者Bそれぞれの目前には、会話相手の頭部形状を模擬したダミーヘッド4Bおよびダミーヘッド4Aが設置されており、両会話者は会話相手のダミーヘッド4B或いはダミーヘッド4Aを見て会話を行う。以下、会話者Aから見た視点でこの発明の実施例を説明する。
The best mode for carrying out the invention will be specifically described with reference to FIGS. 1 and 2. FIG. FIG. 1 is a diagram for explaining the whole embodiment, and FIG. 2 is a diagram for explaining a configuration for driving a mouth.
In FIG. 1, a conversation person A and a conversation person B are remote from each other, and in front of each of the conversation persons A and B, a
先ず、音声の録音、伝送について説明する。図1において、会話者Aが発した音声は、対面して設置されている会話者Bの頭部形状を模擬したダミーヘッド4Bの耳の部分に装着されたマイクロフォン5Bにより録音される。マイクロフォン5Bにより録音された音声信号は、遠隔地の会話者Bに実時間で伝送され、会話者Bは、ヘッドフォン2Bにより会話者Aの発した音声を音響的な臨場感を伴って聞くことができる。これは、ダミーヘッド4Bが会話者Bの頭部形状を模擬したものであることにより、会話者Bの頭部と同じ音響伝達特性をもつことによる。
First, sound recording and transmission will be described. In FIG. 1, the voice uttered by the conversation person A is recorded by the
次いで、画像の撮影、伝送について説明する。図1において、会話者Aの表情は、会話者Aの頭部にカメラ固定治具3を介して固定した会話相手表情撮影用カメラ1Aにより撮影され、撮影された表情の画像信号は実時間で、遠隔地の会話者Bの場所まで伝送される。即ち、会話者Bに対面して設置されているダミーヘッド4Aの顔面6Aに装着された、後で説明される画像表示装置6の表示画面に表示される。
会話者Aの頭部に会話相手表情撮影用カメラ1をカメラ固定治具3を介して固定することにより、会話者Aの正面から見た表情を確実に撮影することができる。画像表示装置6としては、表示画面を曲面形状に形成することができる有機エレクトロルミネッセンス素子により形成した有機エレクトロルミネッセンス画像表示装置を使用する(城戸淳二、「有機ELのすべて」、日本実業出版杜、2003参照)。曲面形状に形成される表示画面で顔面を構成した画像表示装置6に遠隔地の会話相手の表情を撮影した動画像を表示することにより、会話者Bは、相手側会話者Aの表情を知ることができる。
Next, image capturing and transmission will be described. In FIG. 1, the expression of the conversation person A is photographed by the conversation partner
By fixing the conversation partner facial expression photographing camera 1 to the head of the conversation person A via the camera fixing jig 3, the expression seen from the front of the conversation person A can be reliably photographed. As the image display device 6, an organic electroluminescence image display device formed by an organic electroluminescence element capable of forming a display screen in a curved surface shape is used (Keiji Koji, “All about organic EL”, Nihon Jitsugyo Shuppan, 2003). The conversation person B knows the expression of the conversation partner A by displaying a moving image obtained by photographing the expression of the conversation partner at the remote place on the image display device 6 having a face formed on the display screen formed in a curved surface shape. be able to.
なお、会話相手表情撮影用カメラ1Aの固定位置を、会話者Aの頭部以外の場所とし、会話相手表情撮影用カメラ1により撮影された画像信号に処理を加えたものをダミーヘッド4の画像表示装置6により表示する手法もあり得る。以上の撮影において、会話相手表情撮影用カメラ1と会話者の顔とは距離一定に固定されているので、取得された画像は中心部と周辺部の倍率が異なって撮影される問題が生ずる。ところで、カメラ1により撮影される画像における何れの点が顔の何れの点に対応するかは、顔の形状データがありさえすれば算出することができる。表示時に、ダミーヘッド顔面の対応する点に、撮像された画像の中の対応する点の画像が表示される様にすることで、この処理をシンプルにしてこの問題を解消することができる。
The image of the dummy head 4 is obtained by processing the image signal photographed by the conversation partner facial expression photographing camera 1 with the fixed position of the conversation partner facial
ところで、以上の曲面形状に形成された表示画面は、ダミーヘッド4Aの顔面6Aそのものを構成している。図2をも参照するに、一例として、目91はまぶたが閉じた状態の形状で形成されているが、閉じた目の線を明示的に形成することはしない。これは、会話者の目の開け閉めに応じて表示される画像と、ここに形成される目91とが相和して何れの場合でも破綻なく見える様にするがためである。口92についても同様であり、あごの動きに合わせて、あごの長さを変化することができる構成を付与することができる。93はあご関節を示し、これを回動することによりあご関節93に付設されるあごの長さを変化調節する。口92の部分ではなく、あごの中間あたりであごを分割すると好適である。そして、人間の顔は表情によって変形を伴い、この際に周辺部に歪が生じる可能性があるが、これらはあごの下半分の画像を口93の部分に表示することで、解消することができる。
By the way, the display screen formed in the above curved surface shape constitutes the
ここで、ダミーヘッドを支持する構成について説明する。図1において、ダミーヘッド4Aの姿勢の3自由度の回転および位置の3自由度の併進をするダミーヘッド駆動装置7Aを採用する。会話者姿勢および位置測定装置8Aにより測定された、会話者Aの姿勢と位置に関するデータを遠隔地のダミーヘッド駆動装置7Aへ伝送し、これに基づいてダミーヘッド4Aの姿勢および位置を制御することにより、会話者Aは好みの姿勢をとりながら会話をすることができる。会話者Bも、同様に、好みの姿勢をとりながら会話をすることができる。なお、会話者姿勢および位置測定装置8Aにより測定された、会話者Aの姿勢と位置に関するデータ信号の伝送と、画像信号の伝送とは同期させる必要があり、現実的には、会話者の画像の撮影時刻と運動の時刻を記録してこれらを信号と共に遠隔地に伝送し、再生側において同期を取る方法が考えられる。
Here, a configuration for supporting the dummy head will be described. In FIG. 1, a dummy
以上の通りにして、この発明は、有機ELの様な可撓性屈曲性に富む材料により画像表示装置の表示画面を曲面形状に構成し、この表示画面でダミーヘッド部の顔面6Aを構成してこれに遠隔の会話者の表情を表示することで、遠隔地にいる会話者同士が、聴覚的にも、視覚的にも高い臨場感で会話することができる。
As described above, according to the present invention, the display screen of the image display device is formed into a curved surface shape by using a material having high flexibility such as organic EL, and the
1 会話相手表情撮影用カメラ 2 ヘッドフォン
3 カメラ固定治具 4 ダミーヘッド
5 マイクロフォン 6 画像表示装置
7 ダミーヘッド駆動装置 8 会話者姿勢および位置測定装置
DESCRIPTION OF SYMBOLS 1 Camera for a conversation partner facial expression photography 2 Headphone 3 Camera fixing jig 4 Dummy head 5 Microphone 6 Image display device 7 Dummy head drive device 8 Conversation posture and position measurement device
Claims (3)
A highly realistic communication device configured by combining a pair of dummy head devices according to claim 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004082897A JP4571816B2 (en) | 2004-03-22 | 2004-03-22 | Dummy head and highly realistic communication device using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004082897A JP4571816B2 (en) | 2004-03-22 | 2004-03-22 | Dummy head and highly realistic communication device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005269549A true JP2005269549A (en) | 2005-09-29 |
JP4571816B2 JP4571816B2 (en) | 2010-10-27 |
Family
ID=35093561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004082897A Expired - Fee Related JP4571816B2 (en) | 2004-03-22 | 2004-03-22 | Dummy head and highly realistic communication device using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4571816B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012008553A1 (en) * | 2010-07-15 | 2012-01-19 | 日本電気株式会社 | Robot system |
JP2012040679A (en) * | 2010-07-23 | 2012-03-01 | Advanced Telecommunication Research Institute International | Remote control robot |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63212389A (en) * | 1987-02-28 | 1988-09-05 | 株式会社 タカラ | Doll |
JPH05168005A (en) * | 1991-12-12 | 1993-07-02 | Nippon Telegr & Teleph Corp <Ntt> | Photographic display device for pictorial communication |
JP2002046088A (en) * | 2000-08-03 | 2002-02-12 | Matsushita Electric Ind Co Ltd | Robot device |
JP2003330384A (en) * | 2002-05-17 | 2003-11-19 | Toshiba Corp | Image display device |
-
2004
- 2004-03-22 JP JP2004082897A patent/JP4571816B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63212389A (en) * | 1987-02-28 | 1988-09-05 | 株式会社 タカラ | Doll |
JPH05168005A (en) * | 1991-12-12 | 1993-07-02 | Nippon Telegr & Teleph Corp <Ntt> | Photographic display device for pictorial communication |
JP2002046088A (en) * | 2000-08-03 | 2002-02-12 | Matsushita Electric Ind Co Ltd | Robot device |
JP2003330384A (en) * | 2002-05-17 | 2003-11-19 | Toshiba Corp | Image display device |
Non-Patent Citations (1)
Title |
---|
戸嶋巌樹、青木茂明、平原達也: "頭部運動に追従するダミーヘッド", 日本音響学会研究発表会講演論文集, vol. Vol.2002 秋季1, JPN6008038888, 26 September 2002 (2002-09-26), pages 439 - 440, ISSN: 0001101991 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012008553A1 (en) * | 2010-07-15 | 2012-01-19 | 日本電気株式会社 | Robot system |
JP2012040679A (en) * | 2010-07-23 | 2012-03-01 | Advanced Telecommunication Research Institute International | Remote control robot |
Also Published As
Publication number | Publication date |
---|---|
JP4571816B2 (en) | 2010-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10645338B2 (en) | Virtual encounters | |
JP4569196B2 (en) | Communication system | |
EP3446839B1 (en) | Robot and housing | |
US11096006B1 (en) | Dynamic speech directivity reproduction | |
CN107211180A (en) | Spatial audio signal for the object with associated audio content is handled | |
US10808879B2 (en) | Actuator apparatus | |
US20180270415A1 (en) | Headset | |
JP6580516B2 (en) | Processing apparatus and image determination method | |
CN106297481A (en) | A kind of music remote online teaching system | |
US10979236B1 (en) | Systems and methods for smoothly transitioning conversations between communication channels | |
US20220342213A1 (en) | Miscellaneous audio system applications | |
CN203840496U (en) | Headphone | |
JP6538003B2 (en) | Actuator device | |
US10674259B2 (en) | Virtual microphone | |
US11810219B2 (en) | Multi-user and multi-surrogate virtual encounters | |
JP4571816B2 (en) | Dummy head and highly realistic communication device using the same | |
US20050131846A1 (en) | Virtual encounters | |
JP6615716B2 (en) | Robot and enclosure | |
WO2017183292A1 (en) | Processing device and image determination method | |
US20050130108A1 (en) | Virtual encounters | |
JP2009065490A (en) | Video conference apparatus | |
JP4431746B2 (en) | Indirect motion transmission apparatus and method | |
JP2005123959A (en) | High-presence communication conference apparatus | |
JP6518620B2 (en) | Phase difference amplifier | |
EP4421616A1 (en) | Systems and methods for creating custom audio mixes for artificial reality environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060414 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100813 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4571816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |