JP2003259322A - Image display method, display apparatus, and two-way interactive system - Google Patents

Image display method, display apparatus, and two-way interactive system

Info

Publication number
JP2003259322A
JP2003259322A JP2002056153A JP2002056153A JP2003259322A JP 2003259322 A JP2003259322 A JP 2003259322A JP 2002056153 A JP2002056153 A JP 2002056153A JP 2002056153 A JP2002056153 A JP 2002056153A JP 2003259322 A JP2003259322 A JP 2003259322A
Authority
JP
Japan
Prior art keywords
image
display
interlocutor
wide
angle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002056153A
Other languages
Japanese (ja)
Other versions
JP2003259322A5 (en
Inventor
Yoichi Hata
洋一 畑
Toshiaki Kakii
俊昭 柿井
Hisao Maki
久雄 牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2002056153A priority Critical patent/JP2003259322A/en
Publication of JP2003259322A publication Critical patent/JP2003259322A/en
Publication of JP2003259322A5 publication Critical patent/JP2003259322A5/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display method or the like capable of obtaining a desired display image of an object without affected by the motion of the photographed object. <P>SOLUTION: The image displaying method captures a wide angle image (800) of an object photographed in a state of including a background, segments prescribed area smaller than the size of the wide angle image (800) in the wide angle image (800) and including at least part of the object to produce a display image (500a), and displays the display image (500a) on a monitor screen (8) of a display section (21). <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は、所定の伝送手段
で接続された表示装置を介して遠隔地対話を実現する双
方向対話型システムに適用可能な画像表示方法、表示装
置等に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display method, a display device and the like applicable to a two-way interactive system for realizing a remote dialogue via a display device connected by a predetermined transmission means. .

【0002】[0002]

【従来の技術】近年、英会話学習やカウンセリングなど
の伝送手段を介した遠隔地間で、テキストデータや映像
データを送受信する遠隔地対話を実現する双方向対話型
システムが構築されている。このような遠隔地対話で
は、単にテキストデータや相手側対話者像のやり取りの
みならず、対話者同士が表示される相手側対話者像を介
して間接的に視線一致した状態でのより親密な対話環境
を実現するシステムとして、例えば特許第307467
7号には、視線一致した状態での遠隔地対話を可能にす
る双方向対話型システムが提案されている。
2. Description of the Related Art In recent years, a two-way interactive system has been constructed which realizes a remote dialog for transmitting and receiving text data and video data between remote sites via transmission means such as English conversation learning and counseling. In such a remote dialogue, not only the exchange of text data and the image of the other party's interlocutor, but also the more intimate contact in the state where the interlocutors indirectly see each other through the image of the other party's interlocutor is displayed. As a system for realizing a dialogue environment, for example, Japanese Patent No. 307467
No. 7 proposes a two-way interactive system that enables remote communication while keeping the line of sight.

【0003】[0003]

【発明が解決しようとする課題】発明者らは、従来の表
示方法を検討した結果、以下のような課題を発見した。
すなわち、従来の遠隔地対話を実現する双方向対話型シ
ステムでは、モニタ等の表示部に表示された相手側対話
者像の一部(例えば目よりも上方の頭部)と重なった状
態で、該表示部前方に位置する対話者を撮像するCCD
カメラ等が配置される。この撮像部の設置位置は、撮像
方向等の微調整を除けば実質的に固定されているため、
該撮像部に対する対話者の位置を調節する必要がある。
しかしながら、相手側対話者像の表示領域と撮像部とが
ともに固定された状態で視線一致状態を実現するために
は、撮像される対話者自身の位置調節が煩雑となり、ま
た、対話中に対話者が動いたりするとこれら視線一致状
態の対話者を撮像できなくなる。その結果、対話中にお
ける対話者の動きに起因して視線一致状態の維持が難し
くなるという課題があった。
As a result of examining conventional display methods, the inventors have found the following problems.
That is, in the conventional two-way interactive system that realizes remote interaction, in a state where it overlaps with a part of the image of the other party's interlocutor displayed on the display unit such as a monitor (for example, the head above the eyes), CCD for imaging an interlocutor located in front of the display unit
A camera etc. are arranged. Since the installation position of this imaging unit is substantially fixed except for fine adjustments such as the imaging direction,
It is necessary to adjust the position of the interlocutor with respect to the imaging unit.
However, in order to achieve a line-of-sight matching state in which the display area of the image of the interlocutor on the other side and the imaging unit are both fixed, it is complicated to adjust the position of the interlocutor himself / herself to be imaged, and also during dialogue If the person moves, it becomes impossible to capture images of the interlocutors in the line-of-sight matching state. As a result, there is a problem that it is difficult to maintain the eye-gaze matching state due to the movement of the interlocutor during the dialogue.

【0004】この発明は上述のような課題を解決するた
めになされたものであり、撮像されている対象物の動き
に影響されることなく、該対象物の所望の表示用画像が
得られる画像表示方法、表示装置、該表示装置を含む双
方向対話型システム、該表示方法を実行するコンピュー
タプログラム及び該コンピュータプログラムが記録され
た記録媒体を提供することを目的としている。
The present invention has been made to solve the above problems, and an image for obtaining a desired display image of a target object is not affected by the movement of the target object being imaged. An object of the present invention is to provide a display method, a display device, an interactive system including the display device, a computer program for executing the display method, and a recording medium having the computer program recorded therein.

【0005】[0005]

【課題を解決するための手段】この発明に係る表示装置
は、表示部と、対象物像の加工、表示制御を行う制御部
を備える。この制御部では、この発明に係る画像表示方
法が実施される。すなわち、上記制御部は、この発明に
係る画像表示方法として、背景を含んだ状態で撮像され
た対象物(例えば人物等)の広角画像を取り込む第1ス
テップと、取り込まれた広角画像のうち該広角画像のサ
イズよりも小さい所定領域であって、該広角画像に含ま
れる対象物の少なくとも一部を含む領域を切り出すこと
により該広角画像と同じ解像度の表示用画像を生成する
第2ステップと、切り出された表示用画像を表示部の所
定領域に表示させる第3ステップを実施する。なお、上
記制御部は、表示用画像の切り取りに先立って、取り込
まれた広角画像のサイズを拡大あるいは縮小してもよ
い。また、上記制御部は、表示部における実際の表示領
域のサイズに対応して、取り込まれた広角画像から切り
出される表示用画像のサイズを切替えてもよい。
A display device according to the present invention comprises a display section and a control section for processing an object image and controlling display. In this controller, the image display method according to the present invention is carried out. That is, as the image display method according to the present invention, the control unit includes a first step of capturing a wide-angle image of an object (such as a person) captured in a state including a background, and a step of capturing the wide-angle image of the captured wide-angle image. A second step of generating a display image having the same resolution as the wide-angle image by cutting out a predetermined area smaller than the size of the wide-angle image, the area including at least a part of an object included in the wide-angle image; The third step of displaying the cut-out display image in a predetermined area of the display unit is performed. Note that the control unit may enlarge or reduce the size of the captured wide-angle image before cutting the display image. Further, the control unit may switch the size of the display image cut out from the captured wide-angle image according to the size of the actual display area on the display unit.

【0006】上述のような構造を備えた表示装置は、表
示部に表示された相手側対話者像の一部と重なるよう配
置された該表示部前方に位置する対話者を撮像する撮像
手段をそれぞれ有する端末装置間で、所定の伝送手段を
介して互いに撮像された対話者像を送受信することによ
り遠隔地対話を実現する双方向対話型システムに適用可
能である。特に、この場合、当該表示装置は上記端末装
置の少なくとも一方に含まれ、さらに該端末装置は、表
示装置の表示部前方に位置する対話者を撮像するよう、
該表示部と該対話者との間に配置された撮像手段を備え
る。
The display device having the above-mentioned structure has an image pickup means for picking up an interlocutor located in front of the display unit arranged so as to overlap a part of the image of the interlocutor on the other side displayed on the display unit. The present invention can be applied to a two-way interactive system that realizes a remote dialogue by transmitting and receiving imaged interlocutor images between the respective terminal devices via a predetermined transmission means. Particularly, in this case, the display device is included in at least one of the terminal devices, and the terminal device further captures an image of the interlocutor located in front of the display unit of the display device.
An image pickup unit is provided between the display unit and the interlocutor.

【0007】このような双方向対話型システムに適用さ
れた上記表示装置において、該表示装置に含まれる制御
部は、背景を含んだ状態で上記撮像手段により撮像され
た相手側対話者の広角画像を受信する第1ステップと、
上記伝送手段を介して受信された広角画像のうち該広角
画像のサイズよりも小さい所定領域であって、相手側対
話者の顔を含む領域を切り出すことにより該広角画像と
同じ解像度の表示用画像を生成する第2ステップと、切
り出された表示用画像を、上記表示部前方に位置する対
話者から見て、該表示用画像である相手側対話者像の目
の位置よりも上方の頭部と上記撮像手段とが重なるよう
に該表示部の所定位置に表示する第3ステップを実施す
る。
In the display device applied to such a bidirectional interactive system, the control unit included in the display device has a wide-angle image of the other-side interlocutor imaged by the image-capturing means in a state including a background. The first step of receiving
A display area having the same resolution as that of the wide-angle image is obtained by cutting out a predetermined area smaller than the size of the wide-angle image received from the transmission means and including the face of the other party's interlocutor. And a cutout display image viewed from an interlocutor positioned in front of the display unit, the head above the eye position of the other-side interlocutor image that is the display image. And a third step of displaying at a predetermined position of the display unit so that the image pickup means and the image pickup means overlap each other.

【0008】なお、このような双方向対話型システムに
おいても、上記制御部は、表示用画像の切り取りに先立
って、取り込まれた広角画像のサイズを拡大あるいは縮
小してもよい。また、上記制御部は、表示部における実
際の表示領域のサイズに対応して、取り込まれた広角画
像から切り出される表示用画像のサイズを切替えてもよ
い。
Even in such a two-way interactive system, the control section may enlarge or reduce the size of the captured wide-angle image before cutting the display image. Further, the control unit may switch the size of the display image cut out from the captured wide-angle image according to the size of the actual display area on the display unit.

【0009】上述のような画像表示方法は、コンピュー
タ等で実行されるプログラムであってもよく、この場
合、当該プログラムは、有線、無線を問わずネットワー
クを介して配信されてもよく、また、CD、DVD、フラ
ッシュメモリ等の記録媒体に格納されていてもよい。
The image display method as described above may be a program executed by a computer or the like. In this case, the program may be distributed via a network regardless of whether it is wired or wireless. It may be stored in a recording medium such as a CD, a DVD, or a flash memory.

【0010】[0010]

【発明の実施の形態】以下、この発明に係る画像表示方
法、表示装置等の各実施形態について、図1〜図10を
用いて詳細に説明する。なお、図面の説明において、同
一部位には同一符号を付して重複する説明を省略する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of an image display method, a display device and the like according to the present invention will be described in detail below with reference to FIGS. In the description of the drawings, the same parts will be denoted by the same reference symbols and redundant description will be omitted.

【0011】この発明に係る画像表示方法を実現する表
示装置は、所定の伝送手段を介して接続された表示装置
を介した遠隔地対話を実現する、例えば特許第3074
677号に記載された双方向対話型システムに適応可能
である。
A display device which realizes the image display method according to the present invention realizes remote dialogue through a display device connected through a predetermined transmission means, for example, Japanese Patent No. 3074.
It is applicable to the two-way interactive system described in No. 677.

【0012】まず、ここでは、当該画像表示方法及びそ
れを実現する表示装置が適応可能な、上記双方向対話型
システムについて説明する。なお、この双方向対話型シ
ステムは、視線一致した状態での遠隔地対話を実現する
システムであるが、当該画像表示方法及びそれを実現す
る表示装置は、対話者間で視線一致できない構成であっ
て単にテキストデータや画像データの送受信が可能な双
方向対話型システムにも適応可能である。
First, the bidirectional interactive system to which the image display method and the display device for realizing the image display method are applicable will be described. This interactive interactive system is a system that realizes remote dialogue in a state where the line-of-sight matches, but the image display method and the display device that realizes the same have a configuration in which the line-of-sight cannot be matched between the interlocutors. It is also applicable to a two-way interactive system capable of simply transmitting and receiving text data and image data.

【0013】図1は、遠隔地に居る対話者間の視線一致
を可能にする双方向対話型システム全体を示す論理構成
図である。このシステムは、A地点(第1地点)にいる
対話者3A(第1対話者)とB地点(第2地点)にいる
対話者3B(第2対話者)との間で双方向対話を実現す
るシステムである。特に、このシステムは遠隔地にいる
対話者間でも親密な信頼関係を確立し綿密なコミュニケ
ーションを実現するカウンセリング・システムや家庭学
習を志向したシステムであるので、少なくとも一方の対
話者として、教師、医師、心理学者などのカウンセラを
想定している。したがって、このシステムはこれらカウ
ンセラがカウンセリングを行うために必要な情報、及び
理想的なカウンセリング環境を提供できるよう種々の機
能及び構成を備える。
FIG. 1 is a logical block diagram showing the entire interactive interactive system that enables line-of-sight matching between interlocutors at remote locations. This system realizes a two-way dialogue between an interlocutor 3A (first interlocutor) at point A (first point) and an interlocutor 3B (second interlocutor) at point B (second point). It is a system that does. In particular, this system is a counseling system that establishes intimate relationships of trust even with interlocutors in remote areas and enables close communication, and a system that aims at home learning. , Is supposed to be a counselor such as a psychologist. Therefore, this system has various functions and configurations so that these counselors can provide information necessary for counseling and an ideal counseling environment.

【0014】具体的には、A地点において、(a)対話
者3A(例えはカウンセラ)が座る椅子4A(高さ調節
機構40Aを有する)と、(b)対話者3Aが向かうテ
ーブル2Aと、(c)伝送手段27を介して対話者間の
視線を一致させるための機構を備えた端末装置20Aと
が設置され、対話者3Aはパーティション22Aによっ
て隔離されている。一方、B地点には、(a)対話者3
B(例えばカウンセリングを受けるクライアント)が座
る椅子4B(高さ調節機構40Bを有する)と、(b)
対話者3Bが向かうテーブル2Bと、(c)伝送手段2
7を介して対話者間の視線を一致させるための機構を備
えた端末装置20Bとが設置され、対話者3Bはパーテ
ィション22Bにより隔離されている。ここで、伝送手
段27は、A地点の端末装置20AとB地点の端末装置
20Bとの間で画像情報及び音声情報の送受信を可能に
するため、光ファイバ伝送路31(主伝送路)及び衛星
通信伝送路32(バックアップ用伝送路)等を含む。な
お、この伝送手段27は有線、無線のいずれであっても
よい。また、伝送手段は、既に敷設された電話回線網等
のネットワークを含み、さらに種々のデータベースを備
えた電子掲示板システム(BBS: Bulletin Board Syste
m)も含む。
Specifically, at the point A, (a) a chair 4A (having a height adjusting mechanism 40A) on which an interlocutor 3A (for example, a counselor) sits, and (b) a table 2A to which the interlocutor 3A faces. (C) The terminal device 20A having a mechanism for matching the lines of sight of the interlocutors via the transmission means 27 is installed, and the interlocutor 3A is isolated by the partition 22A. On the other hand, at point B, (a) Interlocutor 3
A chair 4B (having a height adjustment mechanism 40B) on which B (for example, a client receiving counseling) sits, and (b)
The table 2B to which the interlocutor 3B faces, and (c) the transmission means 2
The terminal device 20B provided with a mechanism for matching the line of sight between the interlocutors via 7 is installed, and the interlocutor 3B is isolated by the partition 22B. Here, the transmission means 27 enables transmission and reception of image information and audio information between the terminal device 20A at the point A and the terminal device 20B at the point B, so as to enable transmission and reception of the optical fiber transmission line 31 (main transmission line) and the satellite. The communication transmission path 32 (transmission path for backup) and the like are included. The transmission means 27 may be wired or wireless. In addition, the transmission means includes a network such as a telephone line network that has already been installed, and a bulletin board system (BBS: Bulletin Board Syste
m) is also included.

【0015】A地点において、上述の椅子4Aは対話者
3Aの位置を規定するために機能する。この椅子4Aは
端末装置20Aの表示部21Aとの距離を一定に保つた
めに固定されるのが好ましい。しかし、該椅子4Aが固
定されていない場合であっても、テーブル2Aを対話者
3Aと表示部21Aに設置することによりこの椅子4A
と表示部21Aとの距離を一定に保つことが可能になる
(テーブル2Aの存在が対話者3Aの心理的な距離の基
準となる事実が確認されている)。なお、相手側の対話
者3B(例えば、カウンセリングを受ける者等)がいる
B地点の端末装置20Bの構成も同様である。
At point A, the chair 4A described above functions to define the position of the interlocutor 3A. This chair 4A is preferably fixed in order to keep a constant distance from the display unit 21A of the terminal device 20A. However, even if the chair 4A is not fixed, the chair 4A can be installed by installing the table 2A on the interlocutor 3A and the display unit 21A.
It becomes possible to maintain a constant distance from the display unit 21A (the fact that the existence of the table 2A serves as a reference for the psychological distance of the interlocutor 3A has been confirmed). The configuration of the terminal device 20B at the point B where the other party's interlocutor 3B (for example, a person who receives counseling) is the same.

【0016】A地点において、端末装置20Aは、(1)
B地点の端末装置20Bから伝送手段27を介して伝送
されてきた画像情報に基づいて対話者3Bの映像などを
表示する、テーブル2Aの上に配置された、モニタTV
1Aを備えた表示部21Aと、(2)CCDカメラ5Aで
撮像された対話者3Aの映像を画像情報として取り込
み、B地点の端末装置20Bへ向けて伝送するための撮
像ユニット6Aと、(3)B地点の端末装置20Bから伝
送手段27を介して伝送されてきた音声情報に基づいて
対話者3Bの音声を出力するための音声出力部23A
(スピーカ)と、(4)対話者3Aの音声を音声情報とし
て集音し、B地点の端末装置20Bへ向けて伝送するた
めの音声入力部24A(マイク)を備える。さらに、こ
のシステムはカウンセリング・システムとしてより綿密
なコミュニケーションを実現するため、(5)対話者3A
が文字や図形を入力し、入力された文字や図形を表示部
21Aに表示するとともに、文字図形情報としてB地点
の端末装置20Bへ向けて伝送するための文字図形入力
部25A(キーボード、ポインティング・デバイス、タ
ッチパネルなどのインターフェース)と、(6)上記各構
成要素と伝送手段27との間に設けられ、信号処理、伝
送制御及び映像データの編集作業等を行う映像処理装置
26A(制御部含む)とを備える。なお、B地点の端末
装置20Bも、上述したA地点の端末装置20Aと同様
に構成されており、具体的には、表示部21B、CCD
カメラ5Bと撮像ユニット6Bからなる撮像装置600
B、音声出力部23B、音声入力部24B、文字図形入
力部25B、及び映像処理装置26Bを備える。
At the point A, the terminal device 20A (1)
A monitor TV arranged on the table 2A for displaying the image of the interlocutor 3B based on the image information transmitted from the terminal device 20B at the point B via the transmission means 27.
A display unit 21A provided with 1A, (2) an image pickup unit 6A for taking in the image of the interlocutor 3A picked up by the CCD camera 5A as image information, and transmitting it to the terminal device 20B at the point B, (3 ) A voice output unit 23A for outputting the voice of the interlocutor 3B based on the voice information transmitted from the terminal device 20B at the point B via the transmission means 27.
(Speaker), and (4) a voice input unit 24A (microphone) for collecting the voice of the interlocutor 3A as voice information and transmitting it to the terminal device 20B at the point B. In addition, this system, as a counseling system, realizes more detailed communication.
Input a character or a graphic, display the input character or graphic on the display unit 21A, and transmit the character or graphic information to the terminal device 20B at the point B as a character or graphic information (keyboard, pointing, An image processing device 26A (including a control unit) which is provided between each component and the transmission means 27 and which performs signal processing, transmission control, video data editing work, etc. With. The terminal device 20B at the point B is also configured in the same manner as the terminal device 20A at the point A, and specifically, the display unit 21B and the CCD.
Imaging device 600 including camera 5B and imaging unit 6B
B, a voice output unit 23B, a voice input unit 24B, a character / graphics input unit 25B, and a video processing device 26B.

【0017】さらに、A地点及びB地点の端末装置20
A、20Bにおいて、撮像装置600A、600B(撮
像手段)の構成を説明する。なお、説明の都合上、A地
点及びB地点の各端末装置20A、20Bに共通する構
成要素について言及する場合には、例えば撮像装置60
0のように、各地点を区別する文字A、Bを省略して説
明する。また、特に説明がされていない場合には、原則
としてA地点の端末装置20Aについて説明しているも
のとして、共通する構成を有するB地点の端末装置20
Bについては重複する説明は省略する。
Further, the terminal devices 20 at the points A and B
In A and 20B, the configurations of the imaging devices 600A and 600B (imaging means) will be described. For convenience of description, when referring to components common to the terminal devices 20A and 20B at points A and B, for example, the imaging device 60
The description will be made by omitting the letters A and B that distinguish each point like 0. In addition, unless specifically described, the terminal device 20A at the point A is described in principle, and the terminal device 20 at the point B having a common configuration is described.
Overlapping description of B is omitted.

【0018】この撮像装置600は、撮像部である超小
型CCDカメラ5(5A)、該CCDカメラ5を支持し
た状態で所定位置に設置するための支持機構10(図2
参照)、及び該CCDカメラ5を制御するための撮像ユ
ニット6(6A)とを備える。モニタTV1(1A)は
テーブル2(2A)の上に載置されており、対話者3
(3A)はこのモニタTV1から距離L(m)離れて置
かれた高さ調整機構40(40A)を備えた椅子4(4
A)に座っている。この距離L(LA)は0.5m以上
5m以下に設定される。撮影される対話者3及びモニタ
TV1間には、外径φ20mm以下,長さ約100mm
の円筒状の超小型CCDカメラ5が設けられている。ま
た、このCCDカメラ5はその撮像方向が撮影される対
話者3に向けられるよう設置されている。そしてカメラ
5で撮像された対話者3の映像は、画像情報として撮像
ユニット6から他方の対話者側に伝送される(伝送手段
27を介してB地点の端末装置20Bに伝送される)。
なお、対話者によっては表示部21と該対話者間の間隔
が弱冠ずれる可能性もある。したがって、このような状
況にも対処すべく、CCDカメラ5は焦点深度の深いも
のを選択するのが好ましい。
This image pickup device 600 includes an ultra-small CCD camera 5 (5A) which is an image pickup section, and a support mechanism 10 (FIG. 2) for installing the CCD camera 5 in a supported state at a predetermined position.
Reference unit) and an image pickup unit 6 (6A) for controlling the CCD camera 5. The monitor TV 1 (1A) is placed on the table 2 (2A), and the interlocutor 3
(3A) is a chair 4 (4) provided with a height adjusting mechanism 40 (40A) placed at a distance L (m) from the monitor TV 1.
Sitting in A). This distance L (LA) is set to 0.5 m or more and 5 m or less. An outer diameter of 20 mm or less and a length of about 100 mm between the interlocutor 3 and the monitor TV 1 to be photographed.
A cylindrical microminiature CCD camera 5 is provided. Further, the CCD camera 5 is installed so that its imaging direction is directed to the interlocutor 3 who is imaged. Then, the image of the interlocutor 3 imaged by the camera 5 is transmitted as image information from the imaging unit 6 to the other interlocutor side (transmitted to the terminal device 20B at the point B via the transmission means 27).
Depending on the interlocutor, the space between the display unit 21 and the interlocutor may be weakened. Therefore, in order to cope with such a situation, it is preferable that the CCD camera 5 has a deep focal depth.

【0019】次に、超小型CCDカメラ5の具体的な設
置位置を図2を用いて説明する。
Next, a specific installation position of the microminiature CCD camera 5 will be described with reference to FIG.

【0020】まず、撮像装置600の撮像ユニット6は
伝送されてきた他方の対話者の映像を表示するための表
示部21上に設置される。この撮像ユニット6本体には
カメラ5によって撮影された対話者自身の映像(カメラ
ケーブル50を介して撮像ユニット6に取り込まれる)
の表示と、伝送されてきた他方の対話者3Bの映像の表
示を切り換えるための、切り換えスイッチ6aの他、種
々の調節用スイッチ6bが設けられている。なお、スイ
ッチ210はモニタTV1の電源をオン/オフする電源
スイッチ等を含む。CCDカメラ5は、伝送されてきた
他方の対話者3Bの像9が表示されるモニタ画面8の前
方の所定位置に支持機構10(ロボット・アーム)によ
って設置される。なお、このモニタ画面8は4インチ程
度であれば十分に利用できる。
First, the image pickup unit 6 of the image pickup device 600 is installed on the display section 21 for displaying the transmitted image of the other interlocutor. An image of the interlocutor himself / herself taken by the camera 5 is captured in the body of the imaging unit 6 (captured by the imaging unit 6 via the camera cable 50)
In addition to the changeover switch 6a, various adjustment switches 6b are provided for switching between the display of 1) and the display of the transmitted image of the interlocutor 3B. The switch 210 includes a power switch for turning on / off the power of the monitor TV 1. The CCD camera 5 is installed by a support mechanism 10 (robot arm) at a predetermined position in front of the monitor screen 8 on which the transmitted image 9 of the interlocutor 3B is displayed. The monitor screen 8 can be sufficiently used if it has a size of about 4 inches.

【0021】具体的には、CCDカメラ5はモニタ画面
8から前方w(cm)の位置であって、該モニタ画面8
に表示された対話者像9の頭部9a付近に配置される。
円筒状CCDカメラ5の中心軸は、点線で示す対話者像
9の目の位置の上方h(cm)の部位に位置している。
Specifically, the CCD camera 5 is at a position forward w (cm) from the monitor screen 8, and the monitor screen 8
It is arranged near the head 9a of the interlocutor image 9 displayed in FIG.
The central axis of the cylindrical CCD camera 5 is located at a position h (cm) above the eye position of the interlocutor image 9 shown by the dotted line.

【0022】このように超小型のCCDカメラ5は、大
型モニタTV1の画面8に表示された対話者像9の目の
位置より上の頭部付近に位置しているため、双方向対話
に特別な支障は生じない。例えば、CCDカメラ5が画
面8に表示された対話者像9の目の位置(図中、点線で
示す位置)の上方h=約10(cm)に設けられ、モニ
タTV1および対話者3間の距離Lが約2.5(m)に
設定されているシステム構成の場合、視差角は2.3°
で十分検知限界の視差角3°を下回ることが可能である
(モニタ画面8とCCDカメラ5の間隔wが10(c
m)程度ある場合でも、視差角の変動には特に影響はな
い)。つまり、視線一致時に相手の目(モニタ画面8に
表示された他方の対話者3Bの像の目)がはっきりと見
えれば、その頭部辺りに超小型のカメラ5が設けてあっ
ても、モニタTV1の画面8が大型であれば、双方向対
話に支障はほとんどないことが確認されている。この画
面8の大きさは、実験の結果、横35cm,縦26cm
程度以上の大きさがあれば良好な双方向対話が実現でき
ることも確認されている。なお、相互の対話者が知人同
志であれば、画面の大きさは小さくとも心理的な障害も
少ない傾向を示す結果も得られており、画面サイズに関
しては用途に応じて使いわけるとよい。
As described above, since the microminiature CCD camera 5 is located near the head above the eye position of the interlocutor image 9 displayed on the screen 8 of the large monitor TV 1, it is particularly suitable for two-way dialogue. No trouble will occur. For example, the CCD camera 5 is provided above the eye position (the position shown by the dotted line in the figure) of the interlocutor image 9 displayed on the screen 8 at h = about 10 (cm), and between the monitor TV 1 and the interlocutor 3. In the case of the system configuration in which the distance L is set to about 2.5 (m), the parallax angle is 2.3 °.
It is possible to sufficiently fall below the detection limit parallax angle of 3 ° (the interval w between the monitor screen 8 and the CCD camera 5 is 10 (c
Even if there is about m), there is no particular effect on the variation of the parallax angle). That is, if the eyes of the other party (the eyes of the image of the other interlocutor 3B displayed on the monitor screen 8) can be clearly seen at the time of line-of-sight matching, even if the microminiature camera 5 is provided near the head, the monitor It has been confirmed that if the screen 8 of the TV 1 is large, there is almost no hindrance to the interactive dialogue. As a result of the experiment, the size of this screen 8 is 35 cm in width and 26 cm in height.
It has also been confirmed that good two-way dialogue can be realized if the size is at least a certain level. It should be noted that if mutual interlocutors are acquaintances, there is a result that there is a tendency that there are few psychological obstacles even if the size of the screen is small, and it is advisable to properly use the screen size according to the application.

【0023】さらに、視差角について、図3を用いて説
明する。この明細書において、視差角とは、図3に示さ
れたように、モニタ画面8に表示された対話者像9へ向
けられた、撮影される対話者3の視線と、CCDカメラ
5へ向けられた、該対話者3の視線とがなす角度θを言
う。換言すれば、対話者3の視線に対するCCDカメラ
5の設置位置のずれ角を意味している。また、ここでい
う視線一致とは、昭和42年電気四学会連合大会(N
o.1998)で報告されているように、CCDカメラ
5の設置位置による不自然さの許容限界以下を意味して
いる。定量的には、視差角として、左右方向4.5°以
下(対話者像9の目の中心Aに対し、該像9の両こめか
み側),真上方向12°(像中心Aに対し、像9の頭部
9b側),真下方向8°(像中心Aに対し、像9の胴体
側)以下を視線一致範囲内としている。もちろん、この
視差角は小さい方が良く、左右上下方向3°以下が検知
限界とされている。したがって、CCDカメラ5が設置
可能な領域は、図4に示された円錐領域である。なお、
この円錐領域は、対話者3の目30とモニタ画面8に表
示された対話者像9の中心点A(この実施形態では、対
話者像9の両目の中心を該対話者像9の中心点Aとして
定義している)とを結ぶ該対話者3の視線31に対し、
所定距離L(m)離れた時のモニタ画面8上の視線一致
領域9b、及び、該対話者3の目30の位置とで規定さ
れる。
Further, the parallax angle will be described with reference to FIG. In this specification, the parallax angle means, as shown in FIG. 3, the line of sight of the interlocutor 3 to be photographed, which is directed to the interlocutor image 9 displayed on the monitor screen 8, and the direction of the CCD camera 5. The angle θ formed by the line of sight of the interlocutor 3 is defined. In other words, it means the shift angle of the installation position of the CCD camera 5 with respect to the line of sight of the interlocutor 3. In addition, the line-of-sight matching here means the 4th Japan Electrical Engineers Union Meeting (N)
o. 1998), it means that the unnaturalness due to the installation position of the CCD camera 5 is below the allowable limit. Quantitatively, the parallax angle is 4.5 ° or less in the left and right direction (both temple sides of the image 9 with respect to the eye center A of the interlocutor image 9), and 12 ° directly above (with respect to the image center A, The head 9b side of the image 9) and 8 ° below (the body side of the image 9 with respect to the image center A) or less are within the line-of-sight matching range. Of course, the smaller the parallax angle, the better, and the detection limit is 3 ° or less in the horizontal and vertical directions. Therefore, the area in which the CCD camera 5 can be installed is the conical area shown in FIG. In addition,
This conical area is the center point A of the interlocutor image 9 displayed on the monitor screen 8 and the eye 30 of the interlocutor 3 (in this embodiment, the center of both eyes of the interlocutor image 9 is the center point of the interlocutor image 9). Defined as A), the line of sight 31 of the interlocutor 3 connecting
It is defined by the line-of-sight matching region 9b on the monitor screen 8 and the position of the eye 30 of the interlocutor 3 when the monitor is separated by a predetermined distance L (m).

【0024】図5は、この発明に係る表示装置の概略構
成を示す図である。この表示装置は、モニタ等の表示部
21(図1に示された双方向対話型システムにおける表
示部21A、21Bに相当)と、映像処理部26(図1
に示された双方向対話型システムにおける映像処理装置
26A、26Bに相当)と、外部記録装置700と、マ
ウス等のポインティングデバイス800とを備える。特
に映像処理部26は、撮像手段に含まれる撮像ユニット
6からの画像情報の取り込みや伝送手段27を介して相
手側対話者の画像情報の送受信を行うためのデータ入出
力部261(図中、I/O)と、この発明に係る画像表
示動作を実施するための制御部263、送受信される画
像情報の他、予め対話者自身が用意した文字データ、映
像データ等を格納しておくためのデータベース262
(図中、D/B)、表示部21へ制御手段263の指示
に従って所定のパターンを表示させる描画部264と、
マウス等のポインティングデバイス800からの位置情
報の取り込みや外部記録装置700とのデータ授受を可
能にするデータ入出力部265(図中、I/O)とを備
える。なお、外部記録装置700は、例えば磁気テー
プ、CD、光ディスク、ハードディスク、DVD、フラ
ッシュメモリ等を含む。
FIG. 5 is a diagram showing a schematic structure of a display device according to the present invention. This display device includes a display unit 21 such as a monitor (corresponding to the display units 21A and 21B in the interactive interactive system shown in FIG. 1) and a video processing unit 26 (FIG. 1).
(Corresponding to the video processing devices 26A and 26B in the two-way interactive system shown in FIG. 2), an external recording device 700, and a pointing device 800 such as a mouse. Particularly, the video processing unit 26 receives the image information from the image pickup unit 6 included in the image pickup unit and transmits / receives the image information of the other party's interlocutor via the transmission unit 27 (in the figure, I / O), a control unit 263 for performing the image display operation according to the present invention, and image data to be transmitted / received, as well as character data, video data and the like prepared by the interlocutor himself / herself in advance. Database 262
(D / B in the figure), a drawing unit 264 that displays a predetermined pattern on the display unit 21 according to an instruction from the control unit 263,
A data input / output unit 265 (I / O in the figure) that enables the acquisition of position information from a pointing device 800 such as a mouse and the exchange of data with the external recording device 700 is provided. The external recording device 700 includes, for example, a magnetic tape, a CD, an optical disk, a hard disk, a DVD, a flash memory and the like.

【0025】具体的に、伝送手段27を介してI/O2
61が、図6(a)に示されたように背景を含む相手側
対話者の広角画像800を受信すると、制御部263
は、この発明に係る画像表示方法を実施する。すなわ
ち、制御部263は、受信された広角画像800の相手
側対話者の顔位置を特定し、この顔を含む領域であって
該広角画像800のサイズよりも小さい領域500aを
特定する。さらに、制御部263は、図6(b)に示さ
れたように、この特定された領域500aを、表示部2
1が表示すべき表示用画像(広角画像と同一解像度を有
する)として切り取り、描画部264に対して切り取ら
れた該表示用画像の表示制御を行う。なお、制御部26
3による表示制御では、切り取られた表示用画像である
相手側対話者像の目よりも上方の頭部と表示部21のモ
ニタ画面前方に予め設置されているCCDカメラ(撮像
部)5とが重なるよう表示位置が調節される。また、図
6(b)では、モニタ画面8全体に切り取られた表示用
画像が表示されているが、切り取られた相手側対話者像
の頭部とCCDカメラ5とが重なった状態であれば、文
字データ表示領域を確保した状態でモニタ画面8の一部
領域を占めるサイズの表示用画像が表示されてもよい。
上記解像度は、単位長さ当たりの走査線数(本/mm)
又はピクセル数(個/mm)で定義される。
Specifically, the I / O 2 is transmitted via the transmission means 27.
When 61 receives the wide-angle image 800 of the other party's interlocutor including the background as shown in FIG. 6A, the control unit 263.
Implements the image display method according to the present invention. That is, the control unit 263 identifies the face position of the other party interlocutor of the received wide-angle image 800, and identifies the region 500a that includes this face and is smaller than the size of the wide-angle image 800. Further, as shown in FIG. 6B, the control unit 263 displays the specified area 500a in the display unit 2
1 is cut as a display image to be displayed (having the same resolution as the wide-angle image), and the display unit 264 controls the display of the cut display image. The control unit 26
In the display control by 3, the head above the eye of the image of the interlocutor who is the cut-out display image and the CCD camera (imaging unit) 5 previously installed in front of the monitor screen of the display unit 21 The display position is adjusted so that they overlap. Further, in FIG. 6B, the cut-out display image is displayed on the entire monitor screen 8. However, if the head of the cut-out interlocutor image and the CCD camera 5 overlap each other. A display image having a size that occupies a partial area of the monitor screen 8 may be displayed with the character data display area secured.
The above resolution is the number of scanning lines per unit length (lines / mm)
Alternatively, it is defined by the number of pixels (pieces / mm).

【0026】なお、モニタ画面8上に表示される表示用
画像(相手側対話者像)のサイズが小さい場合には、必
ずしも該CCDカメラ5と相手側対話者像の頭部が重な
っている必要はない。むしろ相手側対話者の頭部がCC
Dカメラ5に隠れてしまい見にくくなる。上述のように
視線一致の条件は視差角3°の領域内にCCDカメラ5
と相手側対話者像の目が存在することであり、具体的に
画面から50cm離れた位置で約3cm程度(図2にお
けるh)である。したがって、この範囲内であればCC
Dカメラ5と相手側対話者像の頭部をずらしても視線一
致状態は維持される。この相手側対話者像とCCDカメ
ラ5をずらすには、例えばモニタ画面8上における画像
表示位置を調節したり、CCDカメラ5の支持部を調節
してCCDカメラ5自体の位置を変更することにより実
現される。
If the size of the display image (image of the other party's interlocutor) displayed on the monitor screen 8 is small, the CCD camera 5 and the head of the image of the other party's interlocutor must necessarily overlap. There is no. Rather, the head of the other party's interlocutor is CC
It is hidden by the D-camera 5 and difficult to see. As described above, the condition for line-of-sight matching is that the CCD camera 5 is set within the area of the parallax angle of 3 °.
The presence of the image of the other party's interlocutor image is about 3 cm (h in FIG. 2) at a position 50 cm away from the screen. Therefore, within this range CC
The line-of-sight matching state is maintained even if the heads of the D camera 5 and the image of the interlocutor on the other side are shifted. To shift the interlocutor image and the CCD camera 5 from each other, for example, by adjusting the image display position on the monitor screen 8 or adjusting the support portion of the CCD camera 5 to change the position of the CCD camera 5 itself. Will be realized.

【0027】互いに視線一致した状態で対話を可能にす
る双方向対話型システムでは、CCDカメラ5が表示部
21のモニタ画面8に対する相対位置が固定されるた
め、撮像されている対話者が動くと、図7(a)に示さ
れたように、該CCDカメラ5で撮像された相手側対話
者の広角画像810では該相手側対話者像の位置がずれ
てしまい、視線一致状態が維持できなくなる可能性があ
る。このような場合であっても、当該画像表示方法で
は、制御部263が、受信された広角画像810の中か
ら相手側対話者像の顔位置を予め特定し、該顔を含む所
定サイズの領域500aを表示用画像として切り取る。
したがって、撮像される相手側対話者が動いた場合であ
っても(受信された広角画像810における相手側対話
者像の顔位置が変わる)、該切り取られた表示用画像を
図7(b)に示されたように、表示部21のモニタ画面
8には互いの対話者間で視線一致状態が維持される。
In a two-way interactive system that enables dialogues in line-of-sight correspondence with each other, the relative position of the CCD camera 5 with respect to the monitor screen 8 of the display unit 21 is fixed, so that the interlocutor being imaged moves. As shown in FIG. 7A, in the wide-angle image 810 of the other-side interlocutor imaged by the CCD camera 5, the position of the other-side interlocutor image is displaced, and the line-of-sight matching state cannot be maintained. there is a possibility. Even in such a case, in the image display method, the control unit 263 previously specifies the face position of the other-side interlocutor image from the received wide-angle image 810, and determines the area of the predetermined size including the face. Cut out 500a as a display image.
Therefore, even when the other party interlocutor who is imaged moves (the face position of the other party interlocutor image in the received wide-angle image 810 changes), the cut-out display image is displayed in FIG. As shown in FIG. 5, the monitor screen 8 of the display unit 21 maintains the line-of-sight matching state between the interlocutors.

【0028】次に、上記制御部26における具体的な画
像表示動作(この発明に係る画像表示方法)を、図8の
フローチャートを用いて説明する。なお、以下の画像表
示動作は、図1に示された双方向対話型システムにおけ
る画像表示動作として説明する。
Next, a specific image display operation (image display method according to the present invention) in the control section 26 will be described with reference to the flowchart of FIG. The following image display operation will be described as an image display operation in the two-way interactive system shown in FIG.

【0029】まず、伝送手段27を介して送信されてき
た相手側対話者の広角画像をI/O261が取り込むと
(ステップST10)、制御部263は、取り込まれた
広角画像における相手側対話者像の顔位置を特定する
(ステップST20)。この顔位置の特定は、図9
(a)及び図9(b)に示されたように、相手側対話者
像の輪郭を検出することにより容易に特定できる。例え
ば、図9(a)及び図9(b)に示された輪郭検出で
は、広角画像中のX方向に沿って各画像成分値を微分す
ることにより、図9(b)に示されたように、相手側対
話者像の輪郭部x1、x2に対応する位置で微分ピーク
が検出できることから、該相手側対話者の顔位置及びそ
のサイズが検出される。
First, when the I / O 261 captures the wide-angle image of the other-side interlocutor transmitted through the transmission means 27 (step ST10), the control unit 263 causes the other-side interlocutor image in the captured wide-angle image. The face position of is specified (step ST20). The face position is specified in FIG.
As shown in FIGS. 9A and 9B, it can be easily specified by detecting the contour of the image of the interlocutor on the other side. For example, in the contour detection shown in FIGS. 9A and 9B, by differentiating each image component value along the X direction in the wide-angle image, as shown in FIG. 9B. In addition, since the differential peak can be detected at the positions corresponding to the contour portions x1 and x2 of the image of the interlocutor on the other side, the face position and size of the interlocutor on the other side can be detected.

【0030】上述のステップST20において、検出さ
れた相手側対話者像の顔サイズが実際に表示されるモニ
タ画面8内の領域と比較して小さい場合、一旦取り込ま
れた広角画像820(図10(a))をサイズ調節し
(ステップST30)、拡大された広角画像830(図
10(b))を得る。なお、図10(a)は、実際に表
示されるモニタ画面8の領域と比較して相手側対話者像
の顔サイズが小さい広角画像820であって、510
は、実際にモニタ画面8上に表示される顔サイズを示
す。また、このステップST30では、取り込まれた広
角画像の縮小処理が行われる場合もある。
In step ST20 described above, if the detected face size of the image of the other party's interlocutor is smaller than the area in the monitor screen 8 that is actually displayed, the wide-angle image 820 once fetched (see FIG. a)) is adjusted in size (step ST30) to obtain an enlarged wide-angle image 830 (FIG. 10 (b)). Note that FIG. 10A shows a wide-angle image 820 in which the face size of the image of the other party's interlocutor is smaller than the area of the monitor screen 8 that is actually displayed.
Indicates the face size actually displayed on the monitor screen 8. Further, in this step ST30, the reduction processing of the captured wide-angle image may be performed.

【0031】続いて、制御部263は、ステップST2
0で検出された相手側対話者像の顔位置及びサイズに関
する情報に基づいて、図10(b)に示されたように、
表示すべき領域500aを特定する(ステップST4
0)。制御部263は、この切り取った画像を表示部2
1のモニタ画面8における所定表示領域に表示するよう
描画部264を表示制御する(ステップST50)。
Then, the control section 263 proceeds to step ST2.
Based on the information on the face position and the size of the image of the interlocutor detected at 0, as shown in FIG.
The area 500a to be displayed is specified (step ST4).
0). The control unit 263 displays the cut image on the display unit 2
The drawing unit 264 is display-controlled so as to be displayed in a predetermined display area on the first monitor screen 8 (step ST50).

【0032】なお、取り込まれた広角画像800から表
示用画像として切り取られる領域は、実際にモニタ画面
8上に表示される領域のサイズに応じて、例えば、図1
1に示されたように、予め複数サイズの切り取り領域5
00a、500b、500cが用意されるのが好まし
い。ただし、これら用意される切り取り領域間では、モ
ニタ画面8前方に位置するCCDカメラ5の位置が固定
されているため、該CCDカメラ5と表示される相手側
対話者像との相対位置が変わらないよう、該相手側対話
者像の顔を中心に矢印S1、S2、S3で示されたそれ
ぞれの方向にずれている領域を用意しておくのがよい。
特に、表示用画像のサイズが小さい場合には、CCDカ
メラ5に相手側対話者の頭部が隠れてしまい見にくくな
るので、このような場合には、上述のようにモニタ画面
8上における表示用画像の表示位置やCCDカメラ5の
位置を調節するのが好ましい。
The area to be cut out as a display image from the captured wide-angle image 800 depends on the size of the area actually displayed on the monitor screen 8, for example, as shown in FIG.
As shown in FIG. 1, the cutout areas 5 having a plurality of sizes are previously prepared.
00a, 500b, 500c are preferably prepared. However, since the position of the CCD camera 5 located in front of the monitor screen 8 is fixed between the prepared cutout areas, the relative position between the CCD camera 5 and the displayed image of the interlocutor is not changed. As described above, it is preferable to prepare areas that are deviated in the respective directions shown by the arrows S1, S2, and S3 around the face of the image of the interlocutor.
In particular, when the size of the display image is small, the head of the other party's interlocutor is hidden by the CCD camera 5, making it difficult to see. In such a case, the display on the monitor screen 8 is performed as described above. It is preferable to adjust the display position of the image and the position of the CCD camera 5.

【0033】[0033]

【発明の効果】以上のようにこの発明によれば、背景を
含んだ状態で撮像された対象物の広角画像のうち該広角
画像のサイズよりも小さい所定領域であって、該対象物
の少なくとも一部を含む領域を切り出すことにより該広
角画像と同じ解像度の表示用画像を生成し、切り出され
た表示用画像を表示部の所定領域に表示するので、例え
ば視線一致状態を維持して対話を行う双方向対話型シス
テムにおいて、撮像される対話者自身が動いて視線一致
状態の維持ができなくなった場合でも、視線一致状態の
維持が可能な相手側対話者像の表示を可能にするという
効果がある。
As described above, according to the present invention, a predetermined area smaller than the size of the wide-angle image of the wide-angle image of the object captured including the background is at least the object. A display image having the same resolution as the wide-angle image is generated by cutting out a region including a part, and the cut-out display image is displayed in a predetermined region of the display unit. In the two-way interactive system, the effect of enabling the display of the image of the other party's interlocutor who can maintain the line-of-sight matching state even when the imaged interlocutor himself cannot maintain the line-of-sight matching state There is.

【図面の簡単な説明】[Brief description of drawings]

【図1】遠隔地間において伝送手段を介して視線一致を
実現する双方向対話型システムの一構成を示す図であ
る。
FIG. 1 is a diagram showing a configuration of a two-way interactive system that realizes line-of-sight matching between remote places via transmission means.

【図2】図1に示された撮像装置を示す図であって、視
線一致のためのCCDカメラの設置方法を説明するため
の図である。
FIG. 2 is a diagram showing the image pickup device shown in FIG. 1, and a diagram for explaining a method of installing a CCD camera for line-of-sight matching.

【図3】視差角を説明するための図である。FIG. 3 is a diagram illustrating a parallax angle.

【図4】CCDカメラが設置されるべき領域を示す図で
ある。
FIG. 4 is a diagram showing an area where a CCD camera is to be installed.

【図5】この発明に係る表示装置の構成を示すブロック
図である。
FIG. 5 is a block diagram showing a configuration of a display device according to the present invention.

【図6】この発明に係るモニタ像の表示方法における一
実施形態を説明するための図である。
FIG. 6 is a diagram for explaining an embodiment of a monitor image display method according to the present invention.

【図7】この発明に係るモニタ像の表示方法における他
の実施形態を説明するための図である。
FIG. 7 is a diagram for explaining another embodiment of the monitor image display method according to the present invention.

【図8】この発明に係るモニタ像の表示方法を説明する
ためのフローチャートである。
FIG. 8 is a flow chart for explaining a monitor image display method according to the present invention.

【図9】この発明に係るモニタ像の表示方法において、
該モニタ像の輪郭検出の一例を説明するための図であ
る。
FIG. 9 shows a method of displaying a monitor image according to the present invention,
It is a figure for demonstrating an example of the outline detection of this monitor image.

【図10】この発明に係るモニタ像の表示方法におい
て、該モニタ像のサイズ調整工程の一例を説明するため
の図である。
FIG. 10 is a diagram for explaining an example of a monitor image size adjusting process in the monitor image display method according to the present invention.

【図11】この発明に係るモニタ像の表示方法におい
て、該モニタ像の切り出しサイズの変更方法について説
明するための図である。
FIG. 11 is a diagram for explaining a method of changing the cutout size of the monitor image in the monitor image display method according to the present invention.

【符号の説明】[Explanation of symbols]

8…モニタ画面、21(21A、21B)…表示部、3
(3A、3B)…対話者A、B、5A、5B…CCDカ
メラ、6(6A、6B)…撮像ユニット、600(60
0A、600B)…撮像装置、26(26A、26B)
…映像処理装置、262…D/B、263…制御部、8
00…マウス(ポインティング・デバイス)。
8 ... Monitor screen, 21 (21A, 21B) ... Display section, 3
(3A, 3B) ... Interlocutors A, B, 5A, 5B ... CCD camera, 6 (6A, 6B) ... Imaging unit, 600 (60)
0A, 600B) ... Imaging device, 26 (26A, 26B)
... video processing device, 262 ... D / B, 263 ... control unit, 8
00 ... Mouse (pointing device).

───────────────────────────────────────────────────── フロントページの続き (72)発明者 牧 久雄 神奈川県横浜市栄区田谷町1番地 住友電 気工業株式会社横浜製作所内 Fターム(参考) 5B057 AA20 BA02 BA26 CA12 CA16 CB12 CB16 CC01 CD05 CE09 DA08 DB02 DC16 5C064 AA01 AB04 AC02 AC13    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Hisao Maki             Sumitomoden 1 Taya-cho, Sakae-ku, Yokohama-shi, Kanagawa             Ki Industry Co., Ltd. Yokohama Works F-term (reference) 5B057 AA20 BA02 BA26 CA12 CA16                       CB12 CB16 CC01 CD05 CE09                       DA08 DB02 DC16                 5C064 AA01 AB04 AC02 AC13

Claims (11)

【特許請求の範囲】[Claims] 【請求項1】 背景を含んだ状態で撮像された対象物の
広角画像を取り込む第1ステップと、 取り込まれた前記広角画像のうち該広角画像のサイズよ
りも小さい所定領域であって、前記対象物の少なくとも
一部を含む領域を切り出すことにより該広角画像と同じ
解像度の表示用画像を生成する第2ステップと、 切り出された前記表示用画像を表示部の所定領域に表示
する第3ステップを備えた画像表示方法。
1. A first step of capturing a wide-angle image of an object imaged in a state including a background, and a predetermined area smaller than the size of the wide-angle image in the captured wide-angle image, A second step of generating a display image having the same resolution as the wide-angle image by cutting out an area including at least a part of the object, and a third step of displaying the cut-out display image in a predetermined area of the display unit. Image display method provided.
【請求項2】 表示部に表示された相手側対話者像の一
部と重なるよう配置された該表示部前方に位置する対話
者を撮像する撮像手段をそれぞれ有する端末装置間で、
所定の伝送手段を介して互いに撮像された対話者像を送
受信することにより遠隔地対話を実現する双方向対話型
システムにおける画像表示方法であって、 背景を含んだ状態で前記撮像手段により撮像された相手
側対話者の広角画像を受信する第1ステップと、 受信された前記広角画像のうち該広角画像のサイズより
も小さい所定領域であって、前記相手側対話者の顔を含
む領域を切り出すことにより該広角画像と同じ解像度の
表示用画像を生成する第2ステップと、 切り出された前記表示用画像を、前記表示部前方に位置
する前記対話者から見て、該表示用画像である前記相手
側対話者像の目の位置よりも上方の頭部と前記撮像手段
とが重なるように該表示部の所定位置に表示する第3ス
テップを備えた画像表示方法。
2. A terminal device having image pickup means for picking up an interlocutor located in front of the display unit arranged so as to overlap a part of the image of the interlocutor on the other side displayed on the display unit,
An image display method in a two-way interactive system for realizing a remote dialogue by transmitting and receiving imaged interlocutor images via a predetermined transmission means, wherein an image is captured by the imaging means in a state including a background. A first step of receiving a wide-angle image of the other-side interlocutor, and cutting out a region that is smaller than the size of the wide-angle image and that includes the face of the other-side interlocutor in the received wide-angle image And a second step of generating a display image having the same resolution as the wide-angle image, the cut-out display image being the display image when viewed from the interlocutor located in front of the display unit. An image display method comprising a third step of displaying at a predetermined position of the display unit so that the head above the eye position of the image of the interlocutor on the other side and the imaging unit overlap each other.
【請求項3】 前記第1ステップは、前記広角画像のサ
イズを拡大あるいは縮小するサブステップを含むことを
特徴とする請求項1又は2記載の画像表示方法。
3. The image display method according to claim 1, wherein the first step includes a sub-step of enlarging or reducing the size of the wide-angle image.
【請求項4】 前記第2ステップは、前記広角画像から
切り出される表示用画像のサイズを切替えることを特徴
とする請求項1又は2記載の画像表示方法。
4. The image display method according to claim 1, wherein in the second step, the size of the display image cut out from the wide-angle image is switched.
【請求項5】 表示部と、 背景を含んだ状態で撮像された対象物の広角画像を取り
込み、取り込まれた該広角画像のうち該広角画像のサイ
ズよりも小さい所定領域であって該対象物の少なくとも
一部を含む領域を切り出すことにより該広角画像と同じ
解像度の表示用画像を生成し、そして、切り出された該
表示用画像を表示部の所定領域に表示させる制御部とを
備えた表示装置。
5. A display unit and a wide-angle image of an object captured in a state including a background are captured, and the target is a predetermined region smaller than the size of the wide-angle image in the captured wide-angle image. A display unit that generates a display image having the same resolution as the wide-angle image by cutting out an area including at least a part of the display area, and displays the cut-out display image in a predetermined area of the display unit. apparatus.
【請求項6】 前記制御部は、前記表示用画像の切り取
りに先立って、前記広角画像のサイズを拡大あるいは縮
小することを特徴とする請求項5記載の表示装置。
6. The display device according to claim 5, wherein the control unit enlarges or reduces the size of the wide-angle image before cutting the display image.
【請求項7】 前記制御部は、前記広角画像から切り出
される表示用画像のサイズを切替えることを特徴とする
請求項5記載の表示装置。
7. The display device according to claim 5, wherein the control unit switches a size of a display image cut out from the wide-angle image.
【請求項8】 所定の伝送手段を介して端末装置間にお
いて互いに相手側対話者像を送受信することにより遠隔
地対話を実現する双方向対話型システムであって、 前記端末装置の少なくとも一方は、請求項5〜7のいず
れか一項記載の表示装置を含む双方向対話型システム。
8. A two-way interactive system that realizes a remote dialogue by transmitting and receiving the image of the other party's interlocutor between the terminal devices via a predetermined transmission means, wherein at least one of the terminal devices is A two-way interactive system comprising a display device according to any one of claims 5-7.
【請求項9】 前記端末装置は、前記表示装置に含まれ
る表示部前方に位置する対話者を撮像するよう、該表示
部と該対話者との間に配置された撮像手段を備えたこと
を特徴とする請求項8記載の双方向対話型システム。
9. The terminal device is provided with an imaging means arranged between the display unit and the interlocutor so as to image the interlocutor located in front of a display unit included in the display device. The two-way interactive system of claim 8 characterized.
【請求項10】 コンピュータにより請求項1〜4のい
ずれか一項記載の方法を実行するコンピュータプログラ
ム。
10. A computer program for executing the method according to claim 1 by a computer.
【請求項11】 コンピュータにより請求項1〜4のい
ずれか一項記載の方法を実行するコンピュータプログラ
ムが記録された記録媒体。
11. A recording medium in which a computer program for executing the method according to any one of claims 1 to 4 is recorded by a computer.
JP2002056153A 2002-03-01 2002-03-01 Image display method, display apparatus, and two-way interactive system Pending JP2003259322A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002056153A JP2003259322A (en) 2002-03-01 2002-03-01 Image display method, display apparatus, and two-way interactive system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002056153A JP2003259322A (en) 2002-03-01 2002-03-01 Image display method, display apparatus, and two-way interactive system

Publications (2)

Publication Number Publication Date
JP2003259322A true JP2003259322A (en) 2003-09-12
JP2003259322A5 JP2003259322A5 (en) 2005-09-02

Family

ID=28666803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002056153A Pending JP2003259322A (en) 2002-03-01 2002-03-01 Image display method, display apparatus, and two-way interactive system

Country Status (1)

Country Link
JP (1) JP2003259322A (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568245A (en) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> Detection and tracking processing system for moving object
JPH0568241A (en) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> Cif image transforming system for video telephone
JPH05225342A (en) * 1992-02-17 1993-09-03 Nippon Telegr & Teleph Corp <Ntt> Mobile object tracking processing method
JPH09130768A (en) * 1995-02-16 1997-05-16 Sumitomo Electric Ind Ltd Two-way interactive system provided with device matching lines of sight of interactive parties via transmission means, terminal equipment and image pickup device
JPH09327006A (en) * 1996-06-05 1997-12-16 Sumitomo Electric Ind Ltd Two-way interactive system
JPH11289523A (en) * 1995-02-16 1999-10-19 Sumitomo Electric Ind Ltd Bidirectional interactive system
JP2000134597A (en) * 1998-10-27 2000-05-12 Sony Corp Image processor/image processing method and providing medium
JP2001016365A (en) * 1999-06-28 2001-01-19 Toshiba Corp Portable terminal
JP2002007294A (en) * 2000-06-22 2002-01-11 Canon Inc System and method for image distribution, and storage medium
JP2002051316A (en) * 2000-05-22 2002-02-15 Matsushita Electric Ind Co Ltd Image communication terminal
JP2002051315A (en) * 2000-05-24 2002-02-15 Sony Corp Data transmitting method and data transmitter, and data transmitting system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568245A (en) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> Detection and tracking processing system for moving object
JPH0568241A (en) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> Cif image transforming system for video telephone
JPH05225342A (en) * 1992-02-17 1993-09-03 Nippon Telegr & Teleph Corp <Ntt> Mobile object tracking processing method
JPH09130768A (en) * 1995-02-16 1997-05-16 Sumitomo Electric Ind Ltd Two-way interactive system provided with device matching lines of sight of interactive parties via transmission means, terminal equipment and image pickup device
JPH11289523A (en) * 1995-02-16 1999-10-19 Sumitomo Electric Ind Ltd Bidirectional interactive system
JPH09327006A (en) * 1996-06-05 1997-12-16 Sumitomo Electric Ind Ltd Two-way interactive system
JP2000134597A (en) * 1998-10-27 2000-05-12 Sony Corp Image processor/image processing method and providing medium
JP2001016365A (en) * 1999-06-28 2001-01-19 Toshiba Corp Portable terminal
JP2002051316A (en) * 2000-05-22 2002-02-15 Matsushita Electric Ind Co Ltd Image communication terminal
JP2002051315A (en) * 2000-05-24 2002-02-15 Sony Corp Data transmitting method and data transmitter, and data transmitting system
JP2002007294A (en) * 2000-06-22 2002-01-11 Canon Inc System and method for image distribution, and storage medium

Similar Documents

Publication Publication Date Title
US6005604A (en) Two-way interactive system, terminal equipment and image pick-up apparatus having mechanism for matching lines of sight between interlocutors through transmission means
JP4209535B2 (en) Camera control device
CN102461153B (en) Control device and camera system
WO2002079792A2 (en) Method and apparatus for audio/image speaker detection and locator
US20190373216A1 (en) Videoconferencing device and method
EP3152900B1 (en) System and method for remote monitoring at least one observation area
JP2003186593A (en) Multiwindow display method and system thereof
JP2012175136A (en) Camera system and control method of the same
JPH08336128A (en) Video viewing device
JP3027983B2 (en) Two-way interactive system
JP2003259322A (en) Image display method, display apparatus, and two-way interactive system
JP3074679B2 (en) Two-way interactive system
JPH10290387A (en) Image pickup device, display device, recorder, reproducing device, transmitter and recording medium
JP3074677B2 (en) A two-way interactive system having a mechanism for matching eyes between interlocutors via transmission means
JP4329300B2 (en) Multi-window display method
JP2003309828A (en) Method for correcting display position of monitor image, terminal, mount tool, and two-way interactive system
JPH07135646A (en) Video conference system
JPH0983856A (en) Intelligent camera equipment
JP2970661B2 (en) How to display a monitor image
JPH09130768A (en) Two-way interactive system provided with device matching lines of sight of interactive parties via transmission means, terminal equipment and image pickup device
JP2003304514A (en) Method for detecting position deviation, terminal device, and two-way interactive system
JP2003304515A (en) Voice output method, terminal device, and two-way interactive system
JP3074678B2 (en) Terminal device
JP2005303796A (en) Broadcast system and image reproducing device
JPH10290789A (en) Bidirectional interactive system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071113