JP2005117285A - Information input device, communication terminal and communication method - Google Patents

Information input device, communication terminal and communication method Download PDF

Info

Publication number
JP2005117285A
JP2005117285A JP2003347767A JP2003347767A JP2005117285A JP 2005117285 A JP2005117285 A JP 2005117285A JP 2003347767 A JP2003347767 A JP 2003347767A JP 2003347767 A JP2003347767 A JP 2003347767A JP 2005117285 A JP2005117285 A JP 2005117285A
Authority
JP
Japan
Prior art keywords
image
screen
camera
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003347767A
Other languages
Japanese (ja)
Inventor
Tomokazu Murakami
智一 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003347767A priority Critical patent/JP2005117285A/en
Publication of JP2005117285A publication Critical patent/JP2005117285A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information input device which can recognize a position on a screen efficiently and can be constituted inexpensively, as a means for recognizing a position on a screen designated by a user, and to provide a high presence communication terminal provided with a television conference function and an electronic board function and a communication method for obtaining it as a new communication system. <P>SOLUTION: An information input device by image processing is obtained by incorporating a polarization filter. A high presence communication terminal having an electronic board function and a television conference function and capable of communicating between terminals having different display sizes is enabled by employing image processing by the transmission of camera parameters and photography environment parameters and mirror plane transformation and then displaying the video image on an information sharing screen to coincide with the video image of a communication partner. Furthermore, the problem of an existing information input device for recognizing a position on a screen designated by a user that the device is intricate and expensive because a sensor is employed, and a problem that a high presence television conference system having an electronic board function cannot be obtained because there is no technique for synthesizing a shared information screen and the video image of the communication partner accurately are solved. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は画面上の位置やユーザの指示位置の軌跡を入力するための情報入力装置、及び動画像を通信する通信端末に関し、特にプレゼンテーション装置、ディスプレイ装置や電子ボードシステム、テレビ会議システム等の情報通信表示装置に関する。   The present invention relates to an information input device for inputting a position on a screen and a locus of a user-designated position, and a communication terminal for communicating a moving image, and in particular, information on a presentation device, a display device, an electronic board system, a video conference system, and the like. The present invention relates to a communication display device.

会議室等において大型のディスプレイに様々な情報を表示し、これにユーザの指示により文字や絵を描き加え、ホワイトボードのような形で利用し会議を行う電子ボードシステムが開発されている。これらのシステムにおいては、画面上のユーザの指し示す位置を認識し、描画やコンピュータの操作が行えるようにする手段が必要であるが、これまでに使われている方式には、超音波方式、赤外線方式、抵抗膜方式、静電容量方式等がある。   An electronic board system has been developed in which various information is displayed on a large display in a conference room or the like, characters and pictures are drawn according to user instructions, and the conference is performed in the form of a whiteboard. In these systems, a means for recognizing the position pointed to by the user on the screen and enabling drawing and computer operation is necessary. There are a method, a resistance film method, a capacitance method, and the like.

超音波方式と赤外線方式は、ディスプレイ装置の周辺に超音波発信器及び赤外線発信器を取り付け、ユーザがペン等のポインタによって指示する位置を超音波や赤外線の反射や遮蔽によって認識するものである。また、抵抗膜方式と静電容量方式は、ディスプレイ上に物体の接触によって抵抗値や静電容量の変化する膜を貼ることによって、ユーザの指示する位置を認識するものである。しかしこれらの方法は、大型の発信器をディスプレイの周りに配置したり、ディスプレイ上に特殊な機構を持つ膜を貼ったりする必要があるため、装置が複雑化し、非常に高価になってしまうという問題点があった。
また一方で、遠隔地の人と会議を行うためのシステムとしてテレビ会議システムが開発されている。こうしたテレビ会議システムでは、参加者を撮影するカメラの向いている方向やズーム値等の情報をやり取りすることにより、遠隔地からカメラの操作を行う機能を持っているが、カメラとディスプレイの位置関係やディスプレイのサイズ等、撮影環境に関する情報は伝送されていないため、通信相手の映像を実物大で表示するように調整することができず、臨場感に乏しいという問題点があった。また、前述の電子ボードシステムのような機能は持っていないため、遠隔地の人と情報共有をしながら会議をしたり、通信相手の指し示す画面上の位置を把握し、正確に表示したりすることは難しかった。
In the ultrasonic method and the infrared method, an ultrasonic transmitter and an infrared transmitter are attached around the display device, and a position designated by a user with a pointer such as a pen is recognized by reflection or shielding of ultrasonic waves or infrared rays. The resistance film method and the capacitance method recognize a position designated by the user by attaching a film whose resistance value or capacitance changes by contact of an object on the display. However, these methods require a large transmitter to be placed around the display or a film having a special mechanism on the display, which makes the device complicated and extremely expensive. There was a problem.
On the other hand, a video conference system has been developed as a system for conducting a conference with a person at a remote place. Such a video conference system has a function to operate the camera from a remote location by exchanging information such as the direction the camera is facing and the zoom value, but the positional relationship between the camera and the display Since information about the shooting environment such as the size of the display and the display is not transmitted, it is not possible to adjust the communication partner's video to be displayed in full size, and there is a problem that the sense of reality is poor. In addition, since it does not have the functions of the electronic board system described above, it is possible to hold a meeting while sharing information with a remote person, to grasp the position on the screen pointed to by the communication partner, and to display it accurately. That was difficult.

これに対し、臨場感を重視し、大型ディスプレイを用いた同タイプの2台の通信端末において実物大でユーザを表示するテレビ会議システムも提案されている(例えば非特許文献1参照)。
また、撮影した映像上に描画を行う機能を持つものとしては、ユーザを撮影するカメラと画像を表示するディスプレイとペンタイプのタブレット型入力装置を備えたシール印刷装置がある(例えば特許文献1参照)。
On the other hand, a video conference system in which a user is displayed in actual size on two communication terminals of the same type using a large display with an emphasis on realism has been proposed (see Non-Patent Document 1, for example).
Further, as a device having a function of drawing on a photographed image, there is a sticker printing device including a camera for photographing a user, a display for displaying an image, and a pen-type tablet-type input device (see, for example, Patent Document 1). ).

情報処理学会 オーディオビジュアル複合情報処理研究会技術報告 23−2 pp.3〜8 1998年12月4日刊行 安田浩、青木輝勝、クスタルト・ウィドヨ、坂本信樹、鈴木一徳、佐分淑樹、共著IPSJ Technical Report on Audio Visual Complex Information Processing 23-2 pp. 3-8 Published December 4, 1998 Hiroshi Yasuda, Teruyoshi Aoki, Custard Widyo, Nobuki Sakamoto, Kazunori Suzuki, Yuki Sabu, co-authored

特開平10−108112号公報JP-A-10-108112

上記のように従来のセンサー方式には、超音波方式、赤外線方式、抵抗膜方式、静電容量方式等があるが、これらは装置が複雑で非常に高価になるという問題点があった。
またこれまでは、電子ボードシステムとテレビ会議システムはそれぞれ独立して存在しており、これらを融合した臨場感の高いシステムは存在しなかった。例えば、上記非特許文献に記載の技術は、ディスプレイサイズが固定であることを前提にしているため、撮影環境に関する情報は伝送されておらず、異なるサイズの端末とは通信できない。また、電子ボードシステムのように画面上に描画する機能は持っていない。又、上記シール印刷装置では、自分の姿を映しながら、その上にペン等で描画することが可能であるが、通信端末ではないため、通信相手の画像を伝送し、実物と同じサイズになるように調整して表示する機能は持っていない。
As described above, the conventional sensor method includes an ultrasonic method, an infrared method, a resistance film method, a capacitance method, and the like, but these have a problem that the apparatus is complicated and very expensive.
Until now, electronic board systems and video conferencing systems existed independently, and there was no highly realistic system that fused them. For example, since the technique described in the non-patent document is based on the premise that the display size is fixed, information on the shooting environment is not transmitted, and communication with terminals of different sizes is not possible. In addition, unlike the electronic board system, it does not have a function of drawing on the screen. In addition, the above sticker printing apparatus can draw with a pen or the like while projecting one's own figure, but since it is not a communication terminal, it transmits the image of the communication partner and has the same size as the actual one. It doesn't have the function to adjust and display.

本発明は、上記従来技術を鑑みて、ユーザの指し示す画面上の位置を認識し、描画やコンピュータの操作が行えるようにする手段として、効率的に認識でき、かつ安価に構成可能な情報入力装置を提供し、新しい通信システムとして、テレビ会議機能と電子ボード機能を兼ね備えた臨場感の高い通信端末と、これを実現するための通信方法を提供するものである。   In view of the above-described conventional technology, the present invention is an information input device that can be efficiently recognized and configured at low cost as means for recognizing a position on a screen pointed to by a user and performing drawing or computer operation. As a new communication system, a highly realistic communication terminal having both a video conference function and an electronic board function, and a communication method for realizing the communication terminal are provided.

上記課題を解決するために本願で開示する構成の代表的なものは以下の通りである。
画像を表示するディスプレイ装置と、画面上の位置を指し示すポインタと、ポインタの位置を認識するカメラ装置とを有し、該カメラ装置と該ディスプレイ装置がそれぞれ異なる偏光を通過させる偏光フィルタを有する情報入力装置を用いる。
また、ユーザを撮影する撮影装置と、画像を表示する画像表示装置と、画面上の位置を指し示し、指示位置を入力するための情報入力装置と、通信を行うためのネットワーク装置と、画像の変換と情報画面及び撮影画像の重畳とを行う画像処理装置と、音声の入出力を行う音声入出力装置と、これらの装置を制御・管理するコントローラとを有し、該画像処理装置は通信相手から伝送された撮影環境パラメータを利用して、拡大縮小、射影、クリッピング等の処理によって実物のサイズと同じように見えるように撮影映像を変換し、情報画面と重畳してディスプレイ装置に表示する通信端末を用いる。
また、テレビ会議システムにおける通信方式として、参加者を撮影したカメラの映像情報と、コンピュータ画面や数値等のデータ情報と、カメラの向きやズーム等のカメラパラメータと、カメラとディスプレイの位置関係、ディスプレイのサイズ、解像度、被写体との距離等を示した撮影環境パラメータを伝送する通信方法を用いる。
In order to solve the above problems, typical ones disclosed in the present application are as follows.
An information input having a display device that displays an image, a pointer that indicates a position on the screen, and a camera device that recognizes the position of the pointer, and a polarization filter that allows each of the camera device and the display device to pass different polarized light Use the device.
In addition, an imaging device that captures a user, an image display device that displays an image, an information input device that indicates a position on the screen and inputs a designated position, a network device that performs communication, and image conversion And an image processing device that superimposes information screens and captured images, a voice input / output device that inputs and outputs audio, and a controller that controls and manages these devices. A communication terminal that converts the captured image so that it looks the same as the actual size by processing such as enlargement / reduction, projection, clipping, etc., using the transmitted shooting environment parameters, and displays it on the display device in a superimposed manner on the information screen Is used.
In addition, as a communication method in the video conference system, video information of the camera that captured the participant, data information such as a computer screen and numerical values, camera parameters such as camera orientation and zoom, positional relationship between the camera and display, display A communication method for transmitting shooting environment parameters indicating the size, resolution, distance to the subject, and the like is used.

本発明により、ユーザの指し示す画面上の位置を認識し、描画やコンピュータ操作を行うことのできる情報入力装置を安価に構成することができる。又、電子ボードによる情報共有画面とテレビ会議による通信相手の映像を一致するように表示し、ディスプレイサイズの異なる端末同士でも、ガラス越しに絵を描きながら会議をするような臨場感の高い通信を実現する通信端末、および通信方法を提供することが可能になる。   According to the present invention, an information input device capable of recognizing a position on a screen pointed to by a user and performing drawing or computer operation can be configured at low cost. In addition, the information sharing screen on the electronic board and the video of the other party in the video conference are displayed so as to match, and even with terminals with different display sizes, highly realistic communication is possible such as having a meeting while drawing a picture through the glass. It becomes possible to provide a communication terminal and a communication method to be realized.

以下、本発明の実施例を図示により説明する。
図1に本発明による情報入力装置の一実施例を示し、その特徴について述べる。
まずディスプレイ装置(101)は、さまざまな画像情報を表示する装置であり、ディスプレイ画面(102)に情報を表示する。ディスプレイ画面(102)には偏光フィルタが貼られているか、ディスプレイ装置の構造上内部にこれと同等の機能を有する。例えば液晶ディスプレイは、構造上内部に偏光フィルタが組み込まれているため、この場合ディスプレイ上に新たに偏光フィルタを貼る必要はない。偏光フィルタは一般に用いられるものでよく、一定の偏光を持つ光のみを通過させ、その他の偏光を持つ光を遮断する性質を持つ。偏光フィルタには、一定の回転方向の偏光のみを通過させる円偏光フィルタと、一定の偏光面を持つ偏光のみを通過させる直線偏光フィルタがあるが、どちらを用いてもよい。尚、通常ディスプレイ画面に表示される光にはあらゆる方向の偏光が含まれているため、偏光フィルタを通しても人間の目には通常と同じように見えるため通常の視認に関しては何ら問題がない。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 shows an embodiment of an information input device according to the present invention, and its features will be described.
First, the display device (101) is a device that displays various image information, and displays information on the display screen (102). The display screen (102) is provided with a polarizing filter, or has a function equivalent to this in the structure of the display device. For example, a liquid crystal display has a structure in which a polarizing filter is incorporated, and in this case, it is not necessary to add a polarizing filter on the display. The polarizing filter may be generally used and has a property of passing only light having a certain polarization and blocking light having other polarization. There are two types of polarizing filters: a circular polarizing filter that passes only polarized light in a fixed rotational direction and a linear polarizing filter that passes only polarized light having a fixed polarization plane, either of which may be used. In addition, since the light displayed on the normal display screen includes polarized light in all directions, it appears to the human eye in the same way as normal even through the polarizing filter, and there is no problem with respect to normal viewing.

カメラ装置(103)はディスプレイ画面(102)上を撮影するカメラである。ユーザ(105)の操作するポインタ(104)の位置を画像処理によって認識する。カメラ装置(103)はレンズ口または内部に上記ディスプレイ画面(102)とは異なる偏光を通過させる偏光フィルタを持つ。この仕組みにより、カメラ装置(103)の撮影画像(106)は、ディスプレイ画面の表示部分が偏光フィルタの作用により黒く映り、その他の部分は通常と同じように映る。このため画面上を指し示すユーザ(105)の操作するポインタ(104)は、それだけがディスプレイ画面の黒い背景にはっきりと映し出され、簡単に位置の認識が可能になる。カメラ装置(103)は無線または有線によって撮影した映像を本体のディスプレイ装置(101)に伝送し、画像処理によってポインタ(104)の位置を識別する。画像処理による位置検出をカメラ装置(103)の内部で行い、位置情報を本体に伝送してもよい。位置検出方法は既存技術を用いればよい。例えば、ポインタ(104)として特定の色で塗られたボールを用いる場合、撮影画像中からこのボールの色の範囲のみを抽出すると円形領域が得られる。また一方で、ディスプレイ画面は黒く映し出されるので、エッジ抽出処理によってディスプレイ領域が得られる。この円形領域の中心位置をディスプレイ領域に対して射影変換することによって位置検出を実現することができる。
ポインタ(104)はユーザ(105)の操作する位置がカメラによって認識可能なものであればよく、例えば棒の先に色のついたボールをつけたものでよい。また、レーザポインタのように、指示するための棒の部分がないものを用いれば視認の障害とならない。
The camera device (103) is a camera that captures an image on the display screen (102). The position of the pointer (104) operated by the user (105) is recognized by image processing. The camera device (103) has a polarizing filter that transmits polarized light different from that of the display screen (102) at the lens opening or inside. Due to this mechanism, the captured image (106) of the camera device (103) appears black on the display portion of the display screen due to the action of the polarizing filter, and other portions appear as usual. For this reason, only the pointer (104) operated by the user (105) pointing on the screen is clearly displayed on the black background of the display screen, and the position can be easily recognized. The camera device (103) transmits a video photographed wirelessly or by wire to the display device (101) of the main body, and identifies the position of the pointer (104) by image processing. Position detection by image processing may be performed inside the camera device (103), and the position information may be transmitted to the main body. An existing technique may be used for the position detection method. For example, when a ball painted in a specific color is used as the pointer (104), a circular area is obtained by extracting only the color range of the ball from the captured image. On the other hand, since the display screen is displayed in black, a display area can be obtained by edge extraction processing. Position detection can be realized by projective transformation of the center position of the circular area with respect to the display area.
The pointer (104) may be any pointer that can be recognized by the camera by the user (105). For example, the pointer (104) may have a colored ball attached to the tip of a stick. In addition, if a device that does not have a bar portion for pointing, such as a laser pointer, is used, there is no obstacle to visual recognition.

次に、図2を用いて、本発明における情報入力装置の一実施例の詳細を示し、情報入力方法の詳細について説明する。
本発明の情報入力装置は主に、ディスプレイ装置(101)、カメラ装置(103)、ポインタ(104)から構成される。
ディスプレイ装置(101)は、偏光フィルタ1(201)、画面表示部(202)、本体側通信部(203)、情報処理部(204)、インタフェース(205)からなる。偏光フィルタ1(201)は、前述のように画面表示部(202)から発せられる光のうち一定の偏光のみを通過させるためのフィルタである。画面表示部(202)はディスプレイ画面であり、情報や映像を表示する装置である。本体側通信部(203)はカメラ装置(103)から伝送されてくる映像情報を受信するための装置である。情報処理部(204)はカメラ装置(103)から伝送された映像情報から、画像処理によってポインタ(104)の指し示すディスプレイ画面上の位置を認識し、算出する装置である。インタフェース(205)は外部に接続されたPC等の機器と情報のやり取りを行う装置であり、上記情報処理部(204)の算出した位置情報を外部機器に伝送する役割を持つ。
カメラ装置(103)は、偏光フィルタ2(206)、撮像部(207)、カメラ側通信部(208)からなる。偏光フィルタ2(206)は、上記偏光フィルタ1(201)とは異なる偏光を通過させるフィルタである。撮像部(207)は、ディスプレイ画面とポインタを撮影するための装置である。カメラ側通信部(208)は、上記本体側通信部(203)と通信し、撮像部(207)の撮影した画像情報をディスプレイ装置(101)に伝送するための装置である。図2では情報処理部(204)、及びインタフェース(205)はディスプレイ装置(101)の内部に備えているが、これはカメラ装置(103)の内部に備えてもよい。
カメラ装置(103)はディスプレイ装置(101)上のディスプレイ画面と、ユーザの操作するポインタ(104)を撮影する。この時、偏光フィルタ1(201)と偏光フィルタ2(206)の効果により、画面表示部(202)の表示するディスプレイ画面は撮像部(207)の撮影した画像上では黒く映り、ポインタ(104)だけがはっきり区別されて映る。この画像をカメラ装置(103)はカメラ側通信部(208)と本体側通信部(203)の無線または有線の通信によりディスプレイ装置(101)側に伝送する。伝送された画像情報は、情報処理部(204)によって画像処理され、ポインタ(104)の指し示すディスプレイ画面上の相対位置が算出される。算出された位置情報をインタフェース(205)が、外部に接続されたPC等に伝送する。以上のような手続きにより、ユーザの指し示した位置が機器に入力され、情報入力が完了する。このように本願を用いれば、偏光フィルムをディスプレイと撮像装置の両方に備えるという簡易な構成によって、ポインタの位置を認識可能とすることができる。
Next, details of an embodiment of the information input device according to the present invention will be described with reference to FIG. 2, and details of the information input method will be described.
The information input device of the present invention mainly comprises a display device (101), a camera device (103), and a pointer (104).
The display device (101) includes a polarizing filter 1 (201), a screen display unit (202), a main body side communication unit (203), an information processing unit (204), and an interface (205). The polarization filter 1 (201) is a filter for passing only a certain amount of polarized light out of the light emitted from the screen display unit (202) as described above. The screen display unit (202) is a display screen and is a device that displays information and video. The main body side communication unit (203) is a device for receiving video information transmitted from the camera device (103). The information processing unit (204) is a device that recognizes and calculates the position on the display screen indicated by the pointer (104) by image processing from the video information transmitted from the camera device (103). The interface (205) is a device for exchanging information with a device such as a PC connected to the outside, and has a role of transmitting the position information calculated by the information processing unit (204) to the external device.
The camera device (103) includes a polarizing filter 2 (206), an imaging unit (207), and a camera side communication unit (208). The polarizing filter 2 (206) is a filter that passes polarized light different from the polarizing filter 1 (201). The imaging unit (207) is a device for photographing the display screen and the pointer. The camera side communication unit (208) is a device for communicating with the main body side communication unit (203) and transmitting the image information captured by the imaging unit (207) to the display device (101). In FIG. 2, the information processing unit (204) and the interface (205) are provided in the display device (101), but may be provided in the camera device (103).
The camera device (103) photographs the display screen on the display device (101) and the pointer (104) operated by the user. At this time, due to the effects of the polarizing filter 1 (201) and the polarizing filter 2 (206), the display screen displayed by the screen display unit (202) appears black on the image captured by the imaging unit (207), and the pointer (104). Only is clearly distinguished. The camera device (103) transmits the image to the display device (101) side by wireless or wired communication between the camera side communication unit (208) and the main body side communication unit (203). The transmitted image information is subjected to image processing by the information processing unit (204), and the relative position on the display screen indicated by the pointer (104) is calculated. The interface (205) transmits the calculated position information to a PC or the like connected to the outside. Through the above procedure, the position indicated by the user is input to the device, and the information input is completed. Thus, if this application is used, the position of the pointer can be recognized by a simple configuration in which the polarizing film is provided in both the display and the imaging device.

情報処理部(204)による画像処理の一実施例を説明する。ユーザがポインタをディスプレイ画面上に沿って動かした時、このポインタの画面上の相対位置を算出するためには、撮影された画像内でのディスプレイ画面の領域と、ポインタの中心点の位置とが分かっていればよい。ディスプレイ画面の領域については、ディスプレイ画面のみが黒く映っているので、エッジ抽出処理によって簡単に取得可能である。またポインタの中心点は、ポインタが黒い背景上にはっきり区別されて映っているので、エッジ抽出処理と領域分割処理によって簡単に取得できる。これらの情報と、ディスプレイ画面が長方形であるという条件を組み合わせることにより、カメラとディスプレイ位置の関係が未知であるとしても、ポインタの画面上における相対位置は射影変換処理によって算出することができる。尚、射影変換の具体的方法については、例えば、日本バーチャルリアリティ学会論文誌TVRSJ、Vol.4、No.4、pp.607〜616(1999)、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎、共著に記載される。このように本発明を用いれば、カメラ装置(103)とディスプレイ装置(101)の配置に関わらず、画面を撮像すればポインタの位置情報取得が可能になる。尚、上記以外にもエッジ抽出処理の代用として特定の色を抽出するカラー領域抽出処理を用い、さらにこの領域の輪郭を追跡して直線を判別し、ディスプレイの領域を取得する既存技術を用いることもできる。   An example of image processing by the information processing unit (204) will be described. When the user moves the pointer along the display screen, in order to calculate the relative position of the pointer on the screen, the area of the display screen in the captured image and the position of the center point of the pointer are calculated. I just need to know. The display screen area can be easily obtained by edge extraction processing because only the display screen appears black. Further, since the pointer center point is clearly distinguished on a black background, it can be easily obtained by edge extraction processing and region division processing. By combining these information and the condition that the display screen is rectangular, even if the relationship between the camera and the display position is unknown, the relative position of the pointer on the screen can be calculated by projective transformation processing. For a specific method of projective transformation, see, for example, the Virtual Reality Society of Japan Transactions TVRSJ, Vol. 4, no. 4, pp. 607-616 (1999), Kato Hirokazu, Mark Billinghurst, Asano Koichi, Tachibana Keihachiro, co-authored. As described above, by using the present invention, the position information of the pointer can be acquired by imaging the screen regardless of the arrangement of the camera device (103) and the display device (101). In addition to the above, a color area extraction process for extracting a specific color is used as an alternative to the edge extraction process, and an existing technique for acquiring a display area by tracing the outline of this area to determine a straight line is used. You can also.

次に、図3に本発明による通信端末の一実施例を示し、その特徴について述べる。
本発明の通信端末は、利用図(312)に示すように、遠隔地に離れたユーザ同士が同じホワイトボードを利用しているかのように電子ボードシステムに描かれる情報を共有し、さらに通信相手の映像を鏡面変換、および位置調整して表示することにより、相手の描く画面上の軌跡と相手の映像上の動きを正確に一致させながら、臨場感の高いテレビ会議システムを実現するものである。通信端末の一実施例として、上記情報入力装置を用いた場合を説明する。ユーザ(301)がポインタ(303)を用いて描画する位置を指し示し、情報入力装置の一部であるカメラ装置(302)によってポインタ(303)の位置が追跡され、情報が入力される。ディスプレイ装置は情報入力装置と画像表示装置が一体となった構成になっており、偏光フィルタ(304)とディスプレイ画面(305)を備える。ディスプレイ画面(305)は半透明のハーフミラーになっており、撮影装置であるユーザ撮影用カメラ(307)によってユーザの動作が撮影される。またディスプレイに映像を表示するための装置として、プロジェクタ(307)が用いられる。さらに、スピーカ(308)とマイク(309)を備えれば音声の入出力を行う装置ことができる。通信端末内部にこれら情報入力装置、画像表示装置、撮影装置、音声入出力装置、およびネットワーク装置を管理するコントローラ(308)があり、ネットワーク(309)を通じて他の端末との通信を行う。
Next, FIG. 3 shows an embodiment of a communication terminal according to the present invention, and its features will be described.
As shown in the usage diagram (312), the communication terminal of the present invention shares information drawn on the electronic board system as if users who are remote from each other are using the same whiteboard, and further communicates with the other party. The video image of the video is mirror-converted and the position is adjusted to display the video track system with a high sense of realism while accurately matching the trajectory on the screen drawn by the other party and the movement on the other party's video. . As an example of the communication terminal, a case where the information input device is used will be described. The user (301) indicates the position to draw using the pointer (303), the position of the pointer (303) is tracked by the camera device (302) which is a part of the information input device, and information is input. The display device has a configuration in which an information input device and an image display device are integrated, and includes a polarizing filter (304) and a display screen (305). The display screen (305) is a semi-transparent half mirror, and a user's action is photographed by a user photographing camera (307) which is a photographing device. A projector (307) is used as a device for displaying an image on a display. Furthermore, if a speaker (308) and a microphone (309) are provided, a device for inputting and outputting audio can be provided. Inside the communication terminal is a controller (308) that manages these information input device, image display device, photographing device, audio input / output device, and network device, and communicates with other terminals via the network (309).

図4を用いて、本発明における通信端末の一実施例の詳細を示し、その通信方式について説明する。
本発明の通信端末は少なくとも、情報入力装置(401)、画像表示装置(402)、撮影装置(403)、画像処理装置(404)、音声入出力装置(405)、コントローラ(406)、ネットワーク装置(407)から構成される。
情報入力装置(401)は、前述の様々な方式によりユーザの指し示す位置を取得し、描画やPCの操作を行う装置である。これは既存の方式である超音波方式、赤外線方式、抵抗膜方式、静電容量方式等の装置を用いてもよいし、本発明に示す情報入力装置を用いてもよい。画像表示装置(402)は共有する電子ボードの画像情報や、通信相手の映像を表示するためのディスプレイ装置である。これはプラズマディスプレイ、液晶ディスプレイや背面プロジェクタ等を用いればよい。撮影装置(403)はユーザを撮影するためのカメラ装置である。これらの情報入力装置(401)、画像表示装置(402)、撮影装置(403)はそれぞれ組み合わさった装置を用いてもよい。例えば、本発明に示す情報入力装置は、ポインタの軌跡を撮影するためのカメラとディスプレイ画面から構成されるため、情報入力装置(401)と画像表示装置(402)が一体となった装置となっている。また、撮影装置(403)としては通常のカメラを用いてもよいし、ディスプレイと一体となった平面型のカメラを用いてもよい。これはディスプレイ内に微小なレンズが多数埋め込まれることにより、全体が一枚の画像となるように撮影されるものである。
The details of an embodiment of the communication terminal according to the present invention will be described with reference to FIG.
The communication terminal of the present invention includes at least an information input device (401), an image display device (402), a photographing device (403), an image processing device (404), a voice input / output device (405), a controller (406), a network device (407).
The information input device (401) is a device that acquires a position pointed to by the user by the above-described various methods, and performs drawing and PC operation. For this, an ultrasonic method, an infrared method, a resistance film method, a capacitance method, or the like, which is an existing method, may be used, or the information input device shown in the present invention may be used. An image display device (402) is a display device for displaying image information of a shared electronic board and video of a communication partner. For this, a plasma display, a liquid crystal display, a rear projector or the like may be used. The photographing device (403) is a camera device for photographing a user. These information input device (401), image display device (402), and photographing device (403) may be combined. For example, the information input device shown in the present invention is composed of a camera for photographing the locus of the pointer and a display screen, so that the information input device (401) and the image display device (402) are integrated. ing. Further, as the photographing apparatus (403), a normal camera may be used, or a flat camera integrated with a display may be used. In this case, a large number of minute lenses are embedded in the display so that the whole image is taken as one image.

画像処理装置(404)は、画像表示装置(402)への表示を行うための画像の調整と、電子ボードの共有情報画面と通信相手の撮影映像との合成を行う。通信相手の端末が撮影したカメラ画像をそのままユーザのディスプレイに表示した場合、電子ボード上の共有情報画面における相手の描画した軌跡と、通信相手の映像上での描画の軌跡が一致しないという問題が発生する。これは、共有する電子ボードの画面情報は、それぞれのユーザにとって正しい向きで表示しているのに対し、撮影したカメラ映像は通信相手側のボードの裏側から撮影した映像となっているため、表示した時の向きが一致しなくなってしまうためである。そこで本発明では、画像処理装置(404)によって通信相手の撮影した映像を左右反転し鏡面映像へと変換することにより、電子ボード上の共有情報画面と向きを一致させる方式を用いる。鏡面映像への変換方法としては、通常のカメラによって撮影された映像の場合、画面左上から右方向にラスタースキャンによって表示される映像を、画面右上から左方向にスキャンして表示するように変換すればよい。これにより、相手ユーザが電子ボード上に絵を書いたとき、あたかもガラスの裏側で書いた軌跡が、そのまま電子ボード上でこちらに読める形で表示されるように見える。   The image processing device (404) adjusts an image for display on the image display device (402), and synthesizes the shared information screen of the electronic board and the captured video of the communication partner. When the camera image taken by the other party's terminal is displayed as it is on the user's display, the path drawn by the other party on the shared information screen on the electronic board does not match the drawing path on the other party's video. Occur. This is because the screen information of the shared electronic board is displayed in the correct orientation for each user, while the captured camera image is an image captured from the back side of the communication partner's board. This is because the orientations when they do not match. Therefore, in the present invention, a method is used in which the image captured by the communication partner is reversed left and right and converted into a mirror image by the image processing device (404) so that the direction coincides with the shared information screen on the electronic board. As a method for converting to a mirror image, in the case of an image shot with a normal camera, the image displayed by raster scan from the upper left of the screen to the right is scanned and displayed from the upper right of the screen to the left. That's fine. As a result, when the other user writes a picture on the electronic board, it looks as if the locus written on the back side of the glass is displayed as it is on the electronic board.

また、これを実現させるために、通信相手の映像を実物大で表示するためのカメラパラメータと撮影環境パラメータを通信端末間で伝送する。カメラパラメータは、カメラの向きやズーム等の数値である。これはカメラ内部の情報であり撮影装置(403)から取得する。撮影環境パラメータは、カメラとディスプレイの位置関係や、ディスプレイのサイズ、ディスプレイの解像度、被写体との距離を示すものであり、設計時にあらかじめ決まった情報であるか、または情報入力装置(401)によって取得される。例えばディスプレイをガラスに見立て、遠隔地の端末と通信をするシステムの場合、通信を行う端末の画面サイズがそれぞれ異なったとしても、ディスプレイのサイズとカメラとディスプレイの位置関係を情報として伝送することにより、画像の調整によって実物大で表示することが可能になる。被写体とカメラとの距離に関しては、赤外線センサー等を用いて取得し伝送すればよい。   In order to realize this, the camera parameter and the shooting environment parameter for displaying the video of the communication partner in actual size are transmitted between the communication terminals. The camera parameter is a numerical value such as a camera direction or zoom. This is information inside the camera and is acquired from the photographing apparatus (403). The shooting environment parameters indicate the positional relationship between the camera and the display, the display size, the display resolution, and the distance to the subject, and are information determined in advance at the time of design or acquired by the information input device (401). Is done. For example, in the case of a system that communicates with a remote terminal, assuming that the display is glass, even if the screen size of the terminal that communicates is different, the display size and the positional relationship between the camera and the display are transmitted as information. The image can be displayed in full size by adjusting the image. The distance between the subject and the camera may be acquired and transmitted using an infrared sensor or the like.

さらに画像処理装置(404)は、背面投射型のプロジェクタによって表示を行う場合には、プロジェクタとディスプレイ表示面との位置関係によって生じる幾何的な歪みを補正する処理も行うことで、ディスプレイ面に映るユーザの姿をより正確に自然に表示することができる。
音声入出力装置(405)は、ユーザの音声をマイクによって集め、通信相手の音声をスピーカによって再生する装置である。
コントローラ(406)は、通信端末の全ての装置を管理するための装置である。
ネットワーク装置(407)は、上記の撮影されたユーザの画像情報や、共有情報画面、音声情報、画像調整のためのカメラパラメータおよび撮影環境パラメータ、その他ネットワーク調整、コントロールのための情報等を通信端末間でやり取りするための装置である。
上記のような方法により、通信相手の描画した共有画面の軌跡と、撮影された通信相手の画像が、正確に重なるように表示し、高い臨場感を保ちながら通信を行う方法を実現できる。
Further, when displaying by a rear projection type projector, the image processing apparatus (404) also performs a process of correcting geometric distortion caused by the positional relationship between the projector and the display display surface, so that the image is displayed on the display surface. The user's appearance can be displayed more accurately and naturally.
The voice input / output device (405) is a device that collects a user's voice using a microphone and reproduces a voice of a communication partner using a speaker.
The controller (406) is a device for managing all devices of the communication terminal.
The network device (407) is a communication terminal for the image information of the photographed user, the shared information screen, audio information, camera parameters for image adjustment and imaging environment parameters, and other information for network adjustment and control. It is a device for exchanging data.
By the method as described above, it is possible to realize a method in which the path of the shared screen drawn by the communication partner and the captured image of the communication partner are displayed so as to overlap with each other and communication is performed while maintaining a high sense of reality.

なお、前記実施例では電子ボード機能を持ったテレビ会議システムを例に挙げて説明してきたが、本発明の適用はこれに限定されるものではなく、カメラを備えたパソコンや携帯情報端末、携帯電話や通信機能を持つ家庭用ゲーム機等にも用いることができる。   In the above embodiment, the video conference system having the electronic board function has been described as an example. However, the application of the present invention is not limited to this, and a personal computer equipped with a camera, a portable information terminal, a portable It can also be used for a home game machine having a telephone or communication function.

本発明で用いる情報入力装置の一実施例の説明図である。It is explanatory drawing of one Example of the information input device used by this invention. 本発明で用いる情報入力装置の一実施例を詳しく示した図である。It is the figure which showed one Example of the information input device used by this invention in detail. 本発明で用いる通信端末の一実施例の説明図である。It is explanatory drawing of one Example of the communication terminal used by this invention. 本発明で用いる通信端末の一実施例を詳しく示した図である。It is the figure which showed in detail the Example of the communication terminal used by this invention.

符号の説明Explanation of symbols

101…ディスプレイ装置;102,305…ディスプレイ画面;103,302…カメラ装置;104,303…ポインタ;105,301…ユーザ;106…撮影画像;201,304…偏光フィルタ1;202…画面表示部;203…本体側通信部;204…情報処理部;205…インタフェース;206…偏光フィルタ2;207…撮像部;208…カメラ側通信部;306,403…撮影装置;307…プロジェクタ;308…スピーカ;309…マイク;310,406…コントローラ;311…ネットワーク;312…利用図;401…情報入力装置;402…画像表示装置;404…画像処理装置;405…音声入出力装置;407…ネットワーク装置。
101 ... Display device; 102, 305 ... Display screen; 103, 302 ... Camera device; 104, 303 ... Pointer; 105, 301 ... User; 106 ... Photographed image; 201, 304 ... Polarizing filter 1; 202 ... Screen display unit; 203 ... Main body side communication unit; Processing unit; 205 ... Interface; 206 ... Polarizing filter 2; 207 ... Imaging unit; 208 ... Camera side communication unit; 306, 403 ... Imaging device; 307 ... Projector; 308 ... Speaker; 309 ... Microphone; 310, 406 ... Controller; 312 ... usage diagram; 401 ... information input device; 402 ... image display device; 404 ... image processing device; 405 ... voice input / output device;

Claims (6)

画像を表示するディスプレイ装置と、画面上の位置を指し示すポインタと、ポインタの位置を認識するカメラ装置とを有し、該カメラ装置と該ディスプレイ装置がそれぞれ異なる偏光を通過させる偏光フィルタを有することを特徴とする情報入力装置。   A display device that displays an image; a pointer that indicates a position on the screen; and a camera device that recognizes the position of the pointer; and the camera device and the display device each have a polarization filter that transmits different polarized light. Characteristic information input device. 上記ディスプレイ装置は、直線偏光の偏光フィルタを有することを特徴とする、請求項1記載の情報入力装置。   The information input device according to claim 1, wherein the display device includes a linearly polarized light filter. 上記カメラ装置はポインタの色、形状を認識して位置を識別することを特徴とする、請求項1記載の情報入力装置。   The information input device according to claim 1, wherein the camera device recognizes a color and a shape of a pointer to identify a position. ユーザを撮影する撮影装置と、画像を表示する画像表示装置と、画面上の位置を指し示し、指示位置を入力するための情報入力装置と、通信を行うためのネットワーク装置と、画像の変換と情報画面及び撮影画像の重畳とを行う画像処理装置と、音声の入出力を行う音声入出力装置と、これらの装置を制御・管理するコントローラとを有し、該画像処理装置は通信相手から伝送された撮影環境パラメータを利用して、拡大縮小、射影、クリッピング等の処理によって実物のサイズと同じように見えるように撮影映像を変換し、情報画面と重畳して画像表示装置に表示することを特徴とする通信端末。   An imaging device for photographing a user, an image display device for displaying an image, an information input device for pointing a position on the screen and inputting a designated position, a network device for performing communication, image conversion and information An image processing apparatus that superimposes a screen and a captured image; an audio input / output apparatus that inputs and outputs audio; and a controller that controls and manages these apparatuses; the image processing apparatus is transmitted from a communication partner Using the shooting environment parameters, the shot image is converted to look the same as the actual size by scaling, projection, clipping, etc., and displayed on the image display device superimposed on the information screen Communication terminal. 上記画像処理装置は、通信相手から伝送される撮影画像を鏡面変換し、通信相手の指し示した位置とユーザの画面位置とが一致するように調整することを特徴とする請求項4記載の通信端末。   5. The communication terminal according to claim 4, wherein the image processing apparatus performs mirror surface conversion on a captured image transmitted from a communication partner and adjusts the position pointed to by the communication partner and the screen position of the user to coincide with each other. . テレビ会議システムにおける通信方法であって、
参加者を撮影したカメラの映像情報と、コンピュータ画面や数値等のデータ情報と、カメラの向きやズーム等のカメラパラメータと、カメラとディスプレイの位置関係、ディスプレイのサイズ、解像度、被写体との距離等を示した撮影環境パラメータを伝送することを特徴とする通信方法。
A communication method in a video conference system,
Video information of the camera that captured the participant, data information such as computer screens and numerical values, camera parameters such as camera orientation and zoom, positional relationship between the camera and display, display size, resolution, distance to the subject, etc. A communication method characterized by transmitting an imaging environment parameter indicating
JP2003347767A 2003-10-07 2003-10-07 Information input device, communication terminal and communication method Pending JP2005117285A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003347767A JP2005117285A (en) 2003-10-07 2003-10-07 Information input device, communication terminal and communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003347767A JP2005117285A (en) 2003-10-07 2003-10-07 Information input device, communication terminal and communication method

Publications (1)

Publication Number Publication Date
JP2005117285A true JP2005117285A (en) 2005-04-28

Family

ID=34540171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003347767A Pending JP2005117285A (en) 2003-10-07 2003-10-07 Information input device, communication terminal and communication method

Country Status (1)

Country Link
JP (1) JP2005117285A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094701A (en) * 2007-10-05 2009-04-30 Yamaha Corp Information processing device and program
JP2010193043A (en) * 2009-02-17 2010-09-02 Sharp Corp Video phone device
JP2010278566A (en) * 2009-05-26 2010-12-09 Fuji Xerox Co Ltd Remote conference system, information processing apparatus and program
JP2012023595A (en) * 2010-07-15 2012-02-02 Konica Minolta Business Technologies Inc Conference system
JP2012079167A (en) * 2010-10-04 2012-04-19 Sony Corp Information processing apparatus, information processing system and information processing method
JP2012118859A (en) * 2010-12-02 2012-06-21 Hitachi Solutions Ltd Conference minutes system and conference minutes program
JP2012185823A (en) * 2011-03-07 2012-09-27 Ricoh Co Ltd Providing position information in collaborative environment
JP2013070368A (en) * 2011-09-05 2013-04-18 Panasonic Corp Television interactive system, terminal, and method
WO2013108363A1 (en) * 2012-01-17 2013-07-25 チームラボ株式会社 Mirror device, method for controlling mirror device, and control program
JP2016208079A (en) * 2015-04-15 2016-12-08 キヤノン株式会社 Information processing device, information processing method and program
JP2017516421A (en) * 2014-03-24 2017-06-15 ヌビア、テクノロジー、カンパニー、リミテッドNubia Technology Co., Ltd. Mobile terminal and imaging method thereof
WO2019167267A1 (en) * 2018-03-02 2019-09-06 日本電気株式会社 Information processing system
US11256466B2 (en) 2017-07-06 2022-02-22 Fujitsu Limited Information processing apparatus, information processing method, and recording medium recording information processing program

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094701A (en) * 2007-10-05 2009-04-30 Yamaha Corp Information processing device and program
JP2010193043A (en) * 2009-02-17 2010-09-02 Sharp Corp Video phone device
JP2010278566A (en) * 2009-05-26 2010-12-09 Fuji Xerox Co Ltd Remote conference system, information processing apparatus and program
JP2012023595A (en) * 2010-07-15 2012-02-02 Konica Minolta Business Technologies Inc Conference system
JP2012079167A (en) * 2010-10-04 2012-04-19 Sony Corp Information processing apparatus, information processing system and information processing method
JP2012118859A (en) * 2010-12-02 2012-06-21 Hitachi Solutions Ltd Conference minutes system and conference minutes program
JP2012185823A (en) * 2011-03-07 2012-09-27 Ricoh Co Ltd Providing position information in collaborative environment
US9124761B2 (en) 2011-09-05 2015-09-01 Panasonic Intellectual Property Management Co., Ltd. Television communication system, terminal, and method
JP2013070368A (en) * 2011-09-05 2013-04-18 Panasonic Corp Television interactive system, terminal, and method
WO2013108363A1 (en) * 2012-01-17 2013-07-25 チームラボ株式会社 Mirror device, method for controlling mirror device, and control program
JPWO2013108363A1 (en) * 2012-01-17 2015-05-11 チームラボ株式会社 Mirror device, mirror device control method and control program
JP2017516421A (en) * 2014-03-24 2017-06-15 ヌビア、テクノロジー、カンパニー、リミテッドNubia Technology Co., Ltd. Mobile terminal and imaging method thereof
US9961273B2 (en) 2014-03-24 2018-05-01 Nubia Technology Co., Ltd. Mobile terminal and shooting method thereof
JP2016208079A (en) * 2015-04-15 2016-12-08 キヤノン株式会社 Information processing device, information processing method and program
US11256466B2 (en) 2017-07-06 2022-02-22 Fujitsu Limited Information processing apparatus, information processing method, and recording medium recording information processing program
WO2019167267A1 (en) * 2018-03-02 2019-09-06 日本電気株式会社 Information processing system
JPWO2019167267A1 (en) * 2018-03-02 2021-02-04 日本電気株式会社 Information information system
JP7067608B2 (en) 2018-03-02 2022-05-16 日本電気株式会社 Information processing system
US11875757B2 (en) 2018-03-02 2024-01-16 Nec Corporation Information processing system

Similar Documents

Publication Publication Date Title
CN109952759A (en) Improved method and system for the video conference with HMD
KR20140144510A (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN106101687B (en) VR image capturing devices and its VR image capturing apparatus based on mobile terminal
US11006072B2 (en) Window system based on video communication
KR20140125183A (en) Eye-glasses which attaches projector and method of controlling thereof
JP2005117285A (en) Information input device, communication terminal and communication method
JP6946684B2 (en) Electronic information board systems, image processing equipment, and programs
US20190306461A1 (en) Video communication device and method for video communication
JP2012175136A (en) Camera system and control method of the same
JP2016213674A (en) Display control system, display control unit, display control method, and program
WO2018168823A1 (en) Image processing device and electronic equipment
CN113282163A (en) Head-mounted device with adjustable image sensing module and system thereof
CN108446011A (en) A kind of medical householder method and equipment based on augmented reality
CN108427194A (en) A kind of display methods and equipment based on augmented reality
JP2011097447A (en) Communication system
JP2014174510A (en) Head-mounted display device
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
CN106210701A (en) A kind of mobile terminal for shooting VR image and VR image capturing apparatus thereof
CN104062758B (en) Image display method and display equipment
JP2005142765A (en) Apparatus and method for imaging
JP2005303683A (en) Image transceiver
CN111736692B (en) Display method, display device, storage medium and head-mounted device
JP3128018B2 (en) Image communication system
CN108427195A (en) A kind of information processing method and equipment based on augmented reality
US10701313B2 (en) Video communication device and method for video communication

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091215