JP2009194697A - Instruction system, instruction program, and instruction device - Google Patents

Instruction system, instruction program, and instruction device Download PDF

Info

Publication number
JP2009194697A
JP2009194697A JP2008034415A JP2008034415A JP2009194697A JP 2009194697 A JP2009194697 A JP 2009194697A JP 2008034415 A JP2008034415 A JP 2008034415A JP 2008034415 A JP2008034415 A JP 2008034415A JP 2009194697 A JP2009194697 A JP 2009194697A
Authority
JP
Japan
Prior art keywords
line
sight
instruction
unit
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008034415A
Other languages
Japanese (ja)
Inventor
Takeshi Mizunashi
豪 水梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2008034415A priority Critical patent/JP2009194697A/en
Publication of JP2009194697A publication Critical patent/JP2009194697A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an instruction system, instruction program and instruction device attaining a smooth interaction between remote sites through the visual line of a user at the side of a terminal or a real object. <P>SOLUTION: The instruction system includes a server 50 capable of transmitting to the terminal 100 a picked-up image picked up by a video camera 20 that images a target 200, and projecting on the target 200 an annotation image AN representing annotation corresponding to an instruction based on the picked-up image, performed at the terminal 100, by a projector 40, and the server 50 uses the projector 40 to project on the target 200 the locus of a visual line based on a visual line detection device 140 which detects the visual line of the user. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、指示システム、指示プログラム及び指示装置に関する。   The present invention relates to an instruction system, an instruction program, and an instruction device.

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献1に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。   In a conference system or the like, it is necessary to give various instructions such as instructions for work procedures from the terminal side to the real object side. As such a conference system capable of giving an instruction from the terminal side to the real object side, for example, as shown in Patent Document 1, a captured image is captured by the video camera while imaging an object existing on the real object side. In addition, an instruction system for projecting an annotation image instructed based on a captured image on a terminal side onto a target object on a real object side is known.

また、特許文献2では、投影機能を有するテレビ電話装置において、簡易な構成で利用者が相手側にある実物に対して指示や書込みが行える旨が開示されている。   Further, Patent Document 2 discloses that in a videophone device having a projection function, a user can instruct and write an actual object on the other side with a simple configuration.

特開2005−33756号公報JP 2005-33756 A 特開平6−245207号公報JP-A-6-245207

ところで、上述した特許文献1や特許文献2に開示される技術では、対象物の指示位置は特定されるが、端末側や実物体側にいる利用者の視線が対象物のどの場所に向けられているか不明であり、利用者間の円滑な対話が阻害される可能性がある。   By the way, in the techniques disclosed in Patent Document 1 and Patent Document 2 described above, the target position of the target object is specified, but the user's line of sight on the terminal side or the real object side is directed to any position of the target object. It is unclear whether smooth dialogue between users may be hindered.

本発明は、このような事情に鑑みてなされたものであり、端末側や実物体側の利用者の視線を通じて遠隔地間の円滑な対話を図り得る指示システム、指示プログラム及び指示装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and provides an instruction system, an instruction program, and an instruction device that can facilitate a smooth dialogue between remote locations through the line of sight of a user on the terminal side or the real object side. With the goal.

請求項1に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示システムである。   According to the first aspect of the present invention, a captured image captured by an imaging unit that captures an object is transmitted to a terminal, and an annotation image representing an annotation according to an instruction based on the captured image made by the terminal is projected. Control means capable of projecting onto the object by the control means, and the control means is a pointing system characterized in that the projection means projects the locus of the line of sight based on the line of sight detection means for detecting the user's line of sight. .

請求項2に記載の発明は、請求項1に記載の発明において、制御手段は、視線検出手段による検出結果に、該視線検出手段に形成された、光線を照射する照射手段の照射方向とを対応付けて動作させ、光線が対象物とぶつかることによって生じる光点の軌跡を視線の軌跡として投影手段により対象物に投影させることを特徴としている。   According to a second aspect of the present invention, in the first aspect of the invention, the control means determines the irradiation direction of the irradiation means for irradiating the light beam formed in the visual line detection means, on the detection result by the visual line detection means. The projector is operated in association with each other, and the projection of the light spot caused by the collision of the light beam with the object is projected onto the object by the projection unit as the locus of the line of sight.

請求項3に記載の発明は、請求項1又は2に記載の発明において、制御手段は、視線の軌跡を投影させて、所定の時間を経過した後に、該視線の軌跡を消去することを特徴としている。   The invention according to claim 3 is the invention according to claim 1 or 2, wherein the control means projects the locus of the line of sight and erases the locus of the line of sight after a predetermined time has elapsed. It is said.

請求項4に記載の発明は、請求項1から3のいずれか1項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に消去していくことを特徴としている。   The invention described in claim 4 is characterized in that, in the invention described in any one of claims 1 to 3, the control means gradually erases from the locus of the line of sight having a long projection time.

請求項5に記載の発明は、請求項1から4のいずれか1項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に色を変えていくことを特徴としている。   The invention according to claim 5 is characterized in that, in the invention according to any one of claims 1 to 4, the control means gradually changes the color from the locus of the line of sight having a long projection time.

請求項6に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示プログラムである。   According to the sixth aspect of the present invention, the computer transmits the captured image captured by the imaging unit that captures the object to the terminal, and the annotation image represents the annotation according to the instruction based on the captured image made by the terminal. The projection means projects a line-of-sight locus based on the line-of-sight detection means for detecting the user's line of sight onto the object by the projection means. It is a program.

請求項7に記載の発明は、対象物を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、利用者の視線を検出する視線検出手段と、視線検出手段の検出結果に基づく視線の軌跡を投影手段により対象物に投影させる制御手段と、を有することを特徴とする指示装置である。   According to a seventh aspect of the present invention, there is provided an imaging unit that images an object, a projection unit that projects an annotation image representing an annotation according to an instruction based on a captured image captured by the imaging unit, and a user's The pointing device includes: a line-of-sight detection unit that detects a line of sight; and a control unit that causes the projection unit to project a locus of the line of sight based on a detection result of the line-of-sight detection unit.

請求項1に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。   According to the first aspect of the present invention, a smooth dialogue between remote locations can be achieved through the line of sight of the user on the terminal side.

請求項2に記載の発明によれば、本構成を有していない場合に比較して、対象物側の利用者の視線を通じても遠隔地間の円滑な対話を図ることができる。   According to the second aspect of the present invention, it is possible to achieve a smooth dialogue between remote locations through the line of sight of the user on the object side as compared with the case where the present configuration is not provided.

請求項3に記載の発明によれば、本構成を有していない場合に比較して、視線の軌跡が投影され続ける煩わしさが抑制される。   According to the third aspect of the present invention, as compared with the case where the present configuration is not provided, the troublesomeness that the line-of-sight locus is continuously projected is suppressed.

請求項4に記載の発明によれば、本構成を有していない場合に比較して、直近の視線の位置が明らかになる。   According to the fourth aspect of the present invention, the position of the latest line of sight becomes clear as compared with the case where the present configuration is not provided.

請求項5に記載の発明によれば、本構成を有していない場合に比較して、消去されていく視線の軌跡の視認性が増す。   According to the invention described in claim 5, the visibility of the locus of the line of sight to be erased is increased as compared with the case where the present configuration is not provided.

請求項6に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。   According to the sixth aspect of the present invention, it is possible to achieve a smooth dialogue between remote locations through the line of sight of the user on the terminal side.

請求項7に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。   According to the seventh aspect of the present invention, it is possible to achieve a smooth dialogue between remote locations through the line of sight of the user on the terminal side.

以下、本発明の実施形態について図面を参照して説明する。
(第1実施形態)
図1は本発明の第1実施形態に係る指示システムの構成図、図2はサーバ50の要部構成を示す機能ブロック図、図3はサーバ50のハードウェア構成を示す機能ブロック図である。
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a configuration diagram of an instruction system according to the first embodiment of the present invention, FIG. 2 is a functional block diagram illustrating a main configuration of the server 50, and FIG. 3 is a functional block diagram illustrating a hardware configuration of the server 50.

この指示システムは、図1に示すように、対象物側装置10及び端末100等を備えており、対象物側装置10と端末100とはネットワーク300により相互に通信可能に接続されている。尚、図1においては、端末100を一台のみ示しているが、複数の端末100、101がネットワーク300を通じて対象物側装置10の後述するサーバ50へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、1つの筐体で覆われる等して1つの装置で構成されていてもよく、また、複数の装置から構成されていてもよい。   As shown in FIG. 1, the instruction system includes an object-side device 10 and a terminal 100, and the object-side device 10 and the terminal 100 are connected to each other via a network 300 so that they can communicate with each other. Although only one terminal 100 is shown in FIG. 1, a plurality of terminals 100 and 101 may be connected to a server 50 (described later) of the object side device 10 through the network 300. In addition, the instruction system according to the present embodiment may be configured by a single device, such as being covered by a single housing, or may be configured by a plurality of devices.

対象物側装置10は、撮像手段としてのビデオカメラ20、投影手段としてのプロジェクタ40、制御手段としてのサーバ50及びハーフミラー60等から構成される。   The object side device 10 includes a video camera 20 as an imaging unit, a projector 40 as a projection unit, a server 50 as a control unit, a half mirror 60, and the like.

ビデオカメラ20は、例えばCCDカメラ等で構成される。ビデオカメラ20は、対象物200を撮像すると共に、その撮像画像の情報はサーバ50に取り込まれる。ビデオカメラ20は、ハーフミラー60を透過した画像を撮像する。   The video camera 20 is composed of, for example, a CCD camera. The video camera 20 captures an image of the object 200 and information on the captured image is captured by the server 50. The video camera 20 captures an image that has passed through the half mirror 60.

プロジェクタ40は、液晶プロジェクタ等で構成され、端末100でなされた撮像画像に基づく指示に応じた注釈画像AN(以下、アノテーション画像という。)を対象物200に投影する。また、プロジェクタ40は、その光学系が、ハーフミラー60によりビデオカメラ20と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ40とビデオカメラ20との光軸及び投影・撮像画角をそれぞれ一致させる。このプロジェクタ40は、サーバ50から送信されたアノテーション画像ANをその光学系を通じハーフミラー60を介して対象物200へ投影する。プロジェクタ40からのアノテーション画像ANは、ハーフミラー60で反射して対象物200へ投影される。尚、アノテーション画像ANには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー60の反射率は発振現象の防止の観点から0.3%程度であることが望ましい。   The projector 40 is configured by a liquid crystal projector or the like, and projects an annotation image AN (hereinafter referred to as an annotation image) corresponding to an instruction based on a captured image made by the terminal 100 onto the object 200. Further, the projector 40 is arranged such that its optical system is substantially coincident with the video camera 20 by the half mirror 60. That is, the optical axes and the projection / imaging field angles of the projector 40 and the video camera 20 are made to coincide. The projector 40 projects the annotation image AN transmitted from the server 50 onto the object 200 via the optical system and the half mirror 60. The annotation image AN from the projector 40 is reflected by the half mirror 60 and projected onto the object 200. The annotation image AN includes all forms of images such as lines, characters, and figures. The reflectance of the half mirror 60 is desirably about 0.3% from the viewpoint of preventing an oscillation phenomenon.

サーバ50は、ビデオカメラ20及びプロジェクタ40の動作を制御すると共に、ネットワーク300を介して端末100との間で各種情報を授受する。   The server 50 controls the operations of the video camera 20 and the projector 40 and exchanges various information with the terminal 100 via the network 300.

より詳しくは、図2に示すように、ビデオカメラ20を制御する撮像部51と、ビデオカメラ20によって撮像された撮像画像を端末100に送信する画像送信部52とを備える。また、サーバ50は、端末100からの描画指示等を受信する受信部53と、プロジェクタ40を制御し、プロジェクタ40にアノテーション画像ANを投影させ得る投影部54とを備える。さらに、端末100からの描画指示に対して所要の処理を行う描画指示処理部55を備える。   More specifically, as shown in FIG. 2, an imaging unit 51 that controls the video camera 20 and an image transmission unit 52 that transmits a captured image captured by the video camera 20 to the terminal 100 are provided. In addition, the server 50 includes a receiving unit 53 that receives a drawing instruction or the like from the terminal 100, and a projection unit 54 that controls the projector 40 and can project the annotation image AN on the projector 40. Furthermore, a drawing instruction processing unit 55 that performs necessary processing in response to a drawing instruction from the terminal 100 is provided.

したがって、サーバ50は、ビデオカメラ20が撮像した撮像画像を端末100へ送信すると共に、端末100でなされた撮像画像に基づく指示に応じたアノテーション画像ANをプロジェクタ40により対象物200へ投影させる。   Therefore, the server 50 transmits the captured image captured by the video camera 20 to the terminal 100 and causes the projector 40 to project the annotation image AN corresponding to the instruction based on the captured image made by the terminal 100 onto the target object 200.

端末100は、液晶ディスプレイやCRTディスプレイ等からなる表示装置110、ネットワーク300に接続されたコンピュータ120、コンピュータ120に接続されたポインティングデバイス(マウス)130、視線検出手段としての視線検出装置140等から構成される。端末100は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。   The terminal 100 includes a display device 110 such as a liquid crystal display or a CRT display, a computer 120 connected to the network 300, a pointing device (mouse) 130 connected to the computer 120, a gaze detection device 140 as a gaze detection means, and the like. Is done. The terminal 100 corresponds to, for example, a so-called personal computer or mobile phone of a notebook type or a desktop type.

表示装置110は、その表示画面に対象物側装置10から送信される画像を表示する。
ポインティングデバイス130は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物200へ投影するアノテーション画像ANに関する指示を形成するのに用いられる。
The display device 110 displays an image transmitted from the object side device 10 on the display screen.
The pointing device 130 is used to form an instruction related to the annotation image AN to be projected onto the object 200 by operating various buttons with a pointer on the display screen on which the captured image is displayed.

視線検出装置140は、例えばCCDカメラ等で構成される。視線検出装置140は、利用者の視線、例えば眼球の動き等を検出し、利用者が表示装置110の表示画面上のどの位置を見ているか判断し、判断結果を2次元座標値の視線位置情報として出力する。視線検出装置140としては、例えば竹井機器工業株式会社で製造されるTalkEye2や株式会社ナックイメージテクノロジーで製造されるアイマークレコーダ等がある。   The line-of-sight detection device 140 is constituted by a CCD camera or the like, for example. The line-of-sight detection device 140 detects the user's line of sight, for example, the movement of the eyeball, etc., determines which position the user is viewing on the display screen of the display device 110, and determines the determination result as the line-of-sight position of the two-dimensional coordinate value. Output as information. Examples of the line-of-sight detection device 140 include TalkEye 2 manufactured by Takei Kikai Kogyo Co., Ltd. and an eye mark recorder manufactured by Nak Image Technology Co., Ltd.

尚、上述したサーバ50やコンピュータ120は、いわゆるコンピュータ、すなわち、図3に示すように、CPU等の処理装置50(120)a、SRAM(Static Random Access Memory)、DRAM(Dynamic RAM)やSDRAM(Synchronous DRAM)、NVRAM(Non Volatile RAM)等のRAM50(120)b、フラッシュメモリ等のROM(Read Only Memory)50(120)c及び入出力を制御するI/F50(120)dがバス50(120)eにより接続されたハードウェア構成により実現される。   Note that the server 50 and the computer 120 described above are so-called computers, that is, as shown in FIG. 3, a processing device 50 (120) a such as a CPU, an SRAM (Static Random Access Memory), a DRAM (Dynamic RAM), an SDRAM ( Synchronous DRAM), RAM 50 (120) b such as NVRAM (Non Volatile RAM), ROM (Read Only Memory) 50 (120) c such as flash memory, and I / F 50 (120) d for controlling input / output are bus 50 ( 120) Implemented by the hardware configuration connected by e.

したがって、CPU50(120)aがRAM50(120)bやROM50(120)c等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス50(120)eにハードディスクを接続するようにしてもよい。   Therefore, the CPU 50 (120) a reads the required program stored in the storage device such as the RAM 50 (120) b or the ROM 50 (120) c, and performs the operation according to the program, thereby realizing the function of each device. Is done. In addition, as such a program, it can be set as the program according to the flowchart mentioned later. Further, if necessary, a hard disk may be connected to the bus 50 (120) e.

次に、上記構成の指示システムの動作について図4から図6を参照して説明する。
図4は対象物側装置10のサーバ50における処理の一例を示すフローチャート、図5は端末100のコンピュータ120における像形成における処理の一例を示すフローチャート、図6は端末100側の操作の一例を説明するための図である。
Next, the operation of the instruction system configured as described above will be described with reference to FIGS.
4 is a flowchart showing an example of processing in the server 50 of the object side device 10, FIG. 5 is a flowchart showing an example of processing in image formation in the computer 120 of the terminal 100, and FIG. 6 explains an example of operation on the terminal 100 side. It is a figure for doing.

まず、サーバ50の動作について説明する。
対象物側装置10側のサーバ50は、図4に示すように、まず、ビデオカメラ20の撮像画像の取り込みを開始し(ステップS11)、端末100のコンピュータ120から接続要求があるかを判断する(ステップS12)。そして、サーバ50は、コンピュータ120からの接続要求がある場合には、ビデオカメラ20の撮像画像をネットワーク300を通じて端末100のコンピュータ120へ送信する(ステップS13)。
First, the operation of the server 50 will be described.
As shown in FIG. 4, the server 50 on the object side device 10 side first starts capturing an image captured by the video camera 20 (step S <b> 11), and determines whether there is a connection request from the computer 120 of the terminal 100. (Step S12). Then, when there is a connection request from the computer 120, the server 50 transmits the captured image of the video camera 20 to the computer 120 of the terminal 100 through the network 300 (step S13).

サーバ50は、次いで、コンピュータ120から描画指示の送信があるか否かを判断する(ステップS14)。この描画指示は、アノテーション画像ANの描画に関する情報である。サーバ50は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う(ステップS15)。描画指示に対する処理としては、例えば、プロジェクタ40を制御して、描画指示に応じたアノテーション画像ANの投影させること等がある。   Next, the server 50 determines whether or not a drawing instruction is transmitted from the computer 120 (step S14). This drawing instruction is information relating to the drawing of the annotation image AN. When receiving the drawing instruction, the server 50 performs a drawing instruction process according to the contents of the drawing instruction (step S15). As processing for the drawing instruction, for example, the projector 40 is controlled to project the annotation image AN in accordance with the drawing instruction.

一方、サーバ50は、上記の描画指示を受信しない場合には、コンピュータ120から切断要求があるかを判断し(ステップS16)、切断要求が無い場合には、ステップS13に戻って新たな撮像画像等をネットワーク300を通じて端末100のコンピュータ120へ送信し、切断要求があった場合には、ビデオカメラ20の撮像画像の送信を停止する(ステップS17)。そして、サーバ50は、処理の終了要求があるかを判断し(ステップS18)、終了要求がない場合には、ステップS12に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。   On the other hand, if the server 50 does not receive the drawing instruction, the server 50 determines whether there is a disconnection request from the computer 120 (step S16). If there is no disconnection request, the server 50 returns to step S13 to obtain a new captured image. Are transmitted to the computer 120 of the terminal 100 through the network 300, and when there is a disconnection request, the transmission of the captured image of the video camera 20 is stopped (step S17). Then, the server 50 determines whether or not there is a process end request (step S18). If there is no end request, the server 50 returns to step S12 and repeats the above process. finish.

次に、端末100の動作について説明する。
端末100のコンピュータ120は、図5に示すように、サーバ50に対して接続要求を行う(ステップS21)。次いで、コンピュータ120は、接続が完了した後、例えば、図6に示すように、対象物側のサーバ50から送信される撮像画像111aを表示装置110の表示画面111に表示する(ステップS22)。
Next, the operation of the terminal 100 will be described.
As shown in FIG. 5, the computer 120 of the terminal 100 makes a connection request to the server 50 (step S21). Next, after the connection is completed, the computer 120 displays the captured image 111a transmitted from the server 50 on the object side on the display screen 111 of the display device 110, for example, as shown in FIG. 6 (step S22).

次いで、コンピュータ120は、表示装置110の表示画面111に表示した撮像画像111aに対する利用者からの注目領域ARの指示があるかを判断し(ステップS23)、注目領域ARの指示がある場合には、指示に応じた処理を行う(ステップS24)。   Next, the computer 120 determines whether there is an instruction for the attention area AR from the user for the captured image 111a displayed on the display screen 111 of the display device 110 (step S23). Then, processing according to the instruction is performed (step S24).

具体的には、端末100の操作者は、図6に示すような表示装置110の表示画面111内の撮像画像111aを見ながら、表示されている撮像画像111aにアノテーション画像ANを投影したい領域がある場合には、ポインティングデバイス130を操作して表示画面111上のポインタPtを移動させながら注目領域ARを指示する。注目領域ARは、アノテーション画像ANを投影する投影位置を規定する領域である。このとき、同時に、注目領域ARに投影するアノテーション画像ANに関する情報を指示する。   Specifically, the operator of the terminal 100 sees the captured image 111a in the display screen 111 of the display device 110 as shown in FIG. In some cases, the pointing area 130 is operated to indicate the attention area AR while moving the pointer Pt on the display screen 111. The attention area AR is an area that defines a projection position at which the annotation image AN is projected. At this time, information on the annotation image AN to be projected onto the attention area AR is instructed at the same time.

例えば、ポインティングデバイス130を用いて表示画面111上に形成された各種ボタンBT等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス130の動作を反映するポインタ自体等である。そして、コンピュータ120は、ステップS24で特定された各種情報を描画指示としてサーバ50へ伝送する(ステップS25)。   For example, by operating various buttons BT formed on the display screen 111 using the pointing device 130, graphic information such as a drawn rectangle or circle, a bitmap image prepared in advance, a keyboard, etc. Text information, pointers that reflect the operation of the pointing device 130, and the like. Then, the computer 120 transmits the various types of information specified in step S24 to the server 50 as a drawing instruction (step S25).

次いで、コンピュータ120は、端末100でなされたビデオカメラ20の撮像画像に基づく操作者による指示が完了したかを判断し(ステップS26)、終了した場合には、サーバ50に対して切断要求を行い(ステップS27)、処理を終了する。端末100の利用者による指示操作が終了していない場合には、ステップS22に戻って上記の処理を繰り返す。   Next, the computer 120 determines whether the instruction by the operator based on the captured image of the video camera 20 made at the terminal 100 is completed (step S26), and when finished, makes a disconnection request to the server 50. (Step S27), the process ends. If the instruction operation by the user of the terminal 100 has not ended, the process returns to step S22 and the above processing is repeated.

次に、本発明の特徴となる視線検出機能について図7から図10を参照して説明する。
図7はコンピュータ120における視線検出処理の一例を示すフローチャート、図8は利用者の視線の検出を説明するための図、図9はサーバ50におけるプロジェクタ40に対する投影処理の一例を示すフローチャート、図10は投影結果の一例である。
Next, the line-of-sight detection function, which is a feature of the present invention, will be described with reference to FIGS.
FIG. 7 is a flowchart illustrating an example of a line-of-sight detection process in the computer 120, FIG. 8 is a diagram for explaining detection of a user's line of sight, FIG. 9 is a flowchart illustrating an example of a projection process for the projector 40 in the server 50, and FIG. Is an example of a projection result.

尚、図7に示すフローチャートは、図5に示すコンピュータ120の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップS22の処理とステップS23の処理の間に含めることができる。また、図9に示すフローチャートは、図4に示すサーバ50の動作の一例を示すフローチャートに含めることができ、望ましくは、望ましくは、ステップS13の処理とステップS14の処理の間に含めることができる。   The flowchart shown in FIG. 7 can be included in the flowchart showing an example of the operation of the computer 120 shown in FIG. 5, and can be included preferably between the process of step S22 and the process of step S23. Further, the flowchart shown in FIG. 9 can be included in the flowchart showing an example of the operation of the server 50 shown in FIG. 4, and can be preferably included between the process of step S13 and the process of step S14. .

まず、コンピュータ120の動作について図7及び図8を参照して説明する。
コンピュータ120は、図7に示すように、利用者の視線を検出したか否かについて判定する(ステップS31)。利用者の視線Eの検出は、図8に示すように、視線検出装置140を介して行われる。
First, the operation of the computer 120 will be described with reference to FIGS.
As shown in FIG. 7, the computer 120 determines whether or not the user's line of sight has been detected (step S31). The user's line of sight E is detected via a line-of-sight detection device 140 as shown in FIG.

視線検出装置140は、例えば電源が入れられると、利用者を撮像し、望ましくは、利用者の頭部を撮像する。このため、利用者は視線検出装置140の撮像領域内にいることが好ましい。視線検出装置140は、その撮像画像をコンピュータ120に常時送信する。コンピュータ120は、その撮像画像を受信し、撮像画像内に利用者の眼球が含まれるか否かを判定する。そして、撮像画像内に眼球が含まれた場合に、コンピュータ120は視線を検出したと判定する。   For example, when the power is turned on, the line-of-sight detection device 140 images the user, and preferably images the user's head. For this reason, it is preferable that the user is in the imaging region of the line-of-sight detection device 140. The line-of-sight detection device 140 always transmits the captured image to the computer 120. The computer 120 receives the captured image and determines whether or not the user's eyeball is included in the captured image. When the eyeball is included in the captured image, the computer 120 determines that the line of sight has been detected.

コンピュータ120は、次いで、複数の撮像画像に基づいて、利用者の眼球の動きを解析し、視線位置情報を算出する(ステップS32)。視線位置情報は、表示画面111内の2次元座標の集合として表される。   Next, the computer 120 analyzes the movement of the user's eyeball based on the plurality of captured images, and calculates line-of-sight position information (step S32). The line-of-sight position information is represented as a set of two-dimensional coordinates in the display screen 111.

例えば、表示画面111内の視線の軌跡TRは、表示画面111の四隅のいずれかを原点として、(x1,y1)、(x2,y2)、・・・、(xn,yn)を結ぶ輝点の連続線として表される。これらの座標群は、平面としての表示装置110と視線Eとの交点によって特定される。そして、視線Eの方向は、撮像画像内の眼球、特に虹彩の上下左右の向きに基づいて例えば方向ベクトル等として特定される。   For example, the trajectory TR of the line of sight in the display screen 111 is a bright spot connecting (x1, y1), (x2, y2),..., (Xn, yn) with one of the four corners of the display screen 111 as the origin. Represented as a continuous line. These coordinate groups are specified by the intersection of the display device 110 as a plane and the line of sight E. The direction of the line of sight E is specified as, for example, a direction vector based on the eyeballs in the captured image, in particular, the vertical and horizontal directions of the iris.

コンピュータ120は、視線位置情報を算出すると、この視線位置情報をサーバ50に向けて送信する(ステップS33)。   When calculating the line-of-sight position information, the computer 120 transmits the line-of-sight position information to the server 50 (step S33).

次に、サーバ50の動作について図9及び図10を参照して説明する。
サーバ50は、図9に示すように、視線位置情報の受信があったか否かを判定する(ステップS41)。視線位置情報の受信がない場合には、後続の処理を行わない。
Next, the operation of the server 50 will be described with reference to FIGS.
As shown in FIG. 9, the server 50 determines whether or not the line-of-sight position information has been received (step S41). When the line-of-sight position information is not received, subsequent processing is not performed.

サーバ50は、視線位置情報の受信があったと判定した場合には、次いで、視線位置情報に応じたプロジェクタ40の投影制御を行う(ステップS42)。例えば、サーバ50は、ビデオカメラ20による撮像画像と受信した視線位置情報とを対応付けて、プロジェクタ40が対象物200に投影すべき画像の投影画像情報を算出する。したがって、プロジェクタ40は、この投影画像情報に基づいて、図10に示すように、対象物200に視線画像IMを投影する。   If it is determined that the line-of-sight position information has been received, the server 50 then performs projection control of the projector 40 according to the line-of-sight position information (step S42). For example, the server 50 associates the image captured by the video camera 20 with the received line-of-sight position information, and calculates projection image information of an image that the projector 40 should project onto the object 200. Therefore, the projector 40 projects the line-of-sight image IM on the object 200 based on the projection image information as shown in FIG.

尚、視線画像IMが投影された対象物200は、ビデオカメラ20によって撮像されて、その撮像画像がサーバ50を介して端末100のコンピュータ120に送信される。この結果、コンピュータ120は、表示装置110に視線画像IMが投影された対象物200の撮像画像を表示させる。これにより、例えば図8に示すように、端末100側の利用者は自身が視線を向けている位置を理解する。   The object 200 onto which the line-of-sight image IM is projected is captured by the video camera 20 and the captured image is transmitted to the computer 120 of the terminal 100 via the server 50. As a result, the computer 120 causes the display device 110 to display a captured image of the object 200 on which the line-of-sight image IM is projected. Thereby, as shown in FIG. 8, for example, the user on the terminal 100 side understands the position where the user is directing his / her line of sight.

(第2実施形態)
続いて、本発明の第2実施形態に係る指示システムについて説明する。
図11は第2実施形態に係るサーバ50の要部構成を示す機能ブロック図である。尚、図2に示されるサーバ50の各機能と同様の構成には同一符号を付し、その説明を省略する。
(Second Embodiment)
Subsequently, an instruction system according to a second embodiment of the present invention will be described.
FIG. 11 is a functional block diagram showing the main configuration of the server 50 according to the second embodiment. In addition, the same code | symbol is attached | subjected to the structure similar to each function of the server 50 shown by FIG. 2, and the description is abbreviate | omitted.

第1実施形態に係る指示システムは、端末100側の利用者の視線に応じた視線画像IMを対象物200に投影させたが、第2実施形態に係る指示システムは、対象物200側の利用者の視線に応じた視線画像IMを投影させる点で相違する。   In the instruction system according to the first embodiment, the line-of-sight image IM corresponding to the line of sight of the user on the terminal 100 side is projected onto the object 200, but the instruction system according to the second embodiment is used on the object 200 side. The point of difference is that a line-of-sight image IM corresponding to the person's line of sight is projected.

また、これに伴い、第2実施形態に係るサーバ50は、照射方向算出部56を含む点及び撮像部51が投影部53を制御する点で第1実施形態に係るサーバ50と相違する。照射方向算出部56は、受信部54が受信した視点情報及び視野情報に基づき、後述する光線照射装置の照射方向を算出する。   Accordingly, the server 50 according to the second embodiment differs from the server 50 according to the first embodiment in that the server 50 according to the second embodiment includes the irradiation direction calculation unit 56 and the imaging unit 51 controls the projection unit 53. The irradiation direction calculation unit 56 calculates the irradiation direction of the light beam irradiation apparatus to be described later based on the viewpoint information and visual field information received by the reception unit 54.

次に、本実施形態に係るサーバ50の動作について図12から図16を参照して説明する。
図12は本実施形態に係るサーバ50の動作の一例を示すフローチャート、図13は利用者の視線の投影を説明するための図、図14は視線計測装置141の斜視図、図15は視点情報及び視野情報を説明するための図、図16は表示装置110における表示画面111の一例である。
Next, the operation of the server 50 according to the present embodiment will be described with reference to FIGS.
12 is a flowchart showing an example of the operation of the server 50 according to the present embodiment, FIG. 13 is a diagram for explaining the projection of the user's line of sight, FIG. 14 is a perspective view of the line-of-sight measuring device 141, and FIG. FIG. 16 is an example of the display screen 111 in the display device 110. FIG.

サーバ50は、図12に示すように、まず、視点情報及び視野情報を受信したか否かを判定する(ステップS51)。視点情報及び視野情報は、視線検出手段としての視線計測装置141から送信される。   As shown in FIG. 12, the server 50 first determines whether or not viewpoint information and visual field information have been received (step S51). The viewpoint information and the visual field information are transmitted from the line-of-sight measurement device 141 as the line-of-sight detection means.

視線計測装置141は、図13に示すように、眼鏡型の形状をしている。利用者は眼鏡をかけるようにして視線計測装置141を取り扱う。より詳しくは、視線計測装置141は、図14に示すように、例えばCCDカメラや赤外線出力装置等で構成されるアイカメラ141a、CCDカメラで構成される視野カメラ141b、照射手段としての光線照射装置141c及びコード141d等から構成される。   The line-of-sight measurement device 141 has a glasses-like shape as shown in FIG. The user handles the eye gaze measuring device 141 as if wearing glasses. More specifically, as shown in FIG. 14, the line-of-sight measurement device 141 includes, for example, an eye camera 141a configured by a CCD camera, an infrared output device, and the like, a field-of-view camera 141b configured by a CCD camera, and a light beam irradiation device as an irradiation unit. 141c and code 141d.

アイカメラ141aは、赤外線出力装置により眼球に対し微弱な赤外線を照射する。この結果、角膜や水晶の屈折面に光源の反射像(プルキンエ・サンソン像)が生じる。アイカメラ141aはこの反射像及び瞳孔をCCDカメラにより撮像し、これらの位置関係から眼球運動を算出し、視点情報として出力する。尚、精度向上の観点から両目側につける方が望ましい。   The eye camera 141a irradiates the eyeball with weak infrared rays by an infrared output device. As a result, a reflected image (Purkinje-Sanson image) of the light source is generated on the refracting surface of the cornea or quartz. The eye camera 141a captures the reflected image and the pupil with a CCD camera, calculates eye movements from these positional relationships, and outputs them as viewpoint information. In addition, it is desirable to attach to both eyes from the viewpoint of improving accuracy.

視野カメラ141bは、利用者の視野に相当する画像を撮像し、視野情報として出力する。
光線照射装置141cは、例えばレーザ光線等の光線を照射する。そして、視点情報及び視野情報に応じて算出された方向情報に基づいて照射方向が調整される。
コード141dは、視線計測装置141とサーバ50とを接続し、視点情報、視野情報及び方向情報等の各種情報を通信する。尚、コード141dに代えて、赤外線等の無線通信等を利用してもよい。
The visual field camera 141b captures an image corresponding to the visual field of the user and outputs it as visual field information.
The light beam irradiation device 141c irradiates light beams such as laser beams. Then, the irradiation direction is adjusted based on the direction information calculated according to the viewpoint information and the visual field information.
The code 141d connects the line-of-sight measurement device 141 and the server 50, and communicates various information such as viewpoint information, visual field information, and direction information. In place of the code 141d, wireless communication such as infrared rays may be used.

サーバ50は、図12に示すように、視線計測装置141から視点情報及び視野情報を受信したと判定した場合には、これらの情報に基づき、光線照射装置141cの照射方向を決定付ける方向情報を算出する(ステップS52)。   When the server 50 determines that the viewpoint information and the visual field information are received from the line-of-sight measurement device 141, as shown in FIG. 12, based on these pieces of information, the server 50 determines direction information that determines the irradiation direction of the light beam irradiation device 141c. Calculate (step S52).

具体的には、図15に示すように、視野情報に相当する視野画像Fの中心を原点Oとし、受信した視点情報を視点情報A(r,θ)とする。rは原点Oからの距離、θはx軸となす角度を示す。尚、極座標系に代えて、視点情報を(x,y)形式で示す直交座標系を利用してもよい。そして、光線照射装置141cから出力される光線Lが視点情報Aを通過する方向ベクトルを方向情報として算出する。   Specifically, as shown in FIG. 15, the center of the field-of-view image F corresponding to the field-of-view information is the origin O, and the received viewpoint information is the viewpoint information A (r, θ). r represents the distance from the origin O, and θ represents the angle formed with the x-axis. Instead of the polar coordinate system, an orthogonal coordinate system indicating the viewpoint information in the (x, y) format may be used. Then, a direction vector in which the light beam L output from the light beam irradiation device 141c passes the viewpoint information A is calculated as direction information.

サーバ50は、次いで、方向情報に基づき、光線照射装置141cの照射方向を制御する(ステップS53)。すなわち、視線計測装置141による視点情報及び視野情報に算出された方向情報により、光線照射装置141cの照射方向が対応付いて動作する。これにより、視線計測装置141の光線照射装置141cは、図13に示すように、利用者の視線に沿うように光線Lを照射する。   Next, the server 50 controls the irradiation direction of the light beam irradiation device 141c based on the direction information (step S53). That is, the irradiation direction of the light beam irradiation device 141c operates in association with the direction information calculated as the viewpoint information and the visual field information by the line-of-sight measurement device 141. Thereby, the light beam irradiation device 141c of the line-of-sight measurement device 141 irradiates the light beam L along the user's line of sight as shown in FIG.

サーバ50は、次いで、ビデオカメラ20による撮像画像内に光点があるか否かを判定する(ステップS54)。すなわち、図13に示すように、利用者の視線が対象物200に向けられた場合には、光線Lが対象物200とぶつかり、対象物200上に光点が現れる。この光点が、撮像画像内の他の画像、例えば対象物200の画像やアノテーション画像ANに比して、輝度値が高い場合に、撮像画像内に光点があると判定する。尚、輝度値の高さは、所望の閾値により判定すればよい。   Next, the server 50 determines whether or not there is a light spot in the image captured by the video camera 20 (step S54). That is, as shown in FIG. 13, when the user's line of sight is directed toward the target object 200, the light beam L collides with the target object 200 and a light spot appears on the target object 200. When this light spot has a higher luminance value than other images in the captured image, for example, the image of the object 200 or the annotation image AN, it is determined that there is a light spot in the captured image. In addition, what is necessary is just to determine the height of a luminance value with a desired threshold value.

サーバ50は、光点があると判定した場合には、光点の軌跡を記憶装置等に保持する(ステップS55)。ビデオカメラ20は、対象物200や対象物200に投影されたアノテーション画像AN、光線照射装置141cによって付された光点等を常時撮像しており、これらの撮像画像に光点が含まれる場合には、その都度保持していく。   If the server 50 determines that there is a light spot, the server 50 holds the locus of the light spot in a storage device or the like (step S55). The video camera 20 always captures the object 200, the annotation image AN projected on the object 200, the light spot attached by the light irradiation device 141c, and the like, and when these captured images include a light spot. Keep holding each time.

サーバ50は、次いで、光点の軌跡に応じてプロジェクタ40の投影を制御する(ステップS56)。これにより、プロジェクタ40は、図13に示すように、光点の動きに沿った視線画像IMを対象物200に投影する。さらに、この撮像画像はコンピュータ120に送信される。この結果、図16に示すように、表示装置110には、撮像画像111a内に対象物200及びアノテーション画像ANに併せて、視線画像IMも表示される。これにより、端末100側の利用者は、対象物200側の利用者の視線が対象物200のどの位置に向けられているか把握できる。   Next, the server 50 controls the projection of the projector 40 according to the locus of the light spot (step S56). As a result, the projector 40 projects a line-of-sight image IM along the movement of the light spot onto the object 200 as shown in FIG. Further, this captured image is transmitted to the computer 120. As a result, as shown in FIG. 16, the line-of-sight image IM is also displayed on the display device 110 together with the object 200 and the annotation image AN in the captured image 111a. Thereby, the user on the terminal 100 side can grasp to which position of the object 200 the user's line of sight on the object 200 side is directed.

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。   The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to the specific embodiments according to the present invention, and various modifications are possible within the scope of the gist of the present invention described in the claims.・ Change is possible. For example, the program of the present invention can be provided not only by communication means but also stored in a recording medium such as a CD-ROM.

また、上述した第1実施形態及び第2実施形態において、サーバ50が、視線の軌跡をプロジェクタ40に投影させてから、所定の時間を経過した後に、視線の軌跡を消去するようにしてもよく、その際に、投影時間が長い視線の軌跡から徐々に消去するようにしてもよい。さらに、徐々に消去する場合には、消去されていく軌跡から色や明るさを変えつつ消去するようにしてもよい。   In the first embodiment and the second embodiment described above, the server 50 may delete the line of sight after a predetermined time has elapsed after the line of sight is projected on the projector 40. In this case, the line of sight line having a long projection time may be gradually erased. Furthermore, in the case of erasing gradually, the erasing locus may be erased while changing the color and brightness.

本発明によれば、端末側の利用者の視線を通じて遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。   According to the present invention, since the conversation between remote locations is smooth through the user's line of sight on the terminal side, industrial applicability is high.

指示システムの実施形態を示す構成図である。It is a block diagram which shows embodiment of an instruction | indication system. 第1実施形態に係るサーバの要部構成を示す機能ブロック図である。It is a functional block diagram which shows the principal part structure of the server which concerns on 1st Embodiment. サーバ等のハードウェア構成を示す機能ブロック図である。It is a functional block diagram which shows hardware constitutions, such as a server. 対象物側装置のサーバにおける処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in the server of the target side apparatus. 端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in the image formation in the computer of a terminal. 端末側の操作の一例を説明するための図である。It is a figure for demonstrating an example of operation by the side of a terminal. コンピュータにおける視線検出処理の一例を示すフローチャートである。It is a flowchart which shows an example of the gaze detection process in a computer. 利用者の視線の検出を説明するための図である。It is a figure for demonstrating the detection of a user's eyes | visual_axis. サーバにおけるプロジェクタに対する投影処理の一例を示すフローチャートである。It is a flowchart which shows an example of the projection process with respect to the projector in a server. 投影結果の一例である。It is an example of a projection result. 第2実施形態に係るサーバの要部構成を示す機能ブロック図である。It is a functional block diagram which shows the principal part structure of the server which concerns on 2nd Embodiment. サーバの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a server. 利用者の視線の投影を説明するための図である。It is a figure for demonstrating projection of a user's eyes | visual_axis. 視線計測装置の斜視図である。It is a perspective view of a gaze measuring device. 視点情報及び視野情報を説明するための図である。It is a figure for demonstrating viewpoint information and visual field information. 表示装置における表示画面の一例である。It is an example of the display screen in a display apparatus.

符号の説明Explanation of symbols

10 対象物側装置
20 ビデオカメラ
40 プロジェクタ
50 サーバ
50a CPU
50b RAM
50c ROM
50d I/F
50e バス
51 撮像部
52 画像送信部
53 受信部
54 投影部
55 描画指示処理部
56 照射方向算出部
60 ハーフミラー
100 端末
110 表示装置
111 表示画面
111a 撮像画像
120 コンピュータ
130 ポインティングデバイス
140 視線検出装置
141 視線計測装置
141a アイカメラ
141b 視野カメラ
141c 光線照射装置
141d コード
200 対象物
300 ネットワーク
AN アノテーション画像
AR 注目領域
Pt ポインタ
BT ボタン
TR 視線の軌跡
IM 視線画像
E 視線
L 光線
DESCRIPTION OF SYMBOLS 10 Object side apparatus 20 Video camera 40 Projector 50 Server 50a CPU
50b RAM
50c ROM
50d I / F
50e Bus 51 Imaging unit 52 Image transmission unit 53 Reception unit 54 Projection unit 55 Drawing instruction processing unit 56 Irradiation direction calculation unit 60 Half mirror 100 Terminal 110 Display device 111 Display screen 111a Captured image 120 Computer 130 Pointing device 140 Line of sight detection device 141 Line of sight Measuring device 141a Eye camera 141b Field of view camera 141c Light beam irradiation device 141d Code 200 Object 300 Network AN Annotation image AR Region of interest Pt Pointer BT Button TR Line of sight IM Line of sight E Line of sight L Light

Claims (7)

対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を前記投影手段により前記対象物に投影させることを特徴とする指示システム。
A captured image captured by an imaging unit that captures an object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the captured image made by the terminal can be projected onto the object by the projecting unit. Having control means,
The control unit causes the projection unit to project a locus of a line of sight based on a line-of-sight detection unit that detects a user's line of sight onto the object.
前記制御手段は、前記視線検出手段による検出結果に、該視線検出手段に形成された、光線を照射する照射手段の照射方向とを対応付けて動作させ、前記光線が前記対象物とぶつかることによって生じる光点の軌跡を前記視線の軌跡として前記投影手段により前記対象物に投影させることを特徴とする請求項1に記載の指示システム。   The control unit operates by associating the detection result of the line-of-sight detection unit with the irradiation direction of the irradiation unit that irradiates the light beam formed on the line-of-sight detection unit, and the light beam collides with the object. The pointing system according to claim 1, wherein a locus of a generated light spot is projected on the object by the projection unit as a locus of the line of sight. 前記制御手段は、前記視線の軌跡を投影させて、所定の時間を経過した後に、該視線の軌跡を消去することを特徴とする請求項1又は2に記載の指示システム。   3. The instruction system according to claim 1, wherein the control unit projects the line of sight and erases the line of sight after a predetermined time has elapsed. 前記制御手段は、投影時間が長い視線の軌跡から徐々に消去していくことを特徴とする請求項1から3のいずれか1項に記載の指示システム。   The instruction system according to any one of claims 1 to 3, wherein the control unit gradually erases from a locus of a line of sight having a long projection time. 前記制御手段は、投影時間が長い視線の軌跡から徐々に色を変えていくことを特徴とする請求項1から4のいずれか1項に記載の指示システム。   5. The instruction system according to claim 1, wherein the control unit gradually changes the color from a locus of a line of sight having a long projection time. コンピュータを、
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により前記対象物に投影させることを特徴とする指示プログラム。
Computer
A captured image captured by an imaging unit that captures an object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the captured image made by the terminal can be projected onto the object by the projecting unit. Function as a control means,
The control means causes the projection means to project the locus of the line of sight based on the line-of-sight detection means for detecting the user's line of sight onto the object.
対象物を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
利用者の視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づく視線の軌跡を前記投影手段により前記対象物に投影させる制御手段と、
を有することを特徴とする指示装置。


An imaging means for imaging an object;
A projecting unit that projects an annotation image representing an annotation in accordance with an instruction based on a captured image captured by the imaging unit onto the object;
Gaze detection means for detecting the gaze of the user;
Control means for projecting the locus of the line of sight based on the detection result of the line of sight detection means onto the object by the projection means;
A pointing device characterized by comprising:


JP2008034415A 2008-02-15 2008-02-15 Instruction system, instruction program, and instruction device Pending JP2009194697A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008034415A JP2009194697A (en) 2008-02-15 2008-02-15 Instruction system, instruction program, and instruction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008034415A JP2009194697A (en) 2008-02-15 2008-02-15 Instruction system, instruction program, and instruction device

Publications (1)

Publication Number Publication Date
JP2009194697A true JP2009194697A (en) 2009-08-27

Family

ID=41076302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008034415A Pending JP2009194697A (en) 2008-02-15 2008-02-15 Instruction system, instruction program, and instruction device

Country Status (1)

Country Link
JP (1) JP2009194697A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2818948A1 (en) 2013-06-27 2014-12-31 ABB Technology Ltd Method and data presenting device for assisting a remote user to provide instructions
WO2020049838A1 (en) * 2018-09-07 2020-03-12 ソニー株式会社 Information processing device, information processing method, and program
JP2020036953A (en) * 2019-11-20 2020-03-12 東芝エネルギーシステムズ株式会社 Particle beam irradiation apparatus, particle beam display method, and particle beam display program
JP2020154907A (en) * 2019-03-22 2020-09-24 株式会社システック Viewpoint position history management device
JP2022066265A (en) * 2017-06-09 2022-04-28 キヤノン株式会社 Imaging apparatus including line-of-sight detection function

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2818948A1 (en) 2013-06-27 2014-12-31 ABB Technology Ltd Method and data presenting device for assisting a remote user to provide instructions
US9829873B2 (en) 2013-06-27 2017-11-28 Abb Schweiz Ag Method and data presenting device for assisting a remote user to provide instructions
JP2022066265A (en) * 2017-06-09 2022-04-28 キヤノン株式会社 Imaging apparatus including line-of-sight detection function
JP7271749B2 (en) 2017-06-09 2023-05-11 キヤノン株式会社 Imaging device with line-of-sight detection function
WO2020049838A1 (en) * 2018-09-07 2020-03-12 ソニー株式会社 Information processing device, information processing method, and program
US11481179B2 (en) 2018-09-07 2022-10-25 Sony Corporation Information processing apparatus and information processing method
JP2020154907A (en) * 2019-03-22 2020-09-24 株式会社システック Viewpoint position history management device
JP2020036953A (en) * 2019-11-20 2020-03-12 東芝エネルギーシステムズ株式会社 Particle beam irradiation apparatus, particle beam display method, and particle beam display program

Similar Documents

Publication Publication Date Title
US11232639B2 (en) Rendering virtual objects in 3D environments
US8350896B2 (en) Terminal apparatus, display control method, and display control program
US10852828B1 (en) Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US10936874B1 (en) Controller gestures in virtual, augmented, and mixed reality (xR) applications
CN110362193B (en) Target tracking method and system assisted by hand or eye tracking
US7268781B2 (en) Image display control method
CN103092432B (en) The trigger control method of man-machine interactive operation instruction and system and laser beam emitting device
KR102079097B1 (en) Device and method for implementing augmented reality using transparent display
JP2010102215A (en) Display device, image processing method and computer program
US20220277484A1 (en) Software Engine Enabling Users to Interact Directly with a Screen Using a Camera
US20190362559A1 (en) Augmented reality method for displaying virtual object and terminal device therefor
JP5868128B2 (en) Information processing apparatus and control method thereof
JP2005174021A (en) Method and device for presenting information
JP2009194697A (en) Instruction system, instruction program, and instruction device
WO2013124901A1 (en) Optical-projection-type display apparatus, portable terminal, and program
JP2006276748A (en) Information presenting device, information presenting method, and computer program
JP2005341060A (en) Camera control apparatus
CN114286066A (en) Projection correction method, projection correction device, storage medium and projection equipment
US20210303251A1 (en) Display system, information processing device, display control method of display system
KR102330218B1 (en) Virtual reality education system and method for language training of disabled person
JP2004140845A (en) Projector
JP2010272078A (en) System, and control unit of electronic information board, and cursor control method
JP5571895B2 (en) Information display device
KR20200079748A (en) Virtual reality education system and method for language training of disabled person
JP2009200846A (en) Indication system, indication program and indication device