JP2009194697A - Instruction system, instruction program, and instruction device - Google Patents
Instruction system, instruction program, and instruction device Download PDFInfo
- Publication number
- JP2009194697A JP2009194697A JP2008034415A JP2008034415A JP2009194697A JP 2009194697 A JP2009194697 A JP 2009194697A JP 2008034415 A JP2008034415 A JP 2008034415A JP 2008034415 A JP2008034415 A JP 2008034415A JP 2009194697 A JP2009194697 A JP 2009194697A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- instruction
- unit
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、指示システム、指示プログラム及び指示装置に関する。 The present invention relates to an instruction system, an instruction program, and an instruction device.
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献1に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
In a conference system or the like, it is necessary to give various instructions such as instructions for work procedures from the terminal side to the real object side. As such a conference system capable of giving an instruction from the terminal side to the real object side, for example, as shown in
また、特許文献2では、投影機能を有するテレビ電話装置において、簡易な構成で利用者が相手側にある実物に対して指示や書込みが行える旨が開示されている。
Further,
ところで、上述した特許文献1や特許文献2に開示される技術では、対象物の指示位置は特定されるが、端末側や実物体側にいる利用者の視線が対象物のどの場所に向けられているか不明であり、利用者間の円滑な対話が阻害される可能性がある。
By the way, in the techniques disclosed in
本発明は、このような事情に鑑みてなされたものであり、端末側や実物体側の利用者の視線を通じて遠隔地間の円滑な対話を図り得る指示システム、指示プログラム及び指示装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an instruction system, an instruction program, and an instruction device that can facilitate a smooth dialogue between remote locations through the line of sight of a user on the terminal side or the real object side. With the goal.
請求項1に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示システムである。 According to the first aspect of the present invention, a captured image captured by an imaging unit that captures an object is transmitted to a terminal, and an annotation image representing an annotation according to an instruction based on the captured image made by the terminal is projected. Control means capable of projecting onto the object by the control means, and the control means is a pointing system characterized in that the projection means projects the locus of the line of sight based on the line of sight detection means for detecting the user's line of sight. .
請求項2に記載の発明は、請求項1に記載の発明において、制御手段は、視線検出手段による検出結果に、該視線検出手段に形成された、光線を照射する照射手段の照射方向とを対応付けて動作させ、光線が対象物とぶつかることによって生じる光点の軌跡を視線の軌跡として投影手段により対象物に投影させることを特徴としている。 According to a second aspect of the present invention, in the first aspect of the invention, the control means determines the irradiation direction of the irradiation means for irradiating the light beam formed in the visual line detection means, on the detection result by the visual line detection means. The projector is operated in association with each other, and the projection of the light spot caused by the collision of the light beam with the object is projected onto the object by the projection unit as the locus of the line of sight.
請求項3に記載の発明は、請求項1又は2に記載の発明において、制御手段は、視線の軌跡を投影させて、所定の時間を経過した後に、該視線の軌跡を消去することを特徴としている。
The invention according to
請求項4に記載の発明は、請求項1から3のいずれか1項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に消去していくことを特徴としている。
The invention described in
請求項5に記載の発明は、請求項1から4のいずれか1項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に色を変えていくことを特徴としている。
The invention according to
請求項6に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示プログラムである。 According to the sixth aspect of the present invention, the computer transmits the captured image captured by the imaging unit that captures the object to the terminal, and the annotation image represents the annotation according to the instruction based on the captured image made by the terminal. The projection means projects a line-of-sight locus based on the line-of-sight detection means for detecting the user's line of sight onto the object by the projection means. It is a program.
請求項7に記載の発明は、対象物を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、利用者の視線を検出する視線検出手段と、視線検出手段の検出結果に基づく視線の軌跡を投影手段により対象物に投影させる制御手段と、を有することを特徴とする指示装置である。 According to a seventh aspect of the present invention, there is provided an imaging unit that images an object, a projection unit that projects an annotation image representing an annotation according to an instruction based on a captured image captured by the imaging unit, and a user's The pointing device includes: a line-of-sight detection unit that detects a line of sight; and a control unit that causes the projection unit to project a locus of the line of sight based on a detection result of the line-of-sight detection unit.
請求項1に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。 According to the first aspect of the present invention, a smooth dialogue between remote locations can be achieved through the line of sight of the user on the terminal side.
請求項2に記載の発明によれば、本構成を有していない場合に比較して、対象物側の利用者の視線を通じても遠隔地間の円滑な対話を図ることができる。 According to the second aspect of the present invention, it is possible to achieve a smooth dialogue between remote locations through the line of sight of the user on the object side as compared with the case where the present configuration is not provided.
請求項3に記載の発明によれば、本構成を有していない場合に比較して、視線の軌跡が投影され続ける煩わしさが抑制される。 According to the third aspect of the present invention, as compared with the case where the present configuration is not provided, the troublesomeness that the line-of-sight locus is continuously projected is suppressed.
請求項4に記載の発明によれば、本構成を有していない場合に比較して、直近の視線の位置が明らかになる。 According to the fourth aspect of the present invention, the position of the latest line of sight becomes clear as compared with the case where the present configuration is not provided.
請求項5に記載の発明によれば、本構成を有していない場合に比較して、消去されていく視線の軌跡の視認性が増す。
According to the invention described in
請求項6に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。 According to the sixth aspect of the present invention, it is possible to achieve a smooth dialogue between remote locations through the line of sight of the user on the terminal side.
請求項7に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。 According to the seventh aspect of the present invention, it is possible to achieve a smooth dialogue between remote locations through the line of sight of the user on the terminal side.
以下、本発明の実施形態について図面を参照して説明する。
(第1実施形態)
図1は本発明の第1実施形態に係る指示システムの構成図、図2はサーバ50の要部構成を示す機能ブロック図、図3はサーバ50のハードウェア構成を示す機能ブロック図である。
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a configuration diagram of an instruction system according to the first embodiment of the present invention, FIG. 2 is a functional block diagram illustrating a main configuration of the
この指示システムは、図1に示すように、対象物側装置10及び端末100等を備えており、対象物側装置10と端末100とはネットワーク300により相互に通信可能に接続されている。尚、図1においては、端末100を一台のみ示しているが、複数の端末100、101がネットワーク300を通じて対象物側装置10の後述するサーバ50へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、1つの筐体で覆われる等して1つの装置で構成されていてもよく、また、複数の装置から構成されていてもよい。
As shown in FIG. 1, the instruction system includes an object-side device 10 and a
対象物側装置10は、撮像手段としてのビデオカメラ20、投影手段としてのプロジェクタ40、制御手段としてのサーバ50及びハーフミラー60等から構成される。
The object side device 10 includes a video camera 20 as an imaging unit, a projector 40 as a projection unit, a
ビデオカメラ20は、例えばCCDカメラ等で構成される。ビデオカメラ20は、対象物200を撮像すると共に、その撮像画像の情報はサーバ50に取り込まれる。ビデオカメラ20は、ハーフミラー60を透過した画像を撮像する。
The video camera 20 is composed of, for example, a CCD camera. The video camera 20 captures an image of the
プロジェクタ40は、液晶プロジェクタ等で構成され、端末100でなされた撮像画像に基づく指示に応じた注釈画像AN(以下、アノテーション画像という。)を対象物200に投影する。また、プロジェクタ40は、その光学系が、ハーフミラー60によりビデオカメラ20と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ40とビデオカメラ20との光軸及び投影・撮像画角をそれぞれ一致させる。このプロジェクタ40は、サーバ50から送信されたアノテーション画像ANをその光学系を通じハーフミラー60を介して対象物200へ投影する。プロジェクタ40からのアノテーション画像ANは、ハーフミラー60で反射して対象物200へ投影される。尚、アノテーション画像ANには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー60の反射率は発振現象の防止の観点から0.3%程度であることが望ましい。
The projector 40 is configured by a liquid crystal projector or the like, and projects an annotation image AN (hereinafter referred to as an annotation image) corresponding to an instruction based on a captured image made by the
サーバ50は、ビデオカメラ20及びプロジェクタ40の動作を制御すると共に、ネットワーク300を介して端末100との間で各種情報を授受する。
The
より詳しくは、図2に示すように、ビデオカメラ20を制御する撮像部51と、ビデオカメラ20によって撮像された撮像画像を端末100に送信する画像送信部52とを備える。また、サーバ50は、端末100からの描画指示等を受信する受信部53と、プロジェクタ40を制御し、プロジェクタ40にアノテーション画像ANを投影させ得る投影部54とを備える。さらに、端末100からの描画指示に対して所要の処理を行う描画指示処理部55を備える。
More specifically, as shown in FIG. 2, an imaging unit 51 that controls the video camera 20 and an
したがって、サーバ50は、ビデオカメラ20が撮像した撮像画像を端末100へ送信すると共に、端末100でなされた撮像画像に基づく指示に応じたアノテーション画像ANをプロジェクタ40により対象物200へ投影させる。
Therefore, the
端末100は、液晶ディスプレイやCRTディスプレイ等からなる表示装置110、ネットワーク300に接続されたコンピュータ120、コンピュータ120に接続されたポインティングデバイス(マウス)130、視線検出手段としての視線検出装置140等から構成される。端末100は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。
The
表示装置110は、その表示画面に対象物側装置10から送信される画像を表示する。
ポインティングデバイス130は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物200へ投影するアノテーション画像ANに関する指示を形成するのに用いられる。
The
The pointing device 130 is used to form an instruction related to the annotation image AN to be projected onto the
視線検出装置140は、例えばCCDカメラ等で構成される。視線検出装置140は、利用者の視線、例えば眼球の動き等を検出し、利用者が表示装置110の表示画面上のどの位置を見ているか判断し、判断結果を2次元座標値の視線位置情報として出力する。視線検出装置140としては、例えば竹井機器工業株式会社で製造されるTalkEye2や株式会社ナックイメージテクノロジーで製造されるアイマークレコーダ等がある。
The line-of-
尚、上述したサーバ50やコンピュータ120は、いわゆるコンピュータ、すなわち、図3に示すように、CPU等の処理装置50(120)a、SRAM(Static Random Access Memory)、DRAM(Dynamic RAM)やSDRAM(Synchronous DRAM)、NVRAM(Non Volatile RAM)等のRAM50(120)b、フラッシュメモリ等のROM(Read Only Memory)50(120)c及び入出力を制御するI/F50(120)dがバス50(120)eにより接続されたハードウェア構成により実現される。
Note that the
したがって、CPU50(120)aがRAM50(120)bやROM50(120)c等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス50(120)eにハードディスクを接続するようにしてもよい。 Therefore, the CPU 50 (120) a reads the required program stored in the storage device such as the RAM 50 (120) b or the ROM 50 (120) c, and performs the operation according to the program, thereby realizing the function of each device. Is done. In addition, as such a program, it can be set as the program according to the flowchart mentioned later. Further, if necessary, a hard disk may be connected to the bus 50 (120) e.
次に、上記構成の指示システムの動作について図4から図6を参照して説明する。
図4は対象物側装置10のサーバ50における処理の一例を示すフローチャート、図5は端末100のコンピュータ120における像形成における処理の一例を示すフローチャート、図6は端末100側の操作の一例を説明するための図である。
Next, the operation of the instruction system configured as described above will be described with reference to FIGS.
4 is a flowchart showing an example of processing in the
まず、サーバ50の動作について説明する。
対象物側装置10側のサーバ50は、図4に示すように、まず、ビデオカメラ20の撮像画像の取り込みを開始し(ステップS11)、端末100のコンピュータ120から接続要求があるかを判断する(ステップS12)。そして、サーバ50は、コンピュータ120からの接続要求がある場合には、ビデオカメラ20の撮像画像をネットワーク300を通じて端末100のコンピュータ120へ送信する(ステップS13)。
First, the operation of the
As shown in FIG. 4, the
サーバ50は、次いで、コンピュータ120から描画指示の送信があるか否かを判断する(ステップS14)。この描画指示は、アノテーション画像ANの描画に関する情報である。サーバ50は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う(ステップS15)。描画指示に対する処理としては、例えば、プロジェクタ40を制御して、描画指示に応じたアノテーション画像ANの投影させること等がある。
Next, the
一方、サーバ50は、上記の描画指示を受信しない場合には、コンピュータ120から切断要求があるかを判断し(ステップS16)、切断要求が無い場合には、ステップS13に戻って新たな撮像画像等をネットワーク300を通じて端末100のコンピュータ120へ送信し、切断要求があった場合には、ビデオカメラ20の撮像画像の送信を停止する(ステップS17)。そして、サーバ50は、処理の終了要求があるかを判断し(ステップS18)、終了要求がない場合には、ステップS12に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
On the other hand, if the
次に、端末100の動作について説明する。
端末100のコンピュータ120は、図5に示すように、サーバ50に対して接続要求を行う(ステップS21)。次いで、コンピュータ120は、接続が完了した後、例えば、図6に示すように、対象物側のサーバ50から送信される撮像画像111aを表示装置110の表示画面111に表示する(ステップS22)。
Next, the operation of the terminal 100 will be described.
As shown in FIG. 5, the
次いで、コンピュータ120は、表示装置110の表示画面111に表示した撮像画像111aに対する利用者からの注目領域ARの指示があるかを判断し(ステップS23)、注目領域ARの指示がある場合には、指示に応じた処理を行う(ステップS24)。
Next, the
具体的には、端末100の操作者は、図6に示すような表示装置110の表示画面111内の撮像画像111aを見ながら、表示されている撮像画像111aにアノテーション画像ANを投影したい領域がある場合には、ポインティングデバイス130を操作して表示画面111上のポインタPtを移動させながら注目領域ARを指示する。注目領域ARは、アノテーション画像ANを投影する投影位置を規定する領域である。このとき、同時に、注目領域ARに投影するアノテーション画像ANに関する情報を指示する。
Specifically, the operator of the terminal 100 sees the captured image 111a in the display screen 111 of the
例えば、ポインティングデバイス130を用いて表示画面111上に形成された各種ボタンBT等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス130の動作を反映するポインタ自体等である。そして、コンピュータ120は、ステップS24で特定された各種情報を描画指示としてサーバ50へ伝送する(ステップS25)。
For example, by operating various buttons BT formed on the display screen 111 using the pointing device 130, graphic information such as a drawn rectangle or circle, a bitmap image prepared in advance, a keyboard, etc. Text information, pointers that reflect the operation of the pointing device 130, and the like. Then, the
次いで、コンピュータ120は、端末100でなされたビデオカメラ20の撮像画像に基づく操作者による指示が完了したかを判断し(ステップS26)、終了した場合には、サーバ50に対して切断要求を行い(ステップS27)、処理を終了する。端末100の利用者による指示操作が終了していない場合には、ステップS22に戻って上記の処理を繰り返す。
Next, the
次に、本発明の特徴となる視線検出機能について図7から図10を参照して説明する。
図7はコンピュータ120における視線検出処理の一例を示すフローチャート、図8は利用者の視線の検出を説明するための図、図9はサーバ50におけるプロジェクタ40に対する投影処理の一例を示すフローチャート、図10は投影結果の一例である。
Next, the line-of-sight detection function, which is a feature of the present invention, will be described with reference to FIGS.
FIG. 7 is a flowchart illustrating an example of a line-of-sight detection process in the
尚、図7に示すフローチャートは、図5に示すコンピュータ120の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップS22の処理とステップS23の処理の間に含めることができる。また、図9に示すフローチャートは、図4に示すサーバ50の動作の一例を示すフローチャートに含めることができ、望ましくは、望ましくは、ステップS13の処理とステップS14の処理の間に含めることができる。
The flowchart shown in FIG. 7 can be included in the flowchart showing an example of the operation of the
まず、コンピュータ120の動作について図7及び図8を参照して説明する。
コンピュータ120は、図7に示すように、利用者の視線を検出したか否かについて判定する(ステップS31)。利用者の視線Eの検出は、図8に示すように、視線検出装置140を介して行われる。
First, the operation of the
As shown in FIG. 7, the
視線検出装置140は、例えば電源が入れられると、利用者を撮像し、望ましくは、利用者の頭部を撮像する。このため、利用者は視線検出装置140の撮像領域内にいることが好ましい。視線検出装置140は、その撮像画像をコンピュータ120に常時送信する。コンピュータ120は、その撮像画像を受信し、撮像画像内に利用者の眼球が含まれるか否かを判定する。そして、撮像画像内に眼球が含まれた場合に、コンピュータ120は視線を検出したと判定する。
For example, when the power is turned on, the line-of-
コンピュータ120は、次いで、複数の撮像画像に基づいて、利用者の眼球の動きを解析し、視線位置情報を算出する(ステップS32)。視線位置情報は、表示画面111内の2次元座標の集合として表される。
Next, the
例えば、表示画面111内の視線の軌跡TRは、表示画面111の四隅のいずれかを原点として、(x1,y1)、(x2,y2)、・・・、(xn,yn)を結ぶ輝点の連続線として表される。これらの座標群は、平面としての表示装置110と視線Eとの交点によって特定される。そして、視線Eの方向は、撮像画像内の眼球、特に虹彩の上下左右の向きに基づいて例えば方向ベクトル等として特定される。
For example, the trajectory TR of the line of sight in the display screen 111 is a bright spot connecting (x1, y1), (x2, y2),..., (Xn, yn) with one of the four corners of the display screen 111 as the origin. Represented as a continuous line. These coordinate groups are specified by the intersection of the
コンピュータ120は、視線位置情報を算出すると、この視線位置情報をサーバ50に向けて送信する(ステップS33)。
When calculating the line-of-sight position information, the
次に、サーバ50の動作について図9及び図10を参照して説明する。
サーバ50は、図9に示すように、視線位置情報の受信があったか否かを判定する(ステップS41)。視線位置情報の受信がない場合には、後続の処理を行わない。
Next, the operation of the
As shown in FIG. 9, the
サーバ50は、視線位置情報の受信があったと判定した場合には、次いで、視線位置情報に応じたプロジェクタ40の投影制御を行う(ステップS42)。例えば、サーバ50は、ビデオカメラ20による撮像画像と受信した視線位置情報とを対応付けて、プロジェクタ40が対象物200に投影すべき画像の投影画像情報を算出する。したがって、プロジェクタ40は、この投影画像情報に基づいて、図10に示すように、対象物200に視線画像IMを投影する。
If it is determined that the line-of-sight position information has been received, the
尚、視線画像IMが投影された対象物200は、ビデオカメラ20によって撮像されて、その撮像画像がサーバ50を介して端末100のコンピュータ120に送信される。この結果、コンピュータ120は、表示装置110に視線画像IMが投影された対象物200の撮像画像を表示させる。これにより、例えば図8に示すように、端末100側の利用者は自身が視線を向けている位置を理解する。
The
(第2実施形態)
続いて、本発明の第2実施形態に係る指示システムについて説明する。
図11は第2実施形態に係るサーバ50の要部構成を示す機能ブロック図である。尚、図2に示されるサーバ50の各機能と同様の構成には同一符号を付し、その説明を省略する。
(Second Embodiment)
Subsequently, an instruction system according to a second embodiment of the present invention will be described.
FIG. 11 is a functional block diagram showing the main configuration of the
第1実施形態に係る指示システムは、端末100側の利用者の視線に応じた視線画像IMを対象物200に投影させたが、第2実施形態に係る指示システムは、対象物200側の利用者の視線に応じた視線画像IMを投影させる点で相違する。
In the instruction system according to the first embodiment, the line-of-sight image IM corresponding to the line of sight of the user on the terminal 100 side is projected onto the
また、これに伴い、第2実施形態に係るサーバ50は、照射方向算出部56を含む点及び撮像部51が投影部53を制御する点で第1実施形態に係るサーバ50と相違する。照射方向算出部56は、受信部54が受信した視点情報及び視野情報に基づき、後述する光線照射装置の照射方向を算出する。
Accordingly, the
次に、本実施形態に係るサーバ50の動作について図12から図16を参照して説明する。
図12は本実施形態に係るサーバ50の動作の一例を示すフローチャート、図13は利用者の視線の投影を説明するための図、図14は視線計測装置141の斜視図、図15は視点情報及び視野情報を説明するための図、図16は表示装置110における表示画面111の一例である。
Next, the operation of the
12 is a flowchart showing an example of the operation of the
サーバ50は、図12に示すように、まず、視点情報及び視野情報を受信したか否かを判定する(ステップS51)。視点情報及び視野情報は、視線検出手段としての視線計測装置141から送信される。
As shown in FIG. 12, the
視線計測装置141は、図13に示すように、眼鏡型の形状をしている。利用者は眼鏡をかけるようにして視線計測装置141を取り扱う。より詳しくは、視線計測装置141は、図14に示すように、例えばCCDカメラや赤外線出力装置等で構成されるアイカメラ141a、CCDカメラで構成される視野カメラ141b、照射手段としての光線照射装置141c及びコード141d等から構成される。
The line-of-
アイカメラ141aは、赤外線出力装置により眼球に対し微弱な赤外線を照射する。この結果、角膜や水晶の屈折面に光源の反射像(プルキンエ・サンソン像)が生じる。アイカメラ141aはこの反射像及び瞳孔をCCDカメラにより撮像し、これらの位置関係から眼球運動を算出し、視点情報として出力する。尚、精度向上の観点から両目側につける方が望ましい。 The eye camera 141a irradiates the eyeball with weak infrared rays by an infrared output device. As a result, a reflected image (Purkinje-Sanson image) of the light source is generated on the refracting surface of the cornea or quartz. The eye camera 141a captures the reflected image and the pupil with a CCD camera, calculates eye movements from these positional relationships, and outputs them as viewpoint information. In addition, it is desirable to attach to both eyes from the viewpoint of improving accuracy.
視野カメラ141bは、利用者の視野に相当する画像を撮像し、視野情報として出力する。
光線照射装置141cは、例えばレーザ光線等の光線を照射する。そして、視点情報及び視野情報に応じて算出された方向情報に基づいて照射方向が調整される。
コード141dは、視線計測装置141とサーバ50とを接続し、視点情報、視野情報及び方向情報等の各種情報を通信する。尚、コード141dに代えて、赤外線等の無線通信等を利用してもよい。
The visual field camera 141b captures an image corresponding to the visual field of the user and outputs it as visual field information.
The light beam irradiation device 141c irradiates light beams such as laser beams. Then, the irradiation direction is adjusted based on the direction information calculated according to the viewpoint information and the visual field information.
The code 141d connects the line-of-
サーバ50は、図12に示すように、視線計測装置141から視点情報及び視野情報を受信したと判定した場合には、これらの情報に基づき、光線照射装置141cの照射方向を決定付ける方向情報を算出する(ステップS52)。
When the
具体的には、図15に示すように、視野情報に相当する視野画像Fの中心を原点Oとし、受信した視点情報を視点情報A(r,θ)とする。rは原点Oからの距離、θはx軸となす角度を示す。尚、極座標系に代えて、視点情報を(x,y)形式で示す直交座標系を利用してもよい。そして、光線照射装置141cから出力される光線Lが視点情報Aを通過する方向ベクトルを方向情報として算出する。 Specifically, as shown in FIG. 15, the center of the field-of-view image F corresponding to the field-of-view information is the origin O, and the received viewpoint information is the viewpoint information A (r, θ). r represents the distance from the origin O, and θ represents the angle formed with the x-axis. Instead of the polar coordinate system, an orthogonal coordinate system indicating the viewpoint information in the (x, y) format may be used. Then, a direction vector in which the light beam L output from the light beam irradiation device 141c passes the viewpoint information A is calculated as direction information.
サーバ50は、次いで、方向情報に基づき、光線照射装置141cの照射方向を制御する(ステップS53)。すなわち、視線計測装置141による視点情報及び視野情報に算出された方向情報により、光線照射装置141cの照射方向が対応付いて動作する。これにより、視線計測装置141の光線照射装置141cは、図13に示すように、利用者の視線に沿うように光線Lを照射する。
Next, the
サーバ50は、次いで、ビデオカメラ20による撮像画像内に光点があるか否かを判定する(ステップS54)。すなわち、図13に示すように、利用者の視線が対象物200に向けられた場合には、光線Lが対象物200とぶつかり、対象物200上に光点が現れる。この光点が、撮像画像内の他の画像、例えば対象物200の画像やアノテーション画像ANに比して、輝度値が高い場合に、撮像画像内に光点があると判定する。尚、輝度値の高さは、所望の閾値により判定すればよい。
Next, the
サーバ50は、光点があると判定した場合には、光点の軌跡を記憶装置等に保持する(ステップS55)。ビデオカメラ20は、対象物200や対象物200に投影されたアノテーション画像AN、光線照射装置141cによって付された光点等を常時撮像しており、これらの撮像画像に光点が含まれる場合には、その都度保持していく。
If the
サーバ50は、次いで、光点の軌跡に応じてプロジェクタ40の投影を制御する(ステップS56)。これにより、プロジェクタ40は、図13に示すように、光点の動きに沿った視線画像IMを対象物200に投影する。さらに、この撮像画像はコンピュータ120に送信される。この結果、図16に示すように、表示装置110には、撮像画像111a内に対象物200及びアノテーション画像ANに併せて、視線画像IMも表示される。これにより、端末100側の利用者は、対象物200側の利用者の視線が対象物200のどの位置に向けられているか把握できる。
Next, the
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to the specific embodiments according to the present invention, and various modifications are possible within the scope of the gist of the present invention described in the claims.・ Change is possible. For example, the program of the present invention can be provided not only by communication means but also stored in a recording medium such as a CD-ROM.
また、上述した第1実施形態及び第2実施形態において、サーバ50が、視線の軌跡をプロジェクタ40に投影させてから、所定の時間を経過した後に、視線の軌跡を消去するようにしてもよく、その際に、投影時間が長い視線の軌跡から徐々に消去するようにしてもよい。さらに、徐々に消去する場合には、消去されていく軌跡から色や明るさを変えつつ消去するようにしてもよい。
In the first embodiment and the second embodiment described above, the
本発明によれば、端末側の利用者の視線を通じて遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。 According to the present invention, since the conversation between remote locations is smooth through the user's line of sight on the terminal side, industrial applicability is high.
10 対象物側装置
20 ビデオカメラ
40 プロジェクタ
50 サーバ
50a CPU
50b RAM
50c ROM
50d I/F
50e バス
51 撮像部
52 画像送信部
53 受信部
54 投影部
55 描画指示処理部
56 照射方向算出部
60 ハーフミラー
100 端末
110 表示装置
111 表示画面
111a 撮像画像
120 コンピュータ
130 ポインティングデバイス
140 視線検出装置
141 視線計測装置
141a アイカメラ
141b 視野カメラ
141c 光線照射装置
141d コード
200 対象物
300 ネットワーク
AN アノテーション画像
AR 注目領域
Pt ポインタ
BT ボタン
TR 視線の軌跡
IM 視線画像
E 視線
L 光線
DESCRIPTION OF SYMBOLS 10 Object side apparatus 20 Video camera 40
50b RAM
50c ROM
50d I / F
50e Bus 51
Claims (7)
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を前記投影手段により前記対象物に投影させることを特徴とする指示システム。 A captured image captured by an imaging unit that captures an object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the captured image made by the terminal can be projected onto the object by the projecting unit. Having control means,
The control unit causes the projection unit to project a locus of a line of sight based on a line-of-sight detection unit that detects a user's line of sight onto the object.
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により前記対象物に投影させることを特徴とする指示プログラム。 Computer
A captured image captured by an imaging unit that captures an object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the captured image made by the terminal can be projected onto the object by the projecting unit. Function as a control means,
The control means causes the projection means to project the locus of the line of sight based on the line-of-sight detection means for detecting the user's line of sight onto the object.
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
利用者の視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づく視線の軌跡を前記投影手段により前記対象物に投影させる制御手段と、
を有することを特徴とする指示装置。
An imaging means for imaging an object;
A projecting unit that projects an annotation image representing an annotation in accordance with an instruction based on a captured image captured by the imaging unit onto the object;
Gaze detection means for detecting the gaze of the user;
Control means for projecting the locus of the line of sight based on the detection result of the line of sight detection means onto the object by the projection means;
A pointing device characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008034415A JP2009194697A (en) | 2008-02-15 | 2008-02-15 | Instruction system, instruction program, and instruction device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008034415A JP2009194697A (en) | 2008-02-15 | 2008-02-15 | Instruction system, instruction program, and instruction device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009194697A true JP2009194697A (en) | 2009-08-27 |
Family
ID=41076302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008034415A Pending JP2009194697A (en) | 2008-02-15 | 2008-02-15 | Instruction system, instruction program, and instruction device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009194697A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2818948A1 (en) | 2013-06-27 | 2014-12-31 | ABB Technology Ltd | Method and data presenting device for assisting a remote user to provide instructions |
WO2020049838A1 (en) * | 2018-09-07 | 2020-03-12 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2020036953A (en) * | 2019-11-20 | 2020-03-12 | 東芝エネルギーシステムズ株式会社 | Particle beam irradiation apparatus, particle beam display method, and particle beam display program |
JP2020154907A (en) * | 2019-03-22 | 2020-09-24 | 株式会社システック | Viewpoint position history management device |
JP2022066265A (en) * | 2017-06-09 | 2022-04-28 | キヤノン株式会社 | Imaging apparatus including line-of-sight detection function |
-
2008
- 2008-02-15 JP JP2008034415A patent/JP2009194697A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2818948A1 (en) | 2013-06-27 | 2014-12-31 | ABB Technology Ltd | Method and data presenting device for assisting a remote user to provide instructions |
US9829873B2 (en) | 2013-06-27 | 2017-11-28 | Abb Schweiz Ag | Method and data presenting device for assisting a remote user to provide instructions |
JP2022066265A (en) * | 2017-06-09 | 2022-04-28 | キヤノン株式会社 | Imaging apparatus including line-of-sight detection function |
JP7271749B2 (en) | 2017-06-09 | 2023-05-11 | キヤノン株式会社 | Imaging device with line-of-sight detection function |
WO2020049838A1 (en) * | 2018-09-07 | 2020-03-12 | ソニー株式会社 | Information processing device, information processing method, and program |
US11481179B2 (en) | 2018-09-07 | 2022-10-25 | Sony Corporation | Information processing apparatus and information processing method |
JP2020154907A (en) * | 2019-03-22 | 2020-09-24 | 株式会社システック | Viewpoint position history management device |
JP2020036953A (en) * | 2019-11-20 | 2020-03-12 | 東芝エネルギーシステムズ株式会社 | Particle beam irradiation apparatus, particle beam display method, and particle beam display program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11232639B2 (en) | Rendering virtual objects in 3D environments | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
US10852828B1 (en) | Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications | |
US10936874B1 (en) | Controller gestures in virtual, augmented, and mixed reality (xR) applications | |
CN110362193B (en) | Target tracking method and system assisted by hand or eye tracking | |
US7268781B2 (en) | Image display control method | |
CN103092432B (en) | The trigger control method of man-machine interactive operation instruction and system and laser beam emitting device | |
KR102079097B1 (en) | Device and method for implementing augmented reality using transparent display | |
JP2010102215A (en) | Display device, image processing method and computer program | |
US20220277484A1 (en) | Software Engine Enabling Users to Interact Directly with a Screen Using a Camera | |
US20190362559A1 (en) | Augmented reality method for displaying virtual object and terminal device therefor | |
JP5868128B2 (en) | Information processing apparatus and control method thereof | |
JP2005174021A (en) | Method and device for presenting information | |
JP2009194697A (en) | Instruction system, instruction program, and instruction device | |
WO2013124901A1 (en) | Optical-projection-type display apparatus, portable terminal, and program | |
JP2006276748A (en) | Information presenting device, information presenting method, and computer program | |
JP2005341060A (en) | Camera control apparatus | |
CN114286066A (en) | Projection correction method, projection correction device, storage medium and projection equipment | |
US20210303251A1 (en) | Display system, information processing device, display control method of display system | |
KR102330218B1 (en) | Virtual reality education system and method for language training of disabled person | |
JP2004140845A (en) | Projector | |
JP2010272078A (en) | System, and control unit of electronic information board, and cursor control method | |
JP5571895B2 (en) | Information display device | |
KR20200079748A (en) | Virtual reality education system and method for language training of disabled person | |
JP2009200846A (en) | Indication system, indication program and indication device |