JP2006352497A - Remote instruction system and method thereof - Google Patents

Remote instruction system and method thereof Download PDF

Info

Publication number
JP2006352497A
JP2006352497A JP2005175832A JP2005175832A JP2006352497A JP 2006352497 A JP2006352497 A JP 2006352497A JP 2005175832 A JP2005175832 A JP 2005175832A JP 2005175832 A JP2005175832 A JP 2005175832A JP 2006352497 A JP2006352497 A JP 2006352497A
Authority
JP
Japan
Prior art keywords
image
accompanying information
remote
annotation
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005175832A
Other languages
Japanese (ja)
Other versions
JP4577106B2 (en
Inventor
Ken Tokai
研 東海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2005175832A priority Critical patent/JP4577106B2/en
Publication of JP2006352497A publication Critical patent/JP2006352497A/en
Application granted granted Critical
Publication of JP4577106B2 publication Critical patent/JP4577106B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a remote instruction system wherein the picked up image of an object is transmitted to a remote terminal, an annotation image in response to an instruction based on the picked up image from the remote terminal is projected to the object, and information associated with the annotation image projected on the object can be easily acquired on the side of the object. <P>SOLUTION: In the remote instruction system including a server 50 that transmits an image picked up by a video camera 20 to the remote terminal 100 while making the video camera 20 image the object and makes a projector 40 project the annotation image corresponding to the instruction made by the remote terminal 100 and based on the picked up image to the object 200, the server 50 makes the projector 40 project collateral information associated with the annotation image to an object 210 together with the annotation image in accordance with the selection of the annotation images projected on the object 200. Thus, the object side can easily acquire the collateral information associated with the annotation image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、遠隔からの画像による指示が可能な遠隔指示システムに関する。   The present invention relates to a remote instruction system capable of performing an instruction by a remote image.

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する被写体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより被写体へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報 For example, in a remote repair system, a remote maintenance system, a telemedicine system, a remote conference system, etc., it is necessary to give various instructions such as instructions for work procedures from the remote side to the real object side. As such a remote instruction system capable of giving an instruction from the remote side to the real object side, for example, while capturing a subject existing on the real object side with a video camera, the captured image is transmitted to the remote terminal, A technique is known in which an annotation image instructed based on a captured image at a terminal is projected onto a subject by a projector on the real object side (see, for example, Patent Document 1).
US Patent Publication No. 2004/0070674

ところで、上記のような遠隔指示システムでは、被写体側（実物体側）に設置されたサーバに複数の遠隔端末が接続されているような場合には、複数の遠隔端末からサーバへ向けてアノテーション画像の描画指示があると、被写体には、複数のアノテーション画像が投影されることになる。このように、異なる遠隔端末から指示された複数のアノテーション画像が被写体に同時に投影されたような状態においては、被写体側で作業等をする作業者や被写体を観察する観察者などは、どのアノテーション画像が誰により描かれたのかを識別することが困難である。
また、単一のアノテーション画像が被写体に投影されたような場合であっても、被写体側で作業等をする作業者や被写体を観察する観察者などは、そのアノテーション画像について、さらに詳しい情報を知りたい場合もある。 By the way, in the remote instruction system as described above, when a plurality of remote terminals are connected to a server installed on the subject side (real object side), annotation images are transmitted from the plurality of remote terminals to the server. When there is a drawing instruction, a plurality of annotation images are projected on the subject. As described above, in a state where a plurality of annotation images instructed from different remote terminals are projected onto the subject at the same time, an annotation image such as an operator working on the subject side or an observer observing the subject is displayed. It is difficult to identify who was drawn by.
Even when a single annotation image is projected onto the subject, an operator working on the subject side or an observer observing the subject knows more detailed information about the annotation image. Sometimes you want to.

本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、被写体の撮像画像を遠隔端末に送信すると共に遠隔端末からの撮像画像に基づく指示に応じたアノテーション画像を被写体へ投影させる遠隔指示システムにおいて、被写体に投影されたアノテーション画像に関する情報を被写体側において容易に取得できる遠隔指示システムを提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to transmit a captured image of a subject to a remote terminal and to display an annotation image corresponding to an instruction based on the captured image from the remote terminal. An object of the present invention is to provide a remote instruction system that can easily acquire information on an annotation image projected onto a subject on the subject side.

本発明に係る遠隔指示システムは、被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた撮像画像に基づく指示に応じたアノテーション画像を投影手段により被写体へ投影させ得る制御手段を有する遠隔指示システムであって、制御手段は、アノテーション画像に関する付随情報を投影手段によりアノテーション画像と共に被写体へ投影させる、ことを特徴としている。
この構成によれば、付随情報が被写体にアノテーション画像と共に表示される。これにより、被写体側においてアノテーション画像に関する情報を容易に取得できる。 The remote instruction system according to the present invention transmits a captured image to a remote terminal while the subject is imaged by the imaging unit, and projects an annotation image according to the instruction based on the captured image made by the remote terminal onto the subject. A remote instruction system having control means that can be controlled, wherein the control means projects incidental information related to the annotation image onto the subject together with the annotation image by the projection means.
According to this configuration, the accompanying information is displayed on the subject together with the annotation image. Thereby, the information regarding the annotation image can be easily acquired on the subject side.

上記構成において、制御手段は、前記被写体に投影されたアノテーション画像の選択に応じて、付随情報を前記被写体へ投影させる、構成を採用できる。
この構成によれば、被写体に投影されたアノテーション画像を選択した場合にのみ付随情報が被写体にアノテーション画像と共に表示されるので、必要な場合にのみ付随情報を投影させることができる。 In the above configuration, the control unit may employ a configuration in which accompanying information is projected onto the subject in response to selection of an annotation image projected onto the subject.
According to this configuration, the accompanying information is displayed on the subject together with the annotation image only when the annotation image projected on the subject is selected, so that the accompanying information can be projected only when necessary.

上記構成において、制御手段は、アノテーション画像の選択を撮像画像の画像処理に基づいて行う、構成を採用できるし、制御手段は、アノテーション画像の選択を外部入力手段からの入力に応じて行う、構成も採用できる。   In the above configuration, the control unit can adopt a configuration in which the selection of the annotation image is performed based on the image processing of the captured image, and the control unit performs the selection of the annotation image in accordance with an input from the external input unit. Can also be adopted.

上記構成において、制御手段は、付随情報を投影中は、付随情報の画像が含まれていない状態の撮像画像を遠隔端末へ送信する、構成を採用できる。
この構成によれば、遠隔端末へ送信されるアノテーション画像が投影された被写体の撮像画像中に付随情報の画像が含まれないので、遠隔端末において必要としない情報が表示されることがない。 In the above configuration, the control unit may employ a configuration in which the captured information in a state in which the image of the accompanying information is not included is transmitted to the remote terminal while the accompanying information is projected.
According to this configuration, since the image of the accompanying information is not included in the captured image of the subject onto which the annotation image transmitted to the remote terminal is projected, unnecessary information is not displayed on the remote terminal.

上記構成において、制御手段は、付随情報を投影する前に、撮像画像中における付随情報を表示すべき表示領域を算出すると共に前記付随情報が表示されていない状態の表示領域の画像を保存しておき、付随情報の投影中は、撮像画像中の前記付随情報が表示された表示領域の画像を付随情報が表示されていない状態の表示領域の画像で置き換えた撮像画像を形成して遠隔端末に送信する、構成を採用できる。
この構成によれば、付随情報を投影中に遠隔端末に送信される被写体の撮像画像は、表示領域を除いて最新の画像とすることができる。 In the above configuration, the control means calculates a display area in which the accompanying information is to be displayed in the captured image and stores an image of the display area in a state where the accompanying information is not displayed before projecting the accompanying information. During the projection of the accompanying information, a captured image is formed by replacing the image in the display area in which the accompanying information is displayed in the captured image with the image in the display area in which the accompanying information is not displayed. Sending configuration can be adopted.
According to this configuration, the captured image of the subject transmitted to the remote terminal during projection of the accompanying information can be the latest image except for the display area.

本発明に係る遠隔指示方法は、被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた撮像画像に基づく指示に応じたアノテーション画像を投影手段により被写体へ投影させることにより遠隔指示を行う遠隔指示方法であって、アノテーション画像に関する付随情報をアノテーション画像と共に投影手段により投影させる、ことを特徴としている。   In the remote instruction method according to the present invention, an image of a subject is imaged by an imaging unit and the captured image is transmitted to a remote terminal, and an annotation image corresponding to an instruction based on the captured image made by the remote terminal is projected onto the subject by the projection unit. This is a remote instruction method for performing a remote instruction by causing the projection unit to project accompanying information about the annotation image together with the annotation image.

本発明によれば、被写体に投影されたアノテーション画像に関する付随情報を被写体側において容易に取得できる。   According to the present invention, accompanying information related to an annotation image projected on a subject can be easily acquired on the subject side.

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。
この遠隔指示システムは、図１に示すように、被写体側装置１０、遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００がネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続される。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Embodiments of the invention will be described below with reference to the accompanying drawings.
FIG. 1 is a block diagram showing an embodiment of the remote instruction system of the present invention.
As shown in FIG. 1, the remote instruction system includes a subject-side device 10, a remote terminal 100, and the like, and the subject-side device 10 and the remote terminal 100 are connected to each other via a network 300 so that they can communicate with each other. In FIG. 1, only one remote terminal 100 is shown, but a plurality of remote terminals 100 are connected to a later-described server 50 of the subject side apparatus 10 through the network 300.

被写体側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０等から構成されている。   The subject side apparatus 10 includes a video camera 20 as an imaging unit, a projector 40 as a projection unit, a server 50 as a control unit, and the like.

ビデオカメラ２０は、例えば、ＣＣＤカメラで構成され、被写体２００及び被写体（スクリーン）２１０を撮像可能な位置に配置されていると共に、その撮像画像はサーバ５０に取り込まれる。   The video camera 20 is composed of, for example, a CCD camera, is arranged at a position where the subject 200 and the subject (screen) 210 can be imaged, and the captured image is captured by the server 50.

プロジェクタ４０は、ビデオカメラ２０に隣接して設置されており、その画角が被写体上でビデオカメラ２０の画角に略一致するように配置されている。このプロジェクタ４０には、液晶プロジェクタ等が使用される。   The projector 40 is installed adjacent to the video camera 20 and is arranged so that its angle of view substantially matches the angle of view of the video camera 20 on the subject. As the projector 40, a liquid crystal projector or the like is used.

サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０の撮像画像を遠隔端末１００へ送信すると共に遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００あるいはスクリーン２１０へ投影させる。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。
また、サーバ５０は、被写体２００あるいはスクリーン２１０に投影されたアノテーション画像の選択に応じて、アノテーション画像に関する付随情報をプロジェクタ４０によりアノテーション画像と共に被写体２００あるいはスクリーン２１０へ投影させるように制御する。ここで、アノテーション画像に関する付随情報とは、例えば、アノテーション画像を描画した者を特定する情報、アノテーション画像を描画した遠隔端末を特定する情報、アノテーション画像の作成日時等が含まれる。
さらに、サーバ５０は、上記の付随情報を被写体２００あるいはスクリーン２１０へ投影中は、付随情報の画像が含まれていない状態の撮像画像を遠隔端末１００へ送信する。
また、サーバ５０は、付随情報を投影する前に、ビデオカメラ２０の撮像画像中における付随情報を表示すべき表示領域を算出すると共に付随情報が表示されていない状態の表示領域の画像を保存しておき、付随情報の投影中は、撮像画像中の付随情報が表示された表示領域の画像を付随情報が表示されていない状態の表示領域の画像で置き換えた撮像画像を形成して遠隔端末１００に送信する。尚、サーバ５０の具体的な処理については後述する。 The server 50 controls the operations of the video camera 20 and the projector 40 and exchanges various information with the remote terminal 100 via the network 300. Further, the server 50 transmits the captured image of the video camera 20 to the remote terminal 100 and causes the projector 40 to project an annotation image corresponding to an instruction based on the captured image made by the remote terminal 100 onto the subject 200 or the screen 210. The annotation image includes all forms of images such as lines, characters, figures, and the like.
Further, the server 50 controls the projector 40 to project incidental information regarding the annotation image onto the subject 200 or the screen 210 together with the annotation image in accordance with the selection of the annotation image projected onto the subject 200 or the screen 210. Here, the accompanying information related to the annotation image includes, for example, information for specifying a person who has drawn the annotation image, information for specifying a remote terminal on which the annotation image is drawn, creation date and time of the annotation image, and the like.
Further, the server 50 transmits a captured image in a state in which the accompanying information image is not included to the remote terminal 100 while the accompanying information is projected onto the subject 200 or the screen 210.
In addition, before projecting the accompanying information, the server 50 calculates a display area in which the accompanying information in the captured image of the video camera 20 is to be displayed and stores an image of the display area in a state where the accompanying information is not displayed. During the projection of the incidental information, the remote terminal 100 is formed by forming a captured image in which the image of the display area in which the incidental information in the captured image is displayed is replaced with the image in the display area in which the incidental information is not displayed. Send to. The specific processing of the server 50 will be described later.

遠隔端末１００は、液晶表示装置、ＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。
表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。
ポインティングデバイス（マウス）１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像を描画指示したりするのに用いられる。 The remote terminal 100 includes a display device 110 such as a liquid crystal display device and a CRT, a computer 120 connected to the network 300, a pointing device (mouse) 130 connected to the computer 120, and the like.
The display device 110 displays an image transmitted from the subject side device 10 on the display screen.
The pointing device (mouse) 130 is used to instruct drawing of an annotation image to be projected onto the subject 200 by operating various buttons with a pointer on a display screen on which a captured image is displayed.

次に、上記構成の遠隔指示システムの動作について図２ないし図１４を参照して説明する。
先ず、サーバ５０における基本処理について説明すると、図２に示すように、ビデオカメラ２０が撮像した撮像画像をすべての遠隔端末１００へ向けて常時配信する動作を開始する（ステップＳＴ１）。
次いで、サーバ５０は、いずれかの遠隔端末１００からのメッセージを受信するための待ちループを開始し（ステップＳＴ２）、アノテーション画像を描画するための描画コマンドを受領する（ステップＳＴ３）。この描画コマンドには、アノテーション画像に関する付随情報も付加されている。 Next, the operation of the remote instruction system configured as described above will be described with reference to FIGS.
First, the basic processing in the server 50 will be described. As shown in FIG. 2, an operation of constantly distributing captured images captured by the video camera 20 to all remote terminals 100 is started (step ST1).
Next, the server 50 starts a waiting loop for receiving a message from any one of the remote terminals 100 (step ST2), and receives a drawing command for drawing an annotation image (step ST3). Accompanying information regarding the annotation image is also added to the drawing command.

次いで、サーバ５０は、受領した描画コマンドに基づいて、アノテーション画像の投影処理を行う（ステップＳＴ４）。尚、このステップにおける具体的な処理については後述する。
サーバ５０は、この描画コマンドを送信した遠隔端末１００以外の遠隔端末１００へこの描画コマンド及び付随情報を送信する（ステップＳＴ５）。
そして、サーバ５０は、処理を終了するか否かを判断し（ステップＳＴ６）、終了しない場合には、ステップＳＴ２に戻って上記の処理を繰り返す。 Next, the server 50 performs an annotation image projection process based on the received drawing command (step ST4). The specific processing in this step will be described later.
The server 50 transmits the drawing command and accompanying information to the remote terminals 100 other than the remote terminal 100 that has transmitted the drawing command (step ST5).
Then, the server 50 determines whether or not to end the process (step ST6), and if not, returns to step ST2 and repeats the above process.

次に、遠隔端末１００のコンピュータ１２０における処理について説明すると、図３に示すように、先ず、サーバ５０から送られてきた他の遠隔端末１００で形成された描画コマンドが無いかを判断し（ステップＳＴ１１）、描画コマンドを受信した場合には、描画コマンドに含まれる付随情報を蓄積する（ステップＳＴ１２）。
一方、コンピュータ１２０は、描画コマンドがない場合には、コマンド入力処理を行う
（ステップＳＴ１３）。 Next, the processing in the computer 120 of the remote terminal 100 will be described. As shown in FIG. 3, first, it is determined whether there is a drawing command formed by another remote terminal 100 sent from the server 50 (step S1). ST11) When the drawing command is received, the accompanying information included in the drawing command is accumulated (step ST12).
On the other hand, if there is no drawing command, the computer 120 performs command input processing (step ST13).

ここで、図７に示すような、立方体形状の被写体２００を用いた場合には、遠隔端末１００の表示装置１１０の表示画面１１１には、図８に示すような画像が表示される。遠隔端末１００の操作者は、図８に示すような表示画面１１１を見ながら、各種のコマンド（例えば、描画コマンドあるいは後述する付随情報表示コマンド）をポインティングデバイス１３０等を用いてコンピュータ１２０へ入力する。
また、他の遠隔端末１００からの描画コマンドに基づいて被写体２００にアノテーション画像が投影されている場合には、各遠隔端末１００の表示画面１１１には、例えば、図９に示すようなアノテーション画像ＤＲが表示される。
そして、図１０に示すような状態において、遠隔端末１００の操作者は、アノテーション画像ＤＲに関する付随情報を見たい場合には、例えば、図１０に示すように、表示画面１１１のアノテーション画像ＤＲをポインタＰｔで選択操作することにより、付随情報表示コマンドを入力する。 Here, when a cube-shaped subject 200 as shown in FIG. 7 is used, an image as shown in FIG. 8 is displayed on the display screen 111 of the display device 110 of the remote terminal 100. The operator of the remote terminal 100 inputs various commands (for example, a drawing command or accompanying information display command described later) to the computer 120 using the pointing device 130 or the like while viewing the display screen 111 as shown in FIG. .
Further, when an annotation image is projected on the subject 200 based on a drawing command from another remote terminal 100, an annotation image DR as shown in FIG. 9 is displayed on the display screen 111 of each remote terminal 100, for example. Is displayed.
In the state shown in FIG. 10, when the operator of the remote terminal 100 wants to see accompanying information related to the annotation image DR, for example, as shown in FIG. 10, the annotation image DR on the display screen 111 is pointed to the pointer. By performing a selection operation with Pt, an accompanying information display command is input.

コンピュータ１２０では、付随情報表示コマンドが入力されたかを判断し（ステップＳＴ１４）、付随情報表示コマンドが入力された場合には、ステップＳＴ１２において蓄積した対応する付随情報を抽出し（ステップＳＴ２１）、この付随情報を表示画面１１１にいわゆるポップアップ表示する（ステップＳＴ２２）。これにより、図１０に示したように、アノテーション画像ＤＲについて、「Ａさんの描画」というような付随情報ＩＮＦが表示される。これにより、各々の遠隔端末１００の操作者は、アノテーション画像ＤＲの作成者等の情報を容易に知ることができる。   The computer 120 determines whether an accompanying information display command has been input (step ST14). If an accompanying information display command has been input, the corresponding accompanying information accumulated in step ST12 is extracted (step ST21). The accompanying information is displayed as a pop-up on the display screen 111 (step ST22). As a result, as shown in FIG. 10, the accompanying information INF such as “Drawing of Mr. A” is displayed for the annotation image DR. Thereby, the operator of each remote terminal 100 can easily know information such as the creator of the annotation image DR.

コンピュータ１２０は、ステップＳＴ１４において、付随情報表示コマンドが入力されていない、すなわち、描画コマンドが入力された場合には、表示画面１１１に付随情報が表示されているかを判断し（ステップＳＴ１５）、付随情報が表示されている場合には、この付随情報を消去する（ステップＳＴ１６）。
そして、コンピュータ１２０は、入力された描画コマンドに基づく、アノテーション画像描画処理を行う（ステップＳＴ１７）。
操作者は、描画コマンドの入力操作において、例えば、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。アノテーション画像に関する情報とは、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより描画される矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。 In step ST14, the computer 120 determines whether the accompanying information display command is not input, that is, if the drawing command is input, whether the accompanying information is displayed on the display screen 111 (step ST15). If the information is displayed, the accompanying information is deleted (step ST16).
Then, the computer 120 performs an annotation image drawing process based on the input drawing command (step ST17).
In the input operation of the drawing command, for example, the operator operates the pointing device 130 to indicate the attention area while moving the pointer Pt on the display screen 111. The attention area is an area that defines a projection position for projecting the annotation image. At this time, information on the annotation image to be projected onto the attention area is instructed at the same time. The information related to the annotation image is, for example, graphic information such as a rectangle or a circle drawn by operating various buttons BT formed on the display screen 111 using the pointing device 130, or a bitmap image prepared in advance. Text information input from a keyboard, a pointer reflecting the operation of the pointing device 130, and the like.

次いで、コンピュータ１２０は、この描画コマンドに対応する付随情報（作成者、作成日時等の情報）を作成し（ステップＳＴ１８）、描画コマンドに付随情報を付加してサーバ５０へ送信する（ステップＳＴ１９）。このとき、操作者により入力された描画コマンドに対応するアノテーション画像が、例えば、図１０に示したアノテーション画像の場合には、図１１に示す被写体２００には、プロジェクタ４０により、図１２に示すように、アノテーション画像ＤＲが投影される。
そして、コンピュータ１２０は、処理を終了するか否かを判断し（ステップＳＴ２０）、終了しない場合には、ステップＳＴ１１に戻って上記の処理を繰り返す。 Next, the computer 120 creates accompanying information (information such as creator and creation date and time) corresponding to the drawing command (step ST18), adds the accompanying information to the drawing command, and transmits it to the server 50 (step ST19). . At this time, if the annotation image corresponding to the drawing command input by the operator is the annotation image shown in FIG. 10, for example, the subject 200 shown in FIG. An annotation image DR is projected on the screen.
Then, the computer 120 determines whether or not to end the processing (step ST20), and if not, returns to step ST11 and repeats the above processing.

次に、サーバ５０における上記した描画コマンドに基づくアノテーション画像の投影処理（図２のステップＳＴ４）について説明する。
サーバ５０は、図４に示すように、先ず、通常モード動作を行う（ステップＳＴ３１）。この通常モード動作は、遠隔端末１００から受領した描画コマンドに応じてアノテーション画像を、例えば、図１２に示したように、被写体２００へプロジェクタ４０により投影させる動作である。 Next, an annotation image projection process (step ST4 in FIG. 2) based on the drawing command in the server 50 will be described.
As shown in FIG. 4, the server 50 first performs a normal mode operation (step ST31). This normal mode operation is an operation in which an annotation image is projected onto the subject 200 by the projector 40 in accordance with the drawing command received from the remote terminal 100, for example, as shown in FIG.

次いで、サーバ５０は、被写体２００へ投影したアノテーション画像が被写体側の操作者により選択されたかを判断する（ステップＳＴ３２）。被写体２００へ投影されたアノテーション画像が被写体側の操作者により選択されたかの判断は、例えば、ビデオカメラ２０の撮像画像に基づいてすることができる。具体的には、被写体２００へ投影されたアノテーション画像を操作者が指差して選択したような場合には、ビデオカメラ２０の撮像画像を画像処理することで操作者の指を識別し、この指により選択された領域を特定することができる。   Next, the server 50 determines whether the annotation image projected on the subject 200 has been selected by the subject-side operator (step ST32). The determination as to whether the annotation image projected on the subject 200 has been selected by the operator on the subject side can be made based on, for example, a captured image of the video camera 20. Specifically, when the operator points and selects an annotation image projected onto the subject 200, the operator's finger is identified by performing image processing on the captured image of the video camera 20, and the finger The area selected by can be specified.

サーバ５０は、アノテーション画像の選択があった場合には、付随情報モード開始動作を行う（ステップＳＴ３３）。
この付随情報モード開始動作は、図５に示すように、ステップＳＴ４１〜ＳＴ４３からなり、先ず、付随情報を表示すべき領域を算出し（ステップＳＴ４１）、付随情報を含まないビデオカメラ２０の撮像画像を保存し（ステップＳＴ４２）、そして、付随情報を表示する（ステップＳＴ４３）。
被写体２００へ投影したアノテーション画像ＤＲが操作者により選択された場合には、例えば、図１３に示したように、付随情報ＩＮＦがスクリーン２１０へ投影される。 When the annotation image is selected, the server 50 performs an accompanying information mode start operation (step ST33).
As shown in FIG. 5, the accompanying information mode start operation includes steps ST41 to ST43. First, an area in which the accompanying information is to be displayed is calculated (step ST41), and the captured image of the video camera 20 that does not include the accompanying information. Is stored (step ST42), and accompanying information is displayed (step ST43).
When the annotation image DR projected onto the subject 200 is selected by the operator, for example, the accompanying information INF is projected onto the screen 210 as shown in FIG.

次いで、サーバ５０は、付随情報モード動作を行う（ステップＳＴ３４）。この付随情報モード動作は、図６に示すようにステップＳＴ５１〜ＳＴ５４からなり、先ず、ビデオカメラ２０に被写体２００及びスクリーン２１０を撮像させる（ステップＳＴ５１）。このときのビデオカメラ２０の撮像画像は、例えば、図１４（Ａ）に示すように、被写体２００にアノテーション画像ＤＲが投影されると共にスクリーン２１０に付随情報ＩＮＦが投影された状態のものとなる。   Next, the server 50 performs an accompanying information mode operation (step ST34). The accompanying information mode operation includes steps ST51 to ST54 as shown in FIG. 6, and first causes the video camera 20 to image the subject 200 and the screen 210 (step ST51). The captured image of the video camera 20 at this time is, for example, in a state where the annotation image DR is projected onto the subject 200 and the accompanying information INF is projected onto the screen 210 as shown in FIG.

次いで、サーバ５０は、ビデオカメラ２０の撮像画像の一部を上記ステップＳＴ４２で保存した付随情報を含まない撮像画像で置き換える処理をする（ステップＳＴ５２）。この処理により、ビデオカメラ２０の撮像画像は、例えば、図１４（Ｂ）に示すように、スクリーン２１０に付随情報ＩＮＦが投影されていないものとなる。
そして、サーバ５０は、この付随情報ＩＮＦを含まない撮像画像を各遠隔端末１００へ送信する（ステップＳＴ５３）。これにより、各遠隔端末１００へは、付随情報を含まない撮像画像が送信される。 Next, the server 50 performs a process of replacing a part of the captured image of the video camera 20 with the captured image that does not include the accompanying information stored in step ST42 (step ST52). As a result of this processing, the captured image of the video camera 20 is such that the accompanying information INF is not projected on the screen 210 as shown in FIG. 14B, for example.
Then, the server 50 transmits a captured image not including the accompanying information INF to each remote terminal 100 (step ST53). As a result, a captured image that does not include accompanying information is transmitted to each remote terminal 100.

次いで、サーバ５０は、被写体２００へ投影したアノテーション画像の選択が解除されたかを、ビデオカメラ２０の撮像画像に基づいて判断し、解除されていない場合には、ステップＳＴ５１に戻って上記処理を繰り返し、解除された場合には、付随情報モード動作を終了し、図４に示す付随情報モード終了動作を行い（ステップＳＴ３５）、付随情報の投影を終了させる。   Next, the server 50 determines whether the selection of the annotation image projected on the subject 200 has been canceled based on the captured image of the video camera 20, and if not, returns to step ST51 and repeats the above processing. If released, the incidental information mode operation is terminated, the incidental information mode termination operation shown in FIG. 4 is performed (step ST35), and the projection of incidental information is terminated.

以上のように、本実施形態によれば、被写体２００に投影されたアノテーション画像ＤＲを選択する操作を行うと、付随情報ＩＮＦが被写体としてのスクリーン２１０に表示され、被写体側においてアノテーション画像ＤＲに関する付随情報ＩＮＦを視覚により容易に取得できる。   As described above, according to the present embodiment, when an operation for selecting the annotation image DR projected on the subject 200 is performed, the accompanying information INF is displayed on the screen 210 as the subject, and the accompanying side regarding the annotation image DR is displayed on the subject side. Information INF can be easily acquired visually.

また、本実施形態によれば、遠隔端末１００へ送信されるアノテーション画像ＤＲが投影された被写体２００の撮像画像中に付随情報ＩＮＦの画像が含まれないので、遠隔端末１００の表示画面１１１において必要としない情報が表示されることがない。すなわち、遠隔端末１００においては、その表示画面１１１に表示されたアノテーション画像ＤＲを選択操作すれば付随情報ＩＮＦを表示させることができるので、被写体２００及びスクリーン２１０の撮像画像中に付随情報ＩＮＦがなくても付随情報ＩＮＦを必要に応じて表示させることができる。   Further, according to the present embodiment, the image of the accompanying information INF is not included in the captured image of the subject 200 onto which the annotation image DR transmitted to the remote terminal 100 is projected. Information is not displayed. That is, in the remote terminal 100, the accompanying information INF can be displayed by selecting and operating the annotation image DR displayed on the display screen 111. Therefore, there is no accompanying information INF in the captured images of the subject 200 and the screen 210. However, the accompanying information INF can be displayed as necessary.

さらに、本実施形態によれば、付随情報ＩＮＦをスクリーン２１０に投影中に遠隔端末１００に送信される被写体２００及びスクリーン２１０の撮像画像は、付随情報ＩＮＦを表示領域を除いて最新の画像とすることができる。尚、サーバ５０から遠隔端末１００へ
ビデオカメラ２０の撮像画像の一部を付随情報を含まない撮像画像で置き換えた撮像画像に変換して送信する際に、付随情報の表示領域部分を置き換える画像を定期的に新たな画像に更新することも可能である。 Furthermore, according to the present embodiment, the captured image of the subject 200 and the screen 210 transmitted to the remote terminal 100 while the accompanying information INF is projected onto the screen 210 is the latest image except for the display area. be able to. An image for replacing the display area portion of the accompanying information when transmitting a part of the captured image of the video camera 20 from the server 50 to the remote terminal 100 into a captured image replaced with a captured image that does not include the accompanying information. It is also possible to periodically update to a new image.

上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。   Although the case where the remote terminal 100 is connected to the server 50 via the network 300 has been described in the above embodiment, the present invention is not limited to this, and the remote terminal 100 can be connected to the server 50 by other means. In addition, the remote terminal 100 can be arranged on the subject 200 side.

上記実施形態では、被写体２００に投影されたアノテーション画像を被写体側の操作者が指差してその撮像画像を画像処理することにより選択を判断して付随情報を投影させる場合について説明したが、これに限定されるわけではなく、指以外にも例えば、レーザポインタにより選択する等、アノテーション画像の選択方法は種々選択できる。
また、上記実施形態では、アノテーション画像の選択をビデオカメラの撮像画像の画像処理に基づいて行う場合について説明したが、これに限定されるわけではなく、例えば、キーボード、マウス等の種々の外部入力装置（外部入力手段）からの入力に応じてアノテーション画像を選択することも可能である。 In the above embodiment, the description has been given of the case where the annotation image projected on the subject 200 is pointed by the operator on the subject side and the captured image is subjected to image processing to determine the selection and project the accompanying information. The selection method of the annotation image can be variously selected other than the finger, for example, by selecting with a laser pointer.
In the above embodiment, the case where the annotation image is selected based on the image processing of the image captured by the video camera has been described. However, the present invention is not limited to this. For example, various external inputs such as a keyboard and a mouse are used. It is also possible to select an annotation image in accordance with an input from the apparatus (external input means).

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を目標物に照射して画像を形成することも可能である。   In the above embodiment, the case where a projector is used as the projection unit has been described. However, the present invention is not limited to this. For example, an image can be formed by irradiating a target with light such as laser light. .

上記実施形態では、被写体２００にアノテーション画像ＤＲのみを投影した場合について説明したが、これに限定されるわけではなく、複数のアノテーション画像を異なる遠隔端末からの指示により同時に被写体に投影した場合にも本発明を適用できることは明らかである。
上記実施形態では、アノテーション画像が選択された場合についてのみ付随情報を投影させる場合について説明したが、これに限定されるわけではなく、アノテーション画像が選択されなくても付随情報を投影、
表示する構成とすることもできるし、投影や表示のタイミングを適宜設定することも可能であり、投影や表示の態様は種々変更できる。 In the above-described embodiment, the case where only the annotation image DR is projected onto the subject 200 has been described. However, the present invention is not limited to this, and a plurality of annotation images may be projected onto the subject simultaneously according to instructions from different remote terminals. It is clear that the present invention can be applied.
In the embodiment described above, the case where the accompanying information is projected only when the annotation image is selected is not limited thereto, and the accompanying information is projected even when the annotation image is not selected.
The display can be configured, the timing of projection and display can be set as appropriate, and the manner of projection and display can be variously changed.

本発明の一実施形態に係る遠隔指示システムの構成図である。It is a block diagram of the remote instruction | indication system which concerns on one Embodiment of this invention. 被写体側装置のサーバにおける基本処理の一例を示すフローチャートである。It is a flowchart which shows an example of the basic process in the server of a to-be-photographed side apparatus. 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in the computer of a remote terminal. サーバにおけるアノテーション画像描画処理の一例を示すフローチャートである。It is a flowchart which shows an example of the annotation image drawing process in a server. アノテーション画像描画処理における付随情報モード開始動作処理の一例を示すフローチャートである。It is a flowchart which shows an example of the accompanying information mode start operation | movement process in an annotation image drawing process. アノテーション画像描画処理における付随情報モード動作処理の一例を示すフローチャートである。It is a flowchart which shows an example of the accompanying information mode operation | movement process in an annotation image drawing process. 被写体の一例を示す斜視図である。It is a perspective view which shows an example of a to-be-photographed object. 遠隔端末における表示画面の一例を示す図である。It is a figure which shows an example of the display screen in a remote terminal. アノテーション画像が表示された遠隔端末における表示画面の一例を示す図である。It is a figure which shows an example of the display screen in the remote terminal on which the annotation image was displayed. アノテーション画像及び付随情報が表示された遠隔端末における表示画面の一例を示す図である。。It is a figure which shows an example of the display screen in the remote terminal on which the annotation image and accompanying information were displayed. . 被写体の一例を示す斜視図である。It is a perspective view which shows an example of a to-be-photographed object. 被写体にアノテーション画像を投影した状態を示す斜視図である。It is a perspective view which shows the state which projected the annotation image on the to-be-photographed object. 被写体にアノテーション画像及びその付随情報を投影した状態を示す斜視図である。It is a perspective view which shows the state which projected the annotation image and its accompanying information on the to-be-photographed object. （Ａ）はアノテーション画像及び付随情報が表示された被写体の撮像画像の一例を示す図であり、（Ｂ）は遠隔端末に送信すべく付随情報が含まれない画像で置き換えた被写体の撮像画像の一例を示す図である。(A) is a diagram showing an example of a captured image of a subject on which an annotation image and accompanying information are displayed, and (B) is a captured image of the subject replaced with an image that does not include accompanying information to be transmitted to the remote terminal. It is a figure which shows an example.

符号の説明Explanation of symbols

１０…被写体側装置
２０…ビデオカメラ（撮像手段）
４０…プロジェクタ（投影手段）
５０…サーバ（制御手段）
１００…遠隔端末
１１０…表示装置
１１１…表示画面
１２０…コンピュータ
１３０…ポインティングデバイス（マウス）
２００…被写体
２１０…被写体（スクリーン）
ＤＲ…アノテーション画像
ＩＮＦ…付随情報
３００…ネットワーク
10 ... Subject side device 20 ... Video camera (imaging means)
40. Projector (projection means)
50 ... Server (control means)
DESCRIPTION OF SYMBOLS 100 ... Remote terminal 110 ... Display apparatus 111 ... Display screen 120 ... Computer 130 ... Pointing device (mouse)
200 ... Subject 210 ... Subject (screen)
DR ... annotation image INF ... accompanying information 300 ... network

Claims (10)

被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体へ投影させる制御手段を有する遠隔指示システムであって、
前記制御手段は、前記アノテーション画像に関する付随情報を前記投影手段により前記アノテーション画像と共に前記被写体へ投影させる、
ことを特徴とする遠隔指示システム。 A remote instruction having a control means for causing an image to be captured by the imaging means and transmitting the captured image to the remote terminal, and causing the projection means to project an annotation image corresponding to the instruction based on the captured image. A system,
The control means causes the projection means to project accompanying information on the annotation image together with the annotation image onto the subject.
A remote indication system characterized by that. 前記制御手段は、前記被写体に投影されたアノテーション画像の選択に応じて、前記付随情報を前記被写体へ投影させる、
ことを特徴とする請求項１に記載の遠隔指示システム。 The control means causes the accompanying information to be projected onto the subject in response to selection of an annotation image projected onto the subject.
The remote indication system according to claim 1. 前記制御手段は、前記アノテーション画像の選択を前記撮像画像の画像処理に基づいて行う、
ことを特徴とする請求項２に記載の遠隔指示システム。 The control means performs selection of the annotation image based on image processing of the captured image.
The remote indication system according to claim 2. 前記制御手段は、前記アノテーション画像の選択を外部入力手段からの入力に応じて行う、
ことを特徴とする請求項２に記載の遠隔指示システム。 The control means performs selection of the annotation image in accordance with an input from an external input means;
The remote indication system according to claim 2. 前記制御手段は、前記付随情報を投影中は、前記付随情報の画像が含まれていない状態の撮像画像を遠隔端末へ送信する、
ことを特徴とする請求項１ないし４のいずれかに記載の遠隔指示システム。 The control means transmits a captured image in a state in which an image of the accompanying information is not included to the remote terminal while the accompanying information is being projected.
The remote indication system according to any one of claims 1 to 4, wherein 前記制御手段は、前記付随情報を投影する前に、前記撮像画像中における前記付随情報を表示すべき表示領域を算出すると共に前記付随情報が表示されていない状態の前記表示領域の画像を保存しておき、
前記付随情報の投影中は、前記撮像画像中の前記付随情報が表示された前記表示領域の画像を前記付随情報が表示されていない状態の前記表示領域の画像で置き換えた撮像画像を形成して遠隔端末に送信する、
ことを特徴とする請求項５に記載の遠隔指示システム。 The control means calculates a display area in which the accompanying information is to be displayed in the captured image, and stores an image of the display area in a state where the accompanying information is not displayed before projecting the accompanying information. And
During the projection of the accompanying information, a captured image is formed by replacing the image of the display area where the accompanying information is displayed in the captured image with the image of the display area where the accompanying information is not displayed. Send to remote terminal,
The remote indication system according to claim 5. 被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体へ投影させることにより遠隔指示を行う遠隔指示方法であって、
前記アノテーション画像に関する付随情報を前記アノテーション画像と共に前記投影手段により投影させる、
ことを特徴とする遠隔指示方法。 While the subject is imaged by the imaging means, the captured image is transmitted to the remote terminal, and the remote instruction is performed by projecting an annotation image corresponding to the instruction based on the captured image made by the remote terminal onto the subject. A remote instruction method,
Projecting accompanying information on the annotation image together with the annotation image by the projecting means,
A remote instruction method characterized by that. 前記被写体に投影されたアノテーション画像の選択に応じて、前記アノテーション画像に関する付随情報を前記投影手段により投影させる、
ことを特徴とする請求項７に記載の遠隔指示方法。 In accordance with the selection of the annotation image projected on the subject, the projection unit projects incidental information on the annotation image.
The remote instruction method according to claim 7. 前記付随情報を投影中は、前記付随情報の画像が含まれていない状態の撮像画像を遠隔端末へ送信する、
ことを特徴とする請求項７又は８に記載の遠隔指示方法。 While projecting the accompanying information, a captured image in a state in which the image of the accompanying information is not included is transmitted to the remote terminal.
9. The remote instruction method according to claim 7 or 8, wherein: 前記付随情報を投影する前に、前記撮像画像中における前記付随情報を表示すべき表示領域を算出すると共に前記付随情報が表示されていない状態の前記表示領域の画像を保存しておき、
前記付随情報の投影中は、前記撮像画像中の前記付随情報が表示された前記表示領域の画像を前記付随情報が表示されていない状態の前記表示領域の画像で置き換えた撮像画像を形成して遠隔端末に送信する、
ことを特徴とする請求項９に記載の遠隔指示方法。



Before projecting the accompanying information, a display area in which the accompanying information is to be displayed in the captured image is calculated and an image of the display area in a state where the accompanying information is not displayed is stored.
During the projection of the accompanying information, a captured image is formed by replacing the image of the display area where the accompanying information is displayed in the captured image with the image of the display area where the accompanying information is not displayed. Send to remote terminal,
The remote instruction method according to claim 9.



JP2005175832A 2005-06-16 2005-06-16 Remote indication system and method Expired - Fee Related JP4577106B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005175832A JP4577106B2 (en) 2005-06-16 2005-06-16 Remote indication system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005175832A JP4577106B2 (en) 2005-06-16 2005-06-16 Remote indication system and method

Publications (2)

Publication Number Publication Date
JP2006352497A true JP2006352497A (en) 2006-12-28
JP4577106B2 JP4577106B2 (en) 2010-11-10

Family

ID=37647855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005175832A Expired - Fee Related JP4577106B2 (en) 2005-06-16 2005-06-16 Remote indication system and method

Country Status (1)

Country Link
JP (1) JP4577106B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287691A (en) * 2007-04-19 2008-11-27 Fuji Xerox Co Ltd Information processing device and program
JP2009094817A (en) * 2007-10-09 2009-04-30 Fuji Xerox Co Ltd Information share support system, information share support program and information share support device
JP2009100021A (en) * 2007-10-12 2009-05-07 Seiko Epson Corp Projector, conference support system, and conference support method
JP2009232290A (en) * 2008-03-24 2009-10-08 Sharp Corp Image communication system and image communication method
JP2010093512A (en) * 2008-10-07 2010-04-22 Fuji Xerox Co Ltd Information processor, remote instruction system and program
US8022997B2 (en) 2007-04-19 2011-09-20 Fuji Xerox Co., Ltd. Information processing device and computer readable recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11149282A (en) * 1997-11-14 1999-06-02 Nec Corp Remote conference system and medium recording control program for remote conference
JP2001211372A (en) * 2000-01-27 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> Video projecting device
JP2005033756A (en) * 2002-10-15 2005-02-03 Fuji Xerox Co Ltd Method, apparatus, and system for remotely annotating target disposed at second location from first location

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11149282A (en) * 1997-11-14 1999-06-02 Nec Corp Remote conference system and medium recording control program for remote conference
JP2001211372A (en) * 2000-01-27 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> Video projecting device
JP2005033756A (en) * 2002-10-15 2005-02-03 Fuji Xerox Co Ltd Method, apparatus, and system for remotely annotating target disposed at second location from first location

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287691A (en) * 2007-04-19 2008-11-27 Fuji Xerox Co Ltd Information processing device and program
US8022997B2 (en) 2007-04-19 2011-09-20 Fuji Xerox Co., Ltd. Information processing device and computer readable recording medium
US8581993B2 (en) 2007-04-19 2013-11-12 Fuji Xerox Co., Ltd. Information processing device and computer readable recording medium
JP2009094817A (en) * 2007-10-09 2009-04-30 Fuji Xerox Co Ltd Information share support system, information share support program and information share support device
JP2009100021A (en) * 2007-10-12 2009-05-07 Seiko Epson Corp Projector, conference support system, and conference support method
JP2009232290A (en) * 2008-03-24 2009-10-08 Sharp Corp Image communication system and image communication method
JP2010093512A (en) * 2008-10-07 2010-04-22 Fuji Xerox Co Ltd Information processor, remote instruction system and program
JP4674627B2 (en) * 2008-10-07 2011-04-20 富士ゼロックス株式会社 Information processing apparatus, remote instruction system, and program
US8125525B2 (en) 2008-10-07 2012-02-28 Fuji Xerox Co., Ltd. Information processing apparatus, remote indication system, and computer readable medium

Also Published As

Publication number Publication date
JP4577106B2 (en) 2010-11-10

Similar Documents

Publication Publication Date Title
JP4577106B2 (en) Remote indication system and method
JP2008078690A (en) Image processing system
JP2007208741A (en) Remote indication system and method
JP2004520738A (en) Computer remote monitoring control type CCTV system, computer video matrix switcher and control program used for the CCTV system
JP4872482B2 (en) Remote support device, remote support system, and remote support method
JP4078080B2 (en) Information processing apparatus and method
JP4742976B2 (en) Remote instruction system, remote instruction method and program
JP4674627B2 (en) Information processing apparatus, remote instruction system, and program
JPH1188767A (en) Video processing system
JPH10336503A (en) Picture processor method for the same and storage medium
JP2006352496A (en) Remote instruction system and method thereof
JP5034256B2 (en) Conference room control system
JP2001136515A (en) Image-pickup device, image communication system, image pickup method, image communicating method, and storage medium
JP2003319290A (en) Multi-screen display device
JP2003009135A (en) Camera supervising control system and image server
JP4281752B2 (en) Video camera remote control system, video camera remote control method, photographing apparatus, and photographing method
JP2007004311A (en) Remote instruction system and method
JP2004070608A (en) Virtual space presentation device, information management device and control method for the same
JP5162855B2 (en) Image processing apparatus, remote image processing system, and image processing method
JP6401480B2 (en) Information processing apparatus, information processing method, and program
JP2003092750A (en) Camera control system
JP5335270B2 (en) Display control apparatus, display control method, and computer program
JP3876493B2 (en) Information display method
JP2011188147A (en) Monitoring system and monitoring method
JP2003208146A (en) Image display device and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4577106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees