JP2003037840A - Method of controlling direction of laser pointer and apparatus therefor - Google Patents
Method of controlling direction of laser pointer and apparatus thereforInfo
- Publication number
- JP2003037840A JP2003037840A JP2001223264A JP2001223264A JP2003037840A JP 2003037840 A JP2003037840 A JP 2003037840A JP 2001223264 A JP2001223264 A JP 2001223264A JP 2001223264 A JP2001223264 A JP 2001223264A JP 2003037840 A JP2003037840 A JP 2003037840A
- Authority
- JP
- Japan
- Prior art keywords
- laser pointer
- camera
- irradiation point
- target position
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、作業の遂行に習熟
している熟練者の居る指令センタと作業に関して無知も
しくは不慣れな非熟練者の居る遠隔作業地との間におい
て、熟練者が非熟練者に対し、作業指示を与え、作業遂
行を支援する遠隔作業支援システムのためのレーザポイ
ンタの方向制御方法およびその装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an unskilled worker between a command center in which a skilled worker is proficient in performing work and a remote work site in which an unskilled worker ignorant or unfamiliar with the work is present. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a laser pointer direction control method and apparatus for a remote work support system for giving work instructions to a person and supporting work execution.
【０００２】[0002]
【従来の技術】従来、熟練者の居る指令センタと非熟練
者の居る遠隔作業地との間で、熟練者が非熟練者に対
し、作業の指示を行う際、円滑なコミュニケーションを
実現するために、遠隔作業支援コミュニケーション装置
（特開２０００−１２５０２４号公報、特開２００１−
４５４５１号公報）が提案されている。2. Description of the Related Art Conventionally, in order to realize smooth communication between a command center where a skilled person is present and a remote work site where an unskilled person is present, when the skilled person gives an instruction to the unskilled person for work. And a remote work support communication device (Japanese Patent Laid-Open No. 2000-125024, Japanese Patent Laid-Open No. 2001-2001).
No. 45451) has been proposed.
【０００３】遠隔作業地に於いて非熟練者が行う作業
を、指令センタに於ける熟練者が支援することを遠隔作
業支援と呼ぶこととする。A work performed by an unskilled person at a remote work site is referred to as remote work support in which a skilled person at a command center supports the work.
【０００４】前記遠隔作業支援コミュニケーション装置
を用いた従来の遠隔作業支援の一例を図７を用いて説明
する。An example of conventional remote work support using the remote work support communication device will be described with reference to FIG.
【０００５】遠隔作業支援コミュニケーション装置に関
して遠隔作業地側は、指令センタからの遠隔操作により
上下左右に回転可能なカメラとレーザポインタを搭載し
たコミュニケーション端末、非熟練者が熟練者と話をす
るためのスピーカとマイク、コミュニケーション端末と
スピーカとマイクとが接続されるサーバ制御器、サーバ
制御器と公衆通信網を結ぶネットワークインタフェイス
から構成される。Regarding the remote work support communication device, the remote work site side is a communication terminal equipped with a camera and a laser pointer which can be rotated vertically and horizontally by a remote operation from a command center, and allows an unskilled person to talk with a skilled person. It is composed of a speaker and a microphone, a communication terminal, a server controller to which the speaker and the microphone are connected, and a network interface connecting the server controller and the public communication network.
【０００６】遠隔作業支援コミュニケーション装置に関
して指令センタ側は、熟練者が非熟練者と話をするため
のマイクとスピーカ、遠隔作業地の映像を写すためのモ
ニタ、コミュニケーション端末の遠隔操作を行うための
操作装置、モニタと操作装置とスピーカとマイクとが接
続されるクライアント制御器、クライアント制御器と公
衆通信網を結ぶネットワークインタフェイスから構成さ
れる。With respect to the remote work support communication device, the command center side is used for a skilled person to talk with an unskilled person, a microphone and a speaker, a monitor for displaying an image of a remote work site, and a remote operation of a communication terminal. It is composed of an operating device, a monitor, an operating device, a client controller to which a speaker and a microphone are connected, and a network interface connecting the client controller and the public communication network.
【０００７】前記構成によれば、熟練者は操作装置を用
いることにより、遠隔作業地にあるコミュニケーション
端末に搭載されたカメラとレーザポインタの向きを、そ
れぞれ独立かつ自在に遠隔操作することができる。According to the above construction, the expert can use the operating device to remotely and independently control the directions of the camera and the laser pointer mounted on the communication terminal at the remote work site.
【０００８】熟練者は、前記カメラにより、遠隔作業地
にある作業対象や非熟練者等の状況を把握しながら、レ
ーサポインタを用いて非熟練者に操作させたいスイッチ
を指し示すことにより、「このスイッチを……」という
ように、「この」や「あの」といった代名詞を用いるこ
とにより、口頭で非常に簡便な表現で、非熟練者に対し
指示を行うことができる。非熟練者も、「ここです
ね。」といった、「ここ」や「そこ」という代名詞を用
いた簡略な返答で済み、熟練者、非熟練者間の作業の円
滑なやりとりが可能であった。The skilled person grasps the situation of the work target or the unskilled person at the remote work site with the camera, and uses the racer pointer to indicate the switch which the unskilled person wants to operate. By using pronouns such as "this" and "that" such as "switch ...", it is possible to give instructions to an unskilled person with a very simple verbal expression. Even non-skilled workers could make a simple reply using pronouns such as “here” and “there” such as “here, right?”, And smooth exchange of work between skilled and unskilled workers was possible.
【０００９】[0009]
【発明が解決しようとする課題】しかし、前記遠隔作業
支援コミュニケーション装置には次のような問題点があ
った。However, the remote work support communication device has the following problems.
【００１０】（ｉ）指令センタの熟練者は、コミュニケ
ーション端末に搭載されたカメラから取り込まれ、クラ
イアント制御器で受信される映像を見ながら、操作装置
を用いてコミュニケーション端末に搭載されるレーザポ
インタを遠隔操作することにより、遠隔作業地の非熟練
者に対し作業指示を行うが、ネットワークを介すること
により、コミュニケーション端末を遠隔操作するために
送信される制御信号と、指令センタで受信される遠隔地
の映像信号との間には時間的なずれが生じる。ネットワ
ークの伝送速度が遅くなれば遅くなるほど、前記受信映
像の時間遅れが大きくなる。(I) An expert in the command center uses the operating device to move the laser pointer mounted on the communication terminal while watching the image captured by the camera mounted on the communication terminal and received by the client controller. By remote control, work instructions are given to unskilled workers at remote work sites, but control signals sent for remote control of communication terminals and remote sites received by the command center are sent via the network. There is a time lag with the video signal of. The slower the transmission speed of the network, the larger the time delay of the received video.
【００１１】（ｉｉ）また、ネットワークの伝送速度が
遅くなれば遅くなるほど、指令センタで単位時間当たり
に受信できる遠隔作業地の映像の枚数が減少する。(Ii) Also, the slower the transmission speed of the network, the smaller the number of images of the remote work site that can be received per unit time at the command center.
【００１２】（ｉｉｉ）前記時間遅れと受信映像の枚数
の減少が原因で、コミュニケーション端末の遠隔操作の
操作性、特にレーザポインタによる作業指示に関する操
作性が悪くなる。(Iii) Due to the time delay and the decrease in the number of received images, the operability of remote operation of the communication terminal, particularly the operability related to work instructions by the laser pointer, deteriorates.
【００１３】そこで、本発明の解決すべき主要な目的
は、指令センタから遠隔作業地への円滑な作業指示を実
現するために、作業指示を行う場所へレーザポインタを
迅速に位置決めする機能を有するレーザポインタ方向制
御方法およびその装置を提供せんとするものである。Therefore, a main object to be solved by the present invention is to have a function of rapidly positioning the laser pointer at a place where a work instruction is given in order to realize a smooth work instruction from a command center to a remote work site. A laser pointer direction control method and apparatus are provided.
【００１４】[0014]
【課題を解決するための手段】前記課題は、本発明が次
に列挙する新規な特徴的構成方法および手段を採用する
ことにより解決される。The above-mentioned problems can be solved by the present invention by adopting the novel characteristic construction methods and means listed below.
【００１５】本発明方法の第１の特徴は、指令センタに
居る熟練者が遠隔作業地に居る非熟練者に作業を行わせ
るに当たって、指令センタに設置されたクライアント装
置から遠隔作業地に設置されたサーバ装置へ指令を送
り、該指令に従い、サーバ装置を構成するコミュニケー
ション端末に搭載されたレーザポインタの方向を制御す
る方法であって、前記コミュニケーション端末に搭載さ
れたカメラによって撮影され、クライアント装置の表示
部に表示された遠隔作業地の映像上でレーザポインタが
照射する指示目標位置を設定するレーザポインタの方向
制御方法にある。The first feature of the method of the present invention is that when a skilled person at the command center causes an unskilled person at the remote work site to perform work, the expert device at the command center is installed at the remote work site from the client device installed at the command center. A method for controlling the direction of a laser pointer mounted on a communication terminal that constitutes the server device in accordance with the command, the image being captured by a camera mounted on the communication terminal, There is provided a laser pointer direction control method for setting a pointing target position irradiated by a laser pointer on an image of a remote work place displayed on a display unit.
【００１６】本発明方法の第２の特徴は、クライアント
装置は前記指示目標位置をサーバ装置へ送信し、サーバ
装置は前記指示目標位置を受信するレーザポインタの方
向制御方法にある。A second feature of the method of the present invention is a method for controlling the direction of a laser pointer in which the client device transmits the designated target position to the server device, and the server device receives the designated target position.
【００１７】本発明方法の第３の特徴は、前記カメラに
よって撮影された映像からレーザポインタの照射点を発
見・追跡し、画像平面上または映像上の照射点の座標値
を、照射点の現在値として抽出するレーザポインタの方
向制御方法にある。The third feature of the method of the present invention is to find and track the irradiation point of the laser pointer from the image photographed by the camera, and to determine the coordinate value of the irradiation point on the image plane or the image by the current irradiation point. This is in the direction control method of the laser pointer that is extracted as a value.
【００１８】本発明方法の第４の特徴は、前記指示目標
位置と前記レーザポインタの照射点の現在値との差を求
め、前記差と、前記カメラの自動焦点機構より得られる
距離情報と、前記カメラのズーム機構より得られる焦点
距離と、前記カメラ及び前記レーザポインタを動作させ
る各サーボモータの角度とから、レーザポインタの方向
を制御し、レーザポインタの照射点を前記指示目標位置
へ位置決めするための指令値を算出するレーザポインタ
の方向制御方法にある。A fourth feature of the method of the present invention is to obtain the difference between the designated target position and the current value of the irradiation point of the laser pointer, the difference and distance information obtained from the automatic focusing mechanism of the camera. The direction of the laser pointer is controlled from the focal length obtained by the zoom mechanism of the camera and the angles of the servo motors that operate the camera and the laser pointer, and the irradiation point of the laser pointer is positioned at the designated target position. There is a laser pointer direction control method for calculating a command value for.
【００１９】また、本発明装置の第１の特徴は、指令セ
ンタに居る熟練者が遠隔作業地に居る非熟練者に作業を
行わせるに当たって、指令センタに設置されたクライア
ント装置から遠隔作業地に設置されたサーバ装置へ指令
を送り、該指令に従い、サーバ装置を構成するコミュニ
ケーション端末に搭載されたレーザポインタの方向を制
御する装置であって、前記コミュニケーション端末に搭
載されたカメラによって撮影され、クライアント装置の
表示部に表示された遠隔作業地の映像上でレーザポイン
タが照射する指示目標位置を設定する手段を備えたレー
ザポインタの方向制御装置にある。The first feature of the device of the present invention is that a skilled person at the command center causes an unskilled person at a remote work site to perform work from a client device installed at the command center to a remote work site. A device for sending a command to an installed server device and controlling the direction of a laser pointer mounted on a communication terminal that constitutes the server device in accordance with the command, which is photographed by a camera mounted on the communication terminal and is a client. A laser pointer direction control device including means for setting a pointing target position irradiated by a laser pointer on an image of a remote work site displayed on a display unit of the device.
【００２０】本発明装置の第２の特徴は、前記指示目標
位置をクライアント装置からサーバ装置へ送信する手段
を備えたレーザポインタの方向制御装置にある。The second feature of the device of the present invention resides in a laser pointer direction control device having means for transmitting the designated target position from the client device to the server device.
【００２１】本発明装置の第３の特徴は、前記カメラに
よって撮影された映像からレーザポインタの照射点を発
見・追跡し、画像平面上または映像上の照射点の座標値
を、照射点の現在値として抽出する手段を備えたレーザ
ポインタの方向制御装置にある。The third feature of the device of the present invention is to find and track the irradiation point of the laser pointer from the image photographed by the camera, and to determine the coordinate value of the irradiation point on the image plane or the image by the current irradiation point. A directional control device for a laser pointer having means for extracting the value.
【００２２】本発明装置の第４の特徴は、前記指示目標
位置と前記レーザポインタの照射点の現在値との差を求
める手段と、前記差と、前記カメラの自動焦点機構より
得られる距離情報と、前記カメラのズーム機構より得ら
れる焦点距離と、前記カメラと前記レーザポインタを動
作させる各サーボモータの角度とから、レーザポインタ
の方向を制御し、レーザポインタ照射点を前記指示目標
位置へ位置決めするための指令値を算出する手段とを備
えたレーザポインタの方向制御装置にある。A fourth feature of the device of the present invention is means for obtaining a difference between the designated target position and the current value of the irradiation point of the laser pointer, the difference, and distance information obtained from the automatic focusing mechanism of the camera. And the focal length obtained by the zoom mechanism of the camera and the angle of each servo motor that operates the camera and the laser pointer, and controls the direction of the laser pointer to position the laser pointer irradiation point at the designated target position. And a means for calculating a command value for doing so.
【００２３】本発明に係るレーザポインタ方向制御方法
およびレーザポインタ方向制御装置を用いることによ
り、遠隔作業支援コミュニケーション装置を用いて、指
令センタの熟練者が遠隔作業地の非熟練者に対して作業
指示を行う際、熟練者が遠隔作業地の映像上で作業指示
位置を教示するだけで、コミュニケーション端末に搭載
されているレーザポインタの照射点を自動的に前記作業
指示位置へ位置決めすることが可能となる。By using the laser pointer direction control method and the laser pointer direction control device according to the present invention, a skilled worker at the command center uses a remote work support communication device to give a work instruction to an unskilled worker at a remote work site. It is possible for the expert to automatically position the irradiation point of the laser pointer mounted on the communication terminal at the work instruction position simply by teaching the work instruction position on the image of the remote work site. Become.
【００２４】従って、円滑な遠隔作業指示を行う際に障
害となる映像信号やコミュニケーション端末の制御信号
の送受信時に発生する時間的なずれ、時間的な遅れ、受
信映像枚数の減少等の影響を受けること無く、円滑な遠
隔作業指示が可能となる。Therefore, it is affected by a time lag, a time delay, a reduction in the number of received images, etc., which occurs when transmitting and receiving a video signal or a control signal of the communication terminal, which is an obstacle to a smooth remote work instruction. Without this, a smooth remote work instruction can be given.
【００２５】[0025]
【発明の実施の形態】本発明の実施の形態を添付図面を
用いて説明する。なお、説明において、同一構成要素に
は同一符号を用い、重複する説明は省略する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described with reference to the accompanying drawings. In the description, the same components will be denoted by the same reference symbols, without redundant description.
【００２６】まず、本発明に係る遠隔作業支援コミュニ
ケーション装置を図２、図３を用いて説明する。First, a remote work support communication device according to the present invention will be described with reference to FIGS.
【００２７】図２は、本発明の実施の形態に係るコミュ
ニケーション端末１、レーザポインタ発見追跡画像処理
器４、レーザポインタ方向制御器５、指示目標位置設定
装置６を遠隔作業支援コミュニケーション装置にて用い
るための実施の形態を説明するための図である。FIG. 2 shows the communication terminal 1, the laser pointer discovery tracking image processor 4, the laser pointer direction controller 5, and the pointing target position setting device 6 according to the embodiment of the present invention, which are used in a remote work support communication device. FIG. 3 is a diagram for explaining an embodiment for that.
【００２８】図２において、１０はクライアント装置、
１１はサーバ装置を表し、クライアント装置１０とサー
バ装置１１は前記公衆通信網で結ばれている。In FIG. 2, 10 is a client device,
Reference numeral 11 denotes a server device, and the client device 10 and the server device 11 are connected by the public communication network.
【００２９】クライアント装置１０は、クライアント制
御器１０ａ、マイク１０ｂ、スピーカ１０ｃ、モニタ１
０ｄ、ネットワークインタフェイス１０ｅ、カメラ１０
ｆ、操作装置１０ｇ、指示目標位置設定装置６から構成
される。The client device 10 includes a client controller 10a, a microphone 10b, a speaker 10c, and a monitor 1.
0d, network interface 10e, camera 10
f, the operating device 10g, and the pointing target position setting device 6.
【００３０】サーバ装置１１は、コミュニケーション端
末１、レーザポインタ発見追跡画像処理器４、レーザポ
インタ方向制御器５、サーバ制御器１１ａ、マイク１１
ｂ、スピーカ１１ｃ、モニタ１１ｄ、ネットワークイン
タフェイス１１ｅから構成される。The server device 11 includes a communication terminal 1, a laser pointer discovery / tracking image processor 4, a laser pointer direction controller 5, a server controller 11a, and a microphone 11.
b, a speaker 11c, a monitor 11d, and a network interface 11e.
【００３１】図３は、遠隔作業支援コミュニケーション
装置において、コミュニケーション端末１を説明するた
めの図である。FIG. 3 is a diagram for explaining the communication terminal 1 in the remote work support communication device.
【００３２】図３の左図はコミュニケーション端末１の
正面図、右図はコミュニケーション端末１の側面図を示
している。The left side of FIG. 3 shows a front view of the communication terminal 1, and the right side of FIG. 3 shows a side view of the communication terminal 1.
【００３３】コミュニケーション端末１は、カメラ部
２、レーザポインタ部３、カメラ部２とレーザポインタ
部３を結合するための中継部８、コミュニケーション端
末１をある場所に固定するための取付台９から構成され
る。The communication terminal 1 comprises a camera unit 2, a laser pointer unit 3, a relay unit 8 for connecting the camera unit 2 and the laser pointer unit 3, and a mount 9 for fixing the communication terminal 1 at a certain place. To be done.
【００３４】カメラ部２は、カメラ２ａ、カメラ２ａを
支えるための回転台２ｆ、上下用サーボモータ２ｂ、左
右用サーボモータ２ｃから構成される。レーザポインタ
部３は、レーザポインタ３ａ、レーザポインタ３ａを支
えるための回転台３ｄ、上下用サーボモータ３ｂ、左右
用サーボモータ３ｃから構成される。取付台９は中継部
８に２点で取り付けられ、ネジ等を用いることにより取
付台９の回転、固定を容易に行うことができる。The camera unit 2 comprises a camera 2a, a rotary base 2f for supporting the camera 2a, a vertical servo motor 2b, and a horizontal servo motor 2c. The laser pointer unit 3 includes a laser pointer 3a, a turntable 3d for supporting the laser pointer 3a, a vertical servomotor 3b, and a horizontal servomotor 3c. The attachment base 9 is attached to the relay portion 8 at two points, and the attachment base 9 can be easily rotated and fixed by using screws or the like.
【００３５】指令センタに設置されたクライアント装置
１０と遠隔作業地に設置されたサーバ装置１１は、ネッ
トワークインタフェイス１０ｅ，１１ｅを用いることに
より、公衆通信網を介してネットワーク接続される。The client device 10 installed at the command center and the server device 11 installed at the remote work site are network-connected via the public communication network by using the network interfaces 10e and 11e.
【００３６】熟練者は、操作装置１０ｇを用いてコミュ
ニケーション端末１に搭載されたカメラ２ａとレーザポ
インタ３ａを遠隔操作することにより、カメラ２ａを通
しモニタ１０ｄ上で遠隔作業地の映像を見つつ、マイク
１０ｂとスピーカ１０ｃとで非熟練者と会話を行い、レ
ーザポインタ３ａで非熟練者に対し作業指示を行う。ま
た、非熟練者も、マイク１１ｂとスピーカ１１ｃとで熟
練者と会話を行うことができる。By using the operating device 10g to remotely operate the camera 2a and the laser pointer 3a mounted on the communication terminal 1, the expert can see the image of the remote work site on the monitor 10d through the camera 2a, The microphone 10b and the speaker 10c have a conversation with an unskilled person, and the laser pointer 3a gives a work instruction to the unskilled person. Also, an unskilled person can have a conversation with an expert person through the microphone 11b and the speaker 11c.
【００３７】クライアント制御器１０ａとサーバ制御器
１１ａは、クライアント装置１０とサーバ装置１１との
間でやりとりされる音声、映像、操作装置１０ｇからの
指令値、レーザポインタ指示目標位置設定装置６で設定
されたレーザポインタの指示目標位置を通信パケットに
変換し、送受信を行う。The client controller 10a and the server controller 11a are set by the audio and video exchanged between the client device 10 and the server device 11, the command value from the operating device 10g, and the laser pointer instruction target position setting device 6. The designated target position of the laser pointer is converted into a communication packet, and transmission / reception is performed.
【００３８】熟練者が作業指示をするために、レーザポ
インタ指示目標位置設定装置６を用いて、レーザポイン
タ３ａのビームを照射する目標位置を設定すると、指示
目標位置がクライアント制御器１０ａ、サーバ制御器１
１ａを経て、レーザポインタ方向制御器５に入力され、
レーザポインタの照射点を目標位置へ位置決めするため
のコミュニケーション端末に搭載のレーザポインタを動
作させる上下用サーボモータ３ｂと左右用サーボモータ
３ｃへの指令値が算出される。When a skilled person sets a target position for irradiating the beam of the laser pointer 3a by using the laser pointer pointing target position setting device 6 in order to give a work instruction, the pointing target position is controlled by the client controller 10a and the server control. Bowl 1
It is input to the laser pointer direction controller 5 via 1a,
A command value to the up / down servo motor 3b and the left / right servo motor 3c for operating the laser pointer mounted on the communication terminal for positioning the irradiation point of the laser pointer to the target position is calculated.
【００３９】次に、本発明に係るレーザポインタ方向制
御方法およびその装置の実施の形態を図１、図４、図５
を用いて説明する。Next, an embodiment of a laser pointer direction control method and apparatus according to the present invention will be described with reference to FIGS.
Will be explained.
【００４０】図１は、本発明に係るコミュニケーション
端末１、レーザポインタ発見追跡画像処理器４、レーザ
ポインタ方向制御器５を説明するための図である。FIG. 1 is a diagram for explaining a communication terminal 1, a laser pointer discovery / tracking image processor 4 and a laser pointer direction controller 5 according to the present invention.
【００４１】コミュニケーション端末１は、カメラ部２
とレーザポインタ部３から構成される。The communication terminal 1 includes a camera unit 2
And a laser pointer unit 3.
【００４２】カメラ部２は、カメラ２ａ、カメラ２ａを
上下方向に回転させるための上下用サーボモータ２ｂ、
カメラ２ａを左右方向に回転させるための左右用サーボ
モータ２ｃ、カメラ２ａに搭載されたズーム機構２ｄ、
カメラ２ａに搭載された自動焦点機構２ｅから構成され
る。The camera unit 2 includes a camera 2a, a vertical servo motor 2b for rotating the camera 2a in the vertical direction,
A left / right servo motor 2c for rotating the camera 2a in the left / right direction, a zoom mechanism 2d mounted on the camera 2a,
It is composed of an autofocus mechanism 2e mounted on the camera 2a.
【００４３】レーザポインタ部３は、レーザポインタ３
ａ、レーザポインタ３ａを上下方向に回転させるための
上下用サーボモータ３ｂ、レーザポインタ３ａを左右方
向に回転させるための左右用サーボモータ３ｃから構成
される。The laser pointer unit 3 includes the laser pointer 3
a, a vertical servomotor 3b for rotating the laser pointer 3a in the vertical direction, and a left / right servomotor 3c for rotating the laser pointer 3a in the horizontal direction.
【００４４】また、レーザポインタ発見追跡画像処理器
４は、前記カメラ部２で撮像された映像から、前記レー
ザポインタ部３の照射点を発見・追跡し、画像平面上ま
たは映像上の照射点の座標値を、照射点の現在値として
抽出する。The laser pointer finding / tracking image processor 4 finds and tracks the irradiation point of the laser pointer section 3 from the image picked up by the camera section 2, and detects the irradiation point on the image plane or the image. The coordinate value is extracted as the current value of the irradiation point.
【００４５】レーザポインタ方向制御器５は、指令セン
タで熟練者により設定された指示目標位置とレーザポイ
ンタ発見追跡画像処理器４により抽出されたレーザポイ
ンタ照射点の現在値との差を求め、該差と、前記カメラ
部２の自動焦点機構２ｅより得られる距離情報と、前記
カメラ部２のズーム機構２ｄより得られる焦点距離と、
前記カメラ部２及び前記レーザポインタ部３を動作させ
る各サーボモータの角度とから、前記レーザポインタ部
３の方向を制御し、レーザポインタ部３の照射点を前記
指示目標位置へ位置決めするための、レーザポインタ用
の前記上下用サーボモータ及び左右用サーボモータへの
指令値を算出する。The laser pointer direction controller 5 finds the difference between the pointing target position set by the expert at the command center and the current value of the laser pointer irradiation point extracted by the laser pointer discovery tracking image processor 4, and The difference, the distance information obtained by the automatic focusing mechanism 2e of the camera unit 2, and the focal length obtained by the zoom mechanism 2d of the camera unit 2,
In order to control the direction of the laser pointer unit 3 from the angles of the respective servo motors that operate the camera unit 2 and the laser pointer unit 3 and position the irradiation point of the laser pointer unit 3 to the designated target position, Command values for the vertical servomotor and the horizontal servomotor for the laser pointer are calculated.
【００４６】コミュニケーション端末１に搭載されてい
るカメラ部２とレーザポインタ部３は、それぞれ独立に
水平垂直に回転可能である。図５は、図３に示すコミュ
ニケーション端末の幾何学モデルを一般的に表したもの
である。大きく分けて、カメラを上下左右に回転させる
カメラ部２、レーザポインタを上下左右に回転させるレ
ーザポインタ部３、カメラ部２とレーザポインタ部３を
結合するための中継部８の３つの部分から構成される。The camera unit 2 and the laser pointer unit 3 mounted on the communication terminal 1 can be independently rotated horizontally and vertically. FIG. 5 generally represents the geometric model of the communication terminal shown in FIG. It is roughly divided into three parts: a camera unit 2 for rotating the camera vertically and horizontally, a laser pointer unit 3 for rotating the laser pointer vertically and horizontally, and a relay unit 8 for connecting the camera unit 2 and the laser pointer unit 3. To be done.
【００４７】中継部８の任意に定めた場所に固定した基
準座標系をΣbとする。カメラの水平回転部の座標系を
Σch、垂直回転部の座標系をΣcv、カメラの焦点位置を
原点とするカメラ座標系をΣcとする。また、レーザポ
インタ部３に関しても同様に、レーザポインタの水平回
転部の座標系をΣlh、垂直回転部の座標系をΣlv、レー
ザポインタの光源を原点とするレーザポインタ座標系を
Σlとする。但し、レーザポインタの光軸は、Σlのｙ軸
と一致するものとする。A reference coordinate system fixed at an arbitrarily determined location on the relay section 8 is Σ b . Let Σ ch be the coordinate system of the horizontal rotating part of the camera, Σ cv be the coordinate system of the vertical rotating part, and Σ c be the camera coordinate system with the focal point of the camera as the origin. Similarly, for the laser pointer unit 3, the coordinate system of the horizontal rotating portion of the laser pointer is Σ lh , the coordinate system of the vertical rotating portion is Σ lv , and the laser pointer coordinate system with the light source of the laser pointer as the origin is Σ l . To do. However, the optical axis of the laser pointer is assumed to coincide with the y axis of Σ l .
【００４８】カメラ部について、Σbに対してΣchはｙ
軸周りに回転可能でその角度をθc、Σchに対してΣcv
はｘ軸周りに回転可能でその角度をψcとする。レーザ
ポインタ部も同様に、Σbに対してΣlhはｙ軸周りに回
転可能でその角度をθl、Σlhに対してΣlvはｘ軸周り
に回転可能でその角度をψlとする。In the camera section, Σ ch is y for Σ b
It can rotate around its axis and its angle is θ c , Σ cv with respect to Σ ch
Is rotatable about the x-axis and its angle is ψ c . Similarly, with respect to Σ b , Σ lh is rotatable about the y-axis and its angle is θ l , and for Σ lh , Σ lv is rotatable about the x-axis and its angle is ψ l . .
【００４９】図４にカメラ座標系Σc、レーザポインタ
座標系Σl、レーザポインタの照射点（目標点ｐdと現在
点ｐf）とそれらの画像平面への投影点ＰdとＰfの関係
を示す。但し、ｐd及びｐfの左上添字は、それぞれΣc
又はΣlに関するものを意味する。FIG. 4 shows the camera coordinate system Σ c , the laser pointer coordinate system Σ l , the irradiation points (target point p d and current point p f ) of the laser pointer, and their projected points P d and P f on the image plane. Show the relationship. However, the upper left subscripts of p d and p f are Σ c
Or means Σ l .
【００５０】ここでは、画像平面上の特徴点ＰdとＰfの
差が、零に収束するようにレーザポインタを動作させる
各サーボモータへの指令値を算出するレーザポインタ方
向制御器の設計を行う。但し、レーザポインタ方向制御
器が動作している間は、カメラはコミュニケーション端
末の本体に対して固定されているものとする。Here, the laser pointer direction controller is designed to calculate the command value to each servo motor that operates the laser pointer so that the difference between the characteristic points P d and P f on the image plane converges to zero. To do. However, it is assumed that the camera is fixed to the main body of the communication terminal while the laser pointer direction controller is operating.
【００５１】画像平面上に投影されるレーザポインタ照
射点は、レーザポインタ発見追跡画像処理器により抽出
され、画像平面上の座標値として出力される。照射点抽
出のための画像処理は、パターンマッチング等を利用す
ることにより実現することができる。The laser pointer irradiation point projected on the image plane is extracted by the laser pointer finding / tracking image processor and output as coordinate values on the image plane. The image processing for extracting the irradiation point can be realized by using pattern matching or the like.
【００５２】Ｐf＝（ＸＹ）Tとcｐf＝（ｘｙｚ）Tの関
係は、The relationship between P f = (XY) T and c p f = (xyz) T is
【００５３】[0053]
【数１】 [Equation 1]
【００５４】と表される。ここで、ｆはカメラの焦点距
離である。但し、正確なｚの算出は困難なので、カメラ
の自動焦点機能により得られる照射対象までの距離ｄz
で代用することとする。ここで、フィードハック制御中
はカメラを固定しているので、ｄz＝ｃｏｎｓｔであ
る。It is expressed as Here, f is the focal length of the camera. However, since it is difficult to accurately calculate z, the distance d z to the irradiation target obtained by the autofocus function of the camera
Will be used instead. Since the camera is fixed during the feed hack control, d z = const.
【００５５】次に、Σcにおける照射点cｐfと、Σbにお
ける照射点bｐfの関係は、Next, the irradiation point c p f in sigma c, the relationship of the irradiation point b p f in sigma b is
【００５６】[0056]
【数２】 [Equation 2]
【００５７】と表される。フィードバック制御中はカメ
ラが固定されていることから、式（２）を時間微分する
と、It is expressed as Since the camera is fixed during the feedback control, when the equation (2) is differentiated with respect to time,
【００５８】[0058]
【数３】 [Equation 3]
【００５９】が得られる。また、Σbにおける照射点bｐ
fと、Σlhにおける照射点lhｐfの関係は、式（４）で表
され、図５に示す各座標系の関係から、次のように変形
することができる。Is obtained. Also, the irradiation point b p at Σ b
and f, the relationship of the irradiation point lh p f in sigma lh is represented by the formula (4), can be from the relationship of the coordinate system shown in FIG. 5, modified as follows.
【００６０】[0060]
【数４】 [Equation 4]
【００６１】ここで、lｐfを実際に計測するのは困難な
ので、カメラの自動焦点機能により得られる照射対象ま
での距離ｄzを近似値として使用し、Since it is difficult to actually measure l p f , the distance d z to the irradiation target obtained by the autofocus function of the camera is used as an approximate value,
【００６２】[0062]
【数５】 [Equation 5]
【００６３】と仮定する。更にコミュニケーション端末
の幾何学モデルから、フィードバック制御中は、
bｐlh、lhｐlv、lvｐl、lvＲlのパラメータは、いずれ
も定数である。従って、式（７）の時間微分は、次に示
すように変形することができる。Assume that Furthermore, from the geometric model of the communication terminal, during feedback control,
The parameters of b p lh , lh p lv , lv p l , and lv R l are all constants. Therefore, the time derivative of equation (7) can be transformed as shown below.
【００６４】[0064]
【数６】 [Equation 6]
【００６５】ここで、Here,
【００６６】[0066]
【数７】 [Equation 7]
【００６７】とおくと、式（１０）は、In other words, the equation (10) is
【００６８】[0068]
【数８】 [Equation 8]
【００６９】と表される。式（３）（１４）から、カメ
ラ座標系Σcにおけるレーザポインタ照射点の微小変位It is expressed as follows. From equations (3) and (14), the minute displacement of the laser pointer irradiation point in the camera coordinate system Σ c
【００７０】[0070]
【数９】 [Equation 9]
【００７１】と、レーザポインタを水平／垂直方向に微
小変位Then, the laser pointer is slightly displaced in the horizontal / vertical direction.
【００７２】[0072]
【数１０】 [Equation 10]
【００７３】の関係は、The relation of
【００７４】[0074]
【数１１】 [Equation 11]
【００７５】と表すことができる。但し、Ｍ∈Ｒ3X2で
ある。It can be expressed as However, it is M∈R 3X2.
【００７６】よって、式（１）（１６）より次式が得ら
れる。Therefore, the following equations are obtained from the equations (1) and (16).
【００７７】[0077]
【数１２】 [Equation 12]
【００７８】行列ＪのサイズはＲ2X2である。ここで、
レーザポインタ方向制御の入力ｕを、The size of the matrix J is R 2X2 . here,
Input the laser pointer direction control u
【００７９】[0079]
【数１３】 [Equation 13]
【００８０】と選ぶことにより、By selecting
【００８１】[0081]
【数１４】 [Equation 14]
【００８２】となり、照射点が目標点Ｐdに収束するこ
とが分かる。但し、λは正の定数である。It can be seen that the irradiation point converges on the target point P d . However, λ is a positive constant.
【００８３】実際の作業では、フィードバック制御開始
時のＰfの初期値Ｐf0は、ＣＣＤカメラの視野の中に存
在する必要がある。これについては、特開２００１−４
５４５１号公報で提案されたレーザポインタ点灯時に画
像平面中央付近にレーザポインタ照射点が現れる制御手
法等を利用することにより、実現可能である。In the actual work, the initial value P f0 of P f at the start of feedback control needs to exist within the field of view of the CCD camera. Regarding this, Japanese Patent Laid-Open No. 2001-4
This can be realized by using the control method proposed in Japanese Patent No. 5451 in which a laser pointer irradiation point appears near the center of the image plane when the laser pointer is turned on.
【００８４】以上に示されたレーザポインタ方向制御器
を用いて、実際にレーザポインタ照射位置を指示目標位
置へ位置決めする実験の結果を図６に示す。図は画像平
面上のレーザポインタ照射位置の軌跡を表している。照
射位置が初期位置Ｐf0から、指示目標位置Ｐdへ収束
し、本発明に係るレーザポインタ方向制御器がうまく機
能していることが分かる。FIG. 6 shows the results of an experiment in which the laser pointer irradiating controller is used to actually position the laser pointer irradiation position at the designated target position. The figure shows the locus of the laser pointer irradiation position on the image plane. It can be seen that the irradiation position converges from the initial position P f0 to the designated target position P d , and the laser pointer direction controller according to the present invention is functioning well.
【００８５】[0085]
【発明の効果】以上のように、本発明に係るレーザポイ
ンタ方向制御方法およびレーザポインタ方向制御装置に
よれば、指令センタに居る熟練者が、遠隔作業地の映像
上で作業指示位置を教示するだけで、コミュニケーショ
ン端末に搭載されているレーザポインタの照射点を自動
的に前記作業指示位置へ位置決めすることが可能とな
り、円滑な遠隔作業指示を行う際に障害となる映像信号
やコミュニケーション端末の制御信号の送受信時に発生
する時間的なずれ、時間的な遅れ、受信映像枚数の減少
等の影響を受けること無く、円滑な遠隔作業指示および
コミュニケーションが可能となる。As described above, according to the laser pointer direction control method and the laser pointer direction control device according to the present invention, an expert at the command center teaches the work instruction position on the image of the remote work site. It is possible to automatically position the irradiation point of the laser pointer mounted on the communication terminal to the work instruction position, and to control the video signal and communication terminal which are obstacles to smooth remote work instruction. Smooth remote work instructions and communication can be performed without being affected by a time lag, a time delay, a decrease in the number of received images, and the like that occur when signals are transmitted and received.
【図面の簡単な説明】[Brief description of drawings]
【図１】本発明の実施の形態の一例に係るコミュニケー
ション端末、レーザポインタ方向制御器を説明するため
の図FIG. 1 is a diagram for explaining a communication terminal and a laser pointer direction controller according to an example of an embodiment of the present invention.
【図２】本発明の実施の形態の一例に係る遠隔作業支援
コミュニケーション装置を説明するための図FIG. 2 is a diagram for explaining a remote work support communication device according to an example of an embodiment of the present invention.
【図３】本発明の実施の形態の一例に係るコミュニケー
ション端末を説明するための図FIG. 3 is a diagram for explaining a communication terminal according to an example of an embodiment of the present invention.
【図４】本発明の実施の形態の一例に係る視覚フィード
バックによるレーザポインタ方向制御を説明するための
図FIG. 4 is a diagram for explaining laser pointer direction control by visual feedback according to an example of an embodiment of the present invention.
【図５】本発明の実施の形態の一例に係るコミュニケー
ション端末の幾何学モデルを説明するための図FIG. 5 is a diagram for explaining a geometric model of a communication terminal according to an example of an embodiment of the present invention.
【図６】本発明の実施の形態の一例に係るレーザポイン
タ方向制御手法に基づく実験結果を示す図FIG. 6 is a diagram showing an experimental result based on a laser pointer direction control method according to an example of an embodiment of the present invention.
【図７】従来の遠隔作業支援コミュニケーション装置の
一例を示す図FIG. 7 is a diagram showing an example of a conventional remote work support communication device.
１：コミュニケーション端末、２：カメラ部、２ａ：カ
メラ、２ｂ：上下用サーボモータ、２ｃ：左右用サーボ
モータ、２ｄ：ズーム機構、２ｅ：自動焦点機構、３：
レーザポインタ部、３ａ：レーザポインタ、３ｂ：上下
用サーボモータ、３ｃ：左右用サーボモータ、４：レー
ザポインタ発見追跡画像処理器、５：レーザポインタ方
向制御器、６：指示目標位置設定装置、８：中継部、
９：取付台、１０：クライアント装置、１０ａ：クライ
アント制御器、１０ｂ：マイク、１０ｃ：スピーカ、１
０ｄ：モニタ、１０ｅ：ネットワークインタフェイス、
１０ｆ：カメラ、１０ｇ：操作装置、１１：サーバ装
置、１１ａ：サーバ制御器、１１ｂ：マイク、１１ｃ：
スピーカ、１１ｄ：モニタ、１１ｅ：ネットワークイン
タフェイス。1: Communication terminal, 2: Camera section, 2a: Camera, 2b: Vertical servo motor, 2c: Horizontal servo motor, 2d: Zoom mechanism, 2e: Autofocus mechanism, 3:
Laser pointer part, 3a: laser pointer, 3b: vertical servomotor, 3c: horizontal servomotor, 4: laser pointer discovery tracking image processor, 5: laser pointer direction controller, 6: designated target position setting device, 8 : Relay section,
9: Mounting stand, 10: Client device, 10a: Client controller, 10b: Microphone, 10c: Speaker, 1
0d: monitor, 10e: network interface,
10f: camera, 10g: operating device, 11: server device, 11a: server controller, 11b: microphone, 11c:
Speaker, 11d: monitor, 11e: network interface.
Claims (8)
居る非熟練者に作業を行わせるに当たって、指令センタ
に設置されたクライアント装置から遠隔作業地に設置さ
れたサーバ装置へ指令を送り、該指令に従い、サーバ装
置を構成するコミュニケーション端末に搭載されたレー
ザポインタの方向を制御する方法であって、 前記コミュニケーション端末に搭載されたカメラによっ
て撮影され、クライアント装置の表示部に表示された遠
隔作業地の映像上でレーザポインタが照射する指示目標
位置を設定することを特徴とするレーザポインタの方向
制御方法。1. When a skilled person at a command center causes an unskilled person at a remote work site to perform work, a command is sent from a client device installed at the command center to a server device installed at a remote work site, A method for controlling the direction of a laser pointer mounted on a communication terminal constituting a server device according to the command, the remote work being imaged by a camera mounted on the communication terminal and displayed on a display unit of a client device. A method for controlling a direction of a laser pointer, comprising setting a pointing target position irradiated by the laser pointer on a ground image.
サーバ装置へ送信し、 サーバ装置は前記指示目標位置を受信することを特徴と
する請求項１記載のレーザポインタの方向制御方法。2. The laser pointer direction control method according to claim 1, wherein the client device transmits the designated target position to the server device, and the server device receives the designated target position.
レーザポインタの照射点を発見・追跡し、画像平面上ま
たは映像上の照射点の座標値を、照射点の現在値として
抽出することを特徴とする請求項２記載のレーザポイン
タの方向制御方法。3. The irradiation point of the laser pointer is found and tracked from the image photographed by the camera, and the coordinate value of the irradiation point on the image plane or the image is extracted as the current value of the irradiation point. The method for controlling the direction of a laser pointer according to claim 2.
の照射点の現在値との差を求め、 前記差と、前記カメラの自動焦点機構より得られる距離
情報と、前記カメラのズーム機構より得られる焦点距離
と、前記カメラ及び前記レーザポインタを動作させる各
サーボモータの角度とから、レーザポインタの方向を制
御し、レーザポインタの照射点を前記指示目標位置へ位
置決めするための指令値を算出することを特徴とする請
求項３記載のレーザポインタの方向制御方法。4. The difference between the designated target position and the current value of the irradiation point of the laser pointer is obtained, and the difference, distance information obtained by the autofocus mechanism of the camera, and the zoom mechanism of the camera are obtained. Controlling the direction of the laser pointer from the focal length and the angles of the servo motors that operate the camera and the laser pointer, and calculating a command value for positioning the irradiation point of the laser pointer to the designated target position. 4. The direction control method for a laser pointer according to claim 3, wherein.
居る非熟練者に作業を行わせるに当たって、指令センタ
に設置されたクライアント装置から遠隔作業地に設置さ
れたサーバ装置へ指令を送り、該指令に従い、サーバ装
置を構成するコミュニケーション端末に搭載されたレー
ザポインタの方向を制御する装置であって、 前記コミュニケーション端末に搭載されたカメラによっ
て撮影され、クライアント装置の表示部に表示された遠
隔作業地の映像上でレーザポインタが照射する指示目標
位置を設定する手段を備えたことを特徴とするレーザポ
インタの方向制御装置。5. A client device installed at a command center sends a command to a server device installed at a remote work site when a skilled worker at the command center causes an unskilled worker at a remote work site to perform work. A device for controlling the direction of a laser pointer mounted on a communication terminal constituting a server device according to the command, the remote work being imaged by a camera mounted on the communication terminal and displayed on a display unit of the client device. A laser pointer direction control device comprising means for setting a pointing target position irradiated by a laser pointer on a ground image.
らサーバ装置へ送信する手段を備えたことを特徴とする
請求項５記載のレーザポインタの方向制御装置。6. The laser pointer direction control device according to claim 5, further comprising means for transmitting the designated target position from the client device to the server device.
レーザポインタの照射点を発見・追跡し、画像平面上ま
たは映像上の照射点の座標値を、照射点の現在値として
抽出する手段を備えたことを特徴とする請求項６記載の
レーザポインタの方向制御装置。7. A means is provided for finding and tracking the irradiation point of the laser pointer from the image photographed by the camera, and extracting the coordinate value of the irradiation point on the image plane or the image as the current value of the irradiation point. 7. The laser pointer direction control device according to claim 6, wherein:
の照射点の現在値との差を求める手段と、 前記差と、前記カメラの自動焦点機構より得られる距離
情報と、前記カメラのズーム機構より得られる焦点距離
と、前記カメラと前記レーザポインタを動作させる各サ
ーボモータの角度とから、レーザポインタの方向を制御
し、レーザポインタ照射点を前記指示目標位置へ位置決
めするための指令値を算出する手段とを備えたことを特
徴とする請求項７記載のレーザポインタの方向制御装
置。8. A means for obtaining a difference between the designated target position and a current value of an irradiation point of the laser pointer, the difference, distance information obtained from an automatic focusing mechanism of the camera, and a zoom mechanism of the camera. From the obtained focal length and the angle of each servo motor that operates the camera and the laser pointer, the direction of the laser pointer is controlled, and a command value for positioning the laser pointer irradiation point to the designated target position is calculated. 8. The direction control device for a laser pointer according to claim 7, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001223264A JP3820116B2 (en) | 2001-07-24 | 2001-07-24 | Laser pointer direction control method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001223264A JP3820116B2 (en) | 2001-07-24 | 2001-07-24 | Laser pointer direction control method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003037840A true JP2003037840A (en) | 2003-02-07 |
| JP3820116B2 JP3820116B2 (en) | 2006-09-13 |
Family
ID=19056628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001223264A Expired - Fee Related JP3820116B2 (en) | 2001-07-24 | 2001-07-24 | Laser pointer direction control method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3820116B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006180278A (en) * | 2004-12-22 | 2006-07-06 | Nippon Telegr & Teleph Corp <Ntt> | Remote communication system, and method and program for direction presentation used by the system |
| JP2008541909A (en) * | 2005-06-03 | 2008-11-27 | ホスピタル サン ジョアン デ ディウ | Eye movement sensor device |
| WO2009126125A1 (en) * | 2008-04-09 | 2009-10-15 | Hewlett-Packard Development Company, L.P. | Remote-controlled pointing |
| JP2009300575A (en) * | 2008-06-11 | 2009-12-24 | Tamura Seisakusho Co Ltd | Pointing system, pointing method, pointing program, and pointing vector operation device |
| JP2010152427A (en) * | 2008-12-24 | 2010-07-08 | Central Motor Co Ltd | Work element indication device using laser light emitter |
| JP2011118713A (en) * | 2009-12-04 | 2011-06-16 | Fujitsu Ltd | Program, device and method for controlling light projection |
| WO2015060393A1 (en) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | Remote action guidance system and processing method therefor |
| US11946761B2 (en) | 2018-06-04 | 2024-04-02 | The Research Foundation For The State University Of New York | System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device |
-
2001
- 2001-07-24 JP JP2001223264A patent/JP3820116B2/en not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4485933B2 (en) * | 2004-12-22 | 2010-06-23 | 日本電信電話株式会社 | Remote communication system, direction presentation method and direction presentation program used in this system |
| JP2006180278A (en) * | 2004-12-22 | 2006-07-06 | Nippon Telegr & Teleph Corp <Ntt> | Remote communication system, and method and program for direction presentation used by the system |
| JP2008541909A (en) * | 2005-06-03 | 2008-11-27 | ホスピタル サン ジョアン デ ディウ | Eye movement sensor device |
| JP4917598B2 (en) * | 2005-06-03 | 2012-04-18 | ホスピタル サン ジョアン デ ディウ | Eye movement sensor device |
| CN102150116A (en) * | 2008-04-09 | 2011-08-10 | 惠普开发有限公司 | Remote-controlled pointing |
| GB2471628B (en) * | 2008-04-09 | 2012-09-19 | Hewlett Packard Development Co | Remote-controlled pointing |
| GB2471628A (en) * | 2008-04-09 | 2011-01-05 | Hewlett Packard Development Co | Remote-controlled pointing |
| US9563293B2 (en) | 2008-04-09 | 2017-02-07 | Hewlett-Packard Development Company, L.P. | Remote-controlled pointing |
| CN102150116B (en) * | 2008-04-09 | 2014-03-12 | 惠普开发有限公司 | Remote-controlled pointer, remote-controlled pointing method and device |
| JP2011523728A (en) * | 2008-04-09 | 2011-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | Remote control pointing |
| WO2009126125A1 (en) * | 2008-04-09 | 2009-10-15 | Hewlett-Packard Development Company, L.P. | Remote-controlled pointing |
| JP2009300575A (en) * | 2008-06-11 | 2009-12-24 | Tamura Seisakusho Co Ltd | Pointing system, pointing method, pointing program, and pointing vector operation device |
| JP2010152427A (en) * | 2008-12-24 | 2010-07-08 | Central Motor Co Ltd | Work element indication device using laser light emitter |
| JP2011118713A (en) * | 2009-12-04 | 2011-06-16 | Fujitsu Ltd | Program, device and method for controlling light projection |
| WO2015060393A1 (en) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | Remote action guidance system and processing method therefor |
| US9538131B2 (en) | 2013-10-25 | 2017-01-03 | National Institute Of Advanced Industrial Science And Technology | Remote behavior navigation system and processing method thereof |
| JPWO2015060393A1 (en) * | 2013-10-25 | 2017-03-09 | 国立研究開発法人産業技術総合研究所 | Remote action guidance system and processing method thereof |
| US11946761B2 (en) | 2018-06-04 | 2024-04-02 | The Research Foundation For The State University Of New York | System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3820116B2 (en) | 2006-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4332231B2 (en) | Imaging device controller and imaging system | |
| US6191842B1 (en) | Computer assisted camera control system | |
| JP5005080B2 (en) | Panorama image generation method | |
| US10917560B2 (en) | Control apparatus, movable apparatus, and remote-control system | |
| CN102461153A (en) | Control device, camera system, and program | |
| JP2000307928A (en) | Camera controller | |
| JPWO2017033619A1 (en) | Imaging system and imaging control method | |
| JP3820116B2 (en) | Laser pointer direction control method and apparatus | |
| CN112204955A (en) | Video conferencing apparatus and method | |
| JPWO2017158718A1 (en) | Remote work support device, instruction terminal and on-site terminal | |
| US7651027B2 (en) | Remote instruction system and method thereof | |
| JP4243883B2 (en) | Remote head system | |
| JPH0946776A (en) | Device and method for remote instruction | |
| JP5683144B2 (en) | Transmission device, transmission method, and program | |
| JP2001245280A (en) | Camera control system, device, method, and computer- readable storage medium | |
| JP2000083246A (en) | Camera control system, camera control method, and recording medium stored with program to execute processing thereof | |
| JP2001025003A (en) | Camera system and camera control method | |
| JP7321749B2 (en) | Boarding bridge and its control device | |
| CN108632567A (en) | Cloud platform control method, apparatus and system | |
| JP4089854B2 (en) | Remote work support communication device | |
| JP7402145B2 (en) | Remote control systems, mobile robots, and operating terminals | |
| JP2992617B2 (en) | Method for determining shooting position of remote control camera and camera remote control system | |
| JPH10322581A (en) | Image pickup device controller and image pickup system | |
| CN112804466A (en) | Real-time interactive special effect camera shooting and photographing method | |
| JP4332580B2 (en) | Control device, control method, and monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060616 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140623 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |