JP2021117852A - Information processing device, detection position correction method, and program - Google Patents

Information processing device, detection position correction method, and program Download PDF

Info

Publication number
JP2021117852A
JP2021117852A JP2020012134A JP2020012134A JP2021117852A JP 2021117852 A JP2021117852 A JP 2021117852A JP 2020012134 A JP2020012134 A JP 2020012134A JP 2020012134 A JP2020012134 A JP 2020012134A JP 2021117852 A JP2021117852 A JP 2021117852A
Authority
JP
Japan
Prior art keywords
correction
detection position
range
rule
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020012134A
Other languages
Japanese (ja)
Inventor
正睦 渕上
Masamutsu Fuchigami
正睦 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2020012134A priority Critical patent/JP2021117852A/en
Publication of JP2021117852A publication Critical patent/JP2021117852A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

To provide an information processing device, a detection position correction method, and a program that are excellent in both of a viewpoint of breadth of a range that can be instructed and viewpoint of easiness to instruct a position.SOLUTION: An information processing device includes: a position correction unit that corrects a detection position related to gesture performed by a first user to identify a correction position; and a communication unit that transmits information that can be obtained based on identifying the correction position to a terminal used by a second user situated in a remote area distant from the first user. The position correction unit selects a rule from a plurality of rules and corrects the detection position according to the selected rule to identify the correction position when the detection position moves from a first range into a second range on one coordinate axis.SELECTED DRAWING: Figure 2

Description

本発明は、情報処理装置、検出位置補正方法およびプログラムに関する。 The present invention relates to an information processing device, a detection position correction method and a program.

従来、作業者が存在する拠点および指示者が存在する拠点の間でネットワークを介して音声および映像を送受信することで、指示者が作業者側の映像を見ながら作業者に対して作業を指示するためのシステムが提案されている。 Conventionally, by transmitting and receiving audio and video via a network between a base where a worker exists and a base where an instructor exists, the instructor instructs the worker to work while watching the video on the worker side. A system for doing so has been proposed.

指示者から作業者への指示は、作業者側の端末が音声または表示を出力することにより行われ得る。また、特許文献１には、作業者側で操作されるべき操作位置をレーザポインタにより指示する装置が開示されている。 The instruction from the instructor to the worker can be given by the terminal on the worker side outputting voice or display. Further, Patent Document 1 discloses a device that indicates an operation position to be operated by an operator by a laser pointer.

特許第４０８９８５４号Patent No. 4089854

特許文献１に記載の装置は、広い範囲の中でレーザポインタにより操作位置を指示し得る。しかし、特許文献１に記載の装置では、ズーム機能の焦点距離の変化に応じて操作装置の変化量とレーザポインタの変化量との比が調整されるので、操作装置の変化量とレーザポインタの変化量との比の切り替わりが指示者にとって直感的でない。また、特許文献１に記載の装置では、指示される操作位置が投影面上に限定されるので、空間を示すことが困難である。さらに、特許文献１に記載の装置では、操作位置の指示が点でしか行われないので、作業者に伝わる情報量が限定的である。 The apparatus described in Patent Document 1 can indicate an operation position by a laser pointer in a wide range. However, in the device described in Patent Document 1, the ratio of the amount of change in the operating device to the amount of change in the laser pointer is adjusted according to the change in the focal length of the zoom function. Switching the ratio with the amount of change is not intuitive to the instructor. Further, in the apparatus described in Patent Document 1, it is difficult to indicate the space because the designated operation position is limited to the projection surface. Further, in the device described in Patent Document 1, since the operation position is instructed only at a point, the amount of information transmitted to the operator is limited.

また、広い範囲内で指示者が操作位置を指示できるように、指示者の動きに対して操作位置が加速度的に変化する規則を一律的に適用する技術も考えられる。しかし、指示者の動きに対して操作位置の変化量が大きいと、指示者は細かな操作を指示し難くなる。一方、指示者の動きの変化量と操作位置の変化量が一致する場合には、指示者は細かな操作を指示し易くなるが、操作位置を指示可能な範囲の広さが不足し得る。 Further, a technique of uniformly applying a rule in which the operation position changes at an accelerating rate with respect to the movement of the instructor can be considered so that the instructor can instruct the operation position within a wide range. However, if the amount of change in the operation position is large with respect to the movement of the instructor, it becomes difficult for the instructor to instruct a detailed operation. On the other hand, when the amount of change in the movement of the instructor and the amount of change in the operation position match, the instructor can easily instruct a detailed operation, but the range in which the operation position can be instructed may be insufficient.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、指示可能な範囲の広さの観点および位置の指示し易さの観点の双方で優れた、新規かつ改良された情報処理装置、検出位置補正方法およびプログラムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is excellent in both the viewpoint of the wide range of instruction and the ease of instructing the position. It is an object of the present invention to provide a new and improved information processing apparatus, a detection position correction method and a program.

上記課題を解決するために、本発明のある観点によれば、第１のユーザが行うジェスチャに関する検出位置を補正して補正位置を特定する位置補正部と、前記第１のユーザから離れた遠隔地に存在する第２のユーザが利用する端末に、前記補正位置の特定に基づき得られる情報を送信する通信部と、を備え、前記位置補正部は、１の座標軸において前記検出位置が第１の範囲から第２の範囲内に移動した場合、複数の規則からいずれかの規則を選択し、選択された規則に従って前記検出位置を補正して前記補正位置を特定する、情報処理装置が提供される。 In order to solve the above problems, according to a certain viewpoint of the present invention, a position correction unit that corrects a detection position related to a gesture performed by a first user and specifies a correction position, and a remote distance from the first user. A terminal used by a second user existing on the ground is provided with a communication unit that transmits information obtained based on the identification of the correction position, and the position correction unit has the detection position first on one coordinate axis. An information processing apparatus is provided that, when moving from the range of to the second range, selects one of a plurality of rules, corrects the detection position according to the selected rule, and specifies the corrected position. NS.

前記複数の規則の各々では、前記検出位置の変化量に対する前記補正位置の変化量が異なってもよい。 In each of the plurality of rules, the amount of change in the correction position with respect to the amount of change in the detection position may be different.

前記位置補正部は、前記検出位置が前記第２の範囲内に移動した際の前記検出位置の移動速度に基づいて前記規則を選択してもよい。 The position correction unit may select the rule based on the moving speed of the detection position when the detection position moves within the second range.

前記位置補正部は、前記移動速度が速いほど、前記検出位置の変化量に対する前記補正位置の変化量が大きくなる規則を選択してもよい。 The position correction unit may select a rule in which the faster the moving speed, the larger the amount of change in the correction position with respect to the amount of change in the detection position.

前記検出位置が前記第１の範囲内から第２の範囲内に移動する前においては、前記通信部は、前記検出位置に基づく情報を前記第２のユーザが利用する前記端末に送信してもよい。 Before the detection position moves from the first range to the second range, the communication unit may transmit information based on the detection position to the terminal used by the second user. good.

前記第１の範囲は、第３の範囲と、前記第３の範囲および前記第２の範囲の間に位置する第４の範囲を含み、前記通信部は、前記第２の範囲から前記第３の範囲に向かって前記検出位置が移動する場合には、前記検出位置が前記第４の範囲を超えるまで前記補正位置の特定に基づく情報を送信してもよい。 The first range includes a third range and a fourth range located between the third range and the second range, and the communication unit has the second range to the third range. When the detection position moves toward the range of, information based on the identification of the correction position may be transmitted until the detection position exceeds the fourth range.

前記通信部は、前記検出位置が前記第４の範囲を超えて前記第３の範囲内となった後には、前記検出位置に基づく情報を前記第２のユーザが利用する前記端末に送信してもよい。 After the detection position exceeds the fourth range and falls within the third range, the communication unit transmits information based on the detection position to the terminal used by the second user. May be good.

前記位置補正部は、前記第１のユーザがいずれの人物であるか、または前記第１のユーザが有する属性に基づいて前記規則を選択してもよい。 The position correction unit may select the rule based on which person the first user is or the attributes of the first user.

前記位置補正部は、前記ジェスチャにおける前記第１のユーザの手の状態に基づいて前記規則を選択してもよい。 The position corrector may select the rule based on the state of the first user's hand in the gesture.

前記位置補正部は、前記第１のユーザが前記ジェスチャとは別に行った操作に基づいて前記規則を選択してもよい。 The position correction unit may select the rule based on an operation performed by the first user separately from the gesture.

前記位置補正部は、前記第２のユーザが行う作業に基づいて前記規則を選択してもよい。 The position correction unit may select the rule based on the work performed by the second user.

前記複数の規則は、前記検出位置を前記補正位置とする規則を含んでもよい。 The plurality of rules may include a rule in which the detection position is the correction position.

前記通信部は、前記第２のユーザが利用する端末から、前記遠隔地における壁面の位置に関する測定情報を受信し、前記位置補正部は、前記測定情報に基づき、前記検出位置を前記壁面の位置に対応する補正位置に補正し得る１または２以上の規則から前記規則を選択してもよい。 The communication unit receives measurement information regarding the position of the wall surface in the remote location from the terminal used by the second user, and the position correction unit sets the detection position to the position of the wall surface based on the measurement information. The rule may be selected from one or more rules that can be corrected to the correction position corresponding to.

前記位置補正部は、前記１または２以上の規則から、前記検出位置の変化量に対する前記補正位置の変化量が最小となる規則を優先的に選択してもよい。 The position correction unit may preferentially select a rule that minimizes the amount of change in the correction position with respect to the amount of change in the detection position from the one or more rules.

また、上記課題を解決するために、本発明の別の観点によれば、第１のユーザが行うジェスチャに関する検出位置を補正して補正位置を特定することと、前記補正位置の特定に基づく情報を、前記第１のユーザから離れた遠隔地に存在する第２のユーザが利用する端末に送信することと、を含み、前記検出位置を補正することは、複数の規則からいずれかの規則を選択することと、１の座標軸において前記検出位置が第１の範囲から第２の範囲内に移動した場合、選択された規則に従って前記検出位置を補正して前記補正位置を特定することと、を含む、検出位置補正方法が提供される。 Further, in order to solve the above problem, according to another viewpoint of the present invention, the correction position is specified by correcting the detection position related to the gesture performed by the first user, and the information based on the specification of the correction position is specified. Is transmitted to a terminal used by a second user located in a remote location away from the first user, and the correction of the detection position includes any rule from a plurality of rules. Selection and, when the detection position moves from the first range to the second range on one coordinate axis, the detection position is corrected according to the selected rule to specify the correction position. Included, detection position correction methods are provided.

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、第１のユーザが行うジェスチャに関する検出位置を補正して補正位置を特定する位置補正部と、前記補正位置の特定に基づく情報を、前記第１のユーザから離れた遠隔地に存在する第２のユーザが利用する端末に送信する通信部と、を備え、前記位置補正部は、１の座標軸において前記検出位置が第１の範囲から第２の範囲内に移動した場合、複数の規則からいずれかの規則を選択し、選択された規則に従って前記検出位置を補正して前記補正位置を特定する、情報処理装置として機能させるための、プログラムが提供される。 Further, in order to solve the above problems, according to another viewpoint of the present invention, the computer is provided with a position correction unit that corrects the detection position related to the gesture performed by the first user and specifies the correction position, and the correction position. The position correction unit includes a communication unit that transmits information based on the identification to a terminal used by a second user located in a remote location away from the first user, and the position correction unit detects the detection on one coordinate axis. Information processing that when the position moves from the first range to the second range, one of a plurality of rules is selected, the detected position is corrected according to the selected rule, and the corrected position is specified. A program is provided to function as a device.

以上説明したように、本発明は、指示可能な範囲の広さの観点および位置の指示し易さの観点の双方で優れる。 As described above, the present invention is excellent in terms of both the width of the instructable range and the ease of instructing the position.

本発明の一実施形態による遠隔作業支援システムの全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the remote work support system by one Embodiment of this invention. 指示者端末２０の構成を示す説明図である。It is explanatory drawing which shows the structure of the instructor terminal 20. 指示者Ｕ１を含む領域の平面図である。It is a top view of the area including the instructor U1. 検出位置ｙが負側から正側に向かう場合における位置補正の具体例を示す説明図である。It is explanatory drawing which shows the specific example of the position correction when the detection position y goes from a negative side to a positive side. 検出位置ｙが正側から負側に向かう場合における位置補正の具体例を示す説明図である。It is explanatory drawing which shows the specific example of the position correction when the detection position y goes from a positive side to a negative side. 記憶部２３０に記憶される複数の規則の具体例を示す説明図である。It is explanatory drawing which shows the specific example of the plurality of rules stored in the storage part 230. 各規則に従って描かれる線Ｌｎの具体例を示す説明図である。It is explanatory drawing which shows the specific example of the line Ln drawn according to each rule. 指示者端末２０の動作概要を示すフローチャートである。It is a flowchart which shows the operation outline of the instructor terminal 20. 検出位置Ｇの補正方法を示すフローチャートである。It is a flowchart which shows the correction method of the detection position G. 第１の変形例で記憶部２３０に記憶される情報を示す説明図である。It is explanatory drawing which shows the information stored in the storage part 230 in the 1st modification. 第１の変形例による規則の具体的な選択例を示す説明図である。It is explanatory drawing which shows the specific selection example of the rule by 1st modification. 第１の変形例による検出位置Ｇの補正方法を示すフローチャートである。It is a flowchart which shows the correction method of the detection position G by 1st modification. 指示者端末２０のハードウェア構成を示したブロック図である。It is a block diagram which showed the hardware composition of the instructor terminal 20.

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Embodiments of the present invention will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。 Further, in the present specification and the drawings, a plurality of components having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numerals. However, when it is not necessary to particularly distinguish each of the plurality of components having substantially the same functional configuration, only the same reference numerals are given to each of the plurality of components.

＜１．遠隔作業支援システムの概要＞
本発明の一実施形態は、作業者から離れた遠隔地に存在する指示者が作業者に作業を指示するための遠隔作業支援システムに関する。まず、図１を参照して、本発明の一実施形態による遠隔作業支援システムの全体構成について説明する。 <1. Overview of remote work support system>
One embodiment of the present invention relates to a remote work support system for an instructor who exists in a remote place away from the worker to instruct the worker to work. First, with reference to FIG. 1, the overall configuration of the remote work support system according to the embodiment of the present invention will be described.

図１は、本発明の一実施形態による遠隔作業支援システムの全体構成の一例を示す図である。図１には、第１のユーザとして指示者Ｕ１を示し、指示者Ｕ１から離れた遠隔地に存在する第２のユーザとして作業者Ｕ２を示している。本発明の一実施形態による遠隔作業支援システムは、例えば遠隔地で何らかの作業を行っている作業者Ｕ２に対して、作業者Ｕ２の視界方向を撮像した映像（作業者Ｕ２の作業対象を含む画角の映像）を見ながら、リアルタイムで指示者Ｕ１が作業者Ｕ２に対して作業等に関する指示を行う場合に適用され得る。なお、ここでは「遠隔地」と表現したが、指示者Ｕ１と作業者Ｕ２が遠く離れた場所に存在する場合に限られず、指示者Ｕ１と作業者Ｕ２は同じ建物の別フロアに存在してもよいし、指示者Ｕ１と作業者Ｕ２は同一フロアの別部屋に存在してもよい。 FIG. 1 is a diagram showing an example of an overall configuration of a remote work support system according to an embodiment of the present invention. In FIG. 1, the instructor U1 is shown as the first user, and the worker U2 is shown as the second user existing in a remote place away from the instructor U1. The remote work support system according to the embodiment of the present invention is, for example, an image of the field of view of the worker U2 with respect to the worker U2 who is performing some work in a remote place (an image including the work target of the worker U2). It can be applied when the instructor U1 gives an instruction regarding work or the like to the worker U2 in real time while watching the image of the corner). In addition, although it is expressed as "remote place" here, it is not limited to the case where the instructor U1 and the worker U2 exist in a distant place, and the instructor U1 and the worker U2 exist on different floors of the same building. Alternatively, the instructor U1 and the worker U2 may exist in different rooms on the same floor.

図１に示したように、本発明の一実施形態による遠隔作業支援システムは、指示者端末２０と、センサ部２６と、マイク２７と、表示装置２８と、作業者端末３０と、撮像装置３６と、ＡＲグラス３８と、測距部３９と、を有する。 As shown in FIG. 1, the remote work support system according to the embodiment of the present invention includes an instructor terminal 20, a sensor unit 26, a microphone 27, a display device 28, a worker terminal 30, and an image pickup device 36. And an AR glass 38, and a distance measuring unit 39.

指示者端末２０と作業者端末３０とはネットワークを介して接続されている。ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。 The instructor terminal 20 and the worker terminal 30 are connected via a network. The network 12 is a wired or wireless transmission path for information transmitted from a device connected to the network 12. For example, the network 12 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, and various LANs (Local Area Network) including Ethernet (registered trademark), WAN (Wide Area Network), and the like. Further, the network 12 may include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).

（指示者Ｕ１側の構成）
センサ部２６は、指示者Ｕ１のジェスチャ、および当該ジェスチャに関する位置を検出する。ジェスチャとしては、手の位置、手の方向、指の曲げ伸ばし状態に伴う手の形状などが挙げられる。例えば、指示者Ｕ１が図１に示したように指差しジェスチャを行った場合、センサ部２６は、指差しジェスチャを検出し、指示者Ｕ１の手首の位置を検出する。以下では、センサ部２６により検出される位置を検出位置と称する場合もある。なお、センサ部２６は、赤外線センサ、カメラおよび画像処理機能などを有してもよい。 (Structure on the instructor U1 side)
The sensor unit 26 detects the gesture of the instructor U1 and the position related to the gesture. Gestures include the position of the hand, the direction of the hand, and the shape of the hand when the finger is bent and stretched. For example, when the instructor U1 performs a pointing gesture as shown in FIG. 1, the sensor unit 26 detects the pointing gesture and detects the position of the wrist of the instructor U1. Hereinafter, the position detected by the sensor unit 26 may be referred to as a detection position. The sensor unit 26 may have an infrared sensor, a camera, an image processing function, and the like.

マイク２７は、指示者Ｕ１が発した音声を収音する。表示装置２８は、指示者端末２０により生成された画像を表示する。 The microphone 27 collects the sound emitted by the instructor U1. The display device 28 displays the image generated by the instructor terminal 20.

指示者端末２０は、指示者Ｕ１側で利用される情報処理装置の一例である。指示者端末２０には、センサ部２６、マイク２７および表示装置２８が接続される。また、指示者端末２０は、ネットワーク１２を介して接続されている作業者端末３０から、作業者Ｕ２の視界方向を撮像して得られた撮像画像を受信する。 The instructor terminal 20 is an example of an information processing device used on the instructor U1 side. A sensor unit 26, a microphone 27, and a display device 28 are connected to the instructor terminal 20. Further, the instructor terminal 20 receives an captured image obtained by imaging the visual field direction of the worker U2 from the worker terminal 30 connected via the network 12.

指示者端末２０は、作業者端末３０から受信される撮像画像に、ジェスチャに関する指示が重畳された重畳画像を生成し、当該重畳画像を表示装置２８に表示させる。指示者端末２０は、ジェスチャに関する指示として、センサ部２６により検出されたジェスチャに応じたジェスチャ画像をＣＧ（Computer Graphics）で生成し、撮像画像における当該ジェスチャの検出位置に応じた位置にジェスチャ画像を重畳する。図１に示した例では、指差しジェスチャを示すジェスチャ画像６０が重畳された重畳画像が表示装置２８に表示されている。なお、ジェスチャ画像６０の奥行方向上の位置は、互いに視差を有する左目用画像および右目用画像の生成、または、ジェスチャ画像６０の大きさにより表現されてもよい。 The instructor terminal 20 generates a superposed image in which instructions related to gestures are superimposed on the captured image received from the worker terminal 30, and causes the display device 28 to display the superposed image. As an instruction regarding the gesture, the instructor terminal 20 generates a gesture image corresponding to the gesture detected by the sensor unit 26 by CG (Computer Graphics), and generates the gesture image at a position corresponding to the detection position of the gesture in the captured image. Superimpose. In the example shown in FIG. 1, the superimposed image on which the gesture image 60 showing the pointing gesture is superimposed is displayed on the display device 28. The position of the gesture image 60 in the depth direction may be represented by the generation of a left-eye image and a right-eye image having parallax with each other, or by the size of the gesture image 60.

また、指示者端末２０は、上記ジェスチャ画像、および当該ジェスチャ画像が重畳されるべき位置を示す座標情報を作業者端末３０に送信する。また、指示者端末２０は、マイク２７から入力される指示者Ｕ１の音声を作業者端末３０に送信する。 Further, the instructor terminal 20 transmits the gesture image and coordinate information indicating the position where the gesture image should be superimposed to the worker terminal 30. Further, the instructor terminal 20 transmits the voice of the instructor U1 input from the microphone 27 to the worker terminal 30.

（作業者Ｕ２側の構成）
作業者端末３０は、作業者Ｕ２側で利用される端末の一例である。作業者端末３０は、指示者端末２０からジェスチャ画像、および当該ジェスチャ画像が重畳されるべき位置を示す座標情報などを受信する。また、作業者端末３０は、後述する撮像装置３６により得られた撮像画像を指示者端末２０に送信する。 (Configuration on the worker U2 side)
The worker terminal 30 is an example of a terminal used on the worker U2 side. The worker terminal 30 receives a gesture image, coordinate information indicating a position on which the gesture image should be superimposed, and the like from the instructor terminal 20. In addition, the worker terminal 30 transmits the captured image obtained by the image pickup device 36 described later to the instructor terminal 20.

撮像装置３６は、例えば図１に示すように作業者Ｕ２の頭部などに装着されたウェアラブルデバイスである。このため、撮像装置３６は、作業者Ｕ２の視界方向を撮像する。撮像装置３６により得られた撮像画像は、作業者端末３０から指示者端末２０に送信される。なお、図１においては、作業者Ｕ２の作業対象として、オブジェクトObj１〜Obj３を図示している。作業内容や作業対象は特に限定しないが、例えば、工場における機械の操作や部品の組み立て、画面操作など、様々な場合が想定される。 The image pickup device 36 is a wearable device mounted on the head of the worker U2 or the like as shown in FIG. 1, for example. Therefore, the image pickup device 36 images the field of view direction of the worker U2. The captured image obtained by the image capturing device 36 is transmitted from the worker terminal 30 to the instructor terminal 20. Note that, in FIG. 1, objects Obj1 to Obj3 are illustrated as work targets of the worker U2. The work content and work target are not particularly limited, but various cases such as machine operation in a factory, assembly of parts, and screen operation are assumed.

ＡＲグラス３８は、作業者Ｕ２に装着されるウェアラブルディスプレイである。ＡＲグラス３８は、透光性を有し、作業者端末３０により受信されたジェスチャ画像を、作業者端末３０により受信された座標情報が示す位置に表示する。また、ＡＲグラス３８は、音声出力機能も有し、作業者端末３０により受信された指示者Ｕ１の音声を出力する。 The AR glass 38 is a wearable display attached to the worker U2. The AR glass 38 has translucency and displays the gesture image received by the worker terminal 30 at the position indicated by the coordinate information received by the worker terminal 30. The AR glass 38 also has a voice output function, and outputs the voice of the instructor U1 received by the worker terminal 30.

測距部３９は、対象物までの距離を測定する。例えば、測距部３９は、作業者Ｕ２に対向する壁面Ｗまでの距離を測定する。測距部３９により得られた測定情報は、作業者端末３０から指示者端末２０に送信される。 The distance measuring unit 39 measures the distance to the object. For example, the distance measuring unit 39 measures the distance to the wall surface W facing the worker U2. The measurement information obtained by the distance measuring unit 39 is transmitted from the worker terminal 30 to the instructor terminal 20.

（動作概要）
このような遠隔作業支援システムにおいては、作業者Ｕ２から見ると、自身の視界上にジェスチャ画像６０がＡＲ（Augmented Reality）表示されている状態となる。また、指示者Ｕ１は、自身のジェスチャに対応するジェスチャ画像６０が重畳された重畳画像を見ながらジェスチャを行うことが可能である。従って、指示者Ｕ１は、多様なジェスチャを介してより直感的かつ適切に作業者Ｕ２に指示を伝えることが可能となる。 (Outline of operation)
In such a remote work support system, the gesture image 60 is AR (Augmented Reality) displayed in its own field of view when viewed from the worker U2. In addition, the instructor U1 can make a gesture while looking at the superimposed image on which the gesture image 60 corresponding to his / her gesture is superimposed. Therefore, the instructor U1 can more intuitively and appropriately convey the instruction to the operator U2 through various gestures.

なお、上記ではＡＲグラス３８が透過型のウェアラブルディスプレイである例を説明したが、ＡＲグラス３８は非透過型のウェアラブルディスプレイであってもよい。この場合、指示者端末２０は撮像画像にジェスチャ画像が重畳された重畳画像を作業者端末３０に送信し、ＡＲグラス３８は当該重畳画像を表示してもよい。また、上記ではウェアラブルディスプレイであるＡＲグラス３８が用いられる例を説明したが、ＡＲグラス３８に代えて、作業者Ｕ２の周囲に設置された大型のディスプレイ、作業台の天板に設置されるディスプレイ、およびプロジェクタなどが用いられてもよい。 Although the example in which the AR glass 38 is a transmissive wearable display has been described above, the AR glass 38 may be a non-transparent wearable display. In this case, the instructor terminal 20 may transmit the superimposed image in which the gesture image is superimposed on the captured image to the worker terminal 30, and the AR glass 38 may display the superimposed image. Further, although the example in which the AR glass 38, which is a wearable display, is used has been described above, instead of the AR glass 38, a large display installed around the worker U2 and a display installed on the top plate of the work table , And a projector or the like may be used.

また、上記では指示者端末２０および作業者端末３０がデスクトップ型のＰＣ（Personal Computer）である例を説明したが、指示者端末２０または作業者端末３０は、ラップトップ型のＰＣであってもよいし、タブレット端末であってもよい。また、指示者端末２０または作業者端末３０の機能は、他の装置に一体的に組み込まれていてもよい。例えば、指示者端末２０の機能は表示装置２８に組み込まれていてもよいし、作業者端末３０の機能はＡＲグラス３８に組み込まれていてもよい。 Further, although the example in which the instructor terminal 20 and the worker terminal 30 are desktop PCs (Personal Computers) has been described above, the instructor terminal 20 or the worker terminal 30 may be a laptop type PC. It may be a tablet terminal. Further, the function of the instructor terminal 20 or the worker terminal 30 may be integrated into another device. For example, the function of the instructor terminal 20 may be incorporated in the display device 28, or the function of the worker terminal 30 may be incorporated in the AR glass 38.

（背景）
指示者Ｕ１によるジェスチャの検出位置の変化量と、作業者Ｕ２側の空間内でジェスチャ画像が重畳される位置の変化量とが等しい場合、作業者Ｕ２側の空間内でジェスチャ画像が重畳され得る範囲は、指示者Ｕ１がジェスチャを行い得る範囲内に制限される。しかし、実際には指示者Ｕ１は自分のジェスチャが届かない位置を作業者Ｕ２に指示することを望み得る。 (background)
When the amount of change in the position where the gesture is detected by the instructor U1 is equal to the amount of change in the position where the gesture image is superimposed in the space on the worker U2 side, the gesture image can be superimposed in the space on the worker U2 side. The range is limited to the range in which the instructor U1 can make a gesture. However, in reality, the instructor U1 may wish to instruct the worker U2 at a position where his gesture does not reach.

このため、広い範囲内で指示者Ｕ１が位置を指示できるように、ジェスチャの検出位置に対してジェスチャ画像の重畳位置が加速度的に変化する規則を一律的に適用する技術も考えられる。しかし、検出位置に対してジェスチャ画像の重畳位置の変化量が大きいと、指示者Ｕ１は細かな操作を指示し難くなる。この時、指示者Ｕ１から見てある境界面より奥側での検出位置の変化にのみジェスチャ画像の重畳位置が加速度的に変化する規則を適用する方法も考えられるが、この方法では、誤差などの影響により検出位置が境界面を行き来してしまう場合に重畳位置の変化速度がバタついてしまう。 Therefore, a technique is also conceivable in which a rule in which the superimposed position of the gesture image changes at an accelerating rate with respect to the gesture detection position is uniformly applied so that the instructor U1 can instruct the position within a wide range. However, if the amount of change in the superimposed position of the gesture image is large with respect to the detection position, it becomes difficult for the instructor U1 to instruct a detailed operation. At this time, it is conceivable to apply a rule that the superposition position of the gesture image changes at an accelerating rate only to the change of the detection position on the back side of the boundary surface seen from the instructor U1, but in this method, an error or the like is considered. When the detection position moves back and forth between the boundary surfaces due to the influence of, the change speed of the superimposition position fluctuates.

本件発明者は、上記事情を一着眼点にして本発明の一実施形態を創作するに至った。本発明の一実施形態は、指示可能な範囲の広さの観点および位置の指示し易さの観点の双方で優れる。以下、このような本発明の一実施形態による指示者端末２０の構成および動作を順次詳細に説明する。 The inventor of the present invention has come to create an embodiment of the present invention with the above circumstances as the first point of view. One embodiment of the present invention is excellent in terms of both the breadth of the instructable range and the ease of instructing the position. Hereinafter, the configuration and operation of the instructor terminal 20 according to the embodiment of the present invention will be sequentially described in detail.

＜２．指示者端末２０の構成＞
図２は、指示者端末２０の構成を示す説明図である。図２に示したように、指示者端末２０は、通信部２２０、記憶部２３０および制御部２４０を有する。 <2. Configuration of instructor terminal 20>
FIG. 2 is an explanatory diagram showing the configuration of the instructor terminal 20. As shown in FIG. 2, the instructor terminal 20 has a communication unit 220, a storage unit 230, and a control unit 240.

（通信部）
通信部２２０は、他の装置から情報を受信する受信部、および他の装置に情報を送信する送信部として機能する。例えば、通信部２２０は、作業者端末３０から作業者Ｕ２側の撮像画像を受信する。また、通信部２２０は、ジェスチャ画像、および、検出位置に基づく情報の一例である検出位置の座標情報、または後述する補正位置の特定に基づき得られる情報の一例である補正位置の座標情報を送信する。作業者端末３０にジェスチャ画像および座標情報を送信する。また、通信部２２０には、センサ部２６からジェスチャの検出情報が入力され、マイク２７から指示者Ｕ１の音声が入力される。また、通信部２２０は、後述する重畳画像生成部２４６により生成される重畳画像を表示装置２８に出力する。 (Communication Department)
The communication unit 220 functions as a receiving unit that receives information from another device and a transmitting unit that transmits information to the other device. For example, the communication unit 220 receives the captured image on the worker U2 side from the worker terminal 30. Further, the communication unit 220 transmits the gesture image, the coordinate information of the detection position which is an example of the information based on the detection position, or the coordinate information of the correction position which is an example of the information obtained based on the identification of the correction position described later. do. The gesture image and the coordinate information are transmitted to the worker terminal 30. In addition, gesture detection information is input to the communication unit 220 from the sensor unit 26, and the voice of the instructor U1 is input from the microphone 27. Further, the communication unit 220 outputs the superimposed image generated by the superimposed image generation unit 246, which will be described later, to the display device 28.

（記憶部）
記憶部２３０は、指示者端末２０の動作に用いられる多様な情報を記憶する。例えば、記憶部２３０は、位置補正部２４２がジェスチャの検出位置を補正するための複数の規則を記憶する。複数の規則の各々では、検出位置の変化量に対する前記補正位置の変化量が異なる。複数の規則については、図６を参照してより詳細に説明する。 (Memory)
The storage unit 230 stores various information used for the operation of the instructor terminal 20. For example, the storage unit 230 stores a plurality of rules for the position correction unit 242 to correct the detection position of the gesture. In each of the plurality of rules, the amount of change in the correction position with respect to the amount of change in the detection position is different. The plurality of rules will be described in more detail with reference to FIG.

（制御部）
制御部２４０は、指示者端末２０の動作全般を制御する。特に、本発明の一実施形態による制御部２４０は、図２に示したように、位置補正部２４２、ジェスチャ画像生成部２４４および重畳画像生成部２４６の機能を有する。 (Control unit)
The control unit 240 controls the overall operation of the instructor terminal 20. In particular, the control unit 240 according to the embodiment of the present invention has the functions of the position correction unit 242, the gesture image generation unit 244, and the superimposed image generation unit 246, as shown in FIG.

位置補正部２４２は、指示者Ｕ１が行うジェスチャに関する検出位置を補正して補正位置を特定する。例えば、位置補正部２４２は、１の座標軸において検出位置が第１の範囲から第２の範囲内に移動した場合、複数の規則からいずれかの規則を選択し、選択された規則に従って検出位置を補正して補正位置を特定する。第１の範囲は、指示者Ｕ１から見て第２の範囲よりも手前側に位置する。また、複数の規則の各々では、検出位置の変化量に対する補正位置の変化量が異なる。複数の規則は、検出位置の変化に対して補正位置がＮ次関数または指数関数的に変化する規則を含んでもよい。以下、図３〜図７を参照し、このような位置補正部２４２の機能をより具体的に説明する。 The position correction unit 242 corrects the detection position related to the gesture performed by the instructor U1 and specifies the correction position. For example, when the detection position moves from the first range to the second range on one coordinate axis, the position correction unit 242 selects one of a plurality of rules and sets the detection position according to the selected rule. Correct and specify the correction position. The first range is located on the front side of the second range when viewed from the instructor U1. Further, in each of the plurality of rules, the amount of change in the correction position with respect to the amount of change in the detection position is different. The plurality of rules may include a rule in which the correction position changes in an Nth order function or an exponential function with respect to a change in the detection position. Hereinafter, the function of such a position correction unit 242 will be described more specifically with reference to FIGS. 3 to 7.

図３は、指示者Ｕ１を含む領域の平面図である。図３には、センサ座標系および計算用座標系を示している。センサ座標系は、図３に示した例では、指示者Ｕ１から見た表示装置２８の幅方向であるＸ軸、指示者Ｕ１から見た奥行方向であるＹ軸、および高さ方向であるＺ軸を有する。ここでは、指示者Ｕ１から見たＸ軸上の右側の方向をＸ軸正方向とし、指示者Ｕ１から見たＹ軸上の奥側の方向をＹ軸正方向とし、Ｚ軸上の上側の方向をＺ軸正方向とする。センサ部２６により得られる検出位置Ｇはこのようなセンサ座標系で示される。例えば、ジェスチャの検出位置として得られる指示者Ｕ１の手首のＹ軸方向上での検出位置は、図３に示したように（Ｇ．ｔ．Ｙ）と表現される。 FIG. 3 is a plan view of a region including the instructor U1. FIG. 3 shows a sensor coordinate system and a calculation coordinate system. In the example shown in FIG. 3, the sensor coordinate system has an X-axis in the width direction of the display device 28 seen from the instructor U1, a Y-axis in the depth direction as seen from the instructor U1, and a Z in the height direction. Has a shaft. Here, the direction on the right side on the X-axis as seen from the instructor U1 is the positive direction on the X-axis, the direction on the back side on the Y-axis as seen from the instructor U1 is the positive direction on the Y-axis, and the upper side on the Z-axis. The direction is the Z-axis positive direction. The detection position G obtained by the sensor unit 26 is indicated by such a sensor coordinate system. For example, the detection position of the wrist of the instructor U1 obtained as the gesture detection position on the Y-axis direction is expressed as (GtY) as shown in FIG.

計算用座標系は、図３に示した例では、指示者Ｕ１から見た奥行方向であるｙ軸を有する。計算用座標系におけるｙ軸の原点（０位置）は、センサ座標系のＹ軸におけるＹ０に等しい。指示者Ｕ１の手首のｙ軸上での検出位置ｙは、「（Ｇ．ｔ．Ｙ）−Ｙ０」で示される座標変換により特定される。 In the example shown in FIG. 3, the calculation coordinate system has a y-axis which is the depth direction seen from the instructor U1. The origin (0 position) of the y-axis in the calculation coordinate system is equal to Y0 in the Y-axis of the sensor coordinate system. The detection position y on the y-axis of the wrist of the instructor U1 is specified by the coordinate transformation indicated by "(GtY) -Y0".

−ヒステリシス
また、図３には、ｙが定数ｙ＋となる線、およびｙが定数ｙ−となる線を示している。ｙが定数ｙ＋未満である範囲は第１の範囲の一例であり、ｙが定数ｙ＋以上である範囲は第２の範囲の一例である。また、第１の範囲は、ｙが定数ｙ未満である第３の範囲、およびｙが定数ｙ−以上であり定数ｙ＋未満である第４の範囲を含む。位置補正部２４２は、指示者Ｕ１の手首の検出位置ｙと、これら定数ｙ−、定数ｙ＋、および０との関係に基づき、検出位置ｙを補正して補正位置ｙ’を特定する。 -Hysteresis Further, FIG. 3 shows a line in which y is a constant y + and a line in which y is a constant y−. The range in which y is less than the constant y + is an example of the first range, and the range in which y is greater than or equal to the constant y + is an example of the second range. The first range includes a third range in which y is less than the constant y, and a fourth range in which y is greater than or equal to the constant y− and less than the constant y +. The position correction unit 242 corrects the detection position y and specifies the correction position y'based on the relationship between the detection position y of the wrist of the instructor U1 and these constants y−, constants y +, and 0.

図４は、検出位置ｙが負側から正側に向かう場合における位置補正の具体例を示す説明図である。図４において、横軸が検出位置ｙを示し、縦軸が補正後の補正位置ｙ’を示す。また、線Ｌ０は検出位置ｙ＝補正位置ｙ’となる直線であり、線ＬｎはＮ次関数に従う曲線である。なお、図４において、縦軸の縮尺と横軸の縮尺は異なる。 FIG. 4 is an explanatory diagram showing a specific example of position correction when the detection position y goes from the negative side to the positive side. In FIG. 4, the horizontal axis indicates the detection position y, and the vertical axis indicates the correction position y'after correction. Further, the line L0 is a straight line where the detection position y = the correction position y', and the line Ln is a curve according to the Nth order function. In FIG. 4, the scale on the vertical axis and the scale on the horizontal axis are different.

図４に示したように、検出位置ｙが定数ｙ＋未満である間は、線Ｌ０に沿って検出位置ｙ＝補正位置ｙ’となる。この場合、位置補正部２４２は検出位置ｙを補正していないとも言えるが、本明細書においては、説明の便宜上、検出位置ｙ＝補正位置ｙ’となる場合でも位置補正部２４２が検出位置ｙを補正したものとして扱う。一方、位置補正部２４２は、検出位置ｙが定数ｙ＋以上となった後は線Ｌｎに沿って検出位置ｙに対応する補正位置ｙ’を特定する。すなわち、検出位置ｙが負側から正側に向かう場合には、定数ｙ＋において位置補正に用いられる線が切り替えられる。 As shown in FIG. 4, while the detection position y is less than the constant y +, the detection position y = the correction position y'along the line L0. In this case, it can be said that the position correction unit 242 does not correct the detection position y, but in the present specification, for convenience of explanation, the position correction unit 242 does not correct the detection position y even when the detection position y = the correction position y'. Is treated as corrected. On the other hand, the position correction unit 242 specifies the correction position y'corresponding to the detection position y along the line Ln after the detection position y becomes the constant y + or more. That is, when the detection position y goes from the negative side to the positive side, the line used for the position correction is switched at the constant y +.

図５は、検出位置ｙが正側から負側に向かう場合における位置補正の具体例を示す説明図である。図５に示したように、位置補正部２４２は、検出位置ｙが定数ｙ−以上である間は線Ｌｎに沿って検出位置ｙに対応する補正位置ｙ’を特定する。一方、検出位置ｙが定数ｙ−未満となった後は、線Ｌ０に沿って検出位置ｙ＝補正位置ｙ’となる。すなわち、検出位置ｙが正側から負側に向かう場合には、定数ｙ−において位置補正に用いられる線が切り替えられる。 FIG. 5 is an explanatory diagram showing a specific example of position correction when the detection position y goes from the positive side to the negative side. As shown in FIG. 5, the position correction unit 242 specifies the correction position y'corresponding to the detection position y along the line Ln while the detection position y is equal to or greater than the constant y−. On the other hand, after the detection position y becomes less than the constant y−, the detection position y = the correction position y'along the line L0. That is, when the detection position y goes from the positive side to the negative side, the line used for the position correction is switched at the constant y−.

このように、位置補正部２４２により位置補正はヒステリシスに行われる。具体的には、検出位置ｙが負側から正側に向かう場合と、検出位置ｙが正側から負側に向かう場合とで、位置補正に用いる線が切り替えられる境界が異なる。従って、検出位置ｙが誤差などの影響により定数ｙ−または定数ｙ＋を行き来してしまう場合に、位置補正に用いられる線が都度切り替えられることが防止され、結果、補正位置ｙ’の変化速度のバタつきを抑制することができる。 In this way, the position correction unit 242 performs the position correction to hysteresis. Specifically, the boundary at which the line used for position correction is switched differs depending on whether the detection position y is directed from the negative side to the positive side or the detection position y is directed from the positive side to the negative side. Therefore, when the detection position y moves back and forth between the constant y− and the constant y + due to the influence of an error or the like, it is prevented that the line used for the position correction is switched each time, and as a result, the change speed of the correction position y'is changed. It is possible to suppress fluttering.

−規則の選択
位置補正部２４２は、複数の規則からいずれかの規則を選択し、選択された規則に従って検出位置を補正する。上述した線Ｌｎは、選択された規則に従って描かれる線の一例である。例えば、線Ｌｎは以下の数式で表現され、各規則は、以下の数式１におけるＵＩおよびＵ２を決定するためのＴ１およびＴ２を規定する。

ｙ’＝（ｙ＋１）Ｕ１／Ｕ２−（Ｕ１／Ｕ２） （数式１）
-Rule selection The position correction unit 242 selects one of a plurality of rules and corrects the detection position according to the selected rule. The line Ln described above is an example of a line drawn according to a selected rule. For example, the line Ln is represented by the following formula, and each rule defines T1 and T2 for determining the UI and U2 in the following formula 1.

y'= (y + 1) U1 / U2- (U1 / U2) (Formula 1)

図６は、記憶部２３０に記憶される複数の規則の具体例を示す説明図である。図６には、規則１〜規則５の５つの規則を示している。速度条件Ｃｖｂは、位置補正部２４２が規則を選択する際に参照される。Ｔ１およびＴ２は定数である。位置補正部２４２は、選択した規則のＴ１を上記数式のＵ１に代入し、Ｔ２をＵ２に代入する。各規則に従って描かれる線Ｌｎは図７に示す通りである。Ｔ１およびＴ２は、検出位置ｙ＝０における補正位置ｙ’の傾きが１となるように用意されてもよい。なお、規則１は、検出位置ｙを補正位置ｙ’とするものである。 FIG. 6 is an explanatory diagram showing a specific example of a plurality of rules stored in the storage unit 230. FIG. 6 shows five rules, Rule 1 to Rule 5. The velocity condition Cvb is referred to when the position correction unit 242 selects a rule. T1 and T2 are constants. The position correction unit 242 substitutes T1 of the selected rule into U1 of the above equation, and substitutes T2 into U2. The line Ln drawn according to each rule is as shown in FIG. T1 and T2 may be prepared so that the inclination of the correction position y'at the detection position y = 0 is 1. In Rule 1, the detection position y is set as the correction position y'.

図７は、各規則に従って描かれる線Ｌｎの具体例を示す説明図である。図７において、線Ｌ１は規則１に従って描かれる線であり、線Ｌ２は規則２に従って描かれる線であり、線Ｌ３は規則３に従って描かれる線であり、線Ｌ４は規則４に従って描かれる線であり、線Ｌ５は規則５に従って描かれる線である。 FIG. 7 is an explanatory diagram showing a specific example of the line Ln drawn according to each rule. In FIG. 7, line L1 is a line drawn according to rule 1, line L2 is a line drawn according to rule 2, line L3 is a line drawn according to rule 3, and line L4 is a line drawn according to rule 4. Yes, line L5 is a line drawn according to Rule 5.

位置補正部２４２は、このような複数の規則から、検出位置ｙが定数ｙ＋以上となる範囲内に移動した場合、検出位置ｙが当該範囲に移動した際の検出位置ｙの移動速度に基づいて規則を選択してもよい。例えば、位置補正部２４２は、検出位置ｙが０から定数ｙ＋まで移動する間の移動速度が速いほど、検出位置ｙの変化量に対する補正位置ｙ’の変化量が大きくなる規則を選択してもよい。具体的には、位置補正部２４２は、図６に示した各規則の速度条件Ｃｖｂを参照し、移動速度が０．４未満である場合には規則１を選択し、移動速度が０．４以上かつ０．６未満である場合には規則２を選択し、移動速度が１．０以上である場合には規則５を選択してもよい。 From such a plurality of rules, when the position correction unit 242 moves within a range in which the detection position y is constant y + or more, the position correction unit 242 is based on the moving speed of the detection position y when the detection position y moves to the range. You may choose a rule. For example, even if the position correction unit 242 selects a rule that the faster the movement speed while the detection position y moves from 0 to the constant y +, the larger the change amount of the correction position y'with respect to the change amount of the detection position y. good. Specifically, the position correction unit 242 refers to the speed condition Cvb of each rule shown in FIG. 6, selects rule 1 when the movement speed is less than 0.4, and the movement speed is 0.4. If it is more than or less than 0.6, rule 2 may be selected, and if the moving speed is 1.0 or more, rule 5 may be selected.

指示者Ｕ１が指示したい位置が遠いほど、ｙ軸上での指示者Ｕ１のジェスチャの動きが速くなる傾向が表れ得る。上記の移動速度に基づく規則の選択は、当該傾向に沿ったものであるので、指示者Ｕ１にとって自然かつ直感的である。 The farther the position that the instructor U1 wants to instruct is, the faster the gesture of the instructor U1 on the y-axis tends to move. The selection of the rule based on the movement speed described above is in line with the tendency, and is therefore natural and intuitive for the instructor U1.

−センサ座標系での補正
位置補正部２４２は、上述した方法により検出位置ｙを補正して補正位置ｙ’を特定すると、補正位置ｙ’に基づき、センサ座標系でのジェスチャの検出位置Ｇを補正する。例えば、位置補正部２４２は、センサ座標系でのジェスチャの検出位置ＧのＹ座標値に、補正位置ｙ’と検出位置ｙとの差分（オフセット）を加えることで、センサ座標系での補正位置Ｇ’を特定することができる。 -Correction in the sensor coordinate system When the position correction unit 242 corrects the detection position y by the above method and specifies the correction position y', the gesture detection position G in the sensor coordinate system is determined based on the correction position y'. to correct. For example, the position correction unit 242 adds the difference (offset) between the correction position y'and the detection position y to the Y coordinate value of the gesture detection position G in the sensor coordinate system to correct the position in the sensor coordinate system. G'can be identified.

−ジェスチャ画像の生成
図２に示したジェスチャ画像生成部２４４は、センサ部２６により検出されたデータに基づいて、指示者Ｕ１のジェスチャ（手および指の動き）を表現するジェスチャ画像を、例えばＣＧ等により生成する。例えば、ジェスチャ画像生成部２４４は、センサ部２６により検出された、指示者Ｕ１の手や指、また、指の関節などの三次元位置座標や、その変化のデータに基づいて、手や指の形や動きを表現する３Ｄ画像または２Ｄ画像を、ジェスチャ画像として生成する。 -Gesture image generation The gesture image generation unit 244 shown in FIG. 2 produces a gesture image representing the gesture (hand and finger movement) of the instructor U1 based on the data detected by the sensor unit 26, for example, CG. It is generated by such as. For example, the gesture image generation unit 244 uses the three-dimensional position coordinates of the hand and finger of the instructor U1 and the joint of the finger detected by the sensor unit 26 and the data of the change of the hand and finger. A 3D image or a 2D image expressing a shape or movement is generated as a gesture image.

−重畳画像の生成
重畳画像生成部２４６は、ジェスチャ画像生成部２４４により生成されたジェスチャ画像を、撮像装置３６で撮像された作業者Ｕ２側の撮像画像に重畳する処理を行う。この時、重畳画像生成部２４６は、位置補正部２４２により特定されたセンサ座標系での補正位置Ｇ’に従ってジェスチャ画像を撮像画像に重畳する。 -Generation of superimposed image The superimposed image generation unit 246 performs a process of superimposing the gesture image generated by the gesture image generation unit 244 on the captured image on the worker U2 side captured by the imaging device 36. At this time, the superimposed image generation unit 246 superimposes the gesture image on the captured image according to the correction position G'in the sensor coordinate system specified by the position correction unit 242.

＜３．指示者端末２０の動作＞
以上、指示者端末２０の構成を説明した。続いて、図８および図９を参照し、指示者端末２０の動作を整理する。 <3. Operation of instructor terminal 20>
The configuration of the instructor terminal 20 has been described above. Subsequently, with reference to FIGS. 8 and 9, the operation of the instructor terminal 20 is arranged.

（動作概要）
図８は、指示者端末２０の動作概要を示すフローチャートである。まず、通信部２２０が作業者端末３０から作業者Ｕ２側の撮像画像を受信すると（Ｓ４１０）、制御部２４０は当該撮像画像を表示装置２８に表示させる（Ｓ４２０）。そして、指示者端末２０がジェスチャの検出位置Ｇをセンサ部２６から取得すると（Ｓ４３０）、位置補正部２４２がジェスチャの検出位置Ｇを必要に応じて補正して補正位置Ｇ’を特定する（Ｓ４４０）。 (Outline of operation)
FIG. 8 is a flowchart showing an outline of the operation of the instructor terminal 20. First, when the communication unit 220 receives the captured image on the worker U2 side from the worker terminal 30 (S410), the control unit 240 causes the display device 28 to display the captured image (S420). Then, when the instructor terminal 20 acquires the gesture detection position G from the sensor unit 26 (S430), the position correction unit 242 corrects the gesture detection position G as necessary to specify the correction position G'(S440). ).

さらに、ジェスチャ画像生成部２４４がセンサ部２６により検出されたデータに基づいてジェスチャ画像を生成する（Ｓ４５０）。その後、重畳画像生成部２４６は、ジェスチャ画像生成部２４４により生成されたジェスチャ画像を、撮像装置３６で撮像された作業者Ｕ２側の撮像画像に重畳する（Ｓ４６０）。この時、重畳画像生成部２４６は、位置補正部２４２により特定されたセンサ座標系での補正位置Ｇ’に従ってジェスチャ画像を撮像画像に重畳する。 Further, the gesture image generation unit 244 generates a gesture image based on the data detected by the sensor unit 26 (S450). After that, the superimposed image generation unit 246 superimposes the gesture image generated by the gesture image generation unit 244 on the captured image on the worker U2 side captured by the imaging device 36 (S460). At this time, the superimposed image generation unit 246 superimposes the gesture image on the captured image according to the correction position G'in the sensor coordinate system specified by the position correction unit 242.

そして、通信部２２０は、ジェスチャ画像生成部２４４により生成されたジェスチャ画像、およびジェスチャ画像の重畳位置を示す座標情報として補正位置Ｇ’を示す座標情報を作業者端末３０に送信する（Ｓ４７０）。なお、図４および図５を参照して説明した線Ｌ０に従って検出位置ｙ＝補正位置ｙ’とされた場合には、通信部２２０が補正位置Ｇ’を示す座標情報を送信することは、検出位置Ｇを示す座標情報（検出位置Ｇに基づく座標情報）を送信することに等しい。 Then, the communication unit 220 transmits the gesture image generated by the gesture image generation unit 244 and the coordinate information indicating the correction position G'as the coordinate information indicating the superimposed position of the gesture image to the worker terminal 30 (S470). When the detection position y = the correction position y'according to the line L0 described with reference to FIGS. 4 and 5, it is detected that the communication unit 220 transmits the coordinate information indicating the correction position G'. It is equivalent to transmitting coordinate information indicating the position G (coordinate information based on the detection position G).

指示者端末２０は、実際にはＳ４１０〜Ｓ４７０の処理を繰り返す。これにより、指示者Ｕ１がリアルタイムで作業者Ｕ２に指示を伝えることが可能である。 The instructor terminal 20 actually repeats the processes of S410 to S470. As a result, the instructor U1 can convey the instruction to the worker U2 in real time.

（検出位置の補正）
続いて、図８に示したＳ４４０の処理である検出位置Ｇの補正をより詳細に整理する。まず、指示者端末２０は、一連の処理の開始に先立ち、各変数の初期化、およびセンサ部２６への接続およびセンサ部２６の初期化を行う。各変数の初期化として、指示者端末２０は、各変数を以下のように設定する。その上で、位置補正部２４２は、図９に示す検出位置Ｇの補正を実行する。
ｚｂ＝０
Ｕ１＝１
Ｕ２＝２
ｔｂ＝現在時刻
ＣＴＸ＿ＮＥＡＲ＝１ (Correction of detection position)
Subsequently, the correction of the detection position G, which is the process of S440 shown in FIG. 8, will be arranged in more detail. First, the instructor terminal 20 initializes each variable, connects to the sensor unit 26, and initializes the sensor unit 26 prior to the start of a series of processes. As the initialization of each variable, the instructor terminal 20 sets each variable as follows. Then, the position correction unit 242 corrects the detection position G shown in FIG.
zb = 0
U1 = 1
U2 = 2
tb = current time CTX_NEAR = 1

図９は、検出位置Ｇの補正方法を示すフローチャートである。位置補正部２４２は、まず、図９に示したようにＧをセンサ座標系でのジェスチャ（指示者Ｕ１の手首）の検出位置として、ｔを現在時刻とする（Ｓ５０４）。そして、位置補正部２４２は、センサ座標系のＹ軸方向上での検出位置である（Ｇ．ｔ．Ｙ）に対して、「（Ｇ．ｔ．Ｙ）−Ｙ０」で示される座標変換を行うことにより、計算用座標系での検出位置ｙを特定する（Ｓ５０８）。 FIG. 9 is a flowchart showing a correction method of the detection position G. First, as shown in FIG. 9, the position correction unit 242 sets G as the detection position of the gesture (wrist of the instructor U1) in the sensor coordinate system, and t as the current time (S504). Then, the position correction unit 242 performs the coordinate conversion indicated by "(Gt.Y) -Y0" with respect to (Gt.Y), which is the detection position on the Y-axis direction of the sensor coordinate system. By doing so, the detection position y in the calculation coordinate system is specified (S508).

そして、位置補正部２４２は、検出位置ｙを定数ｙ＋および定数ｙ−と比較する（Ｓ５１２）。「定数ｙ−＜検出位置ｙ＜定数ｙ＋」が満たされる場合、処理はＳ５３６に進められる。「検出位置ｙ≦定数ｙ−」が満たされる場合、位置補正部２４２はＣＴＸ＿ＮＥＡＲを「１」に設定する（Ｓ５１６）。 Then, the position correction unit 242 compares the detection position y with the constant y + and the constant y− (S512). If the "constant y- <detection position y <constant y +" is satisfied, the process proceeds to S536. When “detection position y ≦ constant y−” is satisfied, the position correction unit 242 sets CTX_NEAR to “1” (S516).

一方、「検出位置ｙ≧定数ｙ＋」が満たさる場合、位置補正部２４２は、ＣＴＸ＿ＮＥＡＲが「１」であるか否かを判断する（Ｓ５２０）。ＣＴＸ＿ＮＥＡＲが「０」である場合（Ｓ５２０／Ｎｏ）、処理はＳ５３６に進められる。ＣＴＸ＿ＮＥＡＲが「０」である場合（Ｓ５２０／Ｙｅｓ）、位置補正部２４２は、ＣＴＸ＿ＮＥＡＲを「０」に設定し、検出位置ｙが定数ｙ＋以上となった際の検出位置ｙの移動速度ｖｂを算出する（Ｓ５２４）。具体的には、位置補正部２４２は、以下の数式２の演算により移動速度ｖｂを算出してもよい。なお、ｙｂおよびｔｂはＳ５４０で設定される値である。ｙｂは検出位置ｙが０を上回る直前の検出位置ｙの値であり、ｔｂは検出位置ｙが０を上回る直前の時刻である。

移動速度ｖｂ＝（ｙ−ｙｂ）／（ｔ−ｔｂ） （数式２）
On the other hand, when "detection position y ≥ constant y +" is satisfied, the position correction unit 242 determines whether or not CTX_NEAR is "1" (S520). When CTX_NEAR is "0" (S520 / No), the process proceeds to S536. When CTX_NEAR is "0" (S520 / Yes), the position correction unit 242 sets CTX_NEAR to "0" and calculates the moving speed vb of the detection position y when the detection position y becomes a constant y + or more. (S524). Specifically, the position correction unit 242 may calculate the moving speed vb by the calculation of the following mathematical formula 2. Note that yb and tb are values set in S540. yb is the value of the detection position y immediately before the detection position y exceeds 0, and tb is the time immediately before the detection position y exceeds 0.

Movement speed vb = (y-yb) / (t-tb) (Formula 2)

さらに、位置補正部２４２は、図６を参照して説明した複数の規則から、移動速度ｖｂが速度条件Ｃｖｂに合致する規則Ｍを選択する（Ｓ５２８）。そして、位置補正部２４２は、規則Ｍが規定するＴ１（Ｍ）をＵ１に代入し、規則Ｍが規定するＴ２（Ｍ）をＵ２に代入する（Ｓ５３２）。 Further, the position correction unit 242 selects the rule M whose movement speed vb matches the speed condition Cvb from the plurality of rules described with reference to FIG. 6 (S528). Then, the position correction unit 242 substitutes T1 (M) specified by the rule M into U1 and substitutes T2 (M) specified by the rule M into U2 (S532).

Ｓ５３６において、位置補正部２４２は、検出位置ｙが０を上回るか否かを判断する（Ｓ５３６）。検出位置ｙが０未満である場合（Ｓ５３６／Ｙｅｓ）、位置補正部２４２は、ｔｂおよびｙｂに、現在時刻ｔおよび検出位置ｙをそれぞれ設定する（Ｓ５４０）。続いて、位置補正部２４２は、補正位置ｙ’を検出位置ｙとする（Ｓ５４４）。 In S536, the position correction unit 242 determines whether or not the detection position y exceeds 0 (S536). When the detection position y is less than 0 (S536 / Yes), the position correction unit 242 sets the current time t and the detection position y in tb and yb, respectively (S540). Subsequently, the position correction unit 242 sets the correction position y'as the detection position y (S544).

検出位置ｙが０以上である場合（Ｓ５３６／Ｎｏ）、位置補正部２４２は、ＣＴＸ＿ＮＥＡＲが「１」であるか否かを判断する（Ｓ５４８）。ＣＴＸ＿ＮＥＡＲが「１」である場合（Ｓ５４８／Ｙｅｓ）、処理はＳ５４４に進められ、検出位置ｙが補正位置ｙ’とされる。 When the detection position y is 0 or more (S536 / No), the position correction unit 242 determines whether or not CTX_NEAR is "1" (S548). When CTX_NEAR is "1" (S548 / Yes), the process proceeds to S544, and the detection position y is set to the correction position y'.

一方、ＣＴＸ＿ＮＥＡＲが「０」である場合（Ｓ５４８／Ｎｏ）、位置補正部２４２は、上述した数式１に従って補正位置ｙ’を特定する（Ｓ５５２）。分母の項をＵ１乗することで、補正位置ｙ’を遠近の広い範囲内の値とすることができる。 On the other hand, when CTX_NEAR is "0" (S548 / No), the position correction unit 242 specifies the correction position y'according to the above-mentioned formula 1 (S552). By raising the term of the denominator to the U1 power, the correction position y'can be set to a value within a wide range of perspective.

さらに、位置補正部２４２は、センサ座標系での検出位置Ｇに、（補正位置ｙ’−検出位置ｙ）で得られるオフセットを加えることにより、補正位置Ｇ’を特定する（Ｓ５５６）。 Further, the position correction unit 242 specifies the correction position G'by adding the offset obtained at (correction position y'-detection position y) to the detection position G in the sensor coordinate system (S556).

＜４．作用効果＞
以上説明したように、本発明の一実施形態によれば、検出位置ｙの変化量に対する補正位置ｙ’の変化量が異なる複数の規則から選択された規則に従って検出位置ｙの補正が行われる。ここで、位置補正部２４２は、例えば検出位置ｙの移動速度に応じて、指示者Ｕ１がより遠くの指示を望んでいると考えられる場合には検出位置ｙの変化量に対する補正位置ｙ’の変化量がより大きくなる規則を選択し、指示者Ｕ１が指示可能な範囲の広さを確保する。一方、位置補正部２４２は、指示者Ｕ１が近くの指示を望んでいると考えられる場合には検出位置ｙを補正位置ｙ’として扱う規則を選択することにより、指示者Ｕ１が細かに位置を指示し易くする。このように、本発明の一実施形態による遠隔作業支援システムは、指示者Ｕ１が指示可能な範囲の広さの観点、および、指示者Ｕ１による位置の指示のし易さの観点の双方で優れるシステムであると言える。 <4. Action effect>
As described above, according to one embodiment of the present invention, the detection position y is corrected according to a rule selected from a plurality of rules in which the amount of change in the correction position y'is different with respect to the amount of change in the detection position y. Here, the position correction unit 242 determines the correction position y'with respect to the amount of change in the detection position y when it is considered that the instructor U1 wants a farther instruction, for example, according to the moving speed of the detection position y. Select a rule in which the amount of change is larger, and secure a wide range in which the instructor U1 can instruct. On the other hand, the position correction unit 242 selects a rule that treats the detection position y as the correction position y'when it is considered that the instructor U1 wants a nearby instruction, so that the instructor U1 finely adjusts the position. Make it easier to instruct. As described above, the remote work support system according to the embodiment of the present invention is excellent in terms of both the wide range in which the instructor U1 can instruct and the ease of instructing the position by the instructor U1. It can be said that it is a system.

さらに、本発明の一実施形態によれば、位置補正部２４２が検出位置ｙの位置補正をヒステリシスに行う。例えば、検出位置ｙが負側から正側に向かう場合と、検出位置ｙが正側から負側に向かう場合とで、位置補正に用いる線が切り替えられる境界が異なる。従って、検出位置ｙが誤差などの影響により定数ｙ−または定数ｙ＋を行き来してしまう場合に、位置補正に用いられる線が都度切り替えられることが防止され、結果、補正位置ｙ’の変化速度のバタつきを抑制することができる。 Further, according to one embodiment of the present invention, the position correction unit 242 performs position correction of the detection position y to hysteresis. For example, the boundary at which the line used for position correction is switched differs depending on whether the detection position y is directed from the negative side to the positive side or the detection position y is directed from the positive side to the negative side. Therefore, when the detection position y moves back and forth between the constant y− and the constant y + due to the influence of an error or the like, it is prevented that the line used for the position correction is switched each time, and as a result, the change speed of the correction position y'is changed. It is possible to suppress fluttering.

＜５．変形例＞
以上、本発明の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した実施形態で説明した構成に代えて適用されてもよいし、上述した実施形態で説明した構成に対して追加的に適用されてもよい。 <5. Modification example>
The embodiment of the present invention has been described above. Hereinafter, some modifications of the above-described embodiment will be described. In addition, each modification described below may be applied alone to the above-described embodiment, or may be applied in combination to the above-described embodiment. Further, each modification may be applied in place of the configuration described in the above-described embodiment, or may be additionally applied to the configuration described in the above-described embodiment.

（第１の変形例）
第１の変形例は、規則の選択方法に関する変形例である。第１の変形例では、測距部３９により得られる測定情報が用いられる。測距部３９は、例えば赤外線レーザの発光部および受光部を有し、発光部がレーザを発してから、当該レーザが対象物で反射し、反射光が受光部へ到達するまでの時間差を計測することで、測距部３９から対象物までの距離を測定する。ただし、測距部３９は、他の原理により対象物までの距離を測定してもよい。本変形例では、測距部３９は、撮像装置３６の撮像範囲と重なる範囲を測定範囲として、測定範囲内で最も遠い点までの距離を測定する。図１に示した例では、測距部３９は、作業者Ｕ２に対向する壁面Ｗまでの距離Ｄを測定し、当該距離Ｄを示す測定情報を作業者端末３０に出力する。 (First modification)
The first modification is a modification relating to a rule selection method. In the first modification, the measurement information obtained by the ranging unit 39 is used. The distance measuring unit 39 has, for example, an infrared laser light emitting unit and a light receiving unit, and measures the time difference between the time when the light emitting unit emits the laser and the time when the laser is reflected by the object and the reflected light reaches the light receiving unit. By doing so, the distance from the distance measuring unit 39 to the object is measured. However, the distance measuring unit 39 may measure the distance to the object by another principle. In this modification, the ranging unit 39 measures the distance to the farthest point in the measuring range, with the range overlapping the imaging range of the imaging device 36 as the measuring range. In the example shown in FIG. 1, the distance measuring unit 39 measures the distance D to the wall surface W facing the worker U2, and outputs the measurement information indicating the distance D to the worker terminal 30.

第１の変形例は、壁面Ｗよりも奥側の意味のない位置が指示されてしまうケースを抑制することが可能である。そのために、位置補正部２４２は、各規則で到達し得る補正位置ｙ’の最大値を算出し、記憶部２３０が当該最大値である補正最大値ｙ’ｍａｘを各規則と関連付けて記憶する。 In the first modification, it is possible to suppress the case where a meaningless position on the back side of the wall surface W is indicated. Therefore, the position correction unit 242 calculates the maximum value of the correction position y'that can be reached by each rule, and the storage unit 230 stores the correction maximum value y'max, which is the maximum value, in association with each rule.

図１０は、第１の変形例において記憶部２３０に記憶される情報を示す説明図である。図１０に示したように、記憶部２３０は、各規則に関連付けて上述した補正最大値ｙ’ｍａｘを記憶する。例えば、規則１の補正最大値ｙ’ｍａｘは１５であり、規則２の補正最大値ｙ’ｍａｘは３９である。 FIG. 10 is an explanatory diagram showing information stored in the storage unit 230 in the first modification. As shown in FIG. 10, the storage unit 230 stores the above-mentioned correction maximum value y'max in association with each rule. For example, the maximum correction value y'max of Rule 1 is 15, and the maximum correction value y'max of Rule 2 is 39.

補正最大値ｙ’ｍａｘは、以下の数式３に従って算出される。

ｙ’＝（ｙｍａｘ＋１）Ｔ１（Ｍ）／Ｔ２（Ｍ）
−（Ｔ１（Ｍ）／Ｔ２（Ｍ）） （数式３）
The maximum correction value y'max is calculated according to the following mathematical formula 3.

y'= (ymax + 1) T1 (M) / T2 (M)
-(T1 (M) / T2 (M)) (Formula 3)

ここで、ｙｍａｘは、センサ部２６の検出範囲により制限される検出位置ｙの最大値と、実際にジェスチャが存在できる位置に対応する検出位置ｙの最大値のうち、小さい方の値である。 Here, ymax is the smaller of the maximum value of the detection position y limited by the detection range of the sensor unit 26 and the maximum value of the detection position y corresponding to the position where the gesture can actually exist.

位置補正部２４２は、測距部３９により測定された距離Ｄを補正最大値ｙ’ｍａｘが上回る１または２以上の規則のうちで、検出位置ｙの変化量に対する補正位置ｙ’の変化量が小さい規則、すなわち、補正最大値ｙ’ｍａｘがより小さい規則を優先的に選択する。例えば、位置補正部２４２は、以下の２つの条件を同時に満たす規則のうちで、補正最大値ｙ’ｍａｘが最小である規則を選択してもよい。以下、図１１を参照して規則の具体的な選択例を説明する。
条件１：測距部３９により測定された距離Ｄを補正最大値ｙ’ｍａｘが上回る規則
条件２：速度条件Ｃｖｂを満たす規則または当該規則よりも補正最大値ｙ’ｍａｘがより小さい規則 In the position correction unit 242, the change amount of the correction position y'with respect to the change amount of the detection position y is among the rules of 1 or 2 or more in which the correction maximum value y'max exceeds the distance D measured by the distance measurement unit 39. The smaller rule, that is, the rule with the smaller maximum correction value y'max is preferentially selected. For example, the position correction unit 242 may select the rule having the minimum correction maximum value y'max from the rules satisfying the following two conditions at the same time. Hereinafter, a specific example of selecting a rule will be described with reference to FIG.
Condition 1: Rule that the correction maximum value y'max exceeds the distance D measured by the distance measuring unit 39 Condition 2: Rule that satisfies the velocity condition Cvb or a rule that the correction maximum value y'max is smaller than the rule.

図１１は、第１の変形例による規則の具体的な選択例を示す説明図である。図１１においては、条件１を満たす規則は、規則３〜規則５である。ここで、規則４が速度条件Ｃｖｂを満たすとする。この場合、条件２を満たす規則は、規則１〜規則４である。従って、条件１および条件２を同時に満たす規則は、規則３および規則４である。このうち、位置補正部２４２は、補正最大値ｙ’ｍａｘが最小である規則３を選択する。 FIG. 11 is an explanatory diagram showing a specific selection example of the rule according to the first modification. In FIG. 11, the rules satisfying the condition 1 are rule 3 to rule 5. Here, it is assumed that Rule 4 satisfies the velocity condition Cvb. In this case, the rules satisfying the condition 2 are the rules 1 to 4. Therefore, the rules that satisfy Condition 1 and Condition 2 at the same time are Rule 3 and Rule 4. Of these, the position correction unit 242 selects rule 3 in which the maximum correction value y'max is the minimum.

なお、位置補正部２４２は、条件１および条件２を同時に満たす規則が無い場合には、速度条件Ｃｖｂを満たす規則を選択してもよい。 If there is no rule that satisfies the condition 1 and the condition 2 at the same time, the position correction unit 242 may select a rule that satisfies the speed condition Cvb.

図１１は、上述した第１の変形例による検出位置Ｇの補正方法を示すフローチャートである。図１１に示す補正方法では、図９を参照して説明した補正方法とＳ５０６およびＳ５３０が異なる。Ｓ５０６において、位置補正部２４２は、Ｇをセンサ座標系でのジェスチャ（指示者Ｕ１の手首）の検出位置として、ｔを現在時刻として、距離Ｄを測距部３９により測定された最大深度を示す距離とする。また、Ｓ５３０において、位置補正部２４２は、移動速度ｖｂおよび距離Ｄに基づき、上述した方法により規則Ｍを選択する。 FIG. 11 is a flowchart showing a method of correcting the detection position G according to the first modification described above. In the correction method shown in FIG. 11, S506 and S530 are different from the correction method described with reference to FIG. In S506, the position correction unit 242 indicates the maximum depth measured by the distance measuring unit 39, where G is the detection position of the gesture (wrist of the instructor U1) in the sensor coordinate system, t is the current time, and the distance D is the distance measuring unit 39. Let it be a distance. Further, in S530, the position correction unit 242 selects the rule M by the method described above based on the moving speed vb and the distance D.

このような第１の変形例によれば、壁面Ｗよりも奥側の意味のない位置が指示されてしまうケースを抑制することが可能である。また、検出位置ｙの変化量に対する補正位置ｙ’の変化量が小さい規則が優先的に選択されることで、不必要に補正位置ｙ’の変化速度が上がらない。結果、指示の精度を向上することが可能である。 According to such a first modification, it is possible to suppress a case where a meaningless position on the back side of the wall surface W is indicated. Further, since the rule in which the change amount of the correction position y'is small with respect to the change amount of the detection position y is preferentially selected, the change speed of the correction position y'is not unnecessarily increased. As a result, it is possible to improve the accuracy of the instruction.

（第２の変形例）
上記では、指示者端末２０が作業者端末３０にジェスチャ画像および座標情報を送信する例を説明したが、指示者端末２０は、補正位置の特定により得られる情報として、重畳画像生成部２４６により生成された重畳画像を作業者端末３０に送信してもよい。そして、作業者端末３０がＡＲグラス３８に重畳画像を出力し、ＡＲグラス３８が当該重畳画像を表示してもよい。なお、この場合にはＡＲグラス３８は非透過型のディスプレイを有することが望ましい。 (Second modification)
In the above, the example in which the instructor terminal 20 transmits the gesture image and the coordinate information to the worker terminal 30 has been described, but the instructor terminal 20 is generated by the superimposed image generation unit 246 as the information obtained by specifying the correction position. The superimposed image may be transmitted to the worker terminal 30. Then, the worker terminal 30 may output the superimposed image to the AR glass 38, and the AR glass 38 may display the superimposed image. In this case, it is desirable that the AR glass 38 has a non-transmissive display.

（第３の変形例）
上記では、検出位置ｙが負側から正側に移動する際に利用される規則が変わる変曲点、および検出位置ｙが正側から負側に移動する際に利用される規則が変わる変曲点が１つである例を説明したが、当該変曲点は２以上あってもよい。 (Third variant)
In the above, an inflection point where the rule used when the detection position y moves from the negative side to the positive side changes, and an inflection point where the rule used when the detection position y moves from the positive side to the negative side changes. Although the example in which there is one point has been described, the inflection point may be two or more.

（第４の変形例）
上記では、検出位置ｙをＮ次関数により補正する例を説明したが、検出位置ｙを補正するために用いられる関数はＮ次関数に限定されない。例えば、位置補正部２４２は、指数関数等の他の関数を用いて検出位置ｙを補正してもよい。 (Fourth modification)
In the above, an example of correcting the detection position y by the Nth order function has been described, but the function used to correct the detection position y is not limited to the Nth order function. For example, the position correction unit 242 may correct the detection position y by using another function such as an exponential function.

（第５の変形例）
上記では、奥行方向であるＹ軸に関して位置補正が行われる例を説明したが、位置補正部２４２は、同様の方法により幅方向または高さ方向などの他の方向上における位置補正を行うことも可能である。 (Fifth variant)
In the above, the example in which the position correction is performed with respect to the Y axis which is the depth direction has been described, but the position correction unit 242 may also perform the position correction in another direction such as the width direction or the height direction by the same method. It is possible.

（第６の変形例）
上記では、ジェスチャが片手で行われる想定で説明を行ったが、ジェスチャは両手で行われてもよく、本発明の実施形態による位置補正は、両手でのジェスチャにも拡張可能である。 (Sixth variant)
In the above description, the gesture is performed with one hand, but the gesture may be performed with both hands, and the position correction according to the embodiment of the present invention can be extended to the gesture with both hands.

（第７の変形例）
上記では、実空間上での作業に対して指示者Ｕ１が作業者Ｕ２に指示を伝える想定で説明を行ったが、ＶＲ空間などの仮想空間上での作業にも本発明の実施形態による位置補正を同様に適用可能である。 (7th variant)
In the above, the description has been made on the assumption that the instructor U1 transmits an instruction to the worker U2 for the work in the real space, but the position according to the embodiment of the present invention is also used for the work in the virtual space such as the VR space. The correction can be applied as well.

（第８の変形例）
上述した各規則および定数などは、指示者Ｕ１ごとに可変であってもよい。例えば、位置補正部２４２は、指示者Ｕ１がいずれの人物であるか、または指示者Ｕ１が有する属性に基づいて規則または定数を選択してもよい。上記属性としては、年齢、性別および身長などが挙げられる。かかる構成により、指示者Ｕ１により適した規則および定数などに基づく動作が実現される。 (8th variant)
The above-mentioned rules, constants, and the like may be variable for each instructor U1. For example, the position correction unit 242 may select a rule or a constant based on which person the instructor U1 is or the attributes of the instructor U1. Examples of the above attributes include age, gender and height. With such a configuration, the operation based on the rules and constants more suitable for the instructor U1 is realized.

（第９の変形例）
上述した位置補正に関し、位置補正が実行される有効化状態、および位置補正が実行されない非有効化状態との間で動的に状態が切り替えられてもよい。例えば、センサ部２６により測定された手の形状(例えば、物を摘まむ形状をしているか否か）または姿勢（例えば、手の平が上を向いているか下を向いているか）により状態が切り替えられてもよいし、フットスイッチへの操作または音声入力などの指示者Ｕ１がジェスチャとは別に行った操作により状態が切り替えられてもよい。または、位置補正部２４２は、センサ部２６により測定された手の形状または姿勢に基づいて規則を選択してもよいし、指示者Ｕ１がジェスチャとは別に行った操作に基づいて規則を選択してもよい。 (9th variant)
Regarding the above-mentioned position correction, the state may be dynamically switched between the enabled state in which the position correction is executed and the disabled state in which the position correction is not executed. For example, the state is switched depending on the shape of the hand measured by the sensor unit 26 (for example, whether or not it has a shape of picking an object) or the posture (for example, whether or not the palm is facing up or down). Alternatively, the state may be switched by an operation performed by the instructor U1 such as an operation on the foot switch or a voice input separately from the gesture. Alternatively, the position correction unit 242 may select a rule based on the shape or posture of the hand measured by the sensor unit 26, or the position correction unit 242 selects a rule based on an operation performed by the instructor U1 separately from the gesture. You may.

また、撮像装置３６により得られた撮像画像に含まれる物体またはマーカーの認識に基づき有効化状態と非有効化状態との間で状態が切り替えられてもよい。または、位置補正部２４２は、上記物体またはマーカーの認識に基づき規則を選択してもよい。 Further, the state may be switched between the enabled state and the disabled state based on the recognition of the object or marker included in the captured image obtained by the imaging device 36. Alternatively, the position correction unit 242 may select a rule based on the recognition of the object or the marker.

同様に、作業者Ｕ２が行う作業に基づいて有効化状態と非有効化状態との間で状態が切り替えられてもよい。または、位置補正部２４２は、作業者Ｕ２が行う作業に基づいて規則を選択してもよい。例えば、作業者Ｕ２から離れた位置への指示が不要な作業が行われている際には状態が非有効化状態とされる、または、検出位置ｙの変化量に対する補正位置ｙ’の変化量が小さい規則が選択されることにより、指示の精度を向上することが可能である。 Similarly, the state may be switched between the enabled state and the disabled state based on the work performed by the worker U2. Alternatively, the position correction unit 242 may select a rule based on the work performed by the worker U2. For example, when work that does not require an instruction to a position away from the worker U2 is being performed, the state is set to the disabled state, or the amount of change in the correction position y'with respect to the amount of change in the detection position y. It is possible to improve the accuracy of the instruction by selecting a rule with a small value.

＜６．ハードウェア構成＞
以上、本発明の各実施形態を説明した。上述した規則の選択および検出位置の補正などの情報処理は、ソフトウェアと、以下に説明する指示者端末２０のハードウェアとの協働により実現される。なお、以下に説明するハードウェア構成は作業者端末３０にも適用可能である。 <6. Hardware configuration>
Each embodiment of the present invention has been described above. Information processing such as the selection of the rules and the correction of the detection position described above is realized by the cooperation between the software and the hardware of the instructor terminal 20 described below. The hardware configuration described below can also be applied to the worker terminal 30.

図１３は、指示者端末２０のハードウェア構成を示したブロック図である。指示者端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、指示者端末２０は、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインターフェース２１５とを備える。 FIG. 13 is a block diagram showing the hardware configuration of the instructor terminal 20. The instructor terminal 20 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, and a host bus 204. Further, the instructor terminal 20 includes a bridge 205, an external bus 206, an interface 207, an input device 208, a display device 209, an audio output device 210, a storage device (HDD) 211, a drive 212, and a network. It includes an interface 215.

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って指示者端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した位置補正部２４２、ジェスチャ画像生成部２４４および重畳画像生成部２４６などの機能が実現され得る。 The CPU 201 functions as an arithmetic processing device and a control device, and controls the overall operation in the instructor terminal 20 according to various programs. Further, the CPU 201 may be a microprocessor. The ROM 202 stores programs, calculation parameters, and the like used by the CPU 201. The RAM 203 temporarily stores a program used in the execution of the CPU 201, parameters that change appropriately in the execution, and the like. These are connected to each other by a host bus 204 composed of a CPU bus or the like. By the collaboration between the CPU 201, ROM 202 and RAM 203 and the software, the above-mentioned functions such as the position correction unit 242, the gesture image generation unit 244, and the superimposed image generation unit 246 can be realized.

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。 The host bus 204 is connected to an external bus 206 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 205. It is not always necessary to separately configure the host bus 204, the bridge 205, and the external bus 206, and these functions may be implemented in one bus.

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。指示者端末２０のユーザは、該入力装置２０８を操作することにより、指示者端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。 The input device 208 includes input means for the user to input information such as a mouse, a keyboard, a touch panel, a button, a microphone, a sensor, a switch, and a lever, and an input that generates an input signal based on the input by the user and outputs the input signal to the CPU 201. It is composed of a control circuit and the like. By operating the input device 208, the user of the instructor terminal 20 can input various data to the instructor terminal 20 and instruct the processing operation.

表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、プロジェクタ装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。 The display device 209 includes, for example, a liquid crystal display (LCD) device, a projector device, an OLED (Organic Light Emitting Diode) device, and a display device such as a lamp. Further, the audio output device 210 includes an audio output device such as a speaker and headphones.

ストレージ装置２１１は、本実施形態にかかる指示者端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。 The storage device 211 is a data storage device configured as an example of the storage unit of the instructor terminal 20 according to the present embodiment. The storage device 211 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deleting device that deletes the data recorded on the storage medium, and the like. The storage device 211 is composed of, for example, an HDD (Hard Disk Drive) or SSD (Solid Stage Drive), or a memory having an equivalent function. The storage device 211 drives the storage and stores programs and various data executed by the CPU 201.

ドライブ２１２は、記憶媒体用リーダライタであり、指示者端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。 The drive 212 is a storage medium reader / writer, and is built in or externally attached to the instructor terminal 20. The drive 212 reads the information recorded in the removable storage medium 24 such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 203 or the storage device 211. The drive 212 can also write information to the removable storage medium 24.

ネットワークインターフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インターフェースである。また、ネットワークインターフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。 The network interface 215 is, for example, a communication interface composed of a communication device or the like for connecting to the network 12. Further, the network interface 215 may be a wireless LAN (Local Area Network) compatible communication device or a wire communication device that performs wired communication.

＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 <7. Supplement>
Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person having ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical ideas described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.

例えば、本明細書の指示者端末２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、指示者端末２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。 For example, each step in the processing of the instructor terminal 20 of the present specification does not necessarily have to be processed in chronological order in the order described as a flowchart. For example, each step in the processing of the instructor terminal 20 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.

また、指示者端末２０および作業者端末３０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した指示者端末２０および作業者端末３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。 Further, in order for the hardware such as the CPU, ROM, and RAM built in the instructor terminal 20 and the worker terminal 30 to exhibit the same functions as the configurations of the instructor terminal 20 and the worker terminal 30 described above. Computer programs can also be created. A storage medium for storing the computer program is also provided.

２０ 指示者端末
２２０ 通信部
２３０ 記憶部
２４０ 制御部
２４２ 位置補正部
２４４ ジェスチャ画像生成部
２４６ 重畳画像生成部
２６ センサ部
２７ マイク
２８ 表示装置
３０ 作業者端末
３６ 撮像装置
３８ ＡＲグラス
３９ 測距部


20 Instructor terminal 220 Communication unit 230 Storage unit 240 Control unit 242 Position correction unit 244 Gesture image generation unit 246 Superimposition image generation unit 26 Sensor unit 27 Microphone 28 Display device 30 Worker terminal 36 Imaging device 38 AR glass 39 Distance measuring unit

Claims (16)

第１のユーザが行うジェスチャに関する検出位置を補正して補正位置を特定する位置補正部と、
前記第１のユーザから離れた遠隔地に存在する第２のユーザが利用する端末に、前記補正位置の特定に基づき得られる情報を送信する通信部と、
を備え、
前記位置補正部は、１の座標軸において前記検出位置が第１の範囲から第２の範囲内に移動した場合、複数の規則からいずれかの規則を選択し、選択された規則に従って前記検出位置を補正して前記補正位置を特定する、情報処理装置。 A position correction unit that corrects the detection position related to the gesture performed by the first user and specifies the correction position,
A communication unit that transmits information obtained based on the identification of the correction position to a terminal used by a second user located in a remote location away from the first user.
With
When the detection position moves from the first range to the second range on one coordinate axis, the position correction unit selects one of a plurality of rules and sets the detection position according to the selected rule. An information processing device that corrects and specifies the corrected position. 前記複数の規則の各々では、前記検出位置の変化量に対する前記補正位置の変化量が異なる、請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the amount of change in the correction position is different from the amount of change in the detection position in each of the plurality of rules. 前記位置補正部は、前記検出位置が前記第２の範囲内に移動した際の前記検出位置の移動速度に基づいて前記規則を選択する、請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the position correction unit selects the rule based on the moving speed of the detection position when the detection position moves within the second range. 前記位置補正部は、前記移動速度が速いほど、前記検出位置の変化量に対する前記補正位置の変化量が大きくなる規則を選択する、請求項３に記載の情報処理装置。 The information processing apparatus according to claim 3, wherein the position correction unit selects a rule in which the amount of change in the correction position increases with respect to the amount of change in the detection position as the moving speed increases. 前記検出位置が前記第１の範囲内から第２の範囲内に移動する前においては、前記通信部は、前記検出位置に基づく情報を前記第２のユーザが利用する前記端末に送信する、請求項１〜４までのいずれか一項に記載の情報処理装置。 Before the detection position moves from the first range to the second range, the communication unit transmits information based on the detection position to the terminal used by the second user. The information processing apparatus according to any one of Items 1 to 4. 前記第１の範囲は、第３の範囲と、前記第３の範囲および前記第２の範囲の間に位置する第４の範囲を含み、
前記通信部は、前記第２の範囲から前記第３の範囲に向かって前記検出位置が移動する場合には、前記検出位置が前記第４の範囲を超えるまで前記補正位置の特定に基づく情報を送信する、請求項１〜５までのいずれか一項に記載の情報処理装置。 The first range includes a third range and a fourth range located between the third range and the second range.
When the detection position moves from the second range to the third range, the communication unit provides information based on the identification of the correction position until the detection position exceeds the fourth range. The information processing apparatus according to any one of claims 1 to 5, which is to be transmitted. 前記通信部は、前記検出位置が前記第４の範囲を超えて前記第３の範囲内となった後には、前記検出位置に基づく情報を前記第２のユーザが利用する前記端末に送信する、請求項６に記載の情報処理装置。 After the detection position exceeds the fourth range and falls within the third range, the communication unit transmits information based on the detection position to the terminal used by the second user. The information processing device according to claim 6. 前記位置補正部は、前記第１のユーザがいずれの人物であるか、または前記第１のユーザが有する属性に基づいて前記規則を選択する、請求項１〜７までのいずれか一項に記載の情報処理装置。 The position correction unit according to any one of claims 1 to 7, wherein the position correction unit selects the rule based on which person the first user is or the attributes possessed by the first user. Information processing equipment. 前記位置補正部は、前記ジェスチャにおける前記第１のユーザの手の形状または姿勢に基づいて前記規則を選択する、請求項１〜８までのいずれか一項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 8, wherein the position correction unit selects the rule based on the shape or posture of the first user's hand in the gesture. 前記位置補正部は、前記第１のユーザが前記ジェスチャとは別に行った操作に基づいて前記規則を選択する、請求項１〜９までのいずれか一項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 9, wherein the position correction unit selects the rule based on an operation performed by the first user separately from the gesture. 前記位置補正部は、前記第２のユーザが行う作業に基づいて前記規則を選択する、請求項１〜１０までのいずれか一項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 10, wherein the position correction unit selects the rule based on the work performed by the second user. 前記複数の規則は、前記検出位置を前記補正位置とする規則を含む、請求項１〜１１までのいずれか一項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 11, wherein the plurality of rules include a rule in which the detection position is the correction position. 前記通信部は、前記第２のユーザが利用する端末から、前記遠隔地における壁面の位置に関する測定情報を受信し、
前記位置補正部は、前記測定情報に基づき、前記検出位置を前記壁面の位置に対応する補正位置に補正し得る１または２以上の規則から前記規則を選択する、請求項１〜１２までのいずれか一項に記載の情報処理装置。 The communication unit receives measurement information regarding the position of the wall surface in the remote location from the terminal used by the second user, and receives measurement information.
Any of claims 1 to 12, wherein the position correction unit selects the rule from one or more rules that can correct the detection position to a correction position corresponding to the position of the wall surface based on the measurement information. The information processing device according to item 1. 前記位置補正部は、前記１または２以上の規則から、前記検出位置の変化量に対する前記補正位置の変化量が最小となる規則を優先的に選択する、請求項１３に記載の情報処理装置。 The information processing apparatus according to claim 13, wherein the position correction unit preferentially selects a rule that minimizes the change amount of the correction position with respect to the change amount of the detection position from the one or more rules. 第１のユーザが行うジェスチャに関する検出位置を補正して補正位置を特定することと、
前記補正位置の特定に基づく情報を、前記第１のユーザから離れた遠隔地に存在する第２のユーザが利用する端末に送信することと、
を含み、
前記検出位置を補正することは、
複数の規則からいずれかの規則を選択することと、
１の座標軸において前記検出位置が第１の範囲から第２の範囲内に移動した場合、選択された規則に従って前記検出位置を補正して前記補正位置を特定することと、
を含む、検出位置補正方法。 Correcting the detection position related to the gesture performed by the first user to specify the correction position,
Sending information based on the identification of the correction position to a terminal used by a second user located in a remote location away from the first user,
Including
Correcting the detection position
Choosing one of the rules and
When the detection position moves from the first range to the second range on the coordinate axis 1, the detection position is corrected according to the selected rule to specify the correction position.
Detection position correction method including. コンピュータを、
第１のユーザが行うジェスチャに関する検出位置を補正して補正位置を特定する位置補正部と、
前記補正位置の特定に基づく情報を、前記第１のユーザから離れた遠隔地に存在する第２のユーザが利用する端末に送信する通信部と、
を備え、
前記位置補正部は、１の座標軸において前記検出位置が第１の範囲から第２の範囲内に移動した場合、複数の規則からいずれかの規則を選択し、選択された規則に従って前記検出位置を補正して前記補正位置を特定する、情報処理装置として機能させるための、プログラム。 Computer,
A position correction unit that corrects the detection position related to the gesture performed by the first user and specifies the correction position,
A communication unit that transmits information based on the identification of the correction position to a terminal used by a second user located in a remote location away from the first user.
With
When the detection position moves from the first range to the second range on one coordinate axis, the position correction unit selects one of a plurality of rules and sets the detection position according to the selected rule. A program for correcting and specifying the correction position to function as an information processing device.
JP2020012134A 2020-01-29 2020-01-29 Information processing device, detection position correction method, and program Pending JP2021117852A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020012134A JP2021117852A (en) 2020-01-29 2020-01-29 Information processing device, detection position correction method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020012134A JP2021117852A (en) 2020-01-29 2020-01-29 Information processing device, detection position correction method, and program

Publications (1)

Publication Number Publication Date
JP2021117852A true JP2021117852A (en) 2021-08-10

Family

ID=77175074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020012134A Pending JP2021117852A (en) 2020-01-29 2020-01-29 Information processing device, detection position correction method, and program

Country Status (1)

Country Link
JP (1) JP2021117852A (en)

Similar Documents

Publication Publication Date Title
US11972530B2 (en) Rendering virtual objects in 3D environments
US11494000B2 (en) Touch free interface for augmented reality systems
JP5802667B2 (en) Gesture input device and gesture input method
US20200312026A1 (en) Augmentation of captured 3d scenes with contextual information
US9430698B2 (en) Information input apparatus, information input method, and computer program
US9400562B2 (en) Image projection device, image projection system, and control method
US9342925B2 (en) Information processing apparatus, information processing method, and program
US20160012612A1 (en) Display control method and system
JP6689559B2 (en) Image projection apparatus, system, image projection method and program
US20130113829A1 (en) Information processing apparatus, display control method, and program
US20120319949A1 (en) Pointing device of augmented reality
KR20110133424A (en) Method for selection of an object in a virtual environment
JP2020024752A (en) Information processing device, control method thereof, and program
US8823647B2 (en) Movement control device, control method for a movement control device, and non-transitory information storage medium
JP5798183B2 (en) Pointing control device, integrated circuit thereof, and pointing control method
JP2018032055A (en) Gesture recognition device and method, and program and recording medium
JPWO2019069575A1 (en) Information processing equipment, information processing methods and programs
US20120313968A1 (en) Image display system, information processing apparatus, display device, and image display method
JP2005063225A (en) Interface method, system and program using self-image display
US20210258548A1 (en) Information processing device, information processing method, and recording medium
JP2021117852A (en) Information processing device, detection position correction method, and program
US20150262013A1 (en) Image processing apparatus, image processing method and program
WO2019054037A1 (en) Information processing device, information processing method and program
US20230226460A1 (en) Information processing device, information processing method, and recording medium
KR101860215B1 (en) Content Display System and Method based on Projector Position