JP2019159936A - First information processing system, second information processing system and third information processing system - Google Patents

First information processing system, second information processing system and third information processing system Download PDF

Info

Publication number
JP2019159936A
JP2019159936A JP2018047071A JP2018047071A JP2019159936A JP 2019159936 A JP2019159936 A JP 2019159936A JP 2018047071 A JP2018047071 A JP 2018047071A JP 2018047071 A JP2018047071 A JP 2018047071A JP 2019159936 A JP2019159936 A JP 2019159936A
Authority
JP
Japan
Prior art keywords
instruction
type
instructor
hand
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018047071A
Other languages
Japanese (ja)
Inventor
寛之 福島
Hiroyuki Fukushima
寛之 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2018047071A priority Critical patent/JP2019159936A/en
Publication of JP2019159936A publication Critical patent/JP2019159936A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

To provide a technique capable of more suitably generating instruction information from a first user to a second user by grasping the first user's intention.SOLUTION: A first information processing system is provided, which includes an estimation part for estimating the type of an instruction operation of a first user on the basis of the position of the first user's hand part in a three-dimensional space measured on the basis of a first image and an area set in each type of an instruction operation in advance, and an instruction information generation part for generating instruction information to a second user on the basis of the type of the first user's instruction operation.SELECTED DRAWING: Figure 3

Description

本発明は、第1の情報処理システム、第2の情報処理システムおよび第3の情報処理システムに関する。   The present invention relates to a first information processing system, a second information processing system, and a third information processing system.

近年、ユーザの動作を検出する技術が知られている。例えば、ユーザによるタッチパネルへの接触位置を検出する機能と、ユーザの手形状を非接触により検出する機能との双方を有する装置が開示されている(例えば、特許文献1参照)。かかる装置によれば、ユーザのタッチパネルへの接触位置とユーザの手形状との関連付けが行われ、当該関連付けに基づいて同一の操作がタッチパネルへの接触と手形状とのいずれによっても行われ得る。   In recent years, techniques for detecting user actions are known. For example, an apparatus having both a function of detecting a contact position on a touch panel by a user and a function of detecting a user's hand shape by non-contact is disclosed (for example, refer to Patent Document 1). According to such an apparatus, the contact position on the touch panel of the user and the hand shape of the user are associated, and the same operation can be performed by either the touch on the touch panel or the hand shape based on the association.

国際公開第2013/136776号International Publication No. 2013/136776

しかし、あるユーザ(第1のユーザ)は、動作によって他のユーザ(第2のユーザ)に対して指示情報を通知したいと考える場合も想定される。かかる場合、指示情報には様々な種類が想定される。例えば、指示情報として位置を通知したい場合もあれば、方向を通知したい場合もあり得る。すなわち、第1のユーザの意図(第1のユーザが如何なる種類の指示情報を第2のユーザに通知したいか)を把握して第1のユーザの意図に応じた指示情報を生成することが有用である。   However, it is also assumed that a certain user (first user) wants to notify instruction information to another user (second user) by an operation. In such a case, various types of instruction information are assumed. For example, there are cases where it is desired to notify the position as instruction information, and there are cases where it is desired to notify the direction. That is, it is useful to know the intention of the first user (what kind of instruction information the first user wants to notify the second user) and generate instruction information according to the intention of the first user. It is.

そこで、第1のユーザの意図を把握して第1のユーザから第2のユーザへの指示情報をより適切に生成することを可能とする技術が提供されることが望まれる。   Therefore, it is desired to provide a technique that enables the first user to understand the intention of the first user and more appropriately generate instruction information from the first user to the second user.

上記問題を解決するために、本発明のある観点によれば、第1の画像に基づいて計測された3次元空間における第1のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第1のユーザの指示動作の種類を推定する推定部と、前記第1のユーザの指示動作の種類に基づいて、第2のユーザへの指示情報を生成する指示情報生成部と、を備える、第1の情報処理システムが提供される。   In order to solve the above-described problem, according to an aspect of the present invention, the position of the hand of the first user in the three-dimensional space measured based on the first image and the type of instruction operation are set in advance. And an instruction for generating instruction information for the second user based on the type of instruction operation of the first user based on the type of instruction operation of the first user based on the type of instruction operation of the first user A first information processing system including an information generation unit is provided.

前記第1の情報処理システムは、前記指示情報を前記第2のユーザによって使用される第2の情報処理システムに送信する送信部を備えてもよい。   The first information processing system may include a transmission unit that transmits the instruction information to a second information processing system used by the second user.

前記第1の情報処理システムは、前記第2のユーザによって使用される第2の情報処理システムから第2の画像を受信する受信部と、前記第2の画像を前記第1のユーザに提示する画像出力部と、を備えてもよい。   The first information processing system presents a receiving unit that receives a second image from a second information processing system used by the second user, and presents the second image to the first user. An image output unit.

前記第1の情報処理システムは、前記指示情報を前記第1のユーザに提示する画像出力部を備えてもよい。   The first information processing system may include an image output unit that presents the instruction information to the first user.

前記推定部は、前記手部の位置が第1の領域に属する場合に、前記指示動作の種類を第1の種類であると推定し、前記手部の位置が前記第1の領域とは異なる第2の領域に属する場合に、前記指示動作の種類を前記第1の種類とは異なる第2の種類であると推定してもよい。   When the position of the hand part belongs to the first area, the estimation unit estimates that the type of the instruction operation is the first type, and the position of the hand part is different from the first area. When belonging to the second area, the type of the instruction operation may be estimated to be a second type different from the first type.

前記第1の領域は、タッチパネルの位置からタッチパネルの位置を基準として前記タッチパネルの前方に所定の長さだけ離れた位置までの空間を含んでもよい。   The first region may include a space from a position of the touch panel to a position separated by a predetermined length in front of the touch panel with reference to the position of the touch panel.

前記推定部は、前記手部の位置が前記第2の領域に属する場合、かつ、前記手部の形状が所定の形状である場合に、前記指示動作の種類を第2の種類であると推定してもよい。   The estimation unit estimates that the type of the pointing operation is the second type when the position of the hand unit belongs to the second region and the shape of the hand unit is a predetermined shape. May be.

前記所定の形状は、指さし形状を含んでもよい。   The predetermined shape may include a pointing shape.

前記推定部は、前記手部の位置が前記第1の領域および前記第2の領域とは異なる第3の領域に属する場合に、前記指示動作の種類を前記第1の種類および前記第2の種類とは異なる第3の種類であると推定してもよい。   When the position of the hand portion belongs to a third region different from the first region and the second region, the estimation unit determines the type of the instruction operation as the first type and the second type. It may be estimated that the third type is different from the type.

前記指示情報生成部は、前記指示動作の種類が第1の種類であると推定された場合には、第1の指示情報を生成し、前記指示動作の種類が前記第1の種類とは異なる第2の種類であると推定された場合には、前記第1の指示情報とは異なる第2の指示情報を生成してもよい。   The instruction information generation unit generates first instruction information when the instruction operation type is estimated to be the first type, and the instruction operation type is different from the first type. If it is estimated that the second type, the second instruction information different from the first instruction information may be generated.

前記指示情報生成部は、前記指示動作の種類が前記第1の種類であると推定された場合には、前記手部によるタッチパネルへの接触位置を前記第1の指示情報として生成してもよい。   When it is estimated that the type of the instruction operation is the first type, the instruction information generation unit may generate a touch position on the touch panel by the hand unit as the first instruction information. .

前記指示情報生成部は、前記指示動作の種類が前記第2の種類であると推定された場合には、前記手部の指さしによって示される方向を前記第2の指示情報として生成してもよい。   The instruction information generation unit may generate, as the second instruction information, a direction indicated by the pointing of the hand part when it is estimated that the type of the instruction operation is the second type. .

前記指示情報生成部は、前記指示動作の種類が前記第1の種類および前記第2の種類とは異なる第3の種類であると推定された場合には、前記第1の指示情報および前記第2の指示情報とは異なる第3の指示情報を生成してもよい。   When the instruction information generation unit estimates that the instruction operation type is a third type different from the first type and the second type, the instruction information generation unit Third instruction information different from the second instruction information may be generated.

前記指示情報生成部は、前記指示動作の種類が前記第3の種類であると推定された場合には、前記手部の形状を前記第3の指示情報として生成してもよい。   The instruction information generation unit may generate the shape of the hand part as the third instruction information when the type of the instruction operation is estimated to be the third type.

また、本発明の別の観点によれば、3次元空間における第1のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて生成された第2のユーザへの指示情報を受信する受信部と、前記指示情報を前記第2のユーザに提示する画像出力部と、を備える、第2の情報処理システムが提供される。   Further, according to another aspect of the present invention, the second user generated based on the position of the hand of the first user in the three-dimensional space and the region set in advance for each type of instruction operation is provided. A second information processing system is provided that includes a receiving unit that receives instruction information and an image output unit that presents the instruction information to the second user.

また、本発明の別の観点によれば、第1の画像に基づいて計測された3次元空間における第1のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第1のユーザの指示動作の種類を推定する推定部と、前記第1のユーザの指示動作の種類に基づいて、第2のユーザへの指示情報を生成する指示情報生成部と、を備える、第1の情報処理システムと、前記指示情報を受信する受信部と、前記指示情報を前記第2のユーザに提示する画像出力部と、を備える、第2の情報処理システムと、を有する、第3の情報処理システムが提供される。   Moreover, according to another viewpoint of this invention, based on the position of the 1st user's hand part in the three-dimensional space measured based on the 1st image, and the area | region preset for every kind of instruction | indication operation | movement An estimation unit that estimates the type of instruction operation of the first user, an instruction information generation unit that generates instruction information to the second user based on the type of instruction operation of the first user, A second information processing system comprising: a first information processing system comprising: a receiving unit that receives the instruction information; and an image output unit that presents the instruction information to the second user. A third information processing system is provided.

以上説明したように本発明によれば、第1のユーザの意図を把握して第1のユーザから第2のユーザへの指示情報をより適切に生成することを可能とする技術が提供される。   As described above, according to the present invention, there is provided a technique capable of grasping the intention of the first user and more appropriately generating instruction information from the first user to the second user. .

一般的な遠隔作業支援システムについて説明するための図である。It is a figure for demonstrating a general remote work assistance system. 本発明の実施形態に係る遠隔作業支援システム(作)の構成例を示す図である。It is a figure showing an example of composition of a remote work support system (work) concerning an embodiment of the present invention. 同実施形態に係る遠隔作業支援システム(指)の構成例を示す図である。It is a figure showing an example of composition of a remote work support system (finger) concerning the embodiment. 手部計測部によって計測される指示者の手部の位置について説明するための図である。It is a figure for demonstrating the position of an instructor's hand part measured by a hand part measurement part. 手部計測部によって計測される指示者の手部の位置について説明するための図である。It is a figure for demonstrating the position of an instructor's hand part measured by a hand part measurement part. 遠隔作業支援システム(指)の上面図である。It is a top view of a remote work support system (finger). 遠隔作業支援システム(指)における映像出力部(指)の正面図である。It is a front view of the image | video output part (finger) in a remote work assistance system (finger). 同実施形態に係る遠隔作業支援システムの機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the remote operation assistance system which concerns on the embodiment. 指示者によって位置指示動作が行われる様子の例を示す図である。It is a figure which shows the example of a mode that a position instruction | indication operation | movement is performed by the instructor. 指示者による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者が接触情報取得部に接触していない場合の様子の例を示す図である。It is a figure which shows the example of a mode when the kind of instruction | indication operation | movement by an instruction | indication is estimated that it is a position instruction | indication operation | movement, and the instruction | indication person is not contacting the contact information acquisition part. 指示者による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者が接触情報取得部に接触している場合の様子の例を示す図である。It is a figure which shows the example of a mode when the kind of instruction | indication operation | movement by an instructor is estimated that it is a position instruction | indication operation | movement, and the instructor is contacting the contact information acquisition part. 指示者によって方向指示動作が行われる様子の例を示す図である。It is a figure which shows the example of a mode that a direction instruction | indication operation | movement is performed by the instruction person. 指示者によって方向指示動作の例として左方向への指さしが行われた場合の様子の例を示す図である。It is a figure which shows the example of a mode when the pointing person performs the pointing to left direction as an example of direction instruction | indication operation | movement. 指示者の手部によって方向が表現される場合について説明するための図である。It is a figure for demonstrating the case where a direction is expressed by the hand part of an instructor. 指示者によって形状指示動作が行われる様子の例を示す図である。It is a figure which shows the example of a mode that shape instruction | indication operation | movement is performed by the instructor. 指示者によって形状指示動作の例として両手を拡げたジェスチャが行われた場合の様子の例を示す図である。It is a figure which shows the example of a mode when the gesture which spreads both hands as an example of shape instruction | indication operation | movement is performed by the instruction person. 同実施形態に係る遠隔作業支援システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the remote operation assistance system which concerns on the embodiment. 方向を示す表示オブジェクトの第1の変形例を説明するための図である。It is a figure for demonstrating the 1st modification of the display object which shows a direction. 方向を示す表示オブジェクトの第2の変形例を説明するための図である。It is a figure for demonstrating the 2nd modification of the display object which shows a direction. 方向を示す表示オブジェクトの第2の変形例を説明するための図である。It is a figure for demonstrating the 2nd modification of the display object which shows a direction. 方向を示す表示オブジェクトの第3の変形例を説明するための図である。It is a figure for demonstrating the 3rd modification of the display object which shows a direction. 方向を示す表示オブジェクトの第3の変形例を説明するための図である。It is a figure for demonstrating the 3rd modification of the display object which shows a direction.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。   In the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be distinguished by attaching different numerals to the same reference numerals. However, when there is no need to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are given. In addition, similar components in different embodiments may be distinguished by attaching different alphabets after the same reference numerals. However, in the case where it is not necessary to particularly distinguish each of similar components of different embodiments, only the same reference numerals are given.

(1.概要)
まず、本発明の実施形態に係る概要について説明する。
(1. Overview)
First, the outline | summary which concerns on embodiment of this invention is demonstrated.

一般に、ある人物が近くに存在する人物に対して何らかの説明を行う場合には、言葉によって説明だけではなく、身振り(ジェスチャ)などの動作(手部の姿勢および動きを含む)による説明を行う場合が多い。特に、ある人物(指示者)が作業などを近くに存在する人物(作業者)に説明する場合には、手部の動作による説明は、言葉による説明と比べて情報量が多く、指示者にとっては作業を説明しやすく、作業者にとっては作業を理解しやすい。一方、近年では、遠隔作業支援システムによって、現場の作業者に対して遠隔地から指示者によって指示(情報支援)が行われるようになりつつある。   In general, when a person explains something to a nearby person, not only by words, but also by gestures and other actions (including hand posture and movement) There are many. In particular, when a person (instructor) explains work to a nearby person (worker), the explanation by hand movement is more information than the explanation by words. Is easy to explain the work and easy for the operator to understand the work. On the other hand, in recent years, an instruction (information support) is being given by an instructor from a remote place to an on-site worker by a remote work support system.

図1は、一般的な遠隔作業支援システムについて説明するための図である。図1を参照すると、作業者側には作業者U91が存在し、(作業者側からの遠隔地にあたる)指示者側には指示者U92が存在している。作業者U91は、作業者端末91を利用しており、指示者U92は、指示者端末92を利用している。作業者端末91と指示者端末92とは、ネットワーク90を介して通信可能である。図1には、作業者端末91がタブレット端末である場合が示されているが、作業者端末91はウェアラブル端末などである場合も想定される。また、図1には、指示者端末92がPC(Personal Computer)である場合が示されているが、指示者端末92の種類としても多様な種類が想定される。   FIG. 1 is a diagram for explaining a general remote work support system. Referring to FIG. 1, an operator U91 exists on the operator side, and an instructor U92 exists on the instructor side (corresponding to a remote place from the operator side). The worker U91 uses the worker terminal 91, and the instructor U92 uses the instructor terminal 92. The worker terminal 91 and the instructor terminal 92 can communicate with each other via the network 90. Although FIG. 1 shows a case where the worker terminal 91 is a tablet terminal, the worker terminal 91 is also assumed to be a wearable terminal or the like. 1 shows a case where the instructor terminal 92 is a PC (Personal Computer), but various types of the instructor terminal 92 are assumed.

例えば、作業者端末91はカメラを備えており、カメラによって撮像された映像(作業者側映像)を指示者端末92に送信する。これによって、作業者と指示者とが同じ作業者側映像を見ることが可能になる(同じ作業者側映像を共有する)。指示者は、作業者側映像を介して作業者側の状況を把握し、音声または作業者側映像への描線などにより作業者への指示情報を入力する。指示情報は、指示者端末92から作業者端末91に送信される。これにより、指示者U92は、遠隔地から作業者U91に対して作業などの説明を行うことができるようになる。   For example, the worker terminal 91 includes a camera, and transmits an image (worker side image) captured by the camera to the instructor terminal 92. As a result, the worker and the instructor can see the same worker-side video (the same worker-side video is shared). The instructor grasps the situation on the worker side through the worker-side video, and inputs instruction information to the worker by voice or a drawing line on the worker-side video. The instruction information is transmitted from the instructor terminal 92 to the worker terminal 91. As a result, the instructor U92 can explain the work to the worker U91 from a remote place.

このように、図1に示されたような一般的な遠隔作業支援システムでは、映像に対する描線および音声入力などといった動作によって指示が行われ得る。しかし、指示者U92と作業者U91とが近くに存在する場合に行われ得るような指示動作(例えば、手部によるジェスチャ、指さしなど)によって、指示者U92から作業者U91に指示を行うことはできない。そのため、例えば、指示者U92は多くの言葉を用いて作業を説明しなくてはならないため、指示者U92は説明を行いにくく、作業者U91は説明を受けにくい(指示者U92および作業者U91ともに指示情報の共有に苦労する)。   As described above, in the general remote work support system as shown in FIG. 1, an instruction can be given by operations such as drawing a line and voice input. However, an instruction from the instructor U92 to the operator U91 by an instruction operation (for example, gesture by hand, pointing, etc.) that can be performed when the instructor U92 and the operator U91 are close to each other is not possible. Can not. Therefore, for example, the instructor U92 has to explain the work using many words, so the instructor U92 is difficult to explain and the operator U91 is difficult to receive explanation (both the instructor U92 and the worker U91) Difficult to share instruction information).

指示者U92は、説明を行いやすくするため、手部によるジェスチャによって手部の形状を直接的に指示情報として作業者U91に通知したい場合もあり得る。あるいは、指示者U92は、指さしによって方向を指示情報として作業者U91に通知したい場合もあり得る。このように、指示者U92が通知したい指示情報としては様々な種類が想定される。したがって、指示者U92の意図(指示者U92が如何なる種類の指示情報を作業者U91に通知したいか)を把握して指示者U92の意図に応じた指示情報を生成することが有用である。   In order to facilitate explanation, the instructor U92 may want to notify the operator U91 of the shape of the hand part directly as instruction information by a gesture by the hand part. Alternatively, the instructor U92 may want to notify the worker U91 of the direction as instruction information by pointing. Thus, various types of instruction information that the instructor U92 wants to notify are assumed. Therefore, it is useful to grasp the intention of the instructor U92 (what kind of instruction information the instructor U92 wants to notify the worker U91) and generate the instruction information according to the intention of the instructor U92.

そこで、本発明の実施形態においては、指示者U92の意図を把握して指示者U92から作業者U91への指示情報をより適切に生成する技術について主に説明する。なお、以下では、指示者U92が作業者U91に作業に関する指示を行う場合を主に想定する。しかし、作業者U91は実際に作業を行わなくてもよいし、指示者U92は、作業以外に関する指示を行ってもよい。すなわち、以下に説明する「指示者」は、何らかの指示を行う「第1のユーザ」であってよく、以下に説明する「作業者」は、「第1のユーザ」から指示を受ける「第2のユーザ」であってよい。   Therefore, in the embodiment of the present invention, a technique for grasping the intention of the instructor U92 and generating instruction information from the instructor U92 to the worker U91 more appropriately will be mainly described. In the following, it is mainly assumed that the instructor U92 gives an instruction regarding work to the worker U91. However, the worker U91 may not actually perform the work, and the instructor U92 may give an instruction related to other than the work. That is, the “instructor” described below may be a “first user” who gives some instruction, and the “worker” described below receives an instruction from the “first user” “second user”. User ".

以下では、「指示者」によって利用される情報処理システム(第1の情報処理システム)を「遠隔作業支援システム(指)」と主に表現する。また、「作業者」によって利用される情報処理システム(第2の情報処理システム)を「遠隔作業支援システム(作)」と主に表現する。さらに、第1の情報処理システムと第2の情報処理システムとを総合した情報処理システム(第3の情報処理システム)を「遠隔作業支援システム」と主に表現する。   Hereinafter, the information processing system (first information processing system) used by the “instructor” is mainly expressed as “remote work support system (finger)”. The information processing system (second information processing system) used by the “worker” is mainly expressed as “remote work support system (work)”. Furthermore, an information processing system (third information processing system) in which the first information processing system and the second information processing system are integrated is mainly expressed as a “remote work support system”.

なお、同様にして、以下では、「指示者」によって利用される構成要素の末尾に(指)との文字列を付加して説明を行う場合がある。また、「作業者」によって利用される構成要素の末尾に(作)との文字列を付加して説明を行う場合がある。これによって、「指示者」によって利用される構成要素と「作業者」によって利用される構成要素との間で同じ名称の構成要素があったとしても、これらの構成要素が区別され得る。   Similarly, in the following description, there is a case where a character string “finger” is added to the end of the component used by the “instructor”. Further, there may be a case where a character string “saku” is added to the end of the component used by the “worker” for explanation. Thus, even if there is a component having the same name between the component used by the “instructor” and the component used by the “worker”, these components can be distinguished.

以上、本発明の実施形態に係る概要について説明した。   The outline according to the embodiment of the present invention has been described above.

(2.システム構成例)
続いて、本発明の実施形態に係る遠隔作業支援システムの構成例について説明する。
(2. System configuration example)
Subsequently, a configuration example of the remote operation support system according to the embodiment of the present invention will be described.

図2は、本発明の実施形態に係る遠隔作業支援システム(作)の構成例を示す図である。図2に示されるように、本発明の実施形態に係る遠隔作業支援システム(作)10は、作業者U1によって利用されるシステムであり、ネットワーク30を介して、遠隔作業支援システム(指)20(図3)と通信可能に構成されている。また、遠隔作業支援システム(作)10は、遠隔作業支援装置(作)11を有しており、遠隔作業支援装置(作)11は、映像取得部101、映像出力部(作)102および音声入出力部(作)103を有している。   FIG. 2 is a diagram showing a configuration example of a remote work support system (work) according to the embodiment of the present invention. As shown in FIG. 2, the remote work support system (work) 10 according to the embodiment of the present invention is a system used by a worker U1, and a remote work support system (finger) 20 via a network 30. (FIG. 3) can be communicated. The remote work support system (work) 10 includes a remote work support device (work) 11, and the remote work support device (work) 11 includes a video acquisition unit 101, a video output unit (work) 102, and audio. An input / output unit (operation) 103 is provided.

映像取得部101は、イメージセンサによって構成され、イメージセンサによる撮像によって映像(作業者側映像)を取得する。本発明の実施形態においては、映像取得部101が、遠隔作業支援装置(作)11の背面に設けられている場合を主に想定する。しかし、映像取得部101が設けられる位置は限定されない。例えば、映像取得部101は、遠隔作業支援装置(作)11の前面に設けられていてもよいし、遠隔作業支援装置(作)11の側面に設けられてもよい。   The video acquisition unit 101 is configured by an image sensor, and acquires a video (worker side video) by imaging with the image sensor. In the embodiment of the present invention, it is assumed mainly that the video acquisition unit 101 is provided on the back surface of the remote work support device (work) 11. However, the position where the video acquisition unit 101 is provided is not limited. For example, the video acquisition unit 101 may be provided on the front surface of the remote work support device (work) 11 or may be provided on the side surface of the remote work support device (work) 11.

映像出力部(作)102は、ディスプレイによって構成され、映像取得部101によって得られた映像(作業者側映像)を出力する機能を有する。また、映像出力部(作)102は、遠隔作業支援システム(指)20(図3)から受信された指示情報を出力する機能も有する。ここで、ディスプレイの形態は特に限定されない。例えば、ディスプレイは、CRT(Cathode Ray Tube)ディスプレイ装置であってもよいし、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。   The video output unit (product) 102 is configured by a display and has a function of outputting the video (worker side video) obtained by the video acquisition unit 101. The video output unit (product) 102 also has a function of outputting instruction information received from the remote work support system (finger) 20 (FIG. 3). Here, the form of the display is not particularly limited. For example, the display may be a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a lamp, etc. The display device may be used.

音声入出力部(作)103は、マイクロフォンおよびスピーカによって構成される。マイクロフォンは、作業者U1によって発せられる音声を検出する。一方、スピーカは、遠隔作業支援システム(指)20(図3)から受信される指示者U2の音声を出力する。なお、図2に示された例では、便宜上、マイクロフォンおよびスピーカを含む音声入出力部(作)103が一箇所に設けられている。しかし、マイクロフォンおよびスピーカは、離れた位置に設けられてよい。また、遠隔作業支援装置(作)11が、作業者U1の身体に装着可能なウェアラブル端末である場合、音声入出力部(作)103は、ヘッドセットとして構成されてもよい。   The voice input / output unit (product) 103 includes a microphone and a speaker. The microphone detects the sound emitted by the worker U1. On the other hand, the speaker outputs the voice of the instructor U2 received from the remote work support system (finger) 20 (FIG. 3). In the example shown in FIG. 2, for convenience, a voice input / output unit (work) 103 including a microphone and a speaker is provided in one place. However, the microphone and the speaker may be provided at remote locations. When the remote work support device (product) 11 is a wearable terminal that can be worn on the body of the worker U1, the voice input / output unit (product) 103 may be configured as a headset.

その他、遠隔作業支援装置(作)11は、図示しない制御部を有している。図示しない制御部は、CPU(Central Processing Unit)などを含み、図示しない記憶部により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、図示しない制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。   In addition, the remote work support device (work) 11 has a control unit (not shown). The control unit (not shown) includes a CPU (Central Processing Unit) and the like, and the function is realized by a program stored in the storage unit (not shown) being expanded and executed by the CPU in a RAM (Random Access Memory). obtain. At this time, a computer-readable recording medium that records the program can also be provided. Or the control part which is not illustrated may be comprised by the hardware for exclusive use, and may be comprised by the combination of several hardware.

かかる図示しない記憶部は、図示しない制御部を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、かかる図示しない記憶部は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。   Such a storage unit (not shown) is a storage device capable of storing a program and data for operating a control unit (not shown). Further, the storage unit (not shown) can temporarily store various data required in the process of operation of the control unit (not shown). For example, the storage device may be a non-volatile storage device.

また、遠隔作業支援装置(作)11は、通信部(作)104(図8)を備える。通信部(作)104は、ネットワーク30を介して遠隔作業支援システム(指)20との間で通信を行う通信インタフェースであってよい。本発明の実施形態においては、通信部(作)104が有線による通信を行う場合を主に想定するが、通信部(作)104は、無線による通信を行ってもよい。   Further, the remote work support device (work) 11 includes a communication unit (work) 104 (FIG. 8). The communication unit (work) 104 may be a communication interface that performs communication with the remote work support system (finger) 20 via the network 30. In the embodiment of the present invention, it is mainly assumed that the communication unit (work) 104 performs wired communication, but the communication unit (work) 104 may perform wireless communication.

なお、本発明の実施形態においては、図2に示されたように、遠隔作業支援装置(作)11が、映像取得部101、映像出力部(作)102および音声入出力部(作)103を有する場合を主に想定する。しかし、映像取得部101、映像出力部(作)102および音声入出力部(作)103の一部または全部は、遠隔作業支援装置(作)11の外部に存在してもよい。   In the embodiment of the present invention, as shown in FIG. 2, the remote work support device (production) 11 includes a video acquisition unit 101, a video output unit (production) 102, and an audio input / output unit (production) 103. Is mainly assumed. However, some or all of the video acquisition unit 101, the video output unit (production) 102, and the audio input / output unit (production) 103 may exist outside the remote work support device (production) 11.

また、本発明の実施形態においては、遠隔作業支援装置(作)11がタブレット端末である場合を主に想定する。しかし、遠隔作業支援装置(作)11は、タブレット端末に限定されない。例えば、遠隔作業支援装置(作)11は、スマートフォンであってもよいし、PC(Personal Computer)であってもよい。あるいは、遠隔作業支援装置(作)11は、作業者U1の身体に装着可能なウェアラブル端末であってもよいし、他の端末であってもよい。   In the embodiment of the present invention, it is mainly assumed that the remote work support device (work) 11 is a tablet terminal. However, the remote work support device (work) 11 is not limited to a tablet terminal. For example, the remote work support device (product) 11 may be a smartphone or a PC (Personal Computer). Alternatively, the remote work support device (work) 11 may be a wearable terminal that can be worn on the body of the worker U1, or may be another terminal.

例えば、作業者U1は、何らかの作業を行おうとしている。作業者U1によって行われる作業の種類は限定されない。本発明の実施形態においては、作業者U1によって行われる作業が電化製品の設置作業である場合を主に想定する。かかる場合、作業者U1によって映像取得部101が電化製品に向けられ、映像取得部101によって電化製品の映像が撮像され、遠隔作業支援装置(作)11によって電化製品の映像が指示者側映像として指示者側に送信される。これによって、指示者U2(図3)は、電化製品の映像を見ながら指示動作によって指示を行うことができる。   For example, the worker U1 is going to do some work. The type of work performed by the worker U1 is not limited. In the embodiment of the present invention, it is mainly assumed that the work performed by the worker U1 is an installation work of an electrical appliance. In such a case, the video acquisition unit 101 is directed to the electrical appliance by the worker U1, the video of the electrical appliance is captured by the video acquisition unit 101, and the video of the electrical appliance is used as the instructor-side video by the remote work support device (product) 11. Sent to the instructor. Thereby, the instructor U2 (FIG. 3) can give an instruction by an instruction operation while viewing the video of the appliance.

そして、遠隔作業支援装置(作)11によって指示者U2からの指示情報が受信され、映像出力部(作)102によって指示情報に応じた表示オブジェクトが表示されると、作業者U1は、表示オブジェクトを見ながら作業を行うことが可能である。これによって、作業者U1は、効率的に作業を行うことができる。なお、音声入出力部(作)103によって受け付けられた作業者U1の発する音声は、指示者側に送信され、指示者U2の発する音声は、指示者側から受信されて音声入出力部(作)103によって出力される。かかる音声の入出力によっても、効率的な作業が支援され得る。   When the remote work support device (product) 11 receives the instruction information from the instructor U2, and the video output unit (product) 102 displays a display object corresponding to the instruction information, the worker U1 displays the display object. It is possible to work while watching. Thereby, the worker U1 can work efficiently. Note that the voice uttered by the worker U1 received by the voice input / output unit 103 is transmitted to the instructor side, and the voice uttered by the instructor U2 is received from the instructor side and received by the voice input / output unit ) 103. Such voice input / output can also support efficient work.

以上、本発明の実施形態に係る遠隔作業支援システム(作)の構成例について説明した。   The configuration example of the remote work support system (work) according to the embodiment of the present invention has been described above.

図3は、本発明の実施形態に係る遠隔作業支援システム(指)20の構成例を示す図である。図3に示されるように、本発明の実施形態に係る遠隔作業支援システム(指)20は、指示者U2によって利用されるシステムであり、ネットワーク30を介して、遠隔作業支援システム(作)10(図2)と通信可能に構成されている。また、遠隔作業支援システム(指)20は、遠隔作業支援装置(指)21、手部計測部201、接触情報取得部203、映像出力部(指)205および音声入出力部(指)206を有している。   FIG. 3 is a diagram illustrating a configuration example of the remote operation support system (finger) 20 according to the embodiment of the present invention. As shown in FIG. 3, the remote work support system (finger) 20 according to the embodiment of the present invention is a system used by the instructor U <b> 2, and via the network 30, the remote work support system (work) 10. (FIG. 2) can be communicated with. The remote work support system (finger) 20 includes a remote work support device (finger) 21, a hand measurement unit 201, a contact information acquisition unit 203, a video output unit (finger) 205, and a voice input / output unit (finger) 206. Have.

手部計測部201は、例えば、赤外線LED(Light Emitting Diode)および赤外線ステレオカメラを含んで構成される。このとき、手部計測部201は、赤外線LEDによって赤外線を照射し、反射した赤外線を赤外線ステレオカメラによって撮像することによって映像(指示者側映像)を取得する。また、手部計測部201は、指示者側映像に基づいて、3次元空間における指示者U2の手部の位置を計測する。本発明の実施形態においては、手部計測部201が、指示者U2の斜め前方の上方に設けられている場合を主に想定する。しかし、手部計測部201が設けられる位置は限定されない。例えば、手部計測部201は、指示者U2の前方の上方に設けられてもよいし、指示者U2の斜め後方の上方に設けられてもよい。   The hand measurement unit 201 includes, for example, an infrared LED (Light Emitting Diode) and an infrared stereo camera. At this time, the hand measurement unit 201 acquires an image (instructor-side image) by irradiating infrared rays with an infrared LED and capturing the reflected infrared rays with an infrared stereo camera. Further, the hand measurement unit 201 measures the position of the hand of the instructor U2 in the three-dimensional space based on the instructor side image. In the embodiment of the present invention, it is mainly assumed that the hand measurement unit 201 is provided obliquely forward above the instructor U2. However, the position where the hand measurement unit 201 is provided is not limited. For example, the hand measurement unit 201 may be provided above the front of the instructor U2, or may be provided obliquely above and behind the instructor U2.

ここで、手部計測部201によって計測される指示者U2の手部の位置について説明する。図4は、手部計測部201によって計測される指示者U2の手部の位置について説明するための図である。図4を参照すると、手部計測部201による計測対象領域に、指示者U2の左手Lhと指示者U2の右手Rhとが存在している。図4に示されたように、手部計測部201によって、左手Lhおよび右手Rhの各頂点の3次元空間における位置(3次元位置)が計測される(すなわち、「骨格モデル情報」が計測される)。   Here, the position of the hand of the instructor U2 measured by the hand measuring unit 201 will be described. FIG. 4 is a diagram for explaining the position of the hand of the instructor U2 measured by the hand measurement unit 201. Referring to FIG. 4, the left hand Lh of the instructor U <b> 2 and the right hand Rh of the instructor U <b> 2 exist in the measurement target area by the hand measuring unit 201. As shown in FIG. 4, the hand measurement unit 201 measures the positions (three-dimensional positions) of the vertices of the left hand Lh and the right hand Rh in a three-dimensional space (that is, “skeleton model information” is measured). )

具体的に、手部計測部201によって位置が計測される頂点としては、指先、指関節、掌を構成する多角形の頂点、掌を構成する頂点群の重心、五指それぞれの曲げ/伸ばし情報などが含まれ得る。なお、図4には、頂点の一例として、右手Rhの親指の先端P1が示されている。   Specifically, the vertices whose positions are measured by the hand measurement unit 201 include fingertips, finger joints, polygonal vertices constituting the palm, the center of gravity of the vertex group constituting the palm, bending / extension information for each of the five fingers, etc. Can be included. In FIG. 4, the tip P1 of the thumb of the right hand Rh is shown as an example of the vertex.

図5は、手部計測部201によって計測される指示者U2の手部の位置について説明するための図である。図5を参照すると、手部計測部201による計測対象領域に、指示者U2の右手Rhが存在している。すなわち、図5に示された計測対象領域は、図4に示された計測対象領域の拡大図に相当する。   FIG. 5 is a diagram for explaining the position of the hand of the instructor U2 measured by the hand measurement unit 201. Referring to FIG. 5, the right hand Rh of the instructor U <b> 2 exists in the measurement target area by the hand measurement unit 201. That is, the measurement target region shown in FIG. 5 corresponds to an enlarged view of the measurement target region shown in FIG.

図5に示されたように、手部計測部201によって、右手Rhの各頂点の重心RhPの3次元空間における位置(3次元位置)が計測される。同様にして、左手Lhの各頂点の重心の3次元空間における位置(3次元位置)も計測される。本発明の実施形態においては、右手Rhの掌を構成する頂点群の重心および左手Lhの掌を構成する頂点群の重心が、手部の位置の例として用いられる。なお、図5を参照すると、掌の外接円の直径rが示されている。かかる掌の外接円の直径rは、後に説明するように領域のサイズの決定に用いられてもよい。   As shown in FIG. 5, the hand measurement unit 201 measures the position (three-dimensional position) in the three-dimensional space of the center of gravity RhP of each vertex of the right hand Rh. Similarly, the position (three-dimensional position) of the center of gravity of each vertex of the left hand Lh in the three-dimensional space is also measured. In the embodiment of the present invention, the centroid of the vertex group constituting the palm of the right hand Rh and the centroid of the vertex group constituting the palm of the left hand Lh are used as examples of the position of the hand portion. Referring to FIG. 5, the diameter r of the circumscribed circle of the palm is shown. The diameter r of the circumscribed circle of the palm may be used for determining the size of the region as will be described later.

図3に戻って説明を続ける。映像出力部(指)205は、ディスプレイによって構成され、遠隔作業支援システム(作)10から受信された映像(作業者側映像)を出力する機能を有する。また、映像出力部(作)102は、遠隔作業支援装置(指)21によって生成された指示情報を出力する機能も有する。ここで、ディスプレイの形態は特に限定されない。例えば、ディスプレイは、CRT(Cathode Ray Tube)ディスプレイ装置であってもよいし、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。   Returning to FIG. 3, the description will be continued. The video output unit (finger) 205 is configured by a display and has a function of outputting video (worker side video) received from the remote work support system (work) 10. The video output unit (product) 102 also has a function of outputting instruction information generated by the remote work support device (finger) 21. Here, the form of the display is not particularly limited. For example, the display may be a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a lamp, etc. The display device may be used.

音声入出力部(指)206は、マイクロフォンおよびスピーカによって構成される。マイクロフォンは、指示者U2によって発せられる音声を検出する。一方、スピーカは、遠隔作業支援システム(作)10から受信される作業者U1の音声を出力する。なお、図3に示された例では、便宜上、マイクロフォンおよびスピーカを含む音声入出力部(指)206が同一の筐体に設けられている。しかし、マイクロフォンおよびスピーカは、異なる筐体に設けられてもよい。また、音声入出力部(指)206が設けられる位置も限定されない。   The voice input / output unit (finger) 206 includes a microphone and a speaker. The microphone detects the voice emitted by the instructor U2. On the other hand, the speaker outputs the voice of the worker U1 received from the remote work support system (work) 10. In the example shown in FIG. 3, for convenience, a voice input / output unit (finger) 206 including a microphone and a speaker is provided in the same housing. However, the microphone and the speaker may be provided in different housings. Further, the position where the voice input / output unit (finger) 206 is provided is not limited.

接触情報取得部203は、タッチパネルによって構成され、指示者U2によるタッチパネルへの接触位置を検出する。例えば、タッチパネルの方式は、静電容量方式であってよいが、特に限定されない。本発明の実施形態においては、遠隔作業支援システム(指)20が接触情報取得部203(タッチパネル)を有する場合を主に想定する。しかし、遠隔作業支援システム(指)20は、接触情報取得部203(タッチパネル)の代わりに、指示者U2によって指示される位置を検出可能な他の入力機器を有してもよい。例えば、指示者U2によるタッチパネルへの接触位置にアイコンが存在した場合、アイコンに対応する機能が実行されてもよい。   The contact information acquisition unit 203 is configured by a touch panel, and detects a touch position on the touch panel by the instructor U2. For example, the touch panel method may be a capacitance method, but is not particularly limited. In the embodiment of the present invention, it is mainly assumed that the remote work support system (finger) 20 has a contact information acquisition unit 203 (touch panel). However, the remote work support system (finger) 20 may have another input device that can detect the position indicated by the instructor U2 instead of the contact information acquisition unit 203 (touch panel). For example, when an icon exists at a position where the instructor U2 touches the touch panel, a function corresponding to the icon may be executed.

遠隔作業支援装置(指)21は、図示しない制御部を有している。図示しない制御部は、CPU(Central Processing Unit)などを含み、図示しない記憶部により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、図示しない制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。   The remote work support device (finger) 21 has a control unit (not shown). The control unit (not shown) includes a CPU (Central Processing Unit) and the like, and the function is realized by a program stored in the storage unit (not shown) being expanded and executed by the CPU in a RAM (Random Access Memory). obtain. At this time, a computer-readable recording medium that records the program can also be provided. Or the control part which is not illustrated may be comprised by the hardware for exclusive use, and may be comprised by the combination of several hardware.

かかる図示しない記憶部は、図示しない制御部を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、かかる図示しない記憶部は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。   Such a storage unit (not shown) is a storage device capable of storing a program and data for operating a control unit (not shown). Further, the storage unit (not shown) can temporarily store various data required in the process of operation of the control unit (not shown). For example, the storage device may be a non-volatile storage device.

遠隔作業支援装置(指)21は、通信部(指)207(図8)を備える。通信部(指)207は、ネットワーク30を介して遠隔作業支援システム(作)10との間で通信を行う通信インタフェースであってよい。本発明の実施形態においては、通信部(指)207が有線による通信を行う場合を主に想定するが、通信部(指)207は、無線による通信を行ってもよい。   The remote work support device (finger) 21 includes a communication unit (finger) 207 (FIG. 8). The communication unit (finger) 207 may be a communication interface that performs communication with the remote work support system (work) 10 via the network 30. In the embodiment of the present invention, it is mainly assumed that the communication unit (finger) 207 performs wired communication, but the communication unit (finger) 207 may perform wireless communication.

なお、本発明の実施形態においては、図3に示されたように、手部計測部201、接触情報取得部203、映像出力部(指)205および音声入出力部(指)206が、遠隔作業支援装置(指)21の外部に存在する場合を主に想定する。しかし、手部計測部201、接触情報取得部203、映像出力部(指)205および音声入出力部(指)206の一部または全部は、遠隔作業支援装置(指)21の内部に存在してもよい。   In the embodiment of the present invention, as shown in FIG. 3, the hand measurement unit 201, the contact information acquisition unit 203, the video output unit (finger) 205, and the voice input / output unit (finger) 206 are remote. The case where it exists in the exterior of the work assistance apparatus (finger) 21 is mainly assumed. However, some or all of the hand measurement unit 201, the contact information acquisition unit 203, the video output unit (finger) 205, and the voice input / output unit (finger) 206 exist inside the remote work support device (finger) 21. May be.

例えば、指示者U2は、作業者U1によって行われる作業を支援するために、作業者U1に指示を行おうとしている。本発明の実施形態においては、指示者U2によって行われる支援が電化製品の設置作業の支援である場合を主に想定する。かかる場合、遠隔作業支援装置(指)21によって作業者側から電化製品の映像が受信されると、映像出力部(指)205によって電化製品の映像が表示される。これによって、指示者U2は、電化製品の映像を見ながら指示動作によって指示を行うことができる。   For example, the instructor U2 tries to give an instruction to the worker U1 in order to support the work performed by the worker U1. In the embodiment of the present invention, it is mainly assumed that the support performed by the instructor U2 is support for the installation work of the electrical appliance. In this case, when the video of the electrical appliance is received from the worker side by the remote work support device (finger) 21, the video of the electrical appliance is displayed by the video output unit (finger) 205. Thereby, the instructor U2 can give an instruction by an instruction operation while viewing the video of the appliance.

指示者U2による指示動作の種類は限定されない。本発明の実施形態においては、指示動作として、位置を指示ための指示動作(以下、「位置指示動作」とも言う。)、方向を指示するための指示動作(以下、「方向指示動作」とも言う。)、形状を指示するための指示動作(以下、「形状指示動作」とも言う。)の3つが用いられる場合を想定する(3つの指示動作は互いに異なっている)。しかし、指示動作としては、これらの3つの指示動作(第1の種類から第3の種類まで)のうちのいずれか2つの指示動作が用いられてもよい。   The type of instruction operation by the instructor U2 is not limited. In the embodiment of the present invention, as the instruction operation, an instruction operation for instructing a position (hereinafter also referred to as “position instruction operation”) and an instruction operation for instructing a direction (hereinafter also referred to as “direction instruction operation”). )), A case where three of the instruction operations for instructing the shape (hereinafter also referred to as “shape instruction operation”) are used (the three instruction operations are different from each other). However, any two of the three instruction operations (from the first type to the third type) may be used as the instruction operation.

本発明の実施形態においては、位置指示動作によって指示される位置としてタッチパネルへの手部の接触位置が用いられ、方向指示動作によって指示される方向として指さしによって示される方向(指さし方向)が用いられ、形状指示動作によって指示される形状として手部によるジェスチャ(手部の形状)が用いられる場合を想定する。しかし、位置指示動作によって指示される位置、方向指示動作によって指示される方向、および、形状指示動作によって指示される形状それぞれとしてどのような情報が用いられるかも特に限定されない。   In the embodiment of the present invention, the touch position of the hand touching the touch panel is used as the position indicated by the position indicating operation, and the direction (pointing direction) indicated by the pointing hand is used as the direction specified by the direction indicating operation. Assume that a hand gesture (shape of the hand) is used as the shape indicated by the shape indicating operation. However, there is no particular limitation on what information is used as the position indicated by the position indicating operation, the direction specified by the direction indicating operation, and the shape specified by the shape indicating operation.

また、本発明の実施形態においては、指示動作の種類ごとに領域があらかじめ設定されている(各領域は互いに異なっている)。ここで、指示動作の種類ごとに設定される領域は、指示者U2によって指示動作が行われることが予測される領域であるのがよく、遠隔作業支援システム(指)20によって自動的に設定されるのがよい。例えば、これらの領域は、遠隔作業支援システム(指)20が設置されるときの初期処理の一つとして実行されてもよい。ここで、図6および図7を参照しながら、各領域の位置、サイズ、形状の例について説明する。   In the embodiment of the present invention, a region is set in advance for each type of instruction operation (each region is different from each other). Here, the area set for each type of instruction operation is preferably an area where the instruction operation is predicted to be performed by the instructor U2, and is automatically set by the remote work support system (finger) 20. It is better. For example, these areas may be executed as one of initial processes when the remote work support system (finger) 20 is installed. Here, examples of the position, size, and shape of each region will be described with reference to FIGS. 6 and 7.

図6は、遠隔作業支援システム(指)20の上面図である。また、図7は、遠隔作業支援システム(指)20における映像出力部(指)205の正面図である。図6および図7を参照すると、位置指示領域R1(第1の領域)、方向指示領域R2(第2の領域)および形状指示領域R3(第3の領域)が示されている。   FIG. 6 is a top view of the remote work support system (finger) 20. FIG. 7 is a front view of the video output unit (finger) 205 in the remote work support system (finger) 20. Referring to FIGS. 6 and 7, a position indicating region R1 (first region), a direction indicating region R2 (second region), and a shape indicating region R3 (third region) are shown.

位置指示領域R1は、指示者U2によって位置指示動作、すなわち、指示者U2によって接触情報取得部203(タッチパネル)への手部の接触が行われる場合に手部の位置が属すると予測される領域である。具体的には、図6および図7に示されるように、位置指示領域R1は、接触情報取得部203(タッチパネル)の位置から、接触情報取得部203(タッチパネル)の位置を基準として接触情報取得部203(タッチパネル)の前方に所定の長さL1だけ離れた位置までの空間(直方体)を含んでよい。しかし、位置指示領域R1の位置および形状は限定されない。また、長さL1は、掌の外接円の直径rと同程度であってよいが限定されない。   The position indicating region R1 is a region in which the position of the hand portion is predicted to belong when a position indicating operation is performed by the instructor U2, that is, when the instructor U2 touches the contact information acquisition unit 203 (touch panel). It is. Specifically, as illustrated in FIGS. 6 and 7, the position indication region R1 acquires contact information from the position of the contact information acquisition unit 203 (touch panel) with reference to the position of the contact information acquisition unit 203 (touch panel). A space (a rectangular parallelepiped) up to a position separated by a predetermined length L1 may be included in front of the unit 203 (touch panel). However, the position and shape of the position indicating region R1 are not limited. The length L1 may be approximately the same as the diameter r of the circumscribed circle of the palm, but is not limited.

方向指示領域R2は、指示者U2によって方向指示動作、すなわち、指示者U2によって指さしが行われる場合に手部の位置が属すると予測される領域である。具体的には、図6および図7に示されるように、方向指示領域R2は、手部計測部201の撮像方向と映像出力部(指)205の正面方向との交点を中心とした球面内部であってよいが、方向指示領域R2の位置および形状は限定されない。また、方向指示領域R2の直径L2は、掌の外接円の直径rと同程度であってよいが限定されない。   The direction indicating area R2 is an area where the position of the hand portion is predicted to belong when a direction indicating operation is performed by the instructor U2, that is, when pointing is performed by the instructor U2. Specifically, as shown in FIG. 6 and FIG. 7, the direction indicating region R <b> 2 is a spherical interior centered on the intersection of the imaging direction of the hand measurement unit 201 and the front direction of the video output unit (finger) 205. However, the position and shape of the direction indicating region R2 are not limited. Further, the diameter L2 of the direction indicating region R2 may be approximately the same as the diameter r of the circumscribed circle of the palm, but is not limited.

形状指示領域R3は、指示者U2によって形状指示動作、すなわち、指示者U2によってジェスチャが行われる場合に手部の位置が属すると予測される領域である。図6に示されたように、形状指示領域R3は、手部計測部201による計測対象領域Rのうち、位置指示領域R1および方向指示領域R2が除外された後の領域であってよい。すなわち、位置指示領域R1および方向指示領域R2それぞれの位置、サイズ、形状が限定されないのと同様に、形状指示領域R3の位置、サイズ、形状も限定されない。   The shape instruction region R3 is a region where the position of the hand portion is predicted to belong when a shape instruction operation is performed by the instructor U2, that is, when a gesture is performed by the instructor U2. As illustrated in FIG. 6, the shape instruction area R3 may be an area after the position instruction area R1 and the direction instruction area R2 are excluded from the measurement target area R by the hand measurement unit 201. That is, the position, size, and shape of the shape indicating region R3 are not limited, as are the position, size, and shape of the position indicating region R1 and the direction indicating region R2.

手部計測部201によって指示者U2の手部の位置が計測されると、遠隔作業支援装置(指)21は、手部の位置と、位置指示領域R1、方向指示領域R2および形状指示領域R3とに基づいて、指示者U2の指示動作の種類(指示者U2の意図)を推定する。そして、遠隔作業支援装置(指)21は、指示者U2の指示動作の種類に基づいて、作業者U1への指示情報を生成する。遠隔作業支援装置(指)21は、作業者U1への指示情報を遠隔作業支援装置(作)11に送信する。これによって、指示者U2は、効率的に作業の支援を行うことができる。   When the position of the hand of the instructor U2 is measured by the hand measuring unit 201, the remote work support device (finger) 21 determines the position of the hand, the position indicating area R1, the direction indicating area R2, and the shape indicating area R3. Based on the above, the type of instruction operation of the instructor U2 (intention of the instructor U2) is estimated. Then, the remote work support device (finger) 21 generates instruction information to the worker U1 based on the type of instruction operation of the instructor U2. The remote work support device (finger) 21 transmits instruction information for the worker U1 to the remote work support device (work) 11. Thereby, the instructor U2 can efficiently support the work.

なお、音声入出力部(指)206によって受け付けられた指示者U2の発する音声は、作業者側に送信され、作業者U1の発する音声は、作業者側から受信されて音声入出力部(指)206によって出力される。かかる音声の入出力によっても、効率的な作業が支援され得る。   The voice uttered by the instructor U2 received by the voice input / output unit (finger) 206 is transmitted to the worker side, and the voice uttered by the worker U1 is received from the worker side and received by the voice input / output unit (finger ) 206 is output. Such voice input / output can also support efficient work.

以上、本発明の実施形態に係る遠隔作業支援システム(指)の構成例について説明した。   The configuration example of the remote work support system (finger) according to the embodiment of the present invention has been described above.

(3.遠隔作業支援システムの機能構成例)
続いて、本発明の実施形態に係る遠隔作業支援システム1の機能構成例について説明する。図8は、本発明の実施形態に係る遠隔作業支援システム1の機能構成例を示すブロック図である。図8に示されるように、本発明の実施形態に係る遠隔作業支援システム1は、遠隔作業支援システム(作)10および遠隔作業支援システム(指)20を有している。
(3. Functional configuration example of remote work support system)
Subsequently, a functional configuration example of the remote operation support system 1 according to the embodiment of the present invention will be described. FIG. 8 is a block diagram illustrating a functional configuration example of the remote operation support system 1 according to the embodiment of the present invention. As shown in FIG. 8, the remote work support system 1 according to the embodiment of the present invention includes a remote work support system (work) 10 and a remote work support system (finger) 20.

遠隔作業支援システム(作)10は、映像取得部101、映像出力部(作)102、音声入出力部(作)103および通信部(作)104を備える。また、遠隔作業支援システム(指)20は、手部計測部201、手部解析部202(推定部)、接触情報取得部203、指示情報生成部204、映像出力部(指)205、音声入出力部(指)206および通信部(指)207を有している。通信部(作)104と通信部(指)207とは、ネットワーク30を介して通信可能に構成されている。以下の説明においては、適宜図8を参照する。   The remote work support system (production) 10 includes a video acquisition unit 101, a video output unit (production) 102, a voice input / output unit (production) 103, and a communication unit (production) 104. The remote operation support system (finger) 20 includes a hand measurement unit 201, a hand analysis unit 202 (estimation unit), a contact information acquisition unit 203, an instruction information generation unit 204, a video output unit (finger) 205, a voice input unit, An output unit (finger) 206 and a communication unit (finger) 207 are included. The communication unit (work) 104 and the communication unit (finger) 207 are configured to be communicable via the network 30. In the following description, FIG. 8 will be referred to as appropriate.

以上、本発明の実施形態に係る遠隔作業支援システム1の機能構成例について説明した。   The function configuration example of the remote operation support system 1 according to the embodiment of the present invention has been described above.

(4.遠隔作業支援システムの機能詳細例)
続いて、本発明の実施形態に係る遠隔作業支援システム1の機能詳細について説明する。
(4. Detailed examples of remote work support system functions)
Next, functional details of the remote operation support system 1 according to the embodiment of the present invention will be described.

(4−1.位置指示動作が行われる場合)
まず、図9〜図11を参照しながら、指示者U2によって位置指示動作が行われる場合について説明する。図9は、指示者U2によって位置指示動作が行われる様子の例を示す図である。図9を参照すると、指示者U2が映像出力部(指)205を見ている様子が示されている。ここでは、通信部(指)207によって作業者映像(第2の画像)が受信され、映像出力部(指)205によって作業者側映像が表示され、指示者U2が作業者映像を見ている場合を想定する。
(4-1. When position indicating operation is performed)
First, a case where the position instruction operation is performed by the instructor U2 will be described with reference to FIGS. FIG. 9 is a diagram illustrating an example of a state in which a position indicating operation is performed by the instructor U2. Referring to FIG. 9, a state where the instructor U2 is looking at the video output unit (finger) 205 is shown. Here, the worker video (second image) is received by the communication unit (finger) 207, the worker side video is displayed by the video output unit (finger) 205, and the instructor U2 is watching the worker video. Assume a case.

例えば、指示者U2が、作業者側映像における位置を作業者U1に指示したくなった場合を想定する。かかる場合には、指示者U2によって接触情報取得部203(タッチパネル)への手部の接触が行われる。このとき、図9に示されるように、指示者U2の手部の位置は、位置指示動作に対応する位置指示領域R1に属すると予測される。そこで、手部計測部201は、計測対象領域の映像(第1の画像)を撮像し、撮像した映像に基づいて3次元空間における指示者U2の手部の位置を計測する。ここでは、一例として、指示者U2の右手の位置を計測する場合を想定する。   For example, it is assumed that the instructor U2 wants to instruct the worker U1 of the position in the worker-side video. In such a case, the hand U touches the contact information acquisition unit 203 (touch panel) by the instructor U2. At this time, as shown in FIG. 9, the position of the hand of the instructor U2 is predicted to belong to the position indicating region R1 corresponding to the position indicating operation. Therefore, the hand measurement unit 201 captures a video (first image) of the measurement target region, and measures the position of the hand of the instructor U2 in the three-dimensional space based on the captured video. Here, as an example, it is assumed that the position of the right hand of the instructor U2 is measured.

続いて、手部解析部202は、手部計測部201によって計測された指示者U2の手部の位置と位置指示領域R1、方向指示領域R2および形状指示領域R3とに基づいて、指示者U2の指示動作の種類を推定する。そして、指示情報生成部204は、指示者U2の指示動作の種類に基づいて、作業者U1への指示情報を生成する。具体的に、図9に示されたように、指示者U2の手部の位置が位置指示領域R1に属する場合には、手部解析部202は、指示者U2による指示動作の種類を位置指示動作であると推定する。   Subsequently, based on the position of the hand of the instructor U2 measured by the hand measuring unit 201 and the position indicating region R1, the direction indicating region R2, and the shape indicating region R3, the hand analyzing unit 202 determines the instruction U2 Estimate the type of instruction action. Then, the instruction information generation unit 204 generates instruction information for the worker U1 based on the type of instruction operation of the instructor U2. Specifically, as shown in FIG. 9, when the position of the hand of the instructor U2 belongs to the position instruction area R1, the hand analysis unit 202 specifies the type of instruction operation by the instructor U2 as a position instruction. Presumed to be motion.

そして、指示情報生成部204は、指示者U2による指示動作の種類が位置指示動作であると推定された場合には、位置指示動作に対応する指示情報(第1の指示情報)を生成する。より詳細には、指示情報生成部204は、指示者U2による指示動作の種類が位置指示動作であると推定された場合には、指示者U2の手部による接触情報取得部203(タッチパネル)への接触位置を指示情報(第1の指示情報)として生成する。   The instruction information generation unit 204 generates instruction information (first instruction information) corresponding to the position instruction operation when it is estimated that the type of instruction operation by the instructor U2 is the position instruction operation. More specifically, when it is estimated that the type of the instruction operation by the instructor U2 is the position instruction operation, the instruction information generation unit 204 proceeds to the contact information acquisition unit 203 (touch panel) by the hand of the instructor U2. Is generated as instruction information (first instruction information).

通信部(指)207は、指示者U2の手部による接触情報取得部203(タッチパネル)への接触位置を指示情報(第1の指示情報)として、ネットワーク30を介して遠隔作業支援システム(作)10に送信する。遠隔作業支援システム(作)10において、通信部(作)104は、かかる接触位置を指示情報(第1の指示情報)として、ネットワーク30を介して受信する。そして、映像出力部(作)102は、かかる指示情報に応じた表示オブジェクトを作業者側映像に重畳表示する(作業者U1に提示する)。   The communication unit (finger) 207 uses the hand of the instructor U2 as a contact position to the contact information acquisition unit 203 (touch panel) as instruction information (first instruction information) via the network 30 to make a remote work support system (operation). ) Send to 10. In the remote work support system (work) 10, the communication unit (work) 104 receives the contact position as instruction information (first instruction information) via the network 30. Then, the video output unit (product) 102 superimposes and displays a display object corresponding to the instruction information on the worker-side video (presents the worker U1).

図10は、指示者U2による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者U2が接触情報取得部203(タッチパネル)に接触していない場合の様子の例を示す図である。図10に示されたように、指示動作の種類が位置指示動作であると推定された場合、かつ、指示者U2が接触情報取得部203(タッチパネル)に接触していない場合を想定する。かかる場合、指示者U2の手部の各頂点のうち、接触情報取得部203(タッチパネル)に最も近い頂点から、接触情報取得部203(タッチパネル)におろした垂線の足の位置(以下、「近接位置」とも言う。)が、ネットワーク30を介して遠隔作業支援システム(作)10に送信される。   FIG. 10 shows an example of a state in which it is estimated that the type of the pointing operation by the instructor U2 is a position indicating operation, and when the instructor U2 is not in contact with the contact information acquisition unit 203 (touch panel). FIG. As illustrated in FIG. 10, it is assumed that the type of the instruction operation is estimated to be a position instruction operation and that the instructor U2 is not in contact with the contact information acquisition unit 203 (touch panel). In such a case, the position of the foot of the perpendicular line (hereinafter referred to as “proximity”) from the vertex closest to the contact information acquisition unit 203 (touch panel) among the vertexes of the hand of the instructor U2 to the contact information acquisition unit 203 (touch panel). Is also transmitted to the remote work support system (work) 10 via the network 30.

遠隔作業支援システム(作)10において、通信部(作)104は、近接位置を、ネットワーク30を介して受信する。そして、図10に示されるように、映像出力部(作)102は、作業者側映像における近接位置に表示オブジェクトB11を重畳表示する(作業者U1に提示する)。作業者U1は、表示オブジェクトB11の位置によって指示者U2から指示された位置を確認し、指示者U2によって指示がなされる予兆を把握することができる。なお、図10に示された例では、表示オブジェクトB11が円形(円形のポインタ)によって示されているが、表示オブジェクトB11の形状は特に限定されない。   In the remote work support system (work) 10, the communication unit (work) 104 receives the proximity position via the network 30. Then, as shown in FIG. 10, the video output unit (product) 102 superimposes and displays the display object B11 at a close position in the worker-side video (presented to the worker U1). The worker U1 can confirm the position instructed by the instructor U2 based on the position of the display object B11, and can grasp a sign that the instructor U2 gives an instruction. In the example shown in FIG. 10, the display object B11 is indicated by a circle (circular pointer), but the shape of the display object B11 is not particularly limited.

なお、図10に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、作業者側映像における近接位置に表示オブジェクトB11を重畳表示するとよい(指示者U2に提示するとよい)。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトB11の位置と同じ位置に表示オブジェクトB11を見ることができるため、作業者U1に指示されている位置を確認することが可能となる。   As shown in FIG. 10, not only the video output unit (product) 102 in the remote work support system (work) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 The display object B11 may be superimposed and displayed at a close position in the person-side video (may be presented to the instructor U2). Then, since the instructor U2 can see the display object B11 at the same position as the position of the display object B11 that the operator U1 is viewing, it is possible to confirm the position instructed by the operator U1. It becomes.

図11は、指示者U2による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者U2が接触情報取得部203(タッチパネル)に接触している場合の様子の例を示す図である。図11に示されたように、指示動作の種類が位置指示動作であると推定された場合、かつ、指示者U2が接触情報取得部203(タッチパネル)に接触している場合を想定する。かかる場合、指示者U2による接触情報取得部203(タッチパネル)への接触位置が、ネットワーク30を介して遠隔作業支援システム(作)10に送信される。   FIG. 11 shows an example of a state in which it is estimated that the type of the pointing operation by the instructor U2 is a position indicating operation, and the instructor U2 is in contact with the contact information acquisition unit 203 (touch panel). FIG. As illustrated in FIG. 11, it is assumed that the type of instruction operation is estimated to be a position instruction operation and that the instructor U2 is in contact with the contact information acquisition unit 203 (touch panel). In this case, the contact position on the contact information acquisition unit 203 (touch panel) by the instructor U2 is transmitted to the remote work support system (work) 10 via the network 30.

遠隔作業支援システム(作)10において、通信部(作)104は、接触位置を、ネットワーク30を介して受信する。そして、図11に示されるように、映像出力部(作)102は、作業者側映像における接触位置に表示オブジェクトB12を重畳表示する(作業者U1に提示する)。作業者U1は、表示オブジェクトB12の位置によって指示者U2から指示された位置を確認し、効率的に作業を行うことができる。なお、図11に示された例では、指示者U2が手部を接触情報取得部203(タッチパネル)に接触させながら移動させたため、映像出力部(作)102は、移動開始位置から移動終了位置までの軌跡も表示している。   In the remote work support system (work) 10, the communication unit (work) 104 receives the contact position via the network 30. Then, as shown in FIG. 11, the video output unit (product) 102 superimposes and displays the display object B12 on the contact position in the worker-side video (presented to the worker U1). The worker U1 can confirm the position instructed by the instructor U2 based on the position of the display object B12, and can work efficiently. In the example shown in FIG. 11, since the instructor U2 moves the hand while making contact with the contact information acquisition unit 203 (touch panel), the video output unit (product) 102 moves from the movement start position to the movement end position. The trajectory is also displayed.

なお、図11に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、作業者側映像における接触位置に表示オブジェクトB12を重畳表示するとよい(指示者U2に提示するとよい)。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトB12の位置と同じ位置に表示オブジェクトB12を見ることができるため、作業者U1に指示されている位置を確認することが可能となる。   As shown in FIG. 11, not only the video output unit (work) 102 in the remote work support system (work) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 The display object B12 may be superimposed and displayed at the contact position in the person-side video (presented to the instructor U2). Then, since the instructor U2 can see the display object B12 at the same position as the position of the display object B12 that the operator U1 is looking at, it is possible to confirm the position instructed by the operator U1. It becomes.

(4−2.方向指示動作が行われる場合)
続いて、図12〜図14を参照しながら、指示者U2によって方向指示動作が行われる場合について説明する。図12は、指示者U2によって方向指示動作が行われる様子の例を示す図である。図12を参照すると、指示者U2が映像出力部(指)205を見ている様子が示されている。ここでも、通信部(指)207によって作業者映像(第2の画像)が受信され、映像出力部(指)205によって作業者側映像が表示され、指示者U2が作業者映像を見ている場合を想定する。
(4-2. When direction instruction operation is performed)
Next, a case where the direction instruction operation is performed by the instructor U2 will be described with reference to FIGS. FIG. 12 is a diagram illustrating an example in which a direction instruction operation is performed by the instructor U2. Referring to FIG. 12, a state where the instructor U2 is looking at the video output unit (finger) 205 is shown. Also here, the worker video (second image) is received by the communication unit (finger) 207, the worker side video is displayed by the video output unit (finger) 205, and the instructor U2 is watching the worker video. Assume a case.

例えば、指示者U2が、作業者側映像における方向を作業者U1に指示したくなった場合を想定する。かかる場合には、指示者U2によって指さしが行われる。このとき、図12に示されるように、指示者U2の手部の位置は、方向指示動作に対応する方向指示領域R2に属すると予測される。そこで、手部計測部201は、計測対象領域の映像(第1の画像)を撮像し、撮像した映像に基づいて3次元空間における指示者U2の手部の位置を計測する。ここでも、一例として、指示者U2の右手の位置を計測する場合を想定する。   For example, it is assumed that the instructor U2 wants to instruct the worker U1 in the direction in the worker-side video. In such a case, pointing is performed by the instructor U2. At this time, as shown in FIG. 12, the position of the hand of the instructor U2 is predicted to belong to the direction indicating region R2 corresponding to the direction indicating operation. Therefore, the hand measurement unit 201 captures a video (first image) of the measurement target region, and measures the position of the hand of the instructor U2 in the three-dimensional space based on the captured video. Here, as an example, a case where the position of the right hand of the instructor U2 is measured is assumed.

続いて、手部解析部202は、手部計測部201によって計測された指示者U2の手部の位置と位置指示領域R1、方向指示領域R2および形状指示領域R3とに基づいて、指示者U2の指示動作の種類を推定する。そして、指示情報生成部204は、指示者U2の指示動作の種類に基づいて、作業者U1への指示情報を生成する。具体的に、図12に示されたように、指示者U2の手部の位置が方向指示領域R2に属する場合には、手部解析部202は、指示者U2による指示動作の種類を方向指示動作であると推定する。   Subsequently, based on the position of the hand of the instructor U2 measured by the hand measuring unit 201 and the position indicating region R1, the direction indicating region R2, and the shape indicating region R3, the hand analyzing unit 202 determines the instruction U2 Estimate the type of instruction action. Then, the instruction information generation unit 204 generates instruction information for the worker U1 based on the type of instruction operation of the instructor U2. Specifically, as shown in FIG. 12, when the position of the hand of the instructor U2 belongs to the direction indicating area R2, the hand analyzing unit 202 indicates the direction of the instruction operation performed by the instructor U2. Presumed to be motion.

そして、指示情報生成部204は、指示者U2による指示動作の種類が方向指示動作であると推定された場合には、方向指示動作に対応する指示情報(第2の指示情報)を生成する。より詳細には、指示情報生成部204は、指示者U2による指示動作の種類が方向指示動作であると推定された場合には、指示者U2の手部の各頂点の位置に基づいて、指示者U2の手部による指さしによって示される方向を検出し、指さしによって示される方向を指示情報(第2の指示情報)として生成する。   The instruction information generation unit 204 generates instruction information (second instruction information) corresponding to the direction instruction operation when the type of instruction operation by the instructor U2 is estimated to be the direction instruction operation. More specifically, when it is estimated that the type of the instruction operation by the instructor U2 is the direction instruction operation, the instruction information generation unit 204 performs an instruction based on the position of each vertex of the hand of the instructor U2. The direction indicated by the pointing by the hand of the person U2 is detected, and the direction indicated by the pointing is generated as instruction information (second instruction information).

あるいは、指示者U2の手部の位置が方向指示領域R2に属するからといって、手部の形状が指さし形状であるとは限らない。したがって、指示情報生成部204は、指示者U2の手部の位置が方向指示領域R2に属する場合、指示者U2の手部の各頂点の位置に基づいて、指示者U2の手部の形状を認識してもよい。そして、指示情報生成部204は、指示者U2の手部の形状が指さし形状ではない場合には、方向指示動作に対応する指示情報(第2の指示情報)を生成せず、指示者U2の手部の形状が指さし形状である場合に、方向指示動作に対応する指示情報(第2の指示情報)を生成してもよい。   Alternatively, just because the position of the hand of the instructor U2 belongs to the direction indicating region R2, the shape of the hand is not necessarily the pointing shape. Therefore, when the position of the hand of the instructor U2 belongs to the direction indicating area R2, the instruction information generation unit 204 changes the shape of the hand of the instructor U2 based on the position of each vertex of the hand of the instructor U2. You may recognize it. When the shape of the hand of the instructor U2 is not the pointing shape, the instruction information generation unit 204 does not generate instruction information (second instruction information) corresponding to the direction instruction operation, and the instruction information U2 When the shape of the hand portion is a pointing shape, instruction information (second instruction information) corresponding to the direction instruction operation may be generated.

なお、ここでは、方向指示動作として、指さしを例に挙げて説明したが、方向指示動作は、指さしでなくてもよい。すなわち、方向指動作として方向を指示可能な所定の方向指示動作が用いられてもよい。このとき、指さし形状の代わりに所定の方向指示動作に対応する所定の形状が用いられてもよい。   Here, the pointing operation is described as an example of the pointing operation, but the pointing operation may not be a pointing operation. That is, a predetermined direction indicating operation capable of indicating a direction may be used as the direction finger operation. At this time, a predetermined shape corresponding to a predetermined direction indicating operation may be used instead of the pointing shape.

通信部(指)207は、指示者U2の指さしによって示される方向を指示情報(第2の指示情報)として、ネットワーク30を介して遠隔作業支援システム(作)10に送信する。遠隔作業支援システム(作)10において、通信部(作)104は、かかる方向を指示情報(第2の指示情報)として、ネットワーク30を介して受信する。そして、映像出力部(作)102は、かかる指示情報に応じた表示オブジェクトを表示する。   The communication unit (finger) 207 transmits the direction indicated by the pointing of the instructor U2 as instruction information (second instruction information) to the remote work support system (work) 10 via the network 30. In the remote work support system (work) 10, the communication unit (work) 104 receives the direction as instruction information (second instruction information) via the network 30. Then, the video output unit (product) 102 displays a display object corresponding to the instruction information.

図13は、指示者U2によって方向指示動作の例として左方向への指さしが行われた場合の様子の例を示す図である。図13に示されたように、指示者U2によって方向指示動作の例として左方向への指さしが行われた場合を想定する。かかる場合、指さしによって示される方向(左方向)が、ネットワーク30を介して遠隔作業支援システム(作)10に送信される。   FIG. 13 is a diagram illustrating an example of a state in which a pointing in the left direction is performed by the instructor U2 as an example of the direction instruction operation. As shown in FIG. 13, a case is assumed in which a pointing in the left direction is performed by the instructor U2 as an example of the direction indicating operation. In such a case, the direction indicated by the pointing (left direction) is transmitted to the remote work support system (work) 10 via the network 30.

遠隔作業支援システム(作)10において、通信部(作)104は、指さしによって示される方向(左方向)を、ネットワーク30を介して受信する。そして、図13に示されるように、映像出力部(作)102は、指さしによって示される方向(左方向)と同じ方向を示す表示オブジェクトB2を作業者側映像に重畳表示する(作業者U1に提示する)。作業者U1は、表示オブジェクトB2の方向によって指示者U2から指示された方向を確認し、効率的に作業を行うことができる。なお、図13に示された例では、表示オブジェクトB2が矢印によって示されている。このように方向が矢印によって表現される利点について説明する。   In the remote work support system (work) 10, the communication unit (work) 104 receives the direction (left direction) indicated by the pointing device via the network 30. Then, as shown in FIG. 13, the video output unit (product) 102 superimposes and displays the display object B2 indicating the same direction as the direction indicated by the pointing (left direction) on the worker side video (to the worker U1). Present). The worker U1 can confirm the direction instructed by the instructor U2 based on the direction of the display object B2, and can work efficiently. In the example shown in FIG. 13, the display object B2 is indicated by an arrow. The advantage that the direction is expressed by an arrow will be described.

図14は、指示者U2の手部によって方向が表現される場合について説明するための図である。図14を参照すると、右手Rh−1および右手Rh−2によって右方向が示されている。また、右手Rh−3および右手Rh−4によって左方向が示されている。しかし、手部の可動域には限界があるため、これらの手部の形状は、手部によって示される方向に対して非対称となってしまう。一方、矢印のように対称な図形によって方向が示されれば、作業者U1によって方向が理解しやすくなることが期待され、指示者U2の方向の指示動作の負担が低減されることが期待される。しかし、表示オブジェクトB2の形状は矢印に限定されない。   FIG. 14 is a diagram for describing a case where the direction is expressed by the hand of the instructor U2. Referring to FIG. 14, the right direction is indicated by right hand Rh-1 and right hand Rh-2. Moreover, the left direction is shown by the right hand Rh-3 and the right hand Rh-4. However, since there is a limit to the range of motion of the hand, the shape of these hands is asymmetric with respect to the direction indicated by the hand. On the other hand, if the direction is indicated by a symmetrical figure such as an arrow, it is expected that the direction can be easily understood by the worker U1, and the burden of the instruction operation in the direction of the instructor U2 is expected to be reduced. The However, the shape of the display object B2 is not limited to the arrow.

なお、図13に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、指さしによって示される方向と同じ方向を示す表示オブジェクトB2を作業者映像に重畳表示するとよい(指示者U2に提示するとよい)。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトB2の方向と同じ方向を示す表示オブジェクトB2を見ることができるため、作業者U1に指示されている方向を確認することが可能となる。   As shown in FIG. 13, not only the video output unit (product) 102 in the remote work support system (product) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 is pointed. The display object B2 indicating the same direction as indicated by may be superimposed on the worker video (may be presented to the instructor U2). Then, since the instructor U2 can see the display object B2 indicating the same direction as the display object B2 that the operator U1 is looking at, the instructor U2 can confirm the direction instructed by the operator U1. It becomes possible.

(4−3.形状指示動作が行われる場合)
続いて、図15および図16を参照しながら、指示者U2によって形状指示動作が行われる場合について説明する。図15は、指示者U2によって形状指示動作が行われる様子の例を示す図である。図15を参照すると、指示者U2が映像出力部(指)205を見ている様子が示されている。ここでも、通信部(指)207によって作業者映像(第2の画像)が受信され、映像出力部(指)205によって作業者側映像が表示され、指示者U2が作業者映像を見ている場合を想定する。
(4-3. When shape instruction operation is performed)
Next, a case where the shape instructing operation is performed by the instructor U2 will be described with reference to FIGS. 15 and 16. FIG. 15 is a diagram illustrating an example in which the shape instructing operation is performed by the instructor U2. Referring to FIG. 15, a state where the instructor U2 is looking at the video output unit (finger) 205 is shown. Also here, the worker video (second image) is received by the communication unit (finger) 207, the worker side video is displayed by the video output unit (finger) 205, and the instructor U2 is watching the worker video. Assume a case.

例えば、指示者U2が、形状を作業者U1に指示したくなった場合を想定する。かかる場合には、指示者U2によってジェスチャが行われる。このとき、図15に示されるように、指示者U2の手部の位置は、形状指示動作に対応する形状指示領域R3に属すると予測される。そこで、手部計測部201は、計測対象領域の映像(第1の画像)を撮像し、撮像した映像に基づいて3次元空間における指示者U2の手部の位置を計測する。ここでも、一例として、指示者U2の右手の位置を計測する場合を想定する。   For example, assume that the instructor U2 wants to instruct the worker U1 of the shape. In such a case, a gesture is performed by the instructor U2. At this time, as shown in FIG. 15, the position of the hand of the instructor U2 is predicted to belong to the shape instruction region R3 corresponding to the shape instruction operation. Therefore, the hand measurement unit 201 captures a video (first image) of the measurement target region, and measures the position of the hand of the instructor U2 in the three-dimensional space based on the captured video. Here, as an example, a case where the position of the right hand of the instructor U2 is measured is assumed.

続いて、手部解析部202は、手部計測部201によって計測された指示者U2の手部の位置と位置指示領域R1、方向指示領域R2および形状指示領域R3とに基づいて、指示者U2の指示動作の種類を推定する。そして、指示情報生成部204は、指示者U2の指示動作の種類に基づいて、作業者U1への指示情報を生成する。具体的に、図15に示されたように、指示者U2の手部の位置が形状指示領域R3に属する場合には、手部解析部202は、指示者U2による指示動作の種類を形状指示動作であると推定する。   Subsequently, based on the position of the hand of the instructor U2 measured by the hand measuring unit 201 and the position indicating region R1, the direction indicating region R2, and the shape indicating region R3, the hand analyzing unit 202 determines the instruction U2 Estimate the type of instruction action. Then, the instruction information generation unit 204 generates instruction information for the worker U1 based on the type of instruction operation of the instructor U2. Specifically, as shown in FIG. 15, when the position of the hand part of the instructor U2 belongs to the shape instruction area R3, the hand part analysis unit 202 specifies the type of instruction operation by the instructor U2 as a shape instruction. Presumed to be motion.

そして、指示情報生成部204は、指示者U2による指示動作の種類が形状指示動作であると推定された場合には、形状指示動作に対応する指示情報(第3の指示情報)を生成する。より詳細には、指示情報生成部204は、指示者U2による指示動作の種類が形状指示動作であると推定された場合には、手部計測部201によって計測された指示者U2の手部(左手および右手)の各頂点の位置を、映像出力部(指)205に正対する方向に見た位置に変換し、変換後の各頂点の位置(手部の形状)を指示情報(第3の指示情報)として生成する。   Then, the instruction information generation unit 204 generates instruction information (third instruction information) corresponding to the shape instruction operation when it is estimated that the type of the instruction operation by the instructor U2 is the shape instruction operation. More specifically, the instruction information generation unit 204, when it is estimated that the type of instruction operation by the instructor U2 is a shape instruction operation, the hand of the instructor U2 measured by the hand measurement unit 201 ( The position of each vertex of the left hand and the right hand) is converted into a position seen in the direction facing the video output unit (finger) 205, and the position of each vertex after the conversion (the shape of the hand) is indicated in the instruction information (third (Instruction information).

あるいは、上記したように、指示情報生成部204は、指示者U2の手部の位置が方向指示領域R2に属する場合、指示者U2の手部の各頂点の位置に基づいて、指示者U2の手部の形状を認識してもよい。そして、指示情報生成部204は、指示者U2の手部の形状が指さし形状ではない場合には、方向指示動作に対応する指示情報(第2の指示情報)を生成せず、指示者U2による指示動作の種類が形状指示動作であると推定し、上記の指示情報(第3の指示情報)を生成してもよい。   Alternatively, as described above, when the position of the hand of the instructor U2 belongs to the direction instruction area R2, the instruction information generation unit 204, based on the position of each vertex of the hand of the instructor U2, You may recognize the shape of a hand part. Then, when the shape of the hand of the instructor U2 is not the pointing shape, the instruction information generation unit 204 does not generate instruction information (second instruction information) corresponding to the direction instruction operation, and the instruction information U 204 The instruction information (third instruction information) may be generated by estimating that the type of instruction operation is a shape instruction operation.

通信部(指)207は、指示者U2の手部(左手および右手)の各頂点の(変換後の)位置(手部の形状)を指示情報(第3の指示情報)として、ネットワーク30を介して遠隔作業支援システム(作)10に送信する。遠隔作業支援システム(作)10において、通信部(作)104は、かかる手部の形状を指示情報(第3の指示情報)として、ネットワーク30を介して受信する。そして、映像出力部(作)102は、かかる指示情報に応じた表示オブジェクトを表示する。   The communication unit (finger) 207 uses the position (the shape of the hand part) of each vertex of the hand part (left hand and right hand) of the instructor U2 (the shape of the hand part) as instruction information (third instruction information). To the remote work support system (work) 10. In the remote work support system (work) 10, the communication unit (work) 104 receives the shape of the hand part as instruction information (third instruction information) via the network 30. Then, the video output unit (product) 102 displays a display object corresponding to the instruction information.

図16は、指示者U2によって形状指示動作の例として両手を拡げたジェスチャが行われた場合の様子の例を示す図である。図16に示されたように、指示者U2によって形状指示動作の例として両手を拡げたジェスチャが行われた場合を想定する。かかる場合、ジェスチャによって示される手部の形状が、ネットワーク30を介して遠隔作業支援システム(作)10に送信される。   FIG. 16 is a diagram illustrating an example of a state in which a gesture with both hands extended is performed by the instructor U2 as an example of the shape instruction operation. As illustrated in FIG. 16, it is assumed that the instructor U2 performs a gesture with both hands extended as an example of the shape instruction operation. In such a case, the shape of the hand indicated by the gesture is transmitted to the remote work support system (work) 10 via the network 30.

遠隔作業支援システム(作)10において、通信部(作)104は、ジェスチャによって示される手部の形状を、ネットワーク30を介して受信する。そして、図16に示されるように、映像出力部(作)102は、ジェスチャによって示される手部の形状と同じ形状に応じた表示オブジェクトB3を表示する(作業者U1に提示する)。作業者U1は、表示オブジェクトB3の形状によって指示者U2から指示された形状を確認し、効率的に作業を行うことができる。なお、図16に示された例では、表示オブジェクトB3が、手部の各頂点の位置に肉付けされた手によって示されている。しかし、表示オブジェクトB3は、手部の各頂点の位置自体であってもよい。   In the remote work support system (work) 10, the communication unit (work) 104 receives the shape of the hand part indicated by the gesture via the network 30. And as FIG. 16 shows, the video output part (production) 102 displays the display object B3 according to the same shape as the shape of the hand part shown by gesture (it shows to the operator U1). The worker U1 can confirm the shape instructed by the instructor U2 based on the shape of the display object B3, and can work efficiently. In the example shown in FIG. 16, the display object B3 is indicated by a hand fleshing at the position of each vertex of the hand portion. However, the display object B3 may be the position of each vertex of the hand.

なお、図16に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、ジェスチャによって示される形状と同じ形状に応じた表示オブジェクトB3を表示するとよい(指示者U2に提示するとよい)。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトB2の形状と同じ形状に応じた表示オブジェクトB3を見ることができるため、作業者U1に指示されている形状を確認することが可能となる。   As shown in FIG. 16, not only the video output unit (product) 102 in the remote work support system (work) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 is used for the gesture. The display object B3 corresponding to the same shape as the shape indicated by is preferably displayed (presented to the instructor U2). Then, the instructor U2 can see the display object B3 corresponding to the same shape as the shape of the display object B2 that the operator U1 is viewing, and therefore confirms the shape instructed to the operator U1. Is possible.

上記では、指示者U2の手部(右手)の位置を指示者U2の指示動作の種類の推定に利用する場合を主に想定した。しかし、指示者U2が左利きである場合などには、指示者U2の手部(右手)の位置の代わりに、指示者U2の手部(左手)の位置を指示者U2の指示動作の種類の推定に利用してもよい。あるいは、指示者U2の手部(右手)および手部(左手)の双方を指示者U2の指示動作の種類の推定に利用してもよい。   The above mainly assumes the case where the position of the hand (right hand) of the instructor U2 is used for estimating the type of instruction operation of the instructor U2. However, when the instructor U2 is left-handed or the like, instead of the position of the hand (right hand) of the instructor U2, the position of the hand (left hand) of the instructor U2 is changed to the type of instruction operation of the instructor U2. It may be used for estimation. Alternatively, both the hand (right hand) and the hand (left hand) of the instructor U2 may be used for estimating the type of instruction operation of the instructor U2.

このとき、例えば、手部解析部202は、指示者U2の手部(右手)および手部(左手)の少なくともいずれか一方が位置指示領域R1に属する場合に、指示者U2による指示動作の種類を位置指示動作であると推定してもよい。また、手部解析部202は、指示者U2の手部(右手)および手部(左手)の一方のみが方向指示領域R2に属する場合、かつ、方向指示領域R2に属する手部の形状が所定の形状(例えば、指さし形状)である場合に、指示者U2による指示動作の種類を方向指示動作であると推定してもよい。   At this time, for example, when at least one of the hand (right hand) and the hand (left hand) of the instructor U2 belongs to the position instruction area R1, the hand analysis unit 202 determines the type of instruction operation performed by the instructor U2. May be estimated as a position indicating operation. Further, the hand part analysis unit 202 has a predetermined shape when the hand part (right hand) and the hand part (left hand) of the instructor U2 belong to the direction instruction area R2 and the shape of the hand part belonging to the direction instruction area R2 is predetermined. The shape of the pointing operation by the instructor U2 may be estimated to be a direction indicating operation.

また、手部解析部202は、指示者U2の手部(右手)および手部(左手)の少なくともいずれか一方が形状指示領域R3に属する場合に、指示者U2による指示動作の種類を形状指示動作であると推定してもよい。それともに、手部解析部202は、指示者U2の手部(右手)および手部(左手)の一方のみが方向指示領域R2に属する場合かつ方向指示領域R2に属する手部の形状が所定の形状(例えば、指さし形状)ではない場合に、指示者U2による指示動作の種類を形状指示動作であると推定してもよい。さらに、手部解析部202は、指示者U2の手部(右手)および手部(左手)の双方が方向指示領域R2に属する場合、指示者U2による指示動作の種類を形状示動作であると推定してもよい。   In addition, the hand part analysis unit 202 indicates the type of instruction operation by the instructor U2 when at least one of the hand part (right hand) and the hand part (left hand) of the instructor U2 belongs to the shape instruction region R3. It may be estimated that the operation. In addition, the hand part analysis unit 202 has a predetermined shape when the hand part (right hand) and the hand part (left hand) of the instructor U2 belong to the direction instruction area R2 and the shape of the hand part belonging to the direction instruction area R2 is predetermined. When the shape is not a shape (for example, a pointing shape), the type of instruction operation performed by the instructor U2 may be estimated as a shape instruction operation. Furthermore, when both the hand (right hand) and the hand (left hand) of the instructor U2 belong to the direction indicating region R2, the hand analysis unit 202 indicates that the type of the instruction operation by the instructor U2 is the shape indicating operation. It may be estimated.

以上、本発明の実施形態に係る遠隔作業支援システム1の機能詳細例について説明した。   Heretofore, detailed functional examples of the remote operation support system 1 according to the embodiment of the present invention have been described.

(5.遠隔作業支援システムの動作例)
続いて、本発明の実施形態に係る遠隔作業支援システム1の動作例について説明する。図17は、本発明の実施形態に係る遠隔作業支援システム1の動作例を示すフローチャートである。なお、図17に示された動作例は、本発明の実施形態に係る遠隔作業支援システム1の動作の一例に過ぎない。したがって、本発明の実施形態に係る遠隔作業支援システム1の動作は、図17に示された動作例に限定されない。
(5. Operation example of remote work support system)
Next, an operation example of the remote work support system 1 according to the embodiment of the present invention will be described. FIG. 17 is a flowchart showing an operation example of the remote operation support system 1 according to the embodiment of the present invention. Note that the operation example shown in FIG. 17 is only an example of the operation of the remote operation support system 1 according to the embodiment of the present invention. Therefore, the operation of the remote operation support system 1 according to the embodiment of the present invention is not limited to the operation example shown in FIG.

図17に示されるように、作業者側において、映像取得部101は、撮像によって映像(作業者側映像)を取得する(S11)。そして、通信部(作)104は、作業者側映像を指示者側に送信する(S12)。指示者側において、通信部(指)207は、作業者側映像を受信する(S21)。そして、手部計測部201は、撮像によって映像(指示者側映像)を取得する。また、手部計測部201は、指示者側映像に基づいて、3次元空間における指示者U2の手部の位置を計測する(S22)。   As shown in FIG. 17, on the worker side, the video acquisition unit 101 acquires a video (worker-side video) by imaging (S11). Then, the communication unit (product) 104 transmits the worker-side video to the instructor side (S12). On the instructor side, the communication unit (finger) 207 receives the worker-side video (S21). Then, the hand measurement unit 201 acquires a video (instructor side video) by imaging. In addition, the hand measurement unit 201 measures the position of the hand of the instructor U2 in the three-dimensional space based on the instructor side image (S22).

手部計測部201によって指示者U2の手部の位置が計測されなかった場合(S23において「No」)、S27に動作が移行される。一方、手部計測部201によって指示者U2の手部の位置が計測された場合(S23において「Yes」)、手部解析部202は、手部の解析を行う(S24)。具体的に、手部解析部202は、指示者U2の手部の位置と、位置指示領域R1、方向指示領域R2および形状指示領域R3とに基づいて、指示者U2の指示動作の種類を推定する。   When the position of the hand of the instructor U2 is not measured by the hand measuring unit 201 (“No” in S23), the operation is shifted to S27. On the other hand, when the position of the hand of the instructor U2 is measured by the hand measurement unit 201 (“Yes” in S23), the hand analysis unit 202 analyzes the hand (S24). Specifically, the hand part analysis unit 202 estimates the type of instruction operation of the instructor U2 based on the position of the hand part of the instructor U2 and the position instruction area R1, the direction instruction area R2, and the shape instruction area R3. To do.

指示情報生成部204は、指示者U2の指示動作の種類に基づいて、作業者U1への指示情報を生成する(S25)。通信部(指)207は、指示情報を作業者側に送信する。指示情報の送信が終わると、S27に動作が移行される。   The instruction information generation unit 204 generates instruction information for the worker U1 based on the type of instruction operation of the instructor U2 (S25). The communication unit (finger) 207 transmits instruction information to the worker side. When the transmission of the instruction information is finished, the operation is shifted to S27.

作業者側において、通信部(作)104は、指示者側から指示情報が送信された場合に、指示情報を受信する(S13)。映像出力部(作)102は、作業者側の情報出力を行う(S14)。具体的に、映像出力部(作)102は、指示者側から指示情報が受信された場合には、作業者側映像を表示するとともに、作業者側映像に重畳された指示情報を表示する。一方、映像出力部(作)102は、指示者側から指示情報が受信されなかった場合には、作業者側映像を表示する。作業者側の情報出力が終わると、動作がS11に移行される。   On the worker side, the communication unit (product) 104 receives the instruction information when the instruction information is transmitted from the instruction side (S13). The video output unit (product) 102 outputs information on the worker side (S14). Specifically, when the instruction information is received from the instructor side, the image output unit (product) 102 displays the operator side image and the instruction information superimposed on the operator side image. On the other hand, when the instruction information is not received from the instructor side, the video output unit (product) 102 displays the operator side image. When the information output on the worker side is completed, the operation proceeds to S11.

指示者側においては、映像出力部(指)205は、指示者側の情報出力を行う(S27)。具体的に、映像出力部(指)205は、作業者側に指示情報が送信された場合には、作業者側映像を表示するとともに、作業者側映像に重畳された指示情報を表示する。一方、映像出力部(指)205は、作業者側に指示情報が送信されなかった場合には、作業者側映像を表示する。指示者側の情報出力が終わると、動作がS21に移行される。   On the instructor side, the video output unit (finger) 205 outputs information on the instructor side (S27). Specifically, when instruction information is transmitted to the worker side, the video output unit (finger) 205 displays the worker side video and the instruction information superimposed on the worker side video. On the other hand, the video output unit (finger) 205 displays the worker-side video when the instruction information is not transmitted to the worker side. When the information output on the instructor side ends, the operation proceeds to S21.

以上、本発明の実施形態に係る遠隔作業支援システム1の動作例について説明した。   The operation example of the remote work support system 1 according to the embodiment of the present invention has been described above.

(6.表示オブジェクトの変形例)
上記のように、映像出力部(作)102および映像出力部(指)205それぞれによって、指示情報に応じた表示オブジェクトが表示される。ここで、表示オブジェクトは、上記した例に限定されない。例えば、上記では、方向を示す表示オブジェクトが矢印によって表現される場合について説明した。しかし、方向を示す表示オブジェクトは、矢印に限定されない。以下、方向を示す表示オブジェクトの変形例について説明する。
(6. Modified examples of display objects)
As described above, the display object corresponding to the instruction information is displayed by each of the video output unit (product) 102 and the video output unit (finger) 205. Here, the display object is not limited to the above-described example. For example, in the above description, the case where the display object indicating the direction is represented by an arrow has been described. However, the display object indicating the direction is not limited to the arrow. Hereinafter, modifications of the display object indicating the direction will be described.

図18は、方向を示す表示オブジェクトの第1の変形例を説明するための図である。図18を参照すると、左方向に対応する表示領域B21、上方向に対応する表示領域B22、右方向に対応する表示領域B23、下方向に対応する表示領域B24が示されている。ここでは、図13に示された例と同様に、指示者U2によって方向指示動作の例として左方向への指さしが行われた場合を想定する。かかる場合、映像出力部(作)102は、指さしによって示される方向(左方向)に対応する表示領域(左方向に対応する表示領域B21)に表示オブジェクトを表示する。作業者U1は、表示オブジェクトの表示領域によって指示者U2から指示された方向を確認し、効率的に作業を行うことができる。   FIG. 18 is a diagram for explaining a first modification of the display object indicating the direction. Referring to FIG. 18, a display area B21 corresponding to the left direction, a display area B22 corresponding to the upper direction, a display area B23 corresponding to the right direction, and a display area B24 corresponding to the lower direction are shown. Here, as in the example shown in FIG. 13, a case is assumed in which the instructor U2 points to the left as an example of the direction instruction operation. In such a case, the video output unit (product) 102 displays the display object in the display area (display area B21 corresponding to the left direction) corresponding to the direction (left direction) indicated by the pointing. The worker U1 can confirm the direction instructed from the instructor U2 by the display area of the display object, and can work efficiently.

また、指さしによって示される方向が斜め方向である場合も想定される。かかる場合には、映像出力部(作)102は、斜め方向に近い2つの方向に対応する表示領域に表示オブジェクトを表示すればよい。このとき、映像出力部(作)102は、2つの方向のうち、が斜め方向から近い方向ほど、表示オブジェクトを濃くしてもよいし、表示オブジェクトのサイズを大きくしてもよい。   It is also assumed that the direction indicated by the pointing finger is an oblique direction. In such a case, the video output unit (product) 102 may display a display object in display areas corresponding to two directions close to the oblique direction. At this time, the video output unit (product) 102 may darken the display object or increase the size of the display object in a direction closer to the oblique direction out of the two directions.

なお、図13に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、指さしによって示される方向と同じ方向に対応する表示領域(左方向に対応する表示領域B21)に表示オブジェクトを表示するとよい。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者U1に指示されている方向を確認することが可能となる。   As shown in FIG. 13, not only the video output unit (product) 102 in the remote work support system (product) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 is pointed. The display object may be displayed in a display area corresponding to the same direction as indicated by (display area B21 corresponding to the left direction). Then, since the instructor U2 can see the display object in the same display area as the display area of the display object that the operator U1 is viewing, it is possible to confirm the direction instructed by the operator U1. It becomes.

図19および図20は、方向を示す表示オブジェクトの第2の変形例を説明するための図である。図19および図20を参照すると、図18に示された例と同様に、左方向に対応する表示領域B21、上方向に対応する表示領域B22、右方向に対応する表示領域B23、下方向に対応する表示領域B24が示されている。さらに、図19および図20を参照すると、図18に示された例と異なり、奥行き方向に対応する表示領域B25、手前方向に対応する表示領域B26が示されている。   19 and 20 are diagrams for explaining a second modification of the display object indicating the direction. 19 and 20, as in the example shown in FIG. 18, the display area B21 corresponding to the left direction, the display area B22 corresponding to the upper direction, the display area B23 corresponding to the right direction, and the downward direction A corresponding display area B24 is shown. Further, referring to FIGS. 19 and 20, unlike the example shown in FIG. 18, a display area B25 corresponding to the depth direction and a display area B26 corresponding to the front direction are shown.

図19に示される例では、指示者U2によって方向指示動作の例として奥行き方向への指さしが行われた場合を想定する。かかる場合、映像出力部(作)102は、指さしによって示される方向(奥行き方向)に対応する表示領域(奥行き方向に対応する表示領域B25)に表示オブジェクトを表示する。作業者U1は、表示オブジェクトの表示領域によって指示者U2から指示された方向を確認し、効率的に作業を行うことができる。   In the example shown in FIG. 19, it is assumed that the instructor U2 has pointed in the depth direction as an example of the direction instruction operation. In such a case, the video output unit (product) 102 displays a display object in a display area (display area B25 corresponding to the depth direction) corresponding to the direction (depth direction) indicated by the pointing. The worker U1 can confirm the direction instructed from the instructor U2 by the display area of the display object, and can work efficiently.

また、図19に示されるように、上方向に対応する表示領域B22と奥行き方向に対応する表示領域B25の形状を異ならせることによって(例えば、図19に示されるように、上方向に対応する表示領域B22の縦方向の幅よりも奥行き方向に対応する表示領域B25の縦方向の幅を短くすることによって)、指示者U2から指示された方向を直感的に理解することができる。   Further, as shown in FIG. 19, the display area B22 corresponding to the upward direction and the display area B25 corresponding to the depth direction are made different (for example, corresponding to the upward direction as shown in FIG. 19). By making the vertical width of the display area B25 corresponding to the depth direction shorter than the vertical width of the display area B22), the direction indicated by the instructor U2 can be intuitively understood.

なお、図19に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、指さしによって示される方向と同じ方向に対応する表示領域(奥行き方向に対応する表示領域B25)に表示オブジェクトを表示するとよい。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者U1に指示されている方向を確認することが可能となる。   As shown in FIG. 19, not only the video output unit (product) 102 in the remote work support system (product) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 is pointed. The display object may be displayed in a display area corresponding to the same direction as indicated by (display area B25 corresponding to the depth direction). Then, since the instructor U2 can see the display object in the same display area as the display area of the display object that the operator U1 is viewing, it is possible to confirm the direction instructed by the operator U1. It becomes.

図20に示される例では、指示者U2によって方向指示動作の例として手前方向への指さしが行われた場合を想定する。かかる場合、映像出力部(作)102は、指さしによって示される方向(手前方向)に対応する表示領域(手前方向に対応する表示領域B26)に表示オブジェクトを表示する。作業者U1は、表示オブジェクトの表示領域によって指示者U2から指示された方向を確認し、効率的に作業を行うことができる。   In the example shown in FIG. 20, it is assumed that the instructor U2 has pointed forward as an example of the direction instruction operation. In such a case, the video output unit (product) 102 displays the display object in a display area (display area B26 corresponding to the front direction) corresponding to the direction (front direction) indicated by the pointing. The worker U1 can confirm the direction instructed from the instructor U2 by the display area of the display object, and can work efficiently.

また、図20に示されるように、下方向に対応する表示領域B24と手前方向に対応する表示領域B26の形状を異ならせることによって(例えば、図20に示されるように、下方向に対応する表示領域B24の縦方向の幅よりも手前方向に対応する表示領域B26の縦方向の幅を短くすることによって)、指示者U2から指示された方向を直感的に理解することができる。   Further, as shown in FIG. 20, the display area B24 corresponding to the lower direction and the display area B26 corresponding to the front direction are made different in shape (for example, corresponding to the lower direction as shown in FIG. 20). By making the vertical width of the display area B26 corresponding to the front direction smaller than the vertical width of the display area B24, the direction instructed by the instructor U2 can be understood intuitively.

なお、図20に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、指さしによって示される方向と同じ方向に対応する表示領域(手前方向に対応する表示領域B26)に表示オブジェクトを表示するとよい。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者U1に指示されている方向を確認することが可能となる。   As shown in FIG. 20, not only the video output unit (product) 102 in the remote work support system (work) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 is pointed. The display object may be displayed in a display area corresponding to the same direction as indicated by (display area B26 corresponding to the front direction). Then, since the instructor U2 can see the display object in the same display area as the display area of the display object that the operator U1 is viewing, it is possible to confirm the direction instructed by the operator U1. It becomes.

図21および図22は、方向を示す表示オブジェクトの第3の変形例を説明するための図である。図21に示される例では、指示者U2によって方向指示動作の例として奥行き方向への指さしが行われた場合を想定する。かかる場合、映像出力部(作)102は、指さしによって示される方向(奥行き方向)に対応する形状(3次元的な形状)の表示オブジェクトB27を表示する。作業者U1は、表示オブジェクトB27によって指示者U2から指示された方向を確認し、効率的に作業を行うことができる。   21 and 22 are diagrams for describing a third modification of the display object indicating the direction. In the example shown in FIG. 21, it is assumed that the instructor U2 has pointed in the depth direction as an example of the direction indicating operation. In such a case, the video output unit (product) 102 displays the display object B27 having a shape (three-dimensional shape) corresponding to the direction (depth direction) indicated by the pointing. The worker U1 can confirm the direction instructed from the instructor U2 by the display object B27, and can work efficiently.

なお、図21に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、指さしによって示される方向(奥行き方向)と同じ方向に対応する形状(3次元形状)の表示オブジェクトB27を表示するとよい。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者U1に指示されている方向を確認することが可能となる。   As shown in FIG. 21, not only the video output unit (product) 102 in the remote work support system (product) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 is pointed. The display object B27 having a shape (three-dimensional shape) corresponding to the same direction as the direction indicated by (depth direction) may be displayed. Then, since the instructor U2 can see the display object in the same display area as the display area of the display object that the operator U1 is viewing, it is possible to confirm the direction instructed by the operator U1. It becomes.

図22に示される例では、指示者U2によって方向指示動作の例として手前方向への指さしが行われた場合を想定する。かかる場合、映像出力部(作)102は、指さしによって示される方向(手前方向)に対応する形状(3次元的な形状)の表示オブジェクトB28を表示する。作業者U1は、表示オブジェクトB28によって指示者U2から指示された方向を確認し、効率的に作業を行うことができる。   In the example shown in FIG. 22, it is assumed that the instructor U2 has pointed forward as an example of the direction instruction operation. In such a case, the video output unit (product) 102 displays the display object B28 having a shape (three-dimensional shape) corresponding to the direction (front direction) indicated by the pointing. The worker U1 can confirm the direction instructed from the instructor U2 by the display object B28 and can work efficiently.

なお、図22に示されたように、遠隔作業支援システム(作)10における映像出力部(作)102だけではなく、遠隔作業支援システム(指)20における映像出力部(指)205も、指さしによって示される方向(手前方向)と同じ方向に対応する形状(3次元的な形状)の表示オブジェクトB28を表示するとよい。そうすれば、指示者U2は、作業者U1が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者U1に指示されている方向を確認することが可能となる。   As shown in FIG. 22, not only the video output unit (product) 102 in the remote work support system (product) 10 but also the video output unit (finger) 205 in the remote work support system (finger) 20 is pointed. A display object B28 having a shape (three-dimensional shape) corresponding to the same direction as the direction indicated by (frontward direction) may be displayed. Then, since the instructor U2 can see the display object in the same display area as the display area of the display object that the operator U1 is viewing, it is possible to confirm the direction instructed by the operator U1. It becomes.

以上、方向を示す表示オブジェクトの変形例について説明した。   In the above, the modification of the display object which shows a direction was demonstrated.

(7.まとめ)
以上に説明したように、本発明の実施形態によれば、第1の画像に基づいて計測された3次元空間における第1のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第1のユーザの指示動作の種類を推定する推定部と、前記第1のユーザの指示動作の種類に基づいて、第2のユーザへの指示情報を生成する指示情報生成部と、を備える、第1の情報処理システムが提供される。
(7. Summary)
As described above, according to the embodiment of the present invention, the position of the hand of the first user in the three-dimensional space measured based on the first image and the type of instruction operation are set in advance. An instruction unit that estimates the type of instruction operation of the first user based on the region, and instruction information that generates instruction information to the second user based on the type of instruction operation of the first user A first information processing system including a generation unit is provided.

かかる構成によれば、第1のユーザの意図(第1のユーザが如何なる種類の指示情報を第2のユーザに通知したいか)を把握して第1のユーザの意図に応じた指示情報を生成することが可能となる。すなわち、かかる構成によれば、第1のユーザの意図を把握して第1のユーザから第2のユーザへの指示情報をより適切に生成することが可能となる。   According to such a configuration, the first user's intention (what kind of instruction information the first user wants to notify the second user) is grasped, and instruction information corresponding to the first user's intention is generated. It becomes possible to do. That is, according to such a configuration, it is possible to grasp the intention of the first user and generate instruction information from the first user to the second user more appropriately.

また、本発明の実施形態によれば、第1のユーザは、入力機器を持ち替えたりする動作を行わなくても、第2のユーザに対して指示を行うことができるため、第1のユーザへの負担が低減される。   Further, according to the embodiment of the present invention, the first user can give an instruction to the second user without performing an operation of changing the input device. Is reduced.

また、本発明の実施形態によれば、ポインタおよび矢印のように対称な図形によって位置または方向が示されれば、第2のユーザによって位置または方向が理解しやすくなることが期待され、第1のユーザの位置または方向の指示動作の負担が低減されることが期待される。また、本発明の実施形態によれば、第1のユーザが手部の形状(ジェスチャ)によって指示をしたいときにだけ、第2のユーザに手部の形状による指示されるため、第2のユーザによって形状が理解しやすくなることが期待され、第1のユーザの形状の指示動作の負担が低減されることが期待される。   Further, according to the embodiment of the present invention, if the position or direction is indicated by a symmetric graphic such as a pointer and an arrow, it is expected that the position or direction can be easily understood by the second user. It is expected that the burden of instructing the user's position or direction will be reduced. Further, according to the embodiment of the present invention, the second user is instructed by the shape of the hand only when the first user wants to instruct by the shape of the hand (gesture). Therefore, it is expected that the shape can be easily understood, and the burden of the first user's shape designating operation is expected to be reduced.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

上記では、指示者U2による指示動作の種類が位置指示動作であると推定された場合に、表示オブジェクト(例えば、円形のポインタ)が表示される例を説明した。このとき、映像出力部(作)102は、指示者U2による指示動作の種類が位置指示動作から他の指示動作に変更された場合、即座に表示オブジェクト(例えば、円形のポインタ)の表示を消し、新たな指示動作に対応する表示オブジェクトを即座に表示させてもよい。   In the above description, an example in which a display object (for example, a circular pointer) is displayed when it is estimated that the type of instruction operation by the instructor U2 is a position instruction operation has been described. At this time, when the type of the instruction operation by the instructor U2 is changed from the position instruction operation to another instruction operation, the video output unit (product) 102 immediately erases the display of the display object (for example, a circular pointer). The display object corresponding to the new instruction operation may be displayed immediately.

あるいは、映像出力部(作)102は、指示者U2による指示動作の種類が位置指示動作から他の指示動作に変更された場合、所定の時間が経過してから、あるいは、所定の動作が検出されてから、表示オブジェクト(例えば、円形のポインタ)の表示を消してもよい。これによって、指示者U2は、位置指示動作を途中で止めても、続けて作業者U1に位置を指示することが可能となる。あるいは、これによって、指示者U2は、作業者U1に位置を指示しながら、形状指示動作を開始することが可能となる。   Alternatively, the video output unit 102 can detect the predetermined operation after a predetermined time has elapsed when the type of the instruction operation by the instructor U2 is changed from the position instruction operation to another instruction operation. Then, the display of the display object (for example, a circular pointer) may be turned off. As a result, the instructor U2 can continuously instruct the position to the worker U1 even if the position instruction operation is stopped halfway. Alternatively, the instructor U2 can start the shape instructing operation while instructing the worker U1 of the position.

同様に、上記では、指示者U2による指示動作の種類が方向指示動作であると推定された場合に、表示オブジェクト(例えば、矢印)が表示される例を説明した。このとき、映像出力部(作)102は、指示者U2による指示動作の種類が方向指示動作から他の指示動作に変更された場合、即座に表示オブジェクト(例えば、矢印)の表示を消し、新たな指示動作に対応する表示オブジェクトを即座に表示させてもよい。   Similarly, in the above description, an example in which a display object (for example, an arrow) is displayed when it is estimated that the type of instruction operation by the instructor U2 is a direction instruction operation has been described. At this time, when the type of the instruction operation by the instructor U2 is changed from the direction instruction operation to another instruction operation, the video output unit (product) 102 immediately deletes the display object (for example, an arrow) and displays a new one. A display object corresponding to a specific instruction operation may be displayed immediately.

あるいは、映像出力部(作)102は、指示者U2による指示動作の種類が方向指示動作から他の指示動作に変更された場合、所定の時間が経過してから、あるいは、所定の動作が検出されてから、表示オブジェクト(例えば、矢印)の表示を消してもよい。これによって、指示者U2は、方向指示動作を途中で止めても、続けて作業者U1に方向を指示することが可能となる。あるいは、これによって、指示者U2は、作業者U1に方向を指示しながら、形状指示動作を開始することが可能となる。   Alternatively, the video output unit (product) 102 detects the predetermined operation after a predetermined time elapses when the type of the instruction operation by the instructor U2 is changed from the direction instruction operation to another instruction operation. Then, the display of the display object (for example, an arrow) may be turned off. Thus, the instructor U2 can continuously instruct the operator U1 in the direction even if the direction instruction operation is stopped halfway. Alternatively, the instructor U2 can start the shape instruction operation while instructing the worker U1 in the direction.

上記では、遠隔作業支援システム(指)20が接触情報取得部203(タッチパネル)を有する場合を主に説明した。しかし、遠隔作業支援システム(指)20は、接触情報取得部203(タッチパネル)の代わりに、または、接触情報取得部203(タッチパネル)に追加して、指示者U2によって指示される位置を検出可能な他の入力機器を有してもよい。例えば、当該他の入力機器は、マウスであってもよいし、キーボードであってもよい。入力機器として、マウスまたはキーボードなどが用いられる場合には、かかる入力機器に対して指示者U2によって操作が行われる領域は、手部計測部201による計測対象領域から除外されればよい。   In the above, the case where the remote work support system (finger) 20 has the contact information acquisition unit 203 (touch panel) has been mainly described. However, the remote work support system (finger) 20 can detect the position indicated by the instructor U2 instead of the contact information acquisition unit 203 (touch panel) or in addition to the contact information acquisition unit 203 (touch panel). You may have other input devices. For example, the other input device may be a mouse or a keyboard. When a mouse, a keyboard, or the like is used as the input device, the region where the instructor U2 operates the input device may be excluded from the measurement target region by the hand measurement unit 201.

また、上記では、指示者U2による指示動作の種類が形状指示動作であると推定された場合に、手部の形状と同じ形状に応じた表示オブジェクトが表示される例を説明した。しかし、手部の形状が前後方向への動きを有する場合、2次元的な表現では動きが十分に伝えられない可能性がある。そこで、かかる場合には、映像出力部(作)102は、手部の形状の倍率を高めることによって表現を強調して表示オブジェクトを表示してもよい。   In the above description, an example in which a display object corresponding to the same shape as the shape of the hand portion is displayed when it is estimated that the type of the instruction operation by the instructor U2 is the shape instruction operation has been described. However, when the shape of the hand portion has a movement in the front-rear direction, there is a possibility that the movement cannot be sufficiently transmitted by the two-dimensional expression. Therefore, in such a case, the video output unit (product) 102 may display the display object with the expression emphasized by increasing the magnification of the shape of the hand.

1 遠隔作業支援システム
10 遠隔作業支援システム(作)
101 映像取得部
102 映像出力部(作)
103 音声入出力部(作)
104 通信部(作)
20 遠隔作業支援システム(指)
201 手部計測部
202 手部解析部
203 接触情報取得部
204 指示情報生成部
205 映像出力部(指)
206 音声入出力部(指)
207 通信部(指)
30 ネットワーク
R1 位置指示領域
R2 方向指示領域
R3 形状指示領域



1 Remote work support system 10 Remote work support system (work)
101 Video acquisition unit 102 Video output unit (work)
103 Voice input / output unit
104 Communication Department (work)
20 Remote work support system (finger)
DESCRIPTION OF SYMBOLS 201 Hand part measurement part 202 Hand part analysis part 203 Contact information acquisition part 204 Instruction information generation part 205 Image | video output part (finger)
206 Voice input / output (finger)
207 Communication part (finger)
30 Network R1 Position indicating area R2 Direction indicating area R3 Shape indicating area



Claims (16)

第1の画像に基づいて計測された3次元空間における第1のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第1のユーザの指示動作の種類を推定する推定部と、
前記第1のユーザの指示動作の種類に基づいて、第2のユーザへの指示情報を生成する指示情報生成部と、
を備える、第1の情報処理システム。
Based on the position of the hand of the first user in the three-dimensional space measured based on the first image and the region set in advance for each type of instruction operation, the type of instruction operation of the first user An estimation unit for estimating
An instruction information generating unit that generates instruction information to the second user based on the type of instruction operation of the first user;
A first information processing system.
前記第1の情報処理システムは、
前記指示情報を前記第2のユーザによって使用される第2の情報処理システムに送信する送信部を備える、
請求項1に記載の第1の情報処理システム。
The first information processing system includes:
A transmission unit configured to transmit the instruction information to a second information processing system used by the second user;
The first information processing system according to claim 1.
前記第1の情報処理システムは、
前記第2のユーザによって使用される第2の情報処理システムから第2の画像を受信する受信部と、
前記第2の画像を前記第1のユーザに提示する画像出力部と、を備える、
請求項1に記載の第1の情報処理システム。
The first information processing system includes:
A receiving unit for receiving a second image from a second information processing system used by the second user;
An image output unit that presents the second image to the first user,
The first information processing system according to claim 1.
前記第1の情報処理システムは、
前記指示情報を前記第1のユーザに提示する画像出力部を備える、
請求項1に記載の第1の情報処理システム。
The first information processing system includes:
An image output unit for presenting the instruction information to the first user;
The first information processing system according to claim 1.
前記推定部は、前記手部の位置が第1の領域に属する場合に、前記指示動作の種類を第1の種類であると推定し、前記手部の位置が前記第1の領域とは異なる第2の領域に属する場合に、前記指示動作の種類を前記第1の種類とは異なる第2の種類であると推定する、
請求項1に記載の第1の情報処理システム。
When the position of the hand part belongs to the first area, the estimation unit estimates that the type of the instruction operation is the first type, and the position of the hand part is different from the first area. When belonging to a second area, the type of the instruction operation is estimated to be a second type different from the first type.
The first information processing system according to claim 1.
前記第1の領域は、タッチパネルの位置からタッチパネルの位置を基準として前記タッチパネルの前方に所定の長さだけ離れた位置までの空間を含む、
請求項5に記載の第1の情報処理システム。
The first area includes a space from a position of the touch panel to a position separated by a predetermined length in front of the touch panel with respect to the position of the touch panel.
The first information processing system according to claim 5.
前記推定部は、前記手部の位置が前記第2の領域に属する場合、かつ、前記手部の形状が所定の形状である場合に、前記指示動作の種類を第2の種類であると推定する、
請求項5に記載の第1の情報処理システム。
The estimation unit estimates that the type of the pointing operation is the second type when the position of the hand unit belongs to the second region and the shape of the hand unit is a predetermined shape. To
The first information processing system according to claim 5.
前記所定の形状は、指さし形状を含む、
請求項7に記載の第1の情報処理システム。
The predetermined shape includes a pointing shape,
The first information processing system according to claim 7.
前記推定部は、前記手部の位置が前記第1の領域および前記第2の領域とは異なる第3の領域に属する場合に、前記指示動作の種類を前記第1の種類および前記第2の種類とは異なる第3の種類であると推定する、
請求項5に記載の第1の情報処理システム。
When the position of the hand portion belongs to a third region different from the first region and the second region, the estimation unit determines the type of the instruction operation as the first type and the second type. Estimating a third type different from the type,
The first information processing system according to claim 5.
前記指示情報生成部は、前記指示動作の種類が第1の種類であると推定された場合には、第1の指示情報を生成し、前記指示動作の種類が前記第1の種類とは異なる第2の種類であると推定された場合には、前記第1の指示情報とは異なる第2の指示情報を生成する、
請求項1に記載の第1の情報処理システム。
The instruction information generation unit generates first instruction information when the instruction operation type is estimated to be the first type, and the instruction operation type is different from the first type. If it is estimated that the second type, second instruction information different from the first instruction information is generated.
The first information processing system according to claim 1.
前記指示情報生成部は、前記指示動作の種類が前記第1の種類であると推定された場合には、前記手部によるタッチパネルへの接触位置を前記第1の指示情報として生成する、
請求項10に記載の第1の情報処理システム。
The instruction information generation unit generates, as the first instruction information, a touch position on the touch panel by the hand part when it is estimated that the type of the instruction operation is the first type.
The first information processing system according to claim 10.
前記指示情報生成部は、前記指示動作の種類が前記第2の種類であると推定された場合には、前記手部の指さしによって示される方向を前記第2の指示情報として生成する、
請求項10に記載の第1の情報処理システム。
The instruction information generation unit generates, as the second instruction information, the direction indicated by the pointing of the hand part when the instruction operation type is estimated to be the second type.
The first information processing system according to claim 10.
前記指示情報生成部は、前記指示動作の種類が前記第1の種類および前記第2の種類とは異なる第3の種類であると推定された場合には、前記第1の指示情報および前記第2の指示情報とは異なる第3の指示情報を生成する、
請求項10に記載の第1の情報処理システム。
When the instruction information generation unit estimates that the instruction operation type is a third type different from the first type and the second type, the instruction information generation unit Generating third instruction information different from the instruction information of 2,
The first information processing system according to claim 10.
前記指示情報生成部は、前記指示動作の種類が前記第3の種類であると推定された場合には、前記手部の形状を前記第3の指示情報として生成する、
請求項13に記載の第1の情報処理システム。
The instruction information generation unit generates the shape of the hand part as the third instruction information when the instruction operation type is estimated to be the third type.
The first information processing system according to claim 13.
3次元空間における第1のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて生成された第2のユーザへの指示情報を受信する受信部と、
前記指示情報を前記第2のユーザに提示する画像出力部と、
を備える、第2の情報処理システム。
A receiving unit that receives instruction information for the second user generated based on the position of the hand of the first user in the three-dimensional space and a region set in advance for each type of instruction operation;
An image output unit for presenting the instruction information to the second user;
A second information processing system comprising:
第1の画像に基づいて計測された3次元空間における第1のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第1のユーザの指示動作の種類を推定する推定部と、
前記第1のユーザの指示動作の種類に基づいて、第2のユーザへの指示情報を生成する指示情報生成部と、
を備える、第1の情報処理システムと、
前記指示情報を受信する受信部と、
前記指示情報を前記第2のユーザに提示する画像出力部と、
を備える、第2の情報処理システムと、
を有する、第3の情報処理システム。
Based on the position of the hand of the first user in the three-dimensional space measured based on the first image and the region set in advance for each type of instruction operation, the type of instruction operation of the first user An estimation unit for estimating
An instruction information generating unit that generates instruction information to the second user based on the type of instruction operation of the first user;
A first information processing system comprising:
A receiving unit for receiving the instruction information;
An image output unit for presenting the instruction information to the second user;
A second information processing system comprising:
A third information processing system.
JP2018047071A 2018-03-14 2018-03-14 First information processing system, second information processing system and third information processing system Pending JP2019159936A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018047071A JP2019159936A (en) 2018-03-14 2018-03-14 First information processing system, second information processing system and third information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047071A JP2019159936A (en) 2018-03-14 2018-03-14 First information processing system, second information processing system and third information processing system

Publications (1)

Publication Number Publication Date
JP2019159936A true JP2019159936A (en) 2019-09-19

Family

ID=67996284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047071A Pending JP2019159936A (en) 2018-03-14 2018-03-14 First information processing system, second information processing system and third information processing system

Country Status (1)

Country Link
JP (1) JP2019159936A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196222A1 (en) * 2021-03-16 2022-09-22 ソニーセミコンダクタソリューションズ株式会社 Detection processing device, detection processing method, and information processing system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170872A1 (en) * 2015-04-20 2016-10-27 三菱電機株式会社 Information display device and information display method
JP2017037434A (en) * 2015-08-07 2017-02-16 シャープ株式会社 Mark processing unit and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170872A1 (en) * 2015-04-20 2016-10-27 三菱電機株式会社 Information display device and information display method
JP2017037434A (en) * 2015-08-07 2017-02-16 シャープ株式会社 Mark processing unit and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196222A1 (en) * 2021-03-16 2022-09-22 ソニーセミコンダクタソリューションズ株式会社 Detection processing device, detection processing method, and information processing system

Similar Documents

Publication Publication Date Title
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
JP5930618B2 (en) Spatial handwriting system and electronic pen
US9329714B2 (en) Input device, input assistance method, and program
JP6288084B2 (en) Display control device, display control method, and recording medium
US9996160B2 (en) Method and apparatus for gesture detection and display control
US9652071B2 (en) Method and apparatus for handwriting input
CN103729054A (en) Multi display device and control method thereof
JP2012103951A (en) Information processor, table, display control method, program, portable terminal and information processing system
JP2013125487A (en) Space hand-writing system and electronic pen
JP6386897B2 (en) Electronic blackboard, information processing program, and information processing method
JP2015172887A (en) Gesture recognition device and control method of gesture recognition device
KR20190059726A (en) Method for processing interaction between object and user of virtual reality environment
TWI486815B (en) Display device, system and method for controlling the display device
JP2015135572A (en) Information processing apparatus and control method of the same
KR20150018748A (en) Method and system for transfering content among devices using mobile device sensor
US10437415B2 (en) System, method, and device for controlling a display
JP2018005663A (en) Information processing unit, display system, and program
JP2015011679A (en) Operation input device and input operation processing method
JP2019159936A (en) First information processing system, second information processing system and third information processing system
KR20100048747A (en) User interface mobile device using face interaction
JP2010086367A (en) Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment
US20190163342A1 (en) Information processing system, information processing method, and program
JP2007066057A (en) Information processing apparatus, and method for switching gui in information processing apparatus
JP6008904B2 (en) Display control apparatus, display control method, and program
JP6162001B2 (en) Drawing system

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412