JP2015157323A - Remote control device, remote control system, method and program of remote control - Google Patents

Remote control device, remote control system, method and program of remote control Download PDF

Info

Publication number
JP2015157323A
JP2015157323A JP2014032088A JP2014032088A JP2015157323A JP 2015157323 A JP2015157323 A JP 2015157323A JP 2014032088 A JP2014032088 A JP 2014032088A JP 2014032088 A JP2014032088 A JP 2014032088A JP 2015157323 A JP2015157323 A JP 2015157323A
Authority
JP
Japan
Prior art keywords
force
remote control
mounting member
unit
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014032088A
Other languages
Japanese (ja)
Inventor
一仁 村田
Kazuhito Murata
一仁 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014032088A priority Critical patent/JP2015157323A/en
Publication of JP2015157323A publication Critical patent/JP2015157323A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a remote control device, a remote control system, and a method and program of remote control which can reduce manufacturing cost and improve maneuverability.SOLUTION: A remote control device 10 includes: a display unit 20 which displays an image of a camera 61 of a transfer device 60 on a screen; a mounting member 13; a position detection unit 30 which detects a position of the mounting member in a real space; a transmission member 12 which transmits tensile force; a drive unit 11 which generates the tensile force; an information processing unit 40 which generates a control object 101 and a user object 102 in a virtual space, calculates external force when the user object imparts external force to the control object 101, and specifies a change of the control object; a remote control unit 41 which indicates movement so as to bring a similar change to a transfer device; and a control unit 14 which generates initial force to the drive unit 11 and increases or reduces the initial force so as to transmit reaction force on the external force to an operator as a sense of force.

Description

本発明は、移動装置を遠隔操縦するための遠隔操縦装置、これを用いた遠隔操縦システム、遠隔操縦方法、及びこれらを実現するためのプログラムに関する。   The present invention relates to a remote control device for remotely controlling a mobile device, a remote control system using the same, a remote control method, and a program for realizing them.

近年、危険な環境下において、人の代わりに作業を行う、作業ロボットが注目を集めている。通常、このような作業ロボットは、遠隔からの操縦を可能とするため、テレビカメラを備えている。このため、操縦者は、モニターに映ったテレビカメラの映像を見ながら、作業ロボットを遠隔操縦することになる。   In recent years, work robots that perform work on behalf of people in a dangerous environment have attracted attention. Usually, such a working robot is equipped with a television camera in order to enable remote control. For this reason, the operator remotely controls the work robot while watching the image of the television camera displayed on the monitor.

また、この場合において、操縦者に現場の臨場感をフィードバックできれば、操縦者における操作精度を高めることが可能となる。このため、例えば、特許文献１は、操縦者が使用するコントロールレバーに、ロボットの受ける反力をフィードバックすることが可能な、遠隔操縦システムを提案している。   Further, in this case, if the realism of the site can be fed back to the pilot, it is possible to improve the operation accuracy of the pilot. For this reason, for example, Patent Document 1 proposes a remote control system capable of feeding back a reaction force received by a robot to a control lever used by a pilot.

また、この特許文献１に開示された遠隔操縦システムでは、ロボットには、２つのテレビカメラが左右に並べて搭載され、操縦室では、２つのカメラの映像を合成することで得られた三次元画像が表示される。このため、操縦者は、視覚的な臨場感も感じることができるので、操作精度のいっそうの向上が図られる。   In the remote control system disclosed in Patent Document 1, two TV cameras are mounted side by side on the robot, and in the cockpit, a three-dimensional image obtained by combining the images of the two cameras. Is displayed. For this reason, the operator can also feel a visual sense of reality, so that the operation accuracy can be further improved.

特開平６−６５９４９号公報Japanese Unexamined Patent Publication No. 6-65949

ところで、上記特許文献１に開示された遠隔操縦システムを用いれば、操作者は現場の臨場感を感じることができ、精度の高い操作を行うことができると考えられるが、操縦のための装置が大掛かりとなる。このため、上記特許文献１に開示された遠隔操縦システムには、製造コストが非常に高いという問題がある。また、操縦のための装置を移動させることが難しいため、装置とロボットとの通信を確保することができない現場では、作業ロボットを利用できないという問題もある。   By the way, if the remote control system disclosed in Patent Document 1 is used, it is considered that the operator can feel a sense of reality at the site and can perform highly accurate operations. Become a big deal. For this reason, the remote control system disclosed in Patent Document 1 has a problem that the manufacturing cost is very high. In addition, since it is difficult to move the device for steering, there is also a problem that the work robot cannot be used at a site where communication between the device and the robot cannot be ensured.

［発明の目的］
本発明の目的の一例は、上記問題を解消し、製造コストの低減と機動性の向上とを図り得る、遠隔操縦装置、遠隔操縦システム、遠隔操縦方法及びプログラムを提供することにある。 [Object of invention]
An object of the present invention is to provide a remote control device, a remote control system, a remote control method, and a program capable of solving the above-described problems and reducing the manufacturing cost and improving the mobility.

上記目的を達成するため、本発明の一側面における遠隔操縦装置は移動装置を遠隔から操縦するための遠隔操縦装置であって、
前記移動装置に取り付けられたカメラからの映像を、画面上に表示させる、表示部と、
操縦者に装着される装着部材と、
前記装着部材の実空間での位置を検出する、位置検出部と、
当該遠隔操縦装置から、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせ、更に、検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出し、そして、算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、情報処理部と、
前記情報処理部によって特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、遠隔操縦部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、制御部と、
を備えている、ことを特徴とする。 In order to achieve the above object, a remote control device according to one aspect of the present invention is a remote control device for remotely controlling a mobile device,
A display unit for displaying an image from a camera attached to the mobile device on a screen;
A mounting member to be mounted on the operator;
A position detector for detecting the position of the mounting member in real space;
A transmission member extending from the remote control device to the mounting member and transmitting a force in a pulling direction to the mounting member;
A drive unit that generates a force in the pulling direction and applies the force to the transmission member;
A first object corresponding to the moving device and a second object corresponding to the mounting member are created in a virtual space, and these are superimposed on an image from the camera, and the detected mounting When the second object is moved according to the position of the member and the second object gives an external force to the first object, the external force is calculated, and the calculated external force is used to calculate the first force. An information processing unit for identifying a change occurring in one object;
A remote control unit for instructing the mobile device to operate so that a change similar to the change specified by the information processing unit occurs in the mobile device;
The driving unit generates in advance a force in the pulling direction having a set magnitude as an initial force, and a reaction force against the external force calculated by the information processing unit is a force presented to the operator. As a sense, a control unit that increases or decreases the initial force in the drive unit so as to be transmitted to the operator via the mounting member;
It is characterized by having.

上記目的を達成するため、本発明の一側面における遠隔操縦システムは、移動装置と、それを遠隔から操縦するための遠隔操縦装置とを備え、
前記移動装置は、前方を撮影するカメラを備え、
前記遠隔操縦装置は、
前記移動装置に取り付けられた前記カメラからの映像を、画面上に表示させる、表示部と、
操縦者に装着される装着部材と、
前記装着部材の実空間での位置を検出する、位置検出部と、
当該遠隔操縦装置から、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせ、更に、検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出し、そして、算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、情報処理部と、
前記情報処理部によって特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、遠隔操縦部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、制御部と、
を備えている、ことを特徴とする。 In order to achieve the above object, a remote control system according to an aspect of the present invention includes a mobile device and a remote control device for remotely controlling the mobile device.
The moving device includes a camera for photographing the front,
The remote control device includes:
A display unit for displaying an image from the camera attached to the moving device on a screen;
A mounting member to be mounted on the operator;
A position detector for detecting the position of the mounting member in real space;
A transmission member extending from the remote control device to the mounting member and transmitting a force in a pulling direction to the mounting member;
A drive unit that generates a force in the pulling direction and applies the force to the transmission member;
A first object corresponding to the moving device and a second object corresponding to the mounting member are created in a virtual space, and these are superimposed on an image from the camera, and the detected mounting When the second object is moved according to the position of the member and the second object gives an external force to the first object, the external force is calculated, and the calculated external force is used to calculate the first force. An information processing unit for identifying a change occurring in one object;
A remote control unit for instructing the mobile device to operate so that a change similar to the change specified by the information processing unit occurs in the mobile device;
The driving unit generates in advance a force in the pulling direction having a set magnitude as an initial force, and a reaction force against the external force calculated by the information processing unit is a force presented to the operator. As a sense, a control unit that increases or decreases the initial force in the drive unit so as to be transmitted to the operator via the mounting member;
It is characterized by having.

また、上記目的を達成するため、本発明の一側面における遠隔操縦方法は、遠隔操縦の対象となる移動装置に取り付けられたカメラからの映像を、画面上に表示させる、表示部と、操縦者に装着される装着部材と、前記装着部材の実空間での位置を検出する、位置検出部と、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、コンピュータと、を備える遠隔操縦装置を用いた、遠隔操縦方法であって、
前記コンピュータによって実行される、
（ａ）仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせる、ステップと、
（ｂ）検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出する、ステップと、
（ｃ）算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、ステップと、
（ｄ）前記（ｃ）のステップで特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、ステップと、
（ｅ）予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記（ｂ）のステップで算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、ステップと、
を有する、ことを特徴とする。 In order to achieve the above object, a remote control method according to one aspect of the present invention includes a display unit that displays an image from a camera attached to a mobile device that is a target of remote control on a screen, and a driver. A mounting member to be mounted on, a position detection unit that detects a position of the mounting member in real space, a transmission member that extends to the mounting member and transmits a force in a pulling direction to the mounting member, A remote control method using a remote control device including a drive unit that generates a force in a pulling direction and applies the force to the transmission member, and a computer,
Executed by the computer,
(A) creating a first object corresponding to the moving device and a second object corresponding to the mounting member in a virtual space, and superimposing these on a video from the camera;
(B) moving the second object according to the detected position of the mounting member, and calculating the external force when the second object applies an external force to the first object, When,
(C) identifying a change that occurs in the first object by the calculated external force;
(D) instructing the mobile device to perform an operation such that a change similar to the change identified in step (c) occurs in the mobile device;
(E) A force in the pulling direction having a set magnitude is generated as an initial force in advance in the drive unit, and a reaction force against the external force calculated in the step (b) Increasing or decreasing the initial force in the drive unit to be transmitted to the operator via the mounting member as a force sensation presented to
It is characterized by having.

また、上記目的を達成するため、本発明の一側面におけるプログラムは、遠隔操縦の対象となる移動装置に取り付けられたカメラからの映像を、画面上に表示させる、表示部と、操縦者に装着される装着部材と、前記装着部材の実空間での位置を検出する、位置検出部と、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、コンピュータと、を備える遠隔操縦装置において、
前記コンピュータに、
（ａ）仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせる、ステップと、
（ｂ）検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出する、ステップと、
（ｃ）算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、ステップと、
（ｄ）前記（ｃ）のステップで特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、ステップと、
（ｅ）予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記（ｂ）のステップで算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、ステップと、
を実行させることを特徴とする。 In order to achieve the above object, a program according to one aspect of the present invention is provided with a display unit that displays a video from a camera attached to a mobile device to be remotely controlled on a screen, and is attached to a driver. A mounting member, a position detection unit that detects a position of the mounting member in real space, a transmission member that extends to the mounting member and transmits a force in a pulling direction to the mounting member, and the pulling direction In a remote control device comprising: a drive unit that generates the force of and applies the force to the transmission member; and a computer,
In the computer,
(A) creating a first object corresponding to the moving device and a second object corresponding to the mounting member in a virtual space, and superimposing these on a video from the camera;
(B) moving the second object according to the detected position of the mounting member, and calculating the external force when the second object applies an external force to the first object, When,
(C) identifying a change that occurs in the first object by the calculated external force;
(D) instructing the mobile device to perform an operation such that a change similar to the change identified in step (c) occurs in the mobile device;
(E) A force in the pulling direction having a set magnitude is generated as an initial force in advance in the drive unit, and a reaction force against the external force calculated in the step (b) Increasing or decreasing the initial force in the drive unit to be transmitted to the operator via the mounting member as a force sensation presented to
Is executed.

以上のように、本発明によれば、製造コストの低減と機動性の向上とを図ることができる。   As described above, according to the present invention, it is possible to reduce the manufacturing cost and improve the mobility.

図１は、本発明の実施の形態１における遠隔操縦システムの概略構成を俯瞰的に示す図である。FIG. 1 is a view showing a schematic configuration of a remote control system according to Embodiment 1 of the present invention. 図２は、本発明の実施の形態１における遠隔操縦装置の各構成部品を示す分解斜視図である。FIG. 2 is an exploded perspective view showing each component of the remote control device according to the first embodiment of the present invention. 図３は、本発明の実施の形態１における遠隔操縦システム及び遠隔操縦装置の構成を示すブロック図である。FIG. 3 is a block diagram showing a configuration of the remote control system and the remote control device according to the first embodiment of the present invention. 図４は、本発明の実施の形態１における遠隔操縦装置の動作を示すフロー図である。FIG. 4 is a flowchart showing the operation of the remote control device in the first embodiment of the present invention. 図５は、図４に示したステップＳ１０１を説明するための図である。FIG. 5 is a diagram for explaining step S101 shown in FIG. 図６は、図４に示したステップＳ１０７を説明するための図である。FIG. 6 is a diagram for explaining step S107 shown in FIG. 図７（ａ）は、引張力の算出処理を説明するための図であり、図７（ｂ）は、引張力の算出処理に用いられる座標軸を示す図である。FIG. 7A is a diagram for explaining a tensile force calculation process, and FIG. 7B is a diagram illustrating coordinate axes used for the tensile force calculation process. 図８は、提示力の再設定処理を説明するための図である。FIG. 8 is a diagram for explaining the presentation power resetting process. 図９は、本発明の実施の形態１における遠隔操縦装置の他の例を示す斜視図である。FIG. 9 is a perspective view showing another example of the remote control device in the first embodiment of the present invention. 図１０は、本発明の実施の形態２における遠隔操縦システムの概略構成を俯瞰的に示す図である。FIG. 10 is a diagram showing a schematic configuration of the remote control system according to the second embodiment of the present invention. 図１１は、本発明の実施の形態２における遠隔操縦装置の各構成部品を示す分解斜視図である。FIG. 11 is an exploded perspective view showing each component of the remote control device according to the second embodiment of the present invention. 図１２は、本発明の実施の形態２における遠隔操縦システム及び遠隔操縦装置の構成を示すブロック図である。FIG. 12 is a block diagram showing the configurations of the remote control system and the remote control device in the second embodiment of the present invention. 図１３は、本発明の実施の形態２における遠隔操縦装置の動作を示すフロー図である。FIG. 13 is a flowchart showing the operation of the remote control device in the second embodiment of the present invention. 図１４は、本発明の実施の形態３における遠隔操縦システムの概略構成を俯瞰的に示す図である。FIG. 14 is a diagram showing a schematic configuration of the remote control system according to the third embodiment of the present invention.

（実施の形態１）
以下、本発明の実施の形態１における、遠隔操縦装置、遠隔操縦システム、遠隔操縦方法、及びプログラムについて、図１〜図９を参照しながら説明する。 (Embodiment 1)
Hereinafter, a remote control device, a remote control system, a remote control method, and a program according to Embodiment 1 of the present invention will be described with reference to FIGS.

［システム構成、装置構成］
最初に、図１及び図２を用いて、本実施の形態１における遠隔操縦装置及び遠隔操縦システムの構成を説明する。図１は、本発明の実施の形態１における遠隔操縦システムの概略構成を俯瞰的に示す図である。図２は、本発明の実施の形態１における遠隔操縦装置の各構成部品を示す分解斜視図である。 [System configuration, device configuration]
First, the configuration of the remote control device and the remote control system in the first embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a view showing a schematic configuration of a remote control system according to Embodiment 1 of the present invention. FIG. 2 is an exploded perspective view showing each component of the remote control device according to the first embodiment of the present invention.

まず、図１を用いて、本実施の形態１における遠隔操縦システムの概略構成について説明する。図１に示すように、本実施の形態１における遠隔操縦システム１００は、移動装置６０と、それを遠隔から操縦するための遠隔操縦装置１０とを備えている。   First, the schematic configuration of the remote control system according to the first embodiment will be described with reference to FIG. As shown in FIG. 1, a remote control system 100 according to the first embodiment includes a moving device 60 and a remote control device 10 for operating the mobile device 60 from a remote location.

本実施の形態１では、移動装置６０は、作業用のロボットであり、複数の関節を有する作業用アーム６４と、その後方から、自身と前方の状況とを撮影するカメラ６１とを備えている。また、移動装置６０は、カメラ６１が出力する映像データを遠隔操縦装置１０へと送信する。   In the first embodiment, the moving device 60 is a working robot, and includes a working arm 64 having a plurality of joints, and a camera 61 that captures itself and the situation in front from the rear. . In addition, the moving device 60 transmits the video data output from the camera 61 to the remote control device 10.

遠隔操縦装置１０は、移動装置６０のコントローラとしての機能に加え、操縦者２００に対して力覚を提示する機能も有している。従って、操縦者２００は、遠隔操縦装置１０を用いることで、移動装置６０の状態を表す力覚を感じながら、移動装置６０を操縦することができる。   The remote control device 10 has a function of presenting a sense of force to the operator 200 in addition to the function of the mobile device 60 as a controller. Therefore, the pilot 200 can use the remote control device 10 to operate the mobile device 60 while feeling a sense of force representing the state of the mobile device 60.

具体的には、遠隔操縦装置１０は、操縦者２００に装着される装着部材１３を備えている。また、遠隔操縦装置１０は、移動装置６０に取り付けられたカメラ６１からの映像を表示画面２１上に表示させる。更に、遠隔操縦装置１０は、仮想空間内に、移動装置６０に対応するオブジェクト（以下「操縦用オブジェクト」と表記する。）１０１と、操縦者２００に装着される装着部材１３に相当するオブジェクト（以下「ユーザオブジェクト」と表記する。）１０２と、を作成する。   Specifically, the remote control device 10 includes a mounting member 13 that is mounted on the operator 200. In addition, the remote control device 10 displays an image from the camera 61 attached to the moving device 60 on the display screen 21. Furthermore, the remote control device 10 has an object (hereinafter, referred to as “control object”) 101 corresponding to the moving device 60 and an object corresponding to the mounting member 13 attached to the operator 200 in the virtual space ( (Hereinafter referred to as “user object”) 102.

そして、遠隔操縦装置１０は、操縦用オブジェクト１０１とユーザオブジェクト１０２とを、カメラ６１からの映像に重ね合わせる。図１において、７０は、実空間に存在する物体である。また、本実施の形態では、操縦用オブジェクト１０１はリング状に形成され、画面上の移動装置６０を囲むように配置されている。ユーザオブジェクト１０２は、球状に形成されている。なお、操縦用オブジェクト１０１及びユーザオブジェクト１０２の形状は特に限定されるものではない。   Then, the remote control device 10 superimposes the control object 101 and the user object 102 on the video from the camera 61. In FIG. 1, reference numeral 70 denotes an object existing in the real space. In the present embodiment, the steering object 101 is formed in a ring shape and is arranged so as to surround the moving device 60 on the screen. The user object 102 is formed in a spherical shape. The shapes of the steering object 101 and the user object 102 are not particularly limited.

また、遠隔操縦装置１０は、装着部材１３の位置を検出し、検出した位置に応じて、仮想空間内で、ユーザオブジェクト１０２を移動させる。このとき、ユーザオブジェクト１０２が、移動体オブジェクト１０１に接触等して外力を与えると、遠隔操縦装置１０は、この外力を算出し、算出した外力によって操縦用オブジェクト１０１に生じた変化を特定する。   In addition, the remote control device 10 detects the position of the mounting member 13 and moves the user object 102 in the virtual space according to the detected position. At this time, when the user object 102 applies an external force by contacting the moving object 101 or the like, the remote control device 10 calculates the external force and identifies a change that has occurred in the control object 101 due to the calculated external force.

そして、遠隔操縦装置１０は、操縦用オブジェクト１０１に生じた変化を特定すると、この変化と同様の変化が、移動装置６０に生じるように、移動装置６０に対して動作を指示する。例えば、ユーザオブジェクト１０２によって、操縦用オブジェクト１０１が前方に押し出された場合は、遠隔操縦装置１０は、移動装置６０を前進させる。また、ユーザオブジェクト１０２によって、操縦用オブジェクト１０１が右又は左へと回転させられた場合は、遠隔操縦装置１０は、移動装置６０を右又は左に旋回させる。加えて、遠隔操縦装置１０は、算出した外力に対する反力がユーザに伝達されるように、装着部材１３を介して、操縦者２００に力覚を提示する。   When the remote control device 10 identifies a change that has occurred in the control object 101, the remote control device 10 instructs the movement device 60 to perform a change similar to this change in the movement device 60. For example, when the steering object 101 is pushed forward by the user object 102, the remote control device 10 advances the moving device 60. When the steering object 101 is rotated right or left by the user object 102, the remote control device 10 turns the moving device 60 to the right or left. In addition, the remote control device 10 presents a force sense to the operator 200 via the mounting member 13 so that the reaction force against the calculated external force is transmitted to the user.

つまり、操縦者２００は、装着部材１３を装着し、これを装着した指によって、表示画面２１上の操縦用オブジェクト１０１を動かすだけで、移動装置６０を遠隔操縦することができる。また、このとき、操縦者２００には、操縦用オブジェクト１０１からの反力が力覚として提示されるため、操縦者２００は、移動装置６０がどちらに進もうとしているのかを感覚で知ることができる。従って、遠隔操縦装置１０によれば、ジョイスティック等の従来からの遠隔操縦装置を用いる場合に比べて、操作性の向上が図られることになる。なお、具体的な構成及び処理については、後述する。   That is, the operator 200 can remotely control the moving device 60 by simply mounting the mounting member 13 and moving the steering object 101 on the display screen 21 with a finger wearing the mounting member 13. At this time, since the reaction force from the steering object 101 is presented to the pilot 200 as a force sense, the pilot 200 can know to which direction the moving device 60 is going. it can. Therefore, according to the remote control device 10, the operability is improved as compared with the case where a conventional remote control device such as a joystick is used. The specific configuration and processing will be described later.

続いて、図２を用いて、遠隔操縦装置１０の内部構成について説明する。図２に示すように、遠隔操縦装置１０は、まず、装着部材１３と、表示部２０と、位置検出部３０と、情報処理部４０と、遠隔操縦部４１とを備えている。   Next, the internal configuration of the remote control device 10 will be described with reference to FIG. As shown in FIG. 2, the remote control device 10 first includes a mounting member 13, a display unit 20, a position detection unit 30, an information processing unit 40, and a remote control unit 41.

このうち、位置検出部３０は、操縦者２００（図１参照）に装着されている装着部材１３の位置を検出する。表示部２０は、液晶表示パネル、有機ＥＬパネルといった薄型の表示パネルであり、移動装置６０のカメラ６１（図１参照）からの映像を表示画面２１に表示する。   Among these, the position detection unit 30 detects the position of the mounting member 13 mounted on the operator 200 (see FIG. 1). The display unit 20 is a thin display panel such as a liquid crystal display panel or an organic EL panel, and displays an image from the camera 61 (see FIG. 1) of the moving device 60 on the display screen 21.

情報処理部４０は、仮想空間を構築し、構築した仮想空間内に、操縦用オブジェクト１０１（図１参照）と、ユーザオブジェクト１０２（図１参照）とを作成し、これらをカメラ６１からの映像に重ね合わせる。更に、情報処理部４０は、装着部材１３の位置に応じて、ユーザオブジェクト１０２を移動させる。そして、ユーザオブジェクト１０２が操縦用オブジェクト１０１に外力を与えた場合は、その外力を算出し、算出した外力によって移動用オブジェクト１０１に生じた変化を特定する。   The information processing unit 40 constructs a virtual space, creates a steering object 101 (see FIG. 1) and a user object 102 (see FIG. 1) in the constructed virtual space, and displays these images from the camera 61. To overlay. Furthermore, the information processing unit 40 moves the user object 102 according to the position of the mounting member 13. When the user object 102 applies an external force to the steering object 101, the external force is calculated, and a change that has occurred in the moving object 101 due to the calculated external force is specified.

遠隔操縦部４１は、情報処理部４０によって移動装置オブジェクトに生じた変化が特定されると、この特定された変化と同様の変化が、移動装置６０（図１参照）に生じるように、移動装置６０に対して動作を指示する。   When the information processing unit 40 identifies a change that has occurred in the mobile device object, the remote control unit 41 causes the mobile device 60 (see FIG. 1) to generate a change similar to the specified change. 60 is instructed to operate.

また、図２に示すように、遠隔操縦装置１０は、更に、伝達部材１２と、駆動部１１と、制御部１４も備えている。伝達部材１２は、遠隔操縦装置１０から装着部材１３へと伸びて、装着部材１３に引っ張り方向の力（以下、「引張力」と表記する。）を伝達する部材である。また、駆動部１１は、引張力を発生させ、それを伝達部材１２に与えている。   As shown in FIG. 2, the remote control device 10 further includes a transmission member 12, a drive unit 11, and a control unit 14. The transmission member 12 is a member that extends from the remote control device 10 to the mounting member 13 and transmits a force in the pulling direction (hereinafter referred to as “tensile force”) to the mounting member 13. The drive unit 11 generates a tensile force and applies it to the transmission member 12.

制御部１４は、駆動部１１に、予め、設定された大きさの引張力を初期力として発生させる。そして、制御部１４は、情報処理部４０によって特定された外力に対する反力が、力覚として、装着部材１３を介して操縦者２００に伝達されるように、駆動部１１における初期力を増加又は減少させる。つまり、遠隔操縦装置１０は、装着部材１３を装着している操縦者２００の指に、伝達部材１２を介して引っ張り方向の力を伝達することによって力覚を提示する。   The control unit 14 causes the drive unit 11 to generate a tensile force having a preset size as an initial force. And the control part 14 increases the initial force in the drive part 11, or the reaction force with respect to the external force specified by the information processing part 40 is transmitted to the operator 200 via the mounting member 13 as a force sense. Decrease. That is, the remote control device 10 presents a sense of force by transmitting a force in the pulling direction to the finger of the operator 200 wearing the mounting member 13 via the transmission member 12.

このように、遠隔操縦装置１０によれば、従来のような大掛かりな構成とすることなく、操縦者２００に力覚を提示することが可能となるため、製造コストの低減と機動性の向上とを図ることが可能となる。なお、本発明でいう「力覚」とは、操縦者が感じる、反発力、抵抗力、外力、感触、等を意味する。   As described above, according to the remote control device 10, it is possible to present a sense of force to the operator 200 without using a large-scale configuration as in the related art, thereby reducing manufacturing costs and improving maneuverability. Can be achieved. The “force sensation” in the present invention means a repulsive force, a resistance force, an external force, a touch, etc. felt by the operator.

ここで、本実施の形態１における遠隔操縦装置１０の構成について更に具体的に説明する。図２に示すように、遠隔操縦装置１０は、更に、操縦者側から順に、枠状に形成されたカバー５０と、表示部２０と、箱状の筐体５１とを備えている。加えて、遠隔操縦装置１０は、移動装置６０との間で無線での通信を行うための通信部４２も備えている。   Here, the configuration of the remote control device 10 according to the first embodiment will be described more specifically. As shown in FIG. 2, the remote control device 10 further includes a cover 50 formed in a frame shape, a display unit 20, and a box-shaped housing 51 in order from the operator side. In addition, the remote control device 10 also includes a communication unit 42 for performing wireless communication with the mobile device 60.

カバー５０は、表示部２０の表示画面２１が露出するように、筐体５１の開口部分に取り付けられる。上述した、駆動部１１、制御部１４、位置検出部３０、情報処理部４０、遠隔操縦部４１、及び通信部４２は、表示部２０の背面側となる筐体５１の内部に配置されている。また、図２に示すように、本実施の形態１では、３本の伝達部材１２が用いられており、これに対応して３つの駆動部１１が配置されている。   The cover 50 is attached to the opening portion of the housing 51 so that the display screen 21 of the display unit 20 is exposed. The drive unit 11, the control unit 14, the position detection unit 30, the information processing unit 40, the remote control unit 41, and the communication unit 42 described above are disposed inside the housing 51 that is the back side of the display unit 20. . As shown in FIG. 2, in the first embodiment, three transmission members 12 are used, and three drive units 11 are arranged corresponding to this.

本実施の形態１では、伝達部材１２それぞれは、遠隔操縦装置１０の背面側の異なる位置から、操縦者２００に装着される装着部材１３へと伸びる紐状の部材、例えば、ワイヤーである。また、各伝達部材１２の先端は、装着部材１３に固定されている。更に、装着部材１３は、本実施の形態１では、操縦者２００の指に装着可能なリング状に形成されている。   In the first embodiment, each of the transmission members 12 is a string-like member that extends from a different position on the back side of the remote control device 10 to the mounting member 13 that is mounted on the operator 200, for example, a wire. The tip of each transmission member 12 is fixed to the mounting member 13. Furthermore, the mounting member 13 is formed in a ring shape that can be mounted on the finger of the operator 200 in the first embodiment.

また、本実施の形態１では、各駆動部１１は、プーリ１５が軸に取り付けられたモータであり、対応する伝達部材１２をプーリ１５で巻き取ることによって、対応する伝達部材１２に、引っ張り方向の力を与えている。伝達部材１２の一端はプーリ１５に固定されている。   Moreover, in this Embodiment 1, each drive part 11 is a motor with which the pulley 15 was attached to the axis | shaft, and by winding up the corresponding transmission member 12 with the pulley 15, it pulls to a corresponding transmission member 12 in a pulling direction. Giving the power of. One end of the transmission member 12 is fixed to the pulley 15.

更に、筐体５１の底面には、伝達部材１２毎に、通し穴１６が設けられており、各伝達部材１２は、通し穴１６を経由して、遠隔操縦装置１０の背面側へと伸びる。なお、各通し穴１６の位置は、特に限定されないが、後述するように、力覚の提示範囲は各通し穴１６の位置によって決定される（図８の領域Ｘ参照）。よって、各通し穴１６の位置は、求められる提示範囲を考慮した上で決定される。   Furthermore, through holes 16 are provided on the bottom surface of the casing 51 for each transmission member 12, and each transmission member 12 extends to the back side of the remote control device 10 via the through hole 16. The position of each through hole 16 is not particularly limited, but as described later, the force sense presentation range is determined by the position of each through hole 16 (see region X in FIG. 8). Therefore, the position of each through hole 16 is determined in consideration of the required presentation range.

このように、本実施の形態１においては、３本の伝達部材１２によって、装着部材１３が引っ張られることによって、操縦者２００の指に力覚が提示される（図１参照）。つまり、各駆動部１１が伝達部材１３に与える引張力の合力によって、力覚が提示される。   As described above, in the first embodiment, the mounting member 13 is pulled by the three transmission members 12, and a force sense is presented to the finger of the operator 200 (see FIG. 1). That is, the sense of force is presented by the resultant force of the tensile force that each driving unit 11 applies to the transmission member 13.

また、本実施の形態１では、駆動部材１２による引張力の伝達方向は、プーリ１５及び通し穴１６の位置によって、自由に設定できる。更に、伝達部材１２の通し穴１６から装着部材１３までの距離は、プーリ１５での巻き取り量によって、自由に設定できる。従って、操縦者が指を動かすことのできる範囲を大きくできるので、広い範囲での３次元的な力覚の提示が可能となる。更に、伝達部材１２として、軽量な紐状の部材が用いられているので、操縦者は、指を動かす際に、機械的な抵抗などを感じ難いといえる。   In the first embodiment, the transmission direction of the tensile force by the driving member 12 can be freely set by the positions of the pulley 15 and the through hole 16. Furthermore, the distance from the through hole 16 of the transmission member 12 to the mounting member 13 can be freely set by the amount of winding by the pulley 15. Accordingly, since the range in which the operator can move the finger can be increased, three-dimensional force sense can be presented in a wide range. Furthermore, since a lightweight string-like member is used as the transmission member 12, it can be said that the operator hardly feels mechanical resistance or the like when moving the finger.

また、本実施の形態１では、位置検出部３０は、駆動部１１毎に、その軸に設けられたエンコーダである。このため、位置検出部３０は、装着部材１３の位置を検出するためのデータ（以下、「位置検出データ」と表記する。）として、モータの軸の回転数を特定するデータを、情報処理部４０に出力する。   In the first embodiment, the position detection unit 30 is an encoder provided on the shaft of each drive unit 11. For this reason, the position detection unit 30 uses, as the data for detecting the position of the mounting member 13 (hereinafter referred to as “position detection data”), data specifying the rotation speed of the motor shaft as information processing unit. Output to 40.

また、本実施の形態１では、制御部１４、情報処理部４０、及び遠隔操縦部４１は、それぞれ、マイコン等のコンピュータによって実現されている。また、それぞれは、別々のコンピュータによって実現されていても良いし、同一のコンピュータによって実現されていても良い。   Moreover, in this Embodiment 1, the control part 14, the information processing part 40, and the remote control part 41 are each implement | achieved by computers, such as a microcomputer. Moreover, each may be implement | achieved by the separate computer and may be implement | achieved by the same computer.

続いて、図３を用いて、遠隔操縦システム１００及び遠隔操縦装置１０でやり取りされるデータについて説明する。図３は、本発明の実施の形態１における遠隔操縦システム及び遠隔操縦装置の構成を示すブロック図である。なお、以下の説明では、適宜図１及び図２を参酌する。   Next, data exchanged between the remote control system 100 and the remote control device 10 will be described with reference to FIG. FIG. 3 is a block diagram showing a configuration of the remote control system and the remote control device according to the first embodiment of the present invention. In the following description, FIGS. 1 and 2 are referred to as appropriate.

図３に示すように、遠隔操縦装置１０は、駆動部１１と、伝達部材１２と、装着部材１３と、制御部１４と、表示部２０と、位置検出部３０と、情報処理部４０と、遠隔操縦部４１と、通信部４２とを備えている。このうち、表示部２０、遠隔操縦部４１、通信部４２及び制御部１４は、情報処理部４０に接続されている。また、制御部１４は、駆動部（モータ）１１に接続されている。   As shown in FIG. 3, the remote control device 10 includes a drive unit 11, a transmission member 12, a mounting member 13, a control unit 14, a display unit 20, a position detection unit 30, an information processing unit 40, A remote control unit 41 and a communication unit 42 are provided. Among these, the display unit 20, the remote control unit 41, the communication unit 42, and the control unit 14 are connected to the information processing unit 40. The control unit 14 is connected to a drive unit (motor) 11.

通信部４２は、移動装置６０から送信されてくる映像データを受信し、これを表示部２０に出力する。これにより、表示部２０の表示画面２１上には、移動装置６０のカメラ６１で撮影された映像、即ち、移動装置６０の前面の映像が表示される（図１参照）。   The communication unit 42 receives the video data transmitted from the mobile device 60 and outputs it to the display unit 20. Thereby, on the display screen 21 of the display part 20, the image | video image | photographed with the camera 61 of the moving apparatus 60, ie, the image | video of the front surface of the moving apparatus 60, is displayed (refer FIG. 1).

操縦者２００（図１参照）が、装着部材１３を装着した指を動かすと、各位置検出部３０が、位置検出データを情報処理部４０に出力する。情報処理部４０は、位置検出データが出力されてくると、まず、予め登録されている、伝達部材１２の全長、プーリ１５の直径、プーリ１５から通し穴１６までの距離等に基づいて、各伝達部材１２の通し穴１６から装着部材１３までの長さを算出する。次に、情報処理部４０は、後述するように、算出された各伝達部材１２の長さに基づいて、装着部材１３の位置、即ち、予め設定された原点（以下「操作原点」と表記する。）を基準とした座標を算出する。   When the operator 200 (see FIG. 1) moves the finger wearing the mounting member 13, each position detection unit 30 outputs position detection data to the information processing unit 40. When the position detection data is output, the information processing unit 40 first registers each of the transmission members 12 based on the total length of the transmission member 12, the diameter of the pulley 15, the distance from the pulley 15 to the through hole 16, and the like. The length from the through hole 16 of the transmission member 12 to the mounting member 13 is calculated. Next, as will be described later, the information processing unit 40 describes the position of the mounting member 13 based on the calculated length of each transmission member 12, that is, a preset origin (hereinafter referred to as “operation origin”). )) As a reference.

また、情報処理部４０は、メモリ空間に仮想空間を構築すると共に、仮想空間内に、操縦用オブジェクト１０１とユーザオブジェクト１０２とを作成する。図１に示したように、操縦用オブジェクト１０１はリング状に形成されている。また、本実施の形態１では、この操縦用オブジェクト１０１及びユーザオブジェクト１０２それぞれには、仮想の質量に加え、表面における仮想の摩擦係数も設定される。よって、操縦者２００は、ユーザオブジェクト１０２を操縦用オブジェクト１０１に接触させることによって、操縦用オブジェクト１０１を動かすことができ、これを操作することができる。   In addition, the information processing unit 40 constructs a virtual space in the memory space, and creates a steering object 101 and a user object 102 in the virtual space. As shown in FIG. 1, the steering object 101 is formed in a ring shape. In the first embodiment, in addition to the virtual mass, a virtual friction coefficient on the surface is set for each of the steering object 101 and the user object 102. Accordingly, the pilot 200 can move the steering object 101 by operating the user object 102 by bringing the user object 102 into contact with the steering object 101.

また、情報処理部４０は、装着部材１３の位置に応じて、ユーザオブジェクト１０２を仮想空間に配置するため、仮想空間内に、上述の操作原点に対応する点（以下「対応原点」と表記する。）を設定している。従って、情報処理部４０は、装着部材１３の座標を算出すると、これを、設定した対応原点に適用して、ユーザオブジェクト１０２の位置（座標）を算出し、算出した位置に、ユーザオブジェクト１０２を配置する。   Further, since the information processing unit 40 arranges the user object 102 in the virtual space according to the position of the mounting member 13, a point corresponding to the operation origin described above (hereinafter referred to as “corresponding origin”) in the virtual space. .) Is set. Accordingly, when the information processing unit 40 calculates the coordinates of the mounting member 13, it applies this to the set corresponding origin, calculates the position (coordinates) of the user object 102, and places the user object 102 at the calculated position. Deploy.

更に、情報処理部４０は、カメラの映像と重ね合わされたときに、移動装置６０が、リング状の操縦用オブジェクト１０１に囲まれるように（図１参照）、操縦用オブジェクト１０１を、仮想空間に配置する。   Further, the information processing unit 40 places the maneuvering object 101 in the virtual space so that the moving device 60 is surrounded by the ring-shaped maneuvering object 101 when superimposed on the video of the camera (see FIG. 1). Deploy.

また、情報処理部４０は、操縦用オブジェクト１０１とユーザオブジェクト１０２とを、カメラ６１の映像に重ね合わせるため、仮想空間の内部を、予め設定された投影面に投影して、各オブジェクトを表示するための表示データを作成し、これを表示部２０に出力する。   The information processing unit 40 displays each object by projecting the inside of the virtual space onto a preset projection plane in order to superimpose the steering object 101 and the user object 102 on the video of the camera 61. Display data is generated and output to the display unit 20.

更に、情報処理部４０は、操縦用オブジェクト１０１の位置と、ユーザオブジェクト１０２の位置とを比較し、両者が接触しているかどうかを判定する。そして、判定の結果、接触している場合は、情報処理部４０は、ユーザオブジェクト１０２の現在の位置とそれ以前に算出した位置とから、ユーザオブジェクト１０２の動きを特定し、特定した動きから、操縦用オブジェクト１０１に加えられた外力を算出する。   Further, the information processing unit 40 compares the position of the steering object 101 with the position of the user object 102 and determines whether or not they are in contact with each other. And as a result of determination, when it is in contact, the information processing unit 40 identifies the movement of the user object 102 from the current position of the user object 102 and the position calculated before that, and from the identified movement, The external force applied to the steering object 101 is calculated.

また、本実施の形態１では、操縦用オブジェクト１０１に対しては、予め、基準となる位置（初期位置）と向き（初期状態）とが設定されているのが良い。この場合、情報処理部４０は、ユーザオブジェクト１０２によって、操縦用オブジェクト１０１の位置及び向きの一方又は両方が大きく変化する程、外力の値を大きく算出する。なお、操縦用オブジェクト１０１とユーザオブジェクト１０２との接触が解除された場合は、情報処理部４０は、操縦用オブジェクト１０１の位置と向きとを初期位置及び初期状態とする。   In the first embodiment, it is preferable that a reference position (initial position) and orientation (initial state) are set in advance for the steering object 101. In this case, the information processing unit 40 calculates the value of the external force as the user object 102 greatly changes one or both of the position and orientation of the steering object 101. Note that when the contact between the steering object 101 and the user object 102 is released, the information processing unit 40 sets the position and orientation of the steering object 101 to the initial position and the initial state.

例えば、情報処理部４０が、ユーザオブジェクト１０２が操縦用オブジェクト１０１に接触していると判定し、その動きが、操縦用オブジェクト１０１を右又は左に回転させる動きであると特定したとする。この場合、情報処理部４０は、回転角度が大きい程、値が大きくなるように外力を算出する。   For example, it is assumed that the information processing unit 40 determines that the user object 102 is in contact with the steering object 101 and specifies that the movement is a movement that rotates the steering object 101 right or left. In this case, the information processing unit 40 calculates the external force so that the value increases as the rotation angle increases.

また、情報処理部４０は、算出した外力によって操縦用オブジェクト１０１に生じる変化を特定し、操縦用オブジェクト１０１において、特定した変化を反映させる。具体的には、情報処理部４０は、変化として、外力によって動いた操縦用オブジェクト１０１の移動方向と、この移動方向への加速度とを特定する。そして、情報処理部４０は、操縦用オブジェクト１０１を、特定した移動方向に、特定した加速度で動かして、変化を反映させる。また、情報処理部４０は、反映後の操縦用オブジェクト１０１を表示する表示データを作成し、これを表示部２０に出力する。   In addition, the information processing unit 40 identifies a change that occurs in the steering object 101 by the calculated external force, and reflects the specified change in the steering object 101. Specifically, the information processing unit 40 specifies the movement direction of the steering object 101 moved by an external force and the acceleration in the movement direction as changes. Then, the information processing unit 40 moves the steering object 101 in the specified movement direction with the specified acceleration to reflect the change. Further, the information processing unit 40 creates display data for displaying the control object 101 after reflection, and outputs the display data to the display unit 20.

例えば、上述したように、ユーザオブジェクト１０２の動きが、操縦用オブジェクト１０１を右又は左に回転させる動きであるとする。この場合、情報処理部４０は、仮想空間内で操縦用オブジェクト１０１を回転させ、更に、回転後の操縦用オブジェクト１０１を表示するための表示データを表示部２０に出力する。   For example, as described above, it is assumed that the movement of the user object 102 is a movement that rotates the steering object 101 to the right or left. In this case, the information processing unit 40 rotates the steering object 101 in the virtual space, and further outputs display data for displaying the rotated steering object 101 to the display unit 20.

加えて、情報処理部４０は、特定した変化が移動装置６０においても反映されるようにするため、特定した変化を通知するための操縦用データを作成し、これを遠隔操縦部４１に出力する。具体的には、情報処理部４０は、移動装置６０を、特定した移動方向に、特定した加速度で移動させるため、そのことを指示する操縦用データを作成する。   In addition, the information processing unit 40 creates steering data for notifying the specified change and outputs this to the remote control unit 41 so that the specified change is reflected also in the mobile device 60. . Specifically, in order to move the moving device 60 in the specified moving direction at the specified acceleration, the information processing unit 40 creates steering data that instructs that.

続いて、情報処理部４０は、算出された外力に対する反力を求め、求めた反力を特定するデータを制御部１４に出力する。この反力が、操縦者２００に提示すべき力覚に相当することから、反力を以下において「提示力」と表記し、提示力を特定するデータを「提示力データ」と表記する。   Subsequently, the information processing unit 40 obtains a reaction force against the calculated external force and outputs data specifying the obtained reaction force to the control unit 14. Since this reaction force corresponds to a force sense to be presented to the operator 200, the reaction force is hereinafter referred to as “presentation force”, and data specifying the presentation force is referred to as “presentation force data”.

遠隔操縦部４１は、情報処理部４０から操縦用データが出力されてくると、操縦用データが通知する内容に応じて、移動装置６０に実行させる命令を作成する。例えば、上述のように、右又は左への回転が通知されている場合は、遠隔操縦部４１は、移動装置６０を右又は左へと旋回させるための命令を作成する。   When the control data is output from the information processing unit 40, the remote control unit 41 creates a command to be executed by the mobile device 60 according to the content notified by the control data. For example, as described above, when the rotation to the right or left is notified, the remote control unit 41 creates a command for turning the moving device 60 to the right or left.

通信部４２は、遠隔操縦部４１が作成した命令を、無線通信によって移動装置６０に送信する。また、通信部４２としては、例えば、既存の無線通信用の通信デバイスを用いることができる。本実施の形態１において利用可能な通信規格としては、例えば、無線ＬＡＮ（Local Area Network）で規格されている通信規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）で規格されている通信規格等が挙げられる。   The communication unit 42 transmits the command created by the remote control unit 41 to the mobile device 60 by wireless communication. For example, an existing wireless communication device can be used as the communication unit 42. Examples of communication standards that can be used in the first embodiment include a communication standard that is standardized by a wireless local area network (LAN), a communication standard that is standardized by Bluetooth (registered trademark), and the like.

制御部１４は、情報処理部４０から提示データが出力されてくると、提示データによって特定される反力が、力覚として、操縦者２００に伝達されるように、駆動部１１における初期力を増加又は減少させる。   When the presentation data is output from the information processing unit 40, the control unit 14 uses the initial force in the drive unit 11 so that the reaction force specified by the presentation data is transmitted to the operator 200 as a force sense. Increase or decrease.

具体的には、制御部１４は、力覚を伝達するため、各駆動部１１が出力すべき引張力を算出する。そして、制御部１４は、各駆動部１１に目的の引張力を発揮させる制御データ、例えば、駆動部１１として機能するモータを駆動するためのパルス信号を、電源回路（図示せず）を用いて生成し、これを制御データとして各駆動部１１に出力する。これにより、各駆動部（モータ）１１は、計算された引張力で伝達部材１２を引っ張り、操縦者２００の指先には、目的の力覚が提示される。   Specifically, the control unit 14 calculates the tensile force that each driving unit 11 should output in order to transmit a force sense. And the control part 14 uses the power supply circuit (not shown) for the control data which makes each drive part 11 exhibit the target tensile force, for example, the pulse signal for driving the motor which functions as the drive part 11 It produces | generates and outputs this to each drive part 11 as control data. Thereby, each drive part (motor) 11 pulls the transmission member 12 with the calculated tensile force, and the target force sense is presented to the fingertip of the operator 200.

図３に示すように、本実施の形態１では、移動装置６０は、図１に示したカメラ６１に加えて、動力部６２と、通信部６３を備えている。このうち、通信部６３は、カメラ６１の映像データを、遠隔制御装置１０へと送信すると共に、遠隔制御装置１０から送信されてきた命令を受信し、これを動力部６２に出力する。通信部６３としても、上述した通信部４２と同様に、既存の無線通信用の通信デバイスを用いることができ、更に、上述した通信規格が用いられる。   As illustrated in FIG. 3, in the first embodiment, the moving device 60 includes a power unit 62 and a communication unit 63 in addition to the camera 61 illustrated in FIG. 1. Among these, the communication unit 63 transmits the video data of the camera 61 to the remote control device 10, receives a command transmitted from the remote control device 10, and outputs it to the power unit 62. Similarly to the communication unit 42 described above, an existing communication device for wireless communication can be used as the communication unit 63, and further, the communication standard described above is used.

動力部６２は、例えば、動力源と、その制御ユニットとで構成される。また、動力源としては、車輪又はクローラを駆動するための電動機が挙げられる。なお、本実施の形態１において、動力部６２の構成は上述の例に限定されず、移動装置の態様に応じて決定される。   The power unit 62 includes, for example, a power source and its control unit. Moreover, the electric motor for driving a wheel or a crawler is mentioned as a motive power source. In the first embodiment, the configuration of the power unit 62 is not limited to the above example, and is determined according to the mode of the moving device.

［装置動作］
次に、本発明の実施の形態１における遠隔操縦装置１０の動作について図４を用いて説明する。図４は、本発明の実施の形態１における遠隔操縦装置の動作を示すフロー図である。なお、以下の説明においては、適宜図１〜図３を参酌する。 [Device operation]
Next, the operation of the remote control device 10 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 4 is a flowchart showing the operation of the remote control device in the first embodiment of the present invention. In the following description, FIGS. 1 to 3 are referred to as appropriate.

まず、前提として、移動装置６０から、カメラ６１で撮影された映像の映像データが遠隔操縦装置１０へと送信されており、遠隔操縦装置１０の表示画面２１には、カメラ６１で撮影された映像が表示されているとする。また、遠隔操縦装置１０において、情報処理部４０は、操縦オブジェクト１０１とユーザオブジェクト１０２とを構築し、これらを仮想空間内に配置すると共に、表示画面２１に、これらの映像も重ねて表示させているとする。   First, as a premise, video data of a video shot by the camera 61 is transmitted from the mobile device 60 to the remote control device 10, and a video shot by the camera 61 is displayed on the display screen 21 of the remote control device 10. Is displayed. In the remote control device 10, the information processing unit 40 constructs the control object 101 and the user object 102, arranges them in the virtual space, and displays these images on the display screen 21 in a superimposed manner. Suppose that

最初に、操縦者２００が、遠隔操縦装置１０の背面の空間において、移動装置６０を操縦するため、装着部材１３が装着された指を動かすと、これにより、図３に示したように、位置検出部３０それぞれは、位置検出データを、情報処理部４０に出力する。   First, when the operator 200 moves the finger on which the mounting member 13 is mounted in order to control the moving device 60 in the space behind the remote control device 10, this causes the position as shown in FIG. 3. Each of the detection units 30 outputs position detection data to the information processing unit 40.

次に、図４に示すように、情報処理部４０は、出力されてきた位置検出データに基づいて、各伝達部材１２の通し穴１６から装着部材１３までの長さを算出し、更に、算出された各伝達部材１２の長さに基づいて、装着部材１３の位置（座標）を算出する（Ｓ１０１）。   Next, as shown in FIG. 4, the information processing unit 40 calculates the length from the through hole 16 of each transmission member 12 to the mounting member 13 based on the output position detection data, and further calculates The position (coordinates) of the mounting member 13 is calculated based on the lengths of the transmission members 12 (S101).

また、ステップＳ１０１では、情報処理部４０は、装着部材１３の位置と仮想空間に設定された対応原点とから、ユーザオブジェクト１０２の仮想空間での位置（座標）を算出し、算出した位置に、ユーザオブジェクト１０２を配置する。   In step S101, the information processing unit 40 calculates the position (coordinates) of the user object 102 in the virtual space from the position of the mounting member 13 and the corresponding origin set in the virtual space, and at the calculated position, A user object 102 is arranged.

次に、情報処理部４０は、操縦用オブジェクト１０１の位置と、ステップＳ１０１で算出したユーザオブジェクト１０２の位置とを比較し、両者が接触しているかどうかを判定する（ステップＳ１０２）。   Next, the information processing unit 40 compares the position of the steering object 101 with the position of the user object 102 calculated in step S101, and determines whether or not they are in contact (step S102).

ステップＳ１０２の判定の結果、両者が接触していない場合は、情報処理部４０は、次に装着部材１３の位置が変わるまで待機状態となり、装着部材１３の位置が変わると、再度ステップＳ１０１を実行する。   If the result of determination in step S102 is that they are not in contact with each other, the information processing unit 40 is in a standby state until the position of the mounting member 13 changes, and when the position of the mounting member 13 changes, executes step S101 again. To do.

一方、ステップＳ１０２の判定の結果、両者が接触している場合は、情報処理部４０は、ユーザオブジェクト１０２の現在の位置とそれ以前に算出した位置とから、ユーザオブジェクト１０２の動きを特定する。更に、情報処理部４０は、特定した動きから、操縦用オブジェクト１０１に加えられた外力を算出すると共に、この外力によって操縦用オブジェクト１０１に生じる変化を特定する（ステップＳ１０３）。   On the other hand, if both are in contact as a result of the determination in step S102, the information processing unit 40 identifies the movement of the user object 102 from the current position of the user object 102 and the position calculated before that. Further, the information processing unit 40 calculates an external force applied to the steering object 101 from the specified movement, and specifies a change that occurs in the steering object 101 due to the external force (step S103).

次に、情報処理部４０は、ステップＳ１０３で算出された外力に対する反力を求め、求めた反力を特定する提示力データを作成する（ステップＳ１０４）。また、ステップＳ１０４では、情報処理部４０は、提示力データを制御部１４に出力する。   Next, the information processing unit 40 obtains a reaction force against the external force calculated in step S103, and creates presentation force data for specifying the obtained reaction force (step S104). In step S <b> 104, the information processing unit 40 outputs presentation force data to the control unit 14.

次に、情報処理部４０は、操縦用オブジェクト１０１において、特定した変化を反映させ、更に、反映後の操縦用オブジェクト１０１を表示する表示データを作成し、これを表示部２０に出力する（ステップＳ１０５）。   Next, the information processing unit 40 reflects the specified change in the steering object 101, further creates display data for displaying the reflected steering object 101, and outputs the display data to the display unit 20 (step). S105).

次に、情報処理部４０は、ステップＳ１０３で特定した変化を通知する操縦用データを作成し、これを遠隔操縦部４１に出力する。これにより、遠隔操縦部４１は、操縦用データが通知する内容に応じて、移動装置６０に実行させる命令を作成し、通信部４２に、作成した命令を送信させる（ステップＳ１０６）。そして、ステップＳ１０６が実行されると、移動装置６０は、受信した命令に応じた動作を実行する。   Next, the information processing unit 40 creates steering data for notifying the change specified in step S <b> 103, and outputs this to the remote control unit 41. Thereby, the remote control unit 41 creates a command to be executed by the mobile device 60 according to the content notified by the steering data, and causes the communication unit 42 to transmit the created command (step S106). When step S106 is executed, the mobile device 60 executes an operation according to the received command.

次に、制御部１４は、ステップＳ１０４で作成された提示力データを受け取ると、提示力データで特定される提示力を提示する上で各駆動部１１が出力すべき引張力を算出する（ステップＳ１０７）。また、ステップＳ１０７では、制御部１４は、更に、各駆動部１１によって、算出された引張力が発生するように制御データを生成し、これを各駆動部１１に出力する。   Next, when receiving the presentation force data created in step S104, the control unit 14 calculates the tensile force that each driving unit 11 should output when presenting the presentation force specified by the presentation force data (step). S107). Further, in step S <b> 107, the control unit 14 further generates control data so that the calculated tensile force is generated by each drive unit 11, and outputs this to each drive unit 11.

ステップＳ１０７が実行されると、遠隔操縦装置１０において、各駆動部１１を構成するモータは、出力されてきた制御データに応じて回転して伝達部材１２を引っ張り、操縦者２００の指先に、装着部材１３を介して力覚を提示する（ステップＳ１０８）。   When step S <b> 107 is executed, in the remote control device 10, the motors constituting each drive unit 11 rotate according to the output control data and pull the transmission member 12, and are attached to the fingertip of the operator 200. A sense of force is presented through the member 13 (step S108).

そして、ステップＳ１０１〜Ｓ１０８は、繰り返し実行されるので、操縦者２００は、ある位置から別の位置まで指を動かして、操縦用オブジェクト１０１を操作すると、その間、連続して、反力に応じた力覚の提示を受けることができる。   Since steps S101 to S108 are repeatedly executed, the operator 200 moves the finger from one position to another position and operates the maneuvering object 101, and continuously responds to the reaction force. You can receive a sense of force.

また、本実施の形態１では、上述したように、ステップＳ１０３において、情報処理部４０は、操縦用オブジェクト１０１の位置及び向きの一方又は両方が大きく変化する程、外力の値を大きく算出することができる。この場合、操縦者２００は、現在行っている操作を力覚によって認識することができるので、操作性がいっそう向上することになる。   In the first embodiment, as described above, in step S103, the information processing unit 40 calculates the value of the external force to be larger as one or both of the position and orientation of the steering object 101 change greatly. Can do. In this case, since the operator 200 can recognize the currently performed operation by a force sense, the operability is further improved.

ここで、図４に示したステップＳ１０１及びステップＳ１０７それぞれについて、図５〜図８を用いて更に詳細に説明する。   Here, each of step S101 and step S107 shown in FIG. 4 will be described in more detail with reference to FIGS.

［ステップＳ１０１］
まず、図５を用いて、図４に示したステップＳ１０１における装着部材の位置の算出処理について説明する。図５は、図４に示したステップＳ１０１を説明するための図である。ステップＳ１０１の算出処理では、上述したように、遠隔操縦装置１０の背面側において、伝達部材１２の先端が接続されている装着部材１３の位置が、伝達部材１２の長さによって特定される。伝達部材１２の長さは、位置検出部３０によって特定される。 [Step S101]
First, the calculation process of the position of the mounting member in step S101 shown in FIG. 4 will be described with reference to FIG. FIG. 5 is a diagram for explaining step S101 shown in FIG. In the calculation process of step S <b> 101, as described above, the position of the mounting member 13 to which the distal end of the transmission member 12 is connected is specified by the length of the transmission member 12 on the back side of the remote control device 10. The length of the transmission member 12 is specified by the position detection unit 30.

具体的には、図５に示すように、各伝達部材１２の通し穴１６から装着部材１３までの長さを、それぞれ、ｌ１、ｌ２、ｌ３とし、表示画面の水平方向において隣り合う通し穴間の間隔をｗとし、表示画面の垂直方向において隣り合う通し穴間の間隔をｈとする。この場合、情報処理部４０は、ｌ１、ｌ２、ｌ３、ｗ、及びｈを用いて、装着部材１３の座標（ｘ、ｙ、ｚ）を幾何的に算出する。 Specifically, as shown in FIG. 5, the lengths from the through hole 16 to the mounting member 13 of each transmission member 12 are respectively l 1 , l 2 , and l 3 and are adjacent in the horizontal direction of the display screen. The interval between through holes is set to w, and the interval between adjacent through holes in the vertical direction of the display screen is set to h. In this case, the information processing unit 40 geometrically calculates the coordinates (x, y, z) of the mounting member 13 using l 1 , l 2 , l 3 , w, and h.

［ステップＳ１０７］
次に、図６及び図７を用いて、図４に示したステップＳ１０７における引張力の算出処理及び制御データの生成処理について説明する。 [Step S107]
Next, the tensile force calculation process and the control data generation process in step S107 shown in FIG. 4 will be described with reference to FIGS.

図６は、図４に示したステップＳ１０７を説明するための図である。図６に示すように、目的の提示力Ｆを提示するために必要となる各伝達部材１２の引張力を、それぞれ、τ１、τ２、τ３とすると、提示力Ｆは、基本的には、引張力τ１、τ２、及びτ３の合力に相当する。 FIG. 6 is a diagram for explaining step S107 shown in FIG. As shown in FIG. 6, when the tensile force of each transmission member 12 required to present the desired presentation force F is τ 1 , τ 2 , and τ 3 , respectively, the presentation force F is basically Corresponds to the resultant force of the tensile forces τ 1 , τ 2 , and τ 3 .

そして、提示力Ｆが、外部から遠隔操縦装置１０に向かう方向の力である場合には、提示力Ｆの方向は、引張力τ１〜τ３の合力の方向と一致する。しかし、図６に示すように、提示力Ｆが遠隔操縦装置１０から離れる方向の力である場合には、伝達部材１２は、紐状の部材であり、遠隔操縦装置１０側へと引っ張る方向の力しか伝達できないため、力覚の提示ができなくなる可能性がある。 When the presentation force F is a force in a direction toward the remote control device 10 from the outside, the direction of the presentation force F matches the direction of the resultant force of the tensile forces τ 1 to τ 3 . However, as shown in FIG. 6, when the presentation force F is a force in a direction away from the remote control device 10, the transmission member 12 is a string-like member and is pulled in the direction of being pulled toward the remote control device 10. Since only force can be transmitted, there is a possibility that force sense cannot be presented.

そのため、本実施の形態１では、制御部１４は、上述したように、力覚を提示しない場合において、予め、操縦者２００の指（装着部材１３）に一定の力を常に初期力Ｆ０として提示する。そして、制御部１４は、提示力Ｆが、遠隔操縦装置１０から離れる方向の力である場合は、初期力Ｆ０を緩めることにより、遠隔操縦装置１０から離れる方向への力覚を提示している。 Therefore, in the first embodiment, as described above, the control unit 14 always uses a constant force as the initial force F 0 in advance on the finger (the mounting member 13) of the pilot 200 when the force sense is not presented. Present. Then, the control unit 14, the presentation force F, when the direction of the force away from the remote control device 10, by loosening the initial force F 0, presents a force sense in a direction away from the remote control apparatus 10 Yes.

一般に、ヒトの触感覚には、その時間特性として、順応と呼ばれる現象がある。順応は、ヒトに一定の刺激を提示し続けると、刺激に対する感度が低下する現象である。つまり、ヒトの皮膚は、圧力に対してきわめて順応しやすく、指輪及び腕時計を装着した場合、その装着感は失われやすい。   In general, human tactile sensation has a phenomenon called adaptation as its time characteristic. Adaptation is a phenomenon in which sensitivity to a stimulus decreases when a constant stimulus continues to be presented to a human. That is, human skin is very adaptable to pressure, and when a ring and a wristwatch are worn, the feeling of wearing is easily lost.

また、重力に対しても同様であり、ヒトは、普段、その力を意識することはない。例えば、電車に乗っている際の加速時又は減速時において、ヒトには、その慣性力と重力との合力が力として加わっているが、電車に乗っているヒトは、合力を感じず、移動方向への慣性力のみを感じる。   The same is true for gravity, and humans are not usually aware of their power. For example, when accelerating or decelerating while riding a train, the human being is applied with the resultant force of inertia and gravity as a force, but the human being on the train does not feel the resultant force and moves Feel only the inertial force in the direction.

このように、本実施の形態１では、ヒトの順応性が利用され、初期力Ｆ０を増加又は減少させることによって、遠隔操縦装置１０に向かう方向の力覚と離れる方向の力覚との提示が可能となっている。 As described above, in the first embodiment, human adaptability is used, and the initial force F 0 is increased or decreased to present the sense of force toward the remote control device 10 and the sense of force away from the remote control device 10. Is possible.

続いて、図７を用いて、伝達部材１２に与える引張力τ１〜τ３の算出処理について具体的に説明する。図７（ａ）は、引張力の算出処理を説明するための図であり、図７（ｂ）は、引張力の算出処理に用いられる座標軸を示す図である。 Subsequently, a calculation process of the tensile forces τ 1 to τ 3 applied to the transmission member 12 will be specifically described with reference to FIG. FIG. 7A is a diagram for explaining a tensile force calculation process, and FIG. 7B is a diagram illustrating coordinate axes used for the tensile force calculation process.

図７（ａ）及び図７（ｂ）において、引張力τ１〜τ３は、初期力Ｆ０を発生させるために必要となる引張力を除いた引張力であり、初期力Ｆ０に対して加算又は減算させる引張力である。また、図７（ａ）及び図７（ｂ）において、座標軸の原点は、各伝達部材１２の先端の位置とする。更に、ｘ軸は表示画面の水平方向に平行な軸、ｙ軸は表示画面の垂直方向に平行な軸、ｚ軸は表示画面の法線に平行な軸とする。図７（ｂ）において、単位ベクトルｒの座標を、（ｒ，ψｉ，θｉ）とする。この場合、引張力τ１〜τ３は、目的の提示力を発揮するためには、下記の数１の関係を満たす必要がある。 7A and 7B, the tensile forces τ 1 to τ 3 are tensile forces excluding the tensile force necessary to generate the initial force F 0, and are equal to the initial force F 0. This is the tensile force that is added or subtracted. In FIG. 7A and FIG. 7B, the origin of the coordinate axes is the position of the tip of each transmission member 12. Furthermore, the x axis is an axis parallel to the horizontal direction of the display screen, the y axis is an axis parallel to the vertical direction of the display screen, and the z axis is an axis parallel to the normal line of the display screen. In FIG. 7B, the coordinates of the unit vector r are (r, ψ i , θ i ). In this case, the tensile forces τ 1 to τ 3 need to satisfy the relationship of the following formula 1 in order to exhibit the desired presentation force.

Figure 2015157323
Figure 2015157323

また、上記数１において、伝達部材１２の引張力τ１〜τ３はスカラー量であり、引張力τ１〜τ３の方向ベクトルΦｉは、数２によって表わされる。 In the above formula 1, the tensile forces τ 1 to τ 3 of the transmission member 12 are scalar quantities, and the direction vector Φ i of the tensile forces τ 1 to τ 3 is expressed by the formula 2.

Figure 2015157323
Figure 2015157323

制御部１４は、上記数１及び数２を用いることで、引張力τ１〜τ３を算出することができる。また、上記数１に示すように、目的の提示力Ｆは、各伝達部材１２の引張力から初期力Ｆ０を減算することによって得られている。このため、提示力Ｆが、遠隔操縦装置１０から離れる方向（−ｚ方向）の、初期力Ｆ０を超える力でない限りは、遠隔操縦装置１０から離れる方向（−ｚ方向）においても力覚の提示が可能となる。 The control unit 14 can calculate the tensile forces τ 1 to τ 3 by using the above formulas 1 and 2. Further, as shown in Equation 1, the target presentation force F is obtained by subtracting the initial force F 0 from the tensile force of each transmission member 12. For this reason, unless the presentation force F is a force that exceeds the initial force F 0 in the direction away from the remote control device 10 (−z direction), the force sense is also applied in the direction away from the remote control device 10 (−z direction). Presentation is possible.

なお、各伝達部材１２の引張力の条件として、引張力τ１、τ２、τ３は、引っ張る方向にしか力を提示できないため、これらは必ず正の値をとる。また、各引張力の最低値をτｍｉｎとした場合は、下記の数３が成立する。 Note that the tensile forces τ 1 , τ 2 , and τ 3 as the conditions of the tensile force of each transmission member 12 can only present a force in the pulling direction, and therefore always take positive values. Further, when the minimum value of each tensile force is τ min , the following formula 3 is established.

Figure 2015157323
Figure 2015157323

ところで、伝達部材１２は、引っ張り方向の力しか伝達できないため、引張力τ１、τ２、τ３の合力によって、提示すべき力覚を提示できない状況が発生することがある（図８参照）。具体的には、装着部材１３が、表示画面の法線に平行な方向（ｚ軸方向）において、隣接する通し穴１６を直線で結んで得られる領域（図８の領域Ｘ参照）と重ならない位置にある場合は、上記数１では、目的の提示力Ｆを算出できなくなる可能性がある。このような場合、本実施の形態１では、制御部１４は、提示すべき力覚（提示力Ｆ）を設定し直し、設定し直した提示力Ｆｒが提示されるように、初期力Ｆ０を増加又は減少させる。以下に、上記再設定処理について具体的に説明する。 By the way, since the transmission member 12 can transmit only the force in the pulling direction, there may occur a situation where the force sense to be presented cannot be presented due to the resultant force of the tensile forces τ 1 , τ 2 , τ 3 (see FIG. 8). . Specifically, the mounting member 13 does not overlap with a region (see region X in FIG. 8) obtained by connecting adjacent through holes 16 with a straight line in a direction parallel to the normal line of the display screen (z-axis direction). If it is in the position, there is a possibility that the target presentation force F cannot be calculated in the above equation (1). In such a case, in the first embodiment, the control unit 14 resets the force sense (presentation force F) to be presented and the initial force F 0 so that the reset presentation force Fr is presented. Increase or decrease. The resetting process will be specifically described below.

図８は、提示力の再設定処理を説明するための図である。図８に示すように、例えば、装着部材１３の位置（ｘ、ｙ、ｚ）が、隣接する通し穴１６を直線で結んで得られる領域Ｘとｚ軸方向において重ならない位置にある場合を想定する。   FIG. 8 is a diagram for explaining the presentation power resetting process. As shown in FIG. 8, for example, it is assumed that the position (x, y, z) of the mounting member 13 is in a position that does not overlap in the z-axis direction with a region X obtained by connecting adjacent through holes 16 with a straight line. To do.

図８に示す場合において、提示力Ｆのｘ軸方向の成分が正でない限り、各伝達部材１２の張力をどのように設定しても、上記数１及び数２によって提示力Ｆを算出することは不可能である。一方、このような状況であっても、操縦者は、指を領域Ｘとｚ軸方向において重なる位置に移動させることはできる。従って、制御部１４は、このような場合において、上記数１及び数２によって、引張力τ１、τ２、τ３を算出できるように、提示力Ｆｒを再設定する。 In the case shown in FIG. 8, as long as the component of the presentation force F in the x-axis direction is not positive, the presentation force F is calculated by the above formulas 1 and 2 regardless of how the tension of each transmission member 12 is set. Is impossible. On the other hand, even in such a situation, the pilot can move the finger to a position overlapping the region X in the z-axis direction. Therefore, in such a case, the control unit 14 resets the presentation force Fr so that the tensile forces τ 1 , τ 2 , and τ 3 can be calculated by the above formulas 1 and 2.

図８の例では、実際に、引張力τ１、τ２、及びτ３によって引っ張りたい方向は、提示力Ｆと初期力Ｆ０との合力の方向である。しかし、この方向は、各伝達部材１２の合力によって引っ張ることができる方向ではない。このため、制御部１４は、提示力Ｆと初期力Ｆ０との合力に最も近い力を、新たな提示力Ｆｒとして再設定する。 In the example of FIG. 8, the direction in which the tensile forces τ 1 , τ 2 , and τ 3 are actually pulled is the resultant force direction of the presentation force F and the initial force F 0 . However, this direction is not a direction that can be pulled by the resultant force of each transmission member 12. Therefore, the control unit 14, the closest force resultant force of the presentation force F and the initial force F 0, is re-set as the new presentation force Fr.

図８の例では、引張力τ１と引張力τ２とで発生させる提示力Ｆｒが、元の提示力Ｆと初期力Ｆ０との合力に近くなる。そこで、制御部１４は、引張力τ１と引張力τ２とを発生させる２本の伝達部材１２によって作られる面に、元の提示力Ｆと初期力Ｆ０との合力を回転射影することで、新しい提示力Ｆｒを再設定する。 In the example of FIG. 8, the presentation force Fr generated by the tensile force τ 1 and the tensile force τ 2 is close to the resultant force of the original presentation force F and the initial force F 0 . Therefore, the control unit 14 rotationally projects the resultant force of the original presentation force F and the initial force F 0 on the surface created by the two transmission members 12 that generate the tensile force τ 1 and the tensile force τ 2. Then, the new presentation force Fr is reset.

具体的には、引張力τ１と引張力τ２とを発生させる２本の伝達部材１２によって作られる面への射影ベクトルＶは、下記の数４によって表すことができる。下記の数４において変数「ａ」は、図８に示すように、回転射影を行なった場合の回転角度ωを最も小さくする位置、即ち、領域Ｘの表示画面の垂直方向における辺上の位置を割合で表わしている（０＜ａ＜１）。また、Φ１は通し穴１６を基準にしたτ１の方向ベクトルである。Φ２は通し穴１６を基準にしたτ２の方向ベクトルである。Φ１及びΦ２は、上述の数２から求められる。 Specifically, the projection vector V onto the surface created by the two transmission members 12 that generate the tensile force τ 1 and the tensile force τ 2 can be expressed by the following equation (4). As shown in FIG. 8, the variable “a” in the following equation 4 represents the position on the side in the vertical direction of the display screen of the region X, that is, the position where the rotation angle ω when rotating projection is minimized. Expressed as a percentage (0 <a <1). Φ 1 is a direction vector of τ 1 with reference to the through hole 16. Φ 2 is a direction vector of τ 2 with respect to the through hole 16. Φ 1 and Φ 2 are obtained from the above-mentioned formula 2.

Figure 2015157323
Figure 2015157323

従って、制御部１４は、下記数５を用いて、射影ベクトルＶと元の提示力Ｆ及び初期力Ｆ０の合力との内積を、最も小さくする射影ベクトルを算出する。そして、制御部１４は、算出した射影ベクトルを、下記の数６に適用して、新たな提示力Ｆｒを算出する。その後、制御部１４は、新たな提示力Ｆｒを用いて、各伝達部材１２の引張力τ１、τ２、τ３を算出し、これらが発生するように制御データを生成し、各駆動部１１に出力する。 Accordingly, the control unit 14 uses the following equation 5, the inner product of the resultant force of the projection vector V and the original presentation force F and the initial force F 0, calculates a projection vector be minimized. Then, the control unit 14 calculates a new presentation force Fr by applying the calculated projection vector to the following Expression 6. Thereafter, the control unit 14 calculates the tensile forces τ 1 , τ 2 , and τ 3 of each transmission member 12 using the new presentation force Fr, generates control data so that these are generated, and generates each drive unit. 11 is output.

Figure 2015157323
Figure 2015157323

Figure 2015157323
Figure 2015157323

［実施の形態１における変形例］
上述した例では、伝達部材１２は三本であるが、本実施の形態１では、伝達部材１２の数は特に限定されるものではない。伝達部材１２の数は、遠隔操縦装置１０を大型化させない範囲で設定されていれば良い。 [Modification in Embodiment 1]
In the example described above, there are three transmission members 12, but in the first embodiment, the number of transmission members 12 is not particularly limited. The number of the transmission members 12 should just be set in the range which does not enlarge the remote control apparatus 10. FIG.

上述した例では、駆動部１１としてモータが用いられているが、本実施の形態１では、駆動部はモータに限定されない。駆動部１１は、駆動部材を引っ張ることが可能なアクチュエータであれば良く、駆動部１１としては、他に、伸張動作を行なう人工筋肉アクチュエータ、繊維状の形状記憶合金アクチュエータ、などが挙げられる。   In the example described above, a motor is used as the drive unit 11. However, in the first embodiment, the drive unit is not limited to a motor. The drive unit 11 may be an actuator that can pull the drive member. Examples of the drive unit 11 include an artificial muscle actuator that performs an extension operation, and a fibrous shape memory alloy actuator.

また、上述した例では、位置検出部３０として、伝達部材の長さを特定するエンコーダが用いられているが、本実施の形態１では、位置検出部３０は、エンコーダ以外であっても良い。例えば、位置検出部３０としては、遠隔操縦装置の背面に設置されたカメラを用いることができる。この場合は、装着部材１３の位置が光学的に検出される。また、位置検出部３０として、遠隔操縦装置の背面に設置された磁気センサを用いることができる。この場合は、磁気を発する材料で装着部材１３を形成することによって、装着部材１３の位置検出が可能となる。   Moreover, in the example mentioned above, the encoder which specifies the length of a transmission member is used as the position detection part 30, However, In this Embodiment 1, the position detection part 30 may be other than an encoder. For example, as the position detection unit 30, a camera installed on the back of the remote control device can be used. In this case, the position of the mounting member 13 is optically detected. Further, a magnetic sensor installed on the back surface of the remote control device can be used as the position detection unit 30. In this case, the position of the mounting member 13 can be detected by forming the mounting member 13 from a material that generates magnetism.

また、上述した例では、図５に示したように、伝達部材１２を引張し始める位置である通し穴１６の位置は、縦方向をｈ、横方向をｗとした直角三角形の頂点位置に設定されているが、本実施の形態１において、通し穴１６の位置は特に限定されるものではない。また、全ての通し穴は、同一平面内に配置されていなくても良い。通し穴１６の位置は、遠隔操縦装置１０の厚みが許す範囲で適宜設定される。   Further, in the above-described example, as shown in FIG. 5, the position of the through hole 16, which is the position where the transmission member 12 starts to be pulled, is set at the apex position of a right triangle with the vertical direction being h and the horizontal direction being w. However, in the first embodiment, the position of the through hole 16 is not particularly limited. Further, all the through holes may not be arranged in the same plane. The position of the through hole 16 is appropriately set within the range allowed by the thickness of the remote control device 10.

また、上述した例では、遠隔操縦装置１０の背面側を操作空間にして、力覚が提示されているが、本実施の形態１では、遠隔操縦装置１０の表示画面側の空間が操作空間となっていても良い。但し、この場合は、初期力Ｆ０の方向は、ｚ軸において負の方向となる（図６及び７（ａ）参照）。 In the example described above, the sense of force is presented with the back side of the remote control device 10 as the operation space, but in the first embodiment, the space on the display screen side of the remote control device 10 is the operation space. It may be. However, in this case, the direction of the initial force F 0 is a negative direction in the z-axis (see FIGS. 6 and 7 (a)).

上述した例では、遠隔操縦装置は、タブレット状に形成されているが、本実施の形態１は、これに限定されるものではない。遠隔操縦装置は、例えば、操縦者の顔面に装着されるヘッドマウントディスプレイに組み込まれていても良い。この場合、操縦者は、ヘッドマウントディスプレイ内側の表示パネルに映し出されているコンテンツを見ながら、ヘッドマウントディスプレイの前方で、装着部材を装着した指を動かすことで、触った感覚を感じることができる。   In the example described above, the remote control device is formed in a tablet shape, but the first embodiment is not limited to this. The remote control device may be incorporated in, for example, a head mounted display that is attached to the face of the operator. In this case, the operator can feel the touch feeling by moving the finger wearing the mounting member in front of the head mounted display while viewing the content displayed on the display panel inside the head mounted display. .

また、図９は、本発明の実施の形態１における遠隔操縦装置の他の例を示す斜視図である。図９に示すように、本実施の形態１では、遠隔操縦装置１０を構成している筐体５１には、装着部材１３を収容するための凹部１８と、伝達部材１２を収容するための溝１９とが形成されているのが好ましい。図９に示す態様とした場合は、操縦者において、遠隔操縦装置１０の持ち運びが容易なものとなる。   FIG. 9 is a perspective view showing another example of the remote control device according to Embodiment 1 of the present invention. As shown in FIG. 9, in the first embodiment, the housing 51 constituting the remote control device 10 has a recess 18 for housing the mounting member 13 and a groove for housing the transmission member 12. 19 is preferably formed. In the case shown in FIG. 9, it is easy for the operator to carry the remote control device 10.

また、図１に示したように、上述の例では、移動装置６０の具体例として、作業用のロボットが例示されているが、本実施の形態１では、移動装置６０は特に限定されることはない。移動装置６０は、ロボット以外、例えば、車両、飛行機、ヘリコプター、船舶、又はこれらの模型であっても良い。   As shown in FIG. 1, in the above example, a working robot is illustrated as a specific example of the moving device 60. However, in the first embodiment, the moving device 60 is particularly limited. There is no. The moving device 60 may be a vehicle, an airplane, a helicopter, a ship, or a model thereof other than the robot.

更に、本実施の形態１は、移動装置６０が、外部との接触を検知する接触センサを搭載し、検出された接触を特定するデータを遠隔操縦装置１０に送信する、態様であっても良い。この場合、情報処理部４０は、送信されてきたデータに基づいて、移動装置６０が外部から受けた力を算出し、更に、この算出した力に対応する力を、操縦用オブジェクト１０１に与える。この場合、操縦用オブジェクト１０１に与えられた力は、ユーザオブジェクト１０２が受ける反力に加味されるので、操縦者２００は、移動装置６０が外部から受けた力も力覚として感じることができる。   Further, the first embodiment may be an aspect in which the moving device 60 is equipped with a contact sensor that detects contact with the outside, and transmits data specifying the detected contact to the remote control device 10. . In this case, the information processing unit 40 calculates a force received from the outside by the mobile device 60 based on the transmitted data, and further gives the steering object 101 a force corresponding to the calculated force. In this case, since the force applied to the steering object 101 is added to the reaction force received by the user object 102, the pilot 200 can also feel the force received from the outside by the moving device 60 as a force sense.

［プログラム］
ここで、遠隔操縦装置１０を実現するためのプログラムについて説明する。本実施の形態１においては、プログラムは、コンピュータに、図４に示すステップＳ１０１〜Ｓ１０７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における遠隔操縦装置１０を実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、遠隔操縦部４１、情報処理部４０、及び制御部１４として機能し、処理を行なう。 [program]
Here, a program for realizing the remote control device 10 will be described. In the first embodiment, the program may be any program that causes a computer to execute steps S101 to S107 shown in FIG. By installing and executing this program on a computer, the remote control device 10 according to the first embodiment can be realized. In this case, a central processing unit (CPU) of the computer functions as the remote control unit 41, the information processing unit 40, and the control unit 14, and performs processing.

また、遠隔操縦装置１０を実現可能なコンピュータは、特に限定されず、上述したマイコンであっても良いし、汎用のパーソナルコンピュータであっても良い。更に、遠隔操縦装置１０を実現可能なコンピュータは、携帯電話、スマートフォン、又はタブレット型の遠隔操縦装置に備えられているコンピュータであっても良い。   Moreover, the computer which can implement | achieve the remote control apparatus 10 is not specifically limited, The microcomputer mentioned above may be sufficient and a general purpose personal computer may be sufficient. Further, the computer capable of realizing the remote control device 10 may be a computer provided in a mobile phone, a smartphone, or a tablet-type remote control device.

また、本実施の形態１におけるプログラムは、コンピュータで読み取り可能な記録媒体に記録された状態で提供されても良いし、インターネットを介して送信されても良い。なお、記録媒体の具体例としては、ＣＦ（Compact Flash）及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。   Further, the program according to the first embodiment may be provided in a state of being recorded on a computer-readable recording medium, or may be transmitted via the Internet. Specific examples of the recording medium include general-purpose semiconductor storage devices such as CF (Compact Flash) and SD (Secure Digital), magnetic storage media such as a flexible disk, or CD-ROM (Compact Disk Read). An optical storage medium such as “Only Memory”.

［実施の形態１における効果］
以上のように、本実施の形態１では、操縦者は、遠隔操縦装置の表示画面に映し出される映像を見ながら、装着部材１３を装着した指で、表示画面上の操縦用オブジェクトを動かすことで、移動装置を遠隔操縦することができる。また、このとき、操縦者には、操縦用オブジェクトからの反力が力覚として伝達されるので、操縦者は、移動装置がどちらに進もうとしているのかを感覚で知ることができる。従って、遠隔操縦装置１０によれば、ジョイスティック等の従来からの遠隔操縦装置を用いる場合に比べて、操作性の向上が図られることになる。 [Effect in Embodiment 1]
As described above, in the first embodiment, the operator moves the steering object on the display screen with the finger wearing the mounting member 13 while watching the video displayed on the display screen of the remote control device. The mobile device can be remotely controlled. At this time, since the reaction force from the steering object is transmitted to the pilot as a force sense, the pilot can know to which direction the moving device is going. Therefore, according to the remote control device 10, the operability is improved as compared with the case where a conventional remote control device such as a joystick is used.

例えば、ジョイスティックによって作業用のロボットを操縦する場合は、車両を操縦する場合と異なり、前後方向、左右方向、及び上下方向に動かすために、２本のジョイスティックが必要となり、思い通りに動かすためには、慣れが必要となる。しかし、本実施の形態１では、操縦者は指一本で簡単に操縦できるので、思い通り動かすために慣れは必要なく、操作性の向上が図られる。   For example, when manipulating a working robot with a joystick, unlike in the case of maneuvering a vehicle, two joysticks are required to move in the front-rear direction, the left-right direction, and the up-down direction. , Familiarity is required. However, in the first embodiment, the operator can easily operate with one finger, so that he / she does not need to get used to moving it as he wishes, and the operability is improved.

また、本実施の形態１では、操縦者は、力覚によって、操縦用オブジェクトの元の位置及び状態を知ることができるので、この点からも操作性の向上が図られる。更に、本実施の形態１では、十分に大きな操作範囲が確保でき、二次元的に広いだけでなく、奥行き方向も含めた広い範囲での三次元的な力覚の提示が可能となる。   Further, in the first embodiment, since the driver can know the original position and state of the steering object by force sense, the operability can be improved also from this point. Further, in the first embodiment, a sufficiently large operation range can be secured, and not only two-dimensionally wide but also three-dimensional force sense can be presented in a wide range including the depth direction.

また、本実施の形態１では、力覚の発生は、ヒトの知覚特性を考慮して行なわれているため、発生した力覚は、操縦者にとって違和感のないものとなる。更に、伝達部材の長さを確保することで、操縦者は指を大きく動かすことができ、この点からも、力覚は、操縦者にとって違和感のないものとなる。   Further, in the first embodiment, the force sensation is generated in consideration of human perceptual characteristics, so that the generated force sensation is not uncomfortable for the driver. Furthermore, by securing the length of the transmission member, the operator can move his / her finger greatly. From this point, the sense of force is not uncomfortable for the operator.

また、伝達部材として紐状の部材等を用いることができるので、操縦装置及び操縦システムの複雑化を抑制できる。更に、モータ等を空間的に配置する必要がないので、遠隔操縦装置の大型化も抑制される。このため、本実施の形態１によれば、製造コストの低減と機動性の向上とを図ることが可能となる。   Moreover, since a string-like member or the like can be used as the transmission member, it is possible to suppress complication of the control device and the control system. Furthermore, since it is not necessary to arrange a motor etc. spatially, the enlargement of the remote control device is also suppressed. For this reason, according to this Embodiment 1, it becomes possible to aim at reduction of manufacturing cost and improvement of mobility.

（実施の形態２）
次に本発明の実施の形態２における、遠隔操縦装置、及び遠隔操縦システムについて、図１０〜図１３を参照しながら説明する。 (Embodiment 2)
Next, a remote control device and a remote control system in Embodiment 2 of the present invention will be described with reference to FIGS.

［システム構成、装置構成］
最初に、図１０及び図１１を用いて、本実施の形態２における遠隔操縦装置及び遠隔操縦システムの構成を説明する。図１０は、本発明の実施の形態２における遠隔操縦システムの概略構成を俯瞰的に示す図である。図１１は、本発明の実施の形態２における遠隔操縦装置の各構成部品を示す分解斜視図である。 [System configuration, device configuration]
First, the configuration of the remote control device and the remote control system according to the second embodiment will be described with reference to FIGS. 10 and 11. FIG. 10 is a diagram showing a schematic configuration of the remote control system according to the second embodiment of the present invention. FIG. 11 is an exploded perspective view showing each component of the remote control device according to the second embodiment of the present invention.

図１０に示すように、本実施の形態２における遠隔操縦システム１１０は、実施の形態１と同様に、移動装置６０と、それを遠隔から操縦するための遠隔操縦装置８０とを備えている。但し、本実施の形態２では、遠隔操縦装置８０は、実施の形態１と異なり、装着部材１３に加え、別の装着部材８１も備えている。また、装着部材１３と装着部材８１は、それぞれ、操縦者２００の別々の指に装着される。更に、遠隔操縦装置８０は、装着部材１３に相当するユーザオブジェクト１０２に加え、装着部材８１に相当するユーザオブジェクト１０３も作成し、これについても仮想空間内に配置し、カメラ６１からの映像に重ね合わせる。   As shown in FIG. 10, the remote control system 110 according to the second embodiment includes a moving device 60 and a remote control device 80 for remotely controlling the mobile device 60 as in the first embodiment. However, in the second embodiment, unlike the first embodiment, the remote control device 80 includes another mounting member 81 in addition to the mounting member 13. Further, the mounting member 13 and the mounting member 81 are mounted on separate fingers of the operator 200, respectively. In addition to the user object 102 corresponding to the mounting member 13, the remote control device 80 also creates a user object 103 corresponding to the mounting member 81, which is also placed in the virtual space and superimposed on the video from the camera 61. Match.

また、遠隔操縦装置８０は、装着部材１３と同様に、装着部材８１の位置も検出し、検出した位置に応じて、仮想空間内で、ユーザオブジェクト１０３を移動させることもできる。このため、本実施の形態２では、操縦者２００は、２本の指によるユーザオブジェクト１０２及び１０３の操作によって、操縦用オブジェクト１０１を掴むことができ、その状態で、操縦用オブジェクト１０１を回転させたり、前後に動かしたりすることができる。   Similarly to the mounting member 13, the remote control device 80 also detects the position of the mounting member 81, and can move the user object 103 in the virtual space according to the detected position. For this reason, in the second embodiment, the pilot 200 can grasp the steering object 101 by operating the user objects 102 and 103 with two fingers, and in this state, rotates the steering object 101. Or move back and forth.

そして、遠隔操縦装置８０は、このときに操縦用オブジェクト１０１に与えられた外力を算出し、この外力によって操縦用オブジェクト１０１に生じた変化を特定する。また、遠隔操縦装置８０は、特定した変化と同様の変化が、移動装置６０に生じるように、移動装置６０に対して動作を指示すると共に、操縦者２００に、外力の反力を力覚として提示する。   Then, the remote control device 80 calculates the external force applied to the control object 101 at this time, and identifies the change caused in the control object 101 by this external force. In addition, the remote control device 80 instructs the moving device 60 so that a change similar to the specified change occurs in the moving device 60, and also gives the operator 200 the reaction force of the external force as a force sense. Present.

このように、本実施の形態２においても、実施の形態１と同様に、操縦用オブジェクト１０１を動かすことで、移動装置６０を遠隔操縦することができるが、本実施の形態２では、更に、これを掴むことができるので、よりいっそう操作性が向上することになる。   As described above, in the second embodiment, as in the first embodiment, the moving device 60 can be remotely controlled by moving the steering object 101. However, in the second embodiment, further, Since this can be grasped, the operability is further improved.

続いて、図１１を用いて、遠隔操縦装置８０の内部構成について説明する。なお、本実施の形態２は、装着部材８１が備えられている点と、これに伴う機構及び処理の増加の点とで、実施の形態１と相違しているが、他の点は、実施の形態１と同様である。よって、以降においては、実施の形態１との相違点を中心に説明する。   Next, the internal configuration of the remote control device 80 will be described with reference to FIG. The second embodiment is different from the first embodiment in that the mounting member 81 is provided and the mechanism and processing increase associated therewith, but the other points are different from the first embodiment. This is the same as the first embodiment. Therefore, hereinafter, the description will focus on differences from the first embodiment.

図１１に示すように、遠隔操縦装置８０は、図２に示した遠隔操縦装置１０の構成に加えて、装着部材８１と、伝達部材８２と、駆動部８３とを更に備えている。このうち、伝達部材８２は、遠隔操縦装置８０から、装着部材８１へと伸びて、装着部材８１に引張力を伝達する。駆動部８３は、引張力を発生させて、それを伝達部材８２に与える。このように、本実施の形態２では、装着部材８１には、装着部材１３とは別のルートで引張力が与えられる。   As shown in FIG. 11, the remote control device 80 further includes a mounting member 81, a transmission member 82, and a drive unit 83 in addition to the configuration of the remote control device 10 shown in FIG. 2. Among these, the transmission member 82 extends from the remote control device 80 to the mounting member 81 and transmits a tensile force to the mounting member 81. The drive unit 83 generates a tensile force and gives it to the transmission member 82. As described above, in the second embodiment, the mounting member 81 is given a tensile force by a route different from that of the mounting member 13.

但し、本実施の形態２においても、伝達部材８２としては、操縦者２００に装着される装着部材８１へと伸びる紐状の部材、例えば、ワイヤーが用いられる。また、駆動部８３も、駆動部１１と同様に、プーリ１５が軸に取り付けられたモータであり、対応する伝達部材８２をプーリ１５で巻き取ることによって、対応する伝達部材８２に、引張力を与えている。更に、伝達部材８２の一端はプーリ１５に固定されている。   However, also in the second embodiment, as the transmission member 82, a string-like member that extends to the attachment member 81 attached to the operator 200, for example, a wire is used. Similarly to the drive unit 11, the drive unit 83 is also a motor in which the pulley 15 is attached to the shaft. By winding the corresponding transmission member 82 with the pulley 15, a tensile force is applied to the corresponding transmission member 82. Giving. Further, one end of the transmission member 82 is fixed to the pulley 15.

更に、筐体５１の底面には、各伝達部材８２毎にも、通し穴１６が設けられている。よって、各伝達部材８２も、伝達部材１２と同様に、通し穴１６を経由して、遠隔操縦装置８０の背面側へと伸びる。なお、各通し穴１６の位置も、特に限定されないが、後述するように、装着部材８１による力覚の提示範囲も、対応する通し穴１６の位置によって決定される（図８の領域Ｘ参照）。よって、伝達部材８２を通すための各通し穴１６の位置も、求められる提示範囲を考慮した上で決定される。   Further, through holes 16 are provided on the bottom surface of the casing 51 for each transmission member 82. Therefore, each transmission member 82 also extends to the back side of the remote control device 80 via the through hole 16 in the same manner as the transmission member 12. Although the position of each through hole 16 is not particularly limited, as described later, the force sense presentation range by the mounting member 81 is also determined by the position of the corresponding through hole 16 (see region X in FIG. 8). . Therefore, the position of each through hole 16 for passing the transmission member 82 is also determined in consideration of the required presentation range.

また、本実施の形態２においては、位置検出部３０は、各駆動部８３にも設けられている。駆動部８３に設けられた位置検出部３０は、装着部材８１の位置を検出するための位置検出データを、情報処理部４０に出力する。   In the second embodiment, the position detection unit 30 is also provided in each drive unit 83. The position detection unit 30 provided in the drive unit 83 outputs position detection data for detecting the position of the mounting member 81 to the information processing unit 40.

続いて、図１２を用いて、本実施の形態２における遠隔操縦システム１１０及び遠隔操縦装置８０でやり取りされるデータについて説明する。図１２は、本発明の実施の形態２における遠隔操縦システム及び遠隔操縦装置の構成を示すブロック図である。なお、以下の説明では、適宜図１０及び図１１を参酌する。   Next, data exchanged between the remote control system 110 and the remote control device 80 according to the second embodiment will be described with reference to FIG. FIG. 12 is a block diagram showing the configurations of the remote control system and the remote control device in the second embodiment of the present invention. In the following description, FIGS. 10 and 11 are referred to as appropriate.

図１１に示すように、遠隔操縦装置８０は、図３に示された構成に加え、装着部材８１と、伝達部材８２と、駆動部８３とを備えている。また、駆動部８３も、駆動部１１と同様に、制御部１４に接続されている。   As shown in FIG. 11, the remote control device 80 includes a mounting member 81, a transmission member 82, and a drive unit 83 in addition to the configuration shown in FIG. 3. The drive unit 83 is also connected to the control unit 14 in the same manner as the drive unit 11.

情報処理部４０は、実施の形態１と同様の処理を実行するが、これに加えて、装着部材８１の増設に伴う新たな処理も実行する。以下に具体的に説明する。   The information processing unit 40 executes the same process as that of the first embodiment, but in addition to this, also executes a new process associated with the addition of the mounting member 81. This will be specifically described below.

例えば、操縦者２００（図１０参照）が、装着部材８１を装着した指を動かしたとする。この場合、対応する位置検出部３０が、位置検出データを情報処理部４０に出力するので、情報処理部４０は、装着部材８１の位置を算出する。具体的には、情報処理部４０は、まず、予め登録されている、伝達部材８２の全長、プーリ１５の直径、プーリ１５から通し穴１６までの距離等に基づいて、各伝達部材８２の通し穴１６から装着部材８１までの長さを算出する。次に、情報処理部４０は、算出された各伝達部材８２の長さに基づいて、装着部材８１の位置、即ち、操作原点を基準とした座標を算出する。   For example, it is assumed that the operator 200 (see FIG. 10) moves the finger on which the mounting member 81 is mounted. In this case, since the corresponding position detection unit 30 outputs the position detection data to the information processing unit 40, the information processing unit 40 calculates the position of the mounting member 81. Specifically, the information processing unit 40 first passes through each transmission member 82 based on the pre-registered total length of the transmission member 82, the diameter of the pulley 15, the distance from the pulley 15 to the through hole 16, and the like. The length from the hole 16 to the mounting member 81 is calculated. Next, the information processing section 40 calculates the position of the mounting member 81, that is, the coordinates based on the operation origin based on the calculated length of each transmission member 82.

また、情報処理部４０は、メモリ空間に構築された仮想空間内に、装着部材８１に相当するユーザオブジェクト１０３（図１０参照）を作成する。そして、情報処理部４０は、算出した装着部材８１の座標を、仮想空間内に設定された対応原点に適用して、ユーザオブジェクト１０３の位置（座標）を算出し、算出した位置に、ユーザオブジェクト１０３を配置する。更に、情報処理部４０は、操縦用オブジェクト１０１及びユーザオブジェクト１０２と共に、ユーザオブジェクト１０３も、カメラ６１からの映像に重ね合わせる。   Further, the information processing unit 40 creates a user object 103 (see FIG. 10) corresponding to the mounting member 81 in a virtual space constructed in the memory space. Then, the information processing unit 40 applies the calculated coordinates of the mounting member 81 to the corresponding origin set in the virtual space, calculates the position (coordinates) of the user object 103, and sets the user object at the calculated position. 103 is arranged. Further, the information processing unit 40 superimposes the user object 103 on the video from the camera 61 together with the steering object 101 and the user object 102.

また、情報処理部４０は、ユーザオブジェクト１０３が操縦用オブジェクト１０１に外力を与えた場合も、その外力を算出し、そして、算出した外力によって操縦用オブジェクト１０１に生じた変化を特定する。   In addition, even when the user object 103 applies an external force to the steering object 101, the information processing unit 40 calculates the external force and identifies a change that has occurred in the steering object 101 due to the calculated external force.

具体的には、本実施の形態２では、情報処理部４０は、操縦用オブジェクト１０１の位置、ユーザオブジェクト１０２の位置、ユーザオブジェクト１０３の位置、それぞれを互いに比較する。そして、情報処理部４０は、操縦用オブジェクト１０１がユーザオブジェクト１０２及び１０３によって掴まれた状態にあるかどうかを判定する。   Specifically, in the second embodiment, the information processing unit 40 compares the position of the steering object 101, the position of the user object 102, and the position of the user object 103 with each other. Then, the information processing unit 40 determines whether or not the steering object 101 is held by the user objects 102 and 103.

そして、判定の結果、掴まれた状態にある場合は、情報処理部４０は、ユーザオブジェクト１０２及び１０３の現在の位置とそれ以前に算出した位置とから、ユーザオブジェクト１０２及び１０３の動きを特定する。更に、情報処理部４０は、特定した両者の動きから、操縦用オブジェクト１０１に加えられた外力を算出し、それに生じた変化として、移動方向とこの移動方向への加速度とを特定する。   If the result of determination is that the user object is in a grasped state, the information processing unit 40 identifies the movement of the user objects 102 and 103 from the current position of the user objects 102 and 103 and the position calculated before that. . Furthermore, the information processing unit 40 calculates the external force applied to the steering object 101 from the identified movements, and identifies the movement direction and the acceleration in this movement direction as the change that has occurred.

また、情報処理部４０は、操縦用オブジェクト１０１を、特定した移動方向に、特定した加速度で動かして、変化を反映させて、反映後の操縦用オブジェクト１０１を表示する表示データを作成し、これを表示部２０に出力する。   In addition, the information processing unit 40 moves the steering object 101 in the specified movement direction with the specified acceleration, reflects the change, and creates display data for displaying the reflected steering object 101. Is output to the display unit 20.

更に、情報処理部４０は、移動装置６０を、特定した移動方向に、特定した加速度で移動させるため、そのことを指示する操縦用データを作成し、これを遠隔操縦部４１に出力する。また、情報処理部４０は、ユーザオブジェクト１０２及び１０３それぞれ毎に、反力を求め、各反力を特定する提示力データを制御部１４に出力する。   Furthermore, in order to move the moving device 60 in the specified moving direction with the specified acceleration, the information processing unit 40 creates steering data instructing this and outputs this to the remote control unit 41. In addition, the information processing unit 40 obtains a reaction force for each of the user objects 102 and 103 and outputs presentation force data specifying each reaction force to the control unit 14.

制御部１４は、本実施の形態では、駆動部１１だけでなく、駆動部８３にも、予め初期力を発生させておき、ユーザオブジェクト１０３における反力が、力覚として、装着部材８１を介して操縦者２００に伝達されるように、駆動部８３初期力を増加又は減少させる。よって、本実施の形態２では、操縦者２００には、装着部材１３及び装着部材８１のいずれか又は両方を介して力覚が提示される。   In the present embodiment, the control unit 14 generates an initial force not only in the driving unit 11 but also in the driving unit 83 in advance, and the reaction force in the user object 103 is sensed as a force sense via the mounting member 81. The initial force of the drive unit 83 is increased or decreased so as to be transmitted to the operator 200. Therefore, in the second embodiment, a force sense is presented to the operator 200 via one or both of the mounting member 13 and the mounting member 81.

遠隔操縦部４１は、実施の形態１と同様に、情報処理部４０から操縦用データが出力されてくると、操縦用データが通知する内容に応じて、移動装置６０に実行させる命令を作成する。また、通信部４２は、実施の形態１と同様に、移動装置６０から送信されてくる映像データの受信と、遠隔操縦部４１が作成した命令の送信とを実行する。   Similarly to the first embodiment, when the steering data is output from the information processing unit 40, the remote control unit 41 creates a command to be executed by the mobile device 60 according to the content notified by the steering data. . Similarly to the first embodiment, the communication unit 42 receives video data transmitted from the mobile device 60 and transmits a command created by the remote control unit 41.

［装置動作］
次に、本発明の実施の形態２における遠隔操縦装置８０の動作について図１３を用いて説明する。図１３は、本発明の実施の形態２における遠隔操縦装置の動作を示すフロー図である。なお、以下の説明においては、適宜図１０〜図１２を参酌する。 [Device operation]
Next, the operation of the remote control device 80 according to Embodiment 2 of the present invention will be described with reference to FIG. FIG. 13 is a flowchart showing the operation of the remote control device in the second embodiment of the present invention. In the following description, FIGS. 10 to 12 are referred to as appropriate.

まず、本実施の形態２においても、前提として、移動装置６０から、カメラ６１で撮影された映像の映像データが遠隔操縦装置８０へと送信されており、遠隔操縦装置８０の表示画面２１には、カメラ６１で撮影された映像が表示されているとする。また、遠隔操縦装置８０において、情報処理部４０は、操縦オブジェクト１０１、ユーザオブジェクト１０２、及びユーザオブジェクト１０３を構築し、これらを仮想空間内に配置すると共に、表示画面２１に、これらの映像も重ねて表示させているとする。   First, also in the second embodiment, as a premise, video data of a video taken by the camera 61 is transmitted from the mobile device 60 to the remote control device 80, and the display screen 21 of the remote control device 80 is displayed on the display screen 21. Assume that an image captured by the camera 61 is displayed. In the remote control device 80, the information processing unit 40 constructs the control object 101, the user object 102, and the user object 103, arranges them in the virtual space, and superimposes these images on the display screen 21. Is displayed.

最初に、操縦者２００が、遠隔操縦装置８０の背面の空間において、移動装置６０を操縦するため、装着部材１３が装着された指と装着部材８１が装着された指とを動かす。これにより、図１２に示したように、位置検出部３０それぞれは、位置検出データを、情報処理部４０に出力する。   First, the pilot 200 moves the finger on which the mounting member 13 is mounted and the finger on which the mounting member 81 is mounted in order to control the moving device 60 in the space behind the remote control device 80. Thereby, as illustrated in FIG. 12, each of the position detection units 30 outputs the position detection data to the information processing unit 40.

次に、図１３に示すように、情報処理部４０は、出力されてきた位置検出データに基づいて、各伝達部材１２の通し穴１６から装着部材１３までの長さを算出し、更に、算出された各伝達部材１２の長さに基づいて、装着部材１３の位置（座標）を算出する（Ｓ２０１）。また、ステップＳ２０１では、情報処理部４０は、装着部材１３と同様に、装置着部材８１の位置（座標）も算出する。   Next, as shown in FIG. 13, the information processing unit 40 calculates the length from the through hole 16 of each transmission member 12 to the mounting member 13 based on the output position detection data, and further calculates The position (coordinates) of the mounting member 13 is calculated based on the lengths of the transmission members 12 (S201). In step S <b> 201, the information processing unit 40 also calculates the position (coordinates) of the device attachment member 81 in the same manner as the attachment member 13.

更に、ステップＳ２０１では、情報処理部４０は、装着部材１３及び８１の位置と仮想空間に設定された対応原点とから、ユーザオブジェクト１０２及び１０３の仮想空間での位置（座標）を算出し、算出した位置に、ユーザオブジェクト１０２及び１０３を配置する。   In step S201, the information processing unit 40 calculates the positions (coordinates) of the user objects 102 and 103 in the virtual space from the positions of the mounting members 13 and 81 and the corresponding origin set in the virtual space. The user objects 102 and 103 are placed at the positions.

次に、情報処理部４０は、操縦用オブジェクト１０１の位置と、ステップＳ２０１で算出したユーザオブジェクト１０２及び１０３の位置とを比較し、操縦用オブジェクト１０１がユーザオブジェクト１０２及び１０３によって掴まれた状態にあるかどうかを判定する（ステップＳ２０２）。   Next, the information processing unit 40 compares the position of the steering object 101 with the positions of the user objects 102 and 103 calculated in step S <b> 201, so that the steering object 101 is held by the user objects 102 and 103. It is determined whether or not there is (step S202).

ステップＳ２０２の判定の結果、操縦用オブジェクト１０１が掴まれた状態にない場合は、情報処理部４０は、次に装着部材１３及び８１の位置が変わるまで待機状態となり、装着部材１３及び８１の位置が変わると、再度ステップＳ２０１を実行する。   If the result of the determination in step S202 is that the steering object 101 is not in a gripped state, the information processing unit 40 is in a standby state until the position of the mounting members 13 and 81 changes next, and the position of the mounting members 13 and 81 If changed, step S201 is executed again.

一方、ステップＳ２０２の判定の結果、操縦用オブジェクト１０１が掴まれた状態にある場合は、情報処理部４０は、ユーザオブジェクト１０２の現在の位置とそれ以前に算出した位置とから、ユーザオブジェクト１０２及び１０３の動きを特定する。更に、情報処理部４０は、特定した動きから、操縦用オブジェクト１０１に加えられた外力を算出すると共に、この外力によって操縦用オブジェクト１０１に生じる変化を特定する（ステップＳ２０３）。   On the other hand, if the result of determination in step S202 is that the steering object 101 has been grabbed, the information processing unit 40 calculates the user object 102 and the user object 102 from the current position of the user object 102 and the previously calculated position. The movement of 103 is specified. Further, the information processing unit 40 calculates an external force applied to the steering object 101 from the specified movement, and specifies a change that occurs in the steering object 101 due to the external force (step S203).

次に、情報処理部４０は、ユーザオブジェクト１０２及び１０３それぞれについて、ステップＳ２０３で算出された外力に対する反力を求め、求めた各反力を特定する提示力データを作成する（ステップ２０４）。また、ステップＳ２０４では、情報処理部４０は、提示力データを制御部１４に出力する。   Next, the information processing unit 40 obtains reaction force against the external force calculated in step S203 for each of the user objects 102 and 103, and creates presentation force data for specifying each obtained reaction force (step 204). In step S <b> 204, the information processing unit 40 outputs presentation force data to the control unit 14.

次に、情報処理部４０は、操縦用オブジェクト１０１において、特定した変化を反映させ、更に、反映後の操縦用オブジェクト１０１を表示する表示データを作成し、これを表示部２０に出力する（ステップＳ２０５）。   Next, the information processing unit 40 reflects the specified change in the steering object 101, further creates display data for displaying the reflected steering object 101, and outputs the display data to the display unit 20 (step). S205).

次に、情報処理部４０は、ステップＳ２０３で特定した変化を通知する操縦用データを作成し、これを遠隔操縦部４１に出力する。これにより、遠隔操縦部４１は、操縦用データが通知する内容に応じて、移動装置６０に実行させる命令を作成し、通信部４２に、作成した命令を送信させる（ステップＳ２０６）。そして、ステップＳ２０６が実行されると、移動装置６０は、受信した命令に応じた動作を実行する。   Next, the information processing unit 40 creates steering data for notifying the change specified in step S203 and outputs this to the remote control unit 41. Thereby, the remote control unit 41 creates a command to be executed by the mobile device 60 according to the content notified by the steering data, and causes the communication unit 42 to transmit the created command (step S206). When step S206 is executed, the mobile device 60 executes an operation according to the received command.

次に、制御部１４は、ステップＳ２０４で作成された提示力データを受け取ると、駆動部１１それぞれが出力すべき引張力と、駆動部８３それぞれが出力すべき引張力とを算出する（ステップＳ２０７）。また、ステップＳ２０７では、制御部１４は、更に、各駆動部１１に引張力を発生させる制御データと、各駆動部８３に引張力を発生させる制御データとを生成し、これらを各駆動部に出力する。   Next, when receiving the presentation force data created in step S204, the control unit 14 calculates the tensile force that each of the driving units 11 should output and the tensile force that each of the driving units 83 should output (step S207). ). In step S207, the control unit 14 further generates control data for causing each driving unit 11 to generate a tensile force and control data for causing each driving unit 83 to generate a tensile force. Output.

ステップＳ２０７が実行されると、遠隔操縦装置１０において、各駆動部１１及び８３を構成する各モータは、制御データに応じて回転して、対応する伝達部材を引っ張り、操縦者２００の指先に、装着部材１３及び８１を介して力覚を提示する（ステップＳ２０８）。   When step S207 is executed, in the remote control device 10, each motor constituting each drive unit 11 and 83 rotates according to the control data, pulls the corresponding transmission member, and at the fingertip of the operator 200, A sense of force is presented through the mounting members 13 and 81 (step S208).

そして、ステップＳ２０１〜Ｓ２０８は、繰り返し実行されるので、操縦者２００は、２本の指を動かして、ユーザオブジェクト１０２及び１０３によって操縦用オブジェクト１０１を掴んで、これを動かすことで、移動装置６０を操作することができる。その間、操縦者２００は、連続して、２本の指において力覚の提示を受けることができる。   Since steps S201 to S208 are repeatedly executed, the operator 200 moves two fingers, grasps the maneuvering object 101 by the user objects 102 and 103, and moves it to move the moving device 60. Can be operated. Meanwhile, the pilot 200 can continuously receive a force sense presentation with two fingers.

また、本実施の形態２でも、実施の形態１と同様に、情報処理部４０は、操縦用オブジェクト１０１の位置及び向きの一方又は両方が大きく変化する程、外力の値を大きく算出することができる。この場合、操縦者２００は、現在行っている操作を力覚によって認識することができるので、操作性がいっそう向上することになる。   Also in the second embodiment, as in the first embodiment, the information processing unit 40 can calculate the value of the external force to be larger as one or both of the position and orientation of the steering object 101 change greatly. it can. In this case, since the operator 200 can recognize the currently performed operation by a force sense, the operability is further improved.

［プログラム］
ここで、遠隔操縦装置８０を実現するためのプログラムについて説明する。本実施の形態２においては、プログラムは、コンピュータに、図１３に示すステップＳ２０１〜Ｓ２０７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における遠隔操縦装置８０を実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、遠隔操縦部４１、情報処理部４０、及び制御部１４として機能し、処理を行なう。 [program]
Here, a program for realizing the remote control device 80 will be described. In the second embodiment, the program may be any program that causes a computer to execute steps S201 to S207 shown in FIG. The remote control device 80 according to the second embodiment can be realized by installing and executing this program on a computer. In this case, a central processing unit (CPU) of the computer functions as the remote control unit 41, the information processing unit 40, and the control unit 14, and performs processing.

また、本実施の形態２においても、遠隔操縦装置８０を実現可能なコンピュータは、実施の形態１と同様に、特に限定されず、上述したマイコンであっても良いし、汎用のパーソナルコンピュータであっても良い。遠隔操縦装置８０を実現可能なコンピュータも、携帯電話、スマートフォン、又はタブレット型の遠隔操縦装置に備えられているコンピュータであっても良い。   Also in the second embodiment, the computer capable of realizing the remote control device 80 is not particularly limited as in the first embodiment, and may be the above-described microcomputer or a general-purpose personal computer. May be. The computer capable of realizing the remote control device 80 may also be a computer provided in a mobile phone, a smartphone, or a tablet-type remote control device.

また、本実施の形態２におけるプログラムも、実施の形態１と同様に、コンピュータで読み取り可能な記録媒体に記録された状態で提供されても良いし、インターネットを介して送信されても良い。   Further, the program according to the second embodiment may be provided in a state of being recorded on a computer-readable recording medium as in the first embodiment, or may be transmitted via the Internet.

［実施の形態２における効果］
以上のように本実施の形態２では、移動装置の操縦は、２本の指で移動装置を掴み、その状態で移動装置を種々の方向に動かすような感覚で行うことができる。たとえて言うならば、子供が車のおもちゃを手で掴んで遊ぶときのような感覚である。このため、実施の形態２によれば、実施の形態１に比べていっそうの操作性の向上が図られる。また、本実施の形態２においても、実施の形態１で述べた効果は全て得ることが可能である。更に、本実施の形態２に対しても、実施の形態１で述べた変形例を適用することができる。 [Effects of Embodiment 2]
As described above, in the second embodiment, the mobile device can be operated as if the mobile device is gripped with two fingers and the mobile device is moved in various directions in that state. For example, it feels like a child holding a car toy and playing. For this reason, according to the second embodiment, the operability can be improved much more than in the first embodiment. Also in the second embodiment, all the effects described in the first embodiment can be obtained. Furthermore, the modification described in the first embodiment can be applied to the second embodiment.

（実施の形態３）
次に本発明の実施の形態３における、遠隔操縦装置、及び遠隔操縦システムについて、図１４を参照しながら説明する。図１４は、本発明の実施の形態３における遠隔操縦システムの概略構成を俯瞰的に示す図である。 (Embodiment 3)
Next, a remote control device and a remote control system in Embodiment 3 of the present invention will be described with reference to FIG. FIG. 14 is a diagram showing a schematic configuration of the remote control system according to the third embodiment of the present invention.

図１４に示すように、本実施の形態３における遠隔操縦システム１２０は、実施の形態１及び２と同様に、移動装置６０と、それを遠隔から操縦するための遠隔操縦装置９０とを備えている。   As shown in FIG. 14, the remote control system 120 according to the third embodiment includes a moving device 60 and a remote control device 90 for remotely controlling the same, as in the first and second embodiments. Yes.

但し、本実施の形態３では、移動装置６０は、作業用アーム６４の先端付近にもカメラ６５を備えている。また、遠隔操縦装置９０は、実施の形態２において図１０〜図１３に示した遠隔操縦装置８０と同様の機能及び構成を備えているが、以下に示すように、遠隔操縦装置８０に備えられていない新たな機能を備えている。   However, in the third embodiment, the moving device 60 includes the camera 65 near the tip of the working arm 64. The remote control device 90 has the same function and configuration as the remote control device 80 shown in FIGS. 10 to 13 in the second embodiment, but is provided in the remote control device 80 as described below. Has no new features.

具体的には、遠隔操縦装置９０は、カメラ６１からの映像と、カメラ６５からの映像とを切替えて、表示画面２１に表示することができる。カメラ６１からの映像が表示される場合は、図１０に示したように、遠隔操縦装置９０の前方の景色と移動装置６０の一部とが表示される。一方、カメラ６５からの映像が表示される場合は、図１４に示すように、作業用アーム６４の前方の景色と作業アーム６４の一部とが表示される。   Specifically, the remote control device 90 can switch the video from the camera 61 and the video from the camera 65 and display them on the display screen 21. When the image from the camera 61 is displayed, as shown in FIG. 10, the scenery in front of the remote control device 90 and a part of the moving device 60 are displayed. On the other hand, when an image from the camera 65 is displayed, a scene in front of the working arm 64 and a part of the working arm 64 are displayed as shown in FIG.

また、本実施の形態３では、図１４に示すように、遠隔操縦装置９０の情報処理部（図１２参照）は、カメラ６５からの映像が表示される場合に、作業用アーム６４に対応するオブジェクト（以下「アーム操縦用オブジェクト」）１０４を作成する。そして、情報処理部は、操縦用オブジェクト１０１の代わりに、リング状のアーム操縦用オブジェクト１０４を仮想空間内に配置し、これをユーザオブジェクト１０２及び１０３と共に、カメラ６５からの映像に重ね合わせる。また、このとき、情報処理部は、表示画面２１において、作業用アーム６４がアーム操縦用オブジェクト１０４に囲まれるように、アーム操縦用オブジェクト１０４を配置する。   In the third embodiment, as shown in FIG. 14, the information processing unit (see FIG. 12) of the remote control device 90 corresponds to the work arm 64 when the image from the camera 65 is displayed. An object (hereinafter referred to as “arm steering object”) 104 is created. Then, the information processing unit arranges the ring-shaped arm steering object 104 in the virtual space instead of the steering object 101 and superimposes it on the video from the camera 65 together with the user objects 102 and 103. At this time, the information processing unit arranges the arm steering object 104 on the display screen 21 so that the work arm 64 is surrounded by the arm steering object 104.

また、情報処理部は、アーム操縦用オブジェクト１０４の位置についても、ユーザオブジェクト１０２及び１０３によって掴まれた状態にあるかどうかを判定する。そして、判定の結果、掴まれた状態にある場合は、情報処理部は、実施の形態２で述べたように、ユーザオブジェクト１０２及び１０３の動きを特定し、特定した両者の動きから、アーム操縦用オブジェクト１０４に加えられた外力を算出する。更に、情報処理部は、外力によって生じた変化として、アーム操縦用オブジェクト１０４における移動方向とこの移動方向への加速度とを特定する。   In addition, the information processing unit determines whether the position of the arm steering object 104 is also grasped by the user objects 102 and 103. If the result of the determination is that the user is in the gripped state, the information processing unit identifies the movements of the user objects 102 and 103 as described in the second embodiment, and the arm maneuvering is performed based on the identified movements. An external force applied to the object 104 is calculated. Furthermore, the information processing unit specifies the moving direction of the arm steering object 104 and the acceleration in the moving direction as a change caused by the external force.

また、情報処理部は、アーム操縦用オブジェクト１０４を、特定した移動方向に、特定した加速度で動かして、変化を反映させて、反映後のアーム操縦用オブジェクト１０４を表示する表示データを作成し、これを表示部２０に出力する。   Further, the information processing unit creates display data for displaying the arm steering object 104 after reflection by moving the arm steering object 104 in the specified moving direction with the specified acceleration to reflect the change. This is output to the display unit 20.

更に、情報処理部は、作業用アーム６４を、特定した移動方向に、特定した加速度で移動させるため、そのことを指示する操縦用データを作成し、これを遠隔操縦部（図１２参照）に出力する。また、情報処理部は、ユーザオブジェクト１０２及び１０３それぞれ毎に、反力を求め、各反力を特定する提示力データを制御部（図１２参照）に出力する。   Furthermore, in order to move the work arm 64 in the specified movement direction with the specified acceleration, the information processing unit creates control data for instructing this, and sends this to the remote control unit (see FIG. 12). Output. Further, the information processing unit obtains a reaction force for each of the user objects 102 and 103, and outputs presentation force data specifying each reaction force to the control unit (see FIG. 12).

制御部は、実施の形態２と同様に、駆動部１１及び８３に予め初期力を発生させ、ユーザオブジェクト１０２及び１０３における反力が、力覚として、操縦者２００に伝達されるように、初期力を増加又は減少させる。   As in the second embodiment, the control unit causes the driving units 11 and 83 to generate an initial force in advance, so that the reaction force in the user objects 102 and 103 is transmitted to the operator 200 as a force sense. Increase or decrease the force.

遠隔操縦部（図１２参照）は、情報処理部から操縦用データが出力されてくると、作業用アーム６４に、情報処理部が特定した変化と同様の変化が生じるように、移動装置６０に対して動作を指示する。具体的には、遠隔操縦部は、操縦用データが通知する内容に応じて、作業用アームに実行させる命令を作成する。   When the steering data is output from the information processing unit, the remote control unit (see FIG. 12) causes the mobile device 60 to change the work arm 64 in a manner similar to the change specified by the information processing unit. Instruct the operation. Specifically, the remote control unit creates a command to be executed by the work arm according to the content notified by the control data.

例えば、操縦者２００が、アーム操縦用オブジェクト１０４が前後方向又は左右方向に動かしたとすると、遠隔操縦部は、作業用アーム６４の先端部分が、指示された方向へと動くように、関節毎に、最適な回転角度を算出する。そして、遠隔操縦部は、算出された各関節の回転角度を指示する命令を作成する。なお、回転角度の算出は、逆運動学問題を解くことによって可能となる。   For example, when the pilot 200 moves the arm steering object 104 in the front-rear direction or the left-right direction, the remote control unit moves the tip part of the work arm 64 in the indicated direction for each joint. Calculate the optimum rotation angle. Then, the remote control unit creates a command for instructing the calculated rotation angle of each joint. Note that the rotation angle can be calculated by solving an inverse kinematics problem.

以上のように、本実施の形態３によれば、操縦者２００は、作業用アーム６４の操縦も、２本の指で作業用アーム６４を掴み、その状態で作業用アーム６４を種々の方向に動かすような感覚で行うことができ、作業用アーム６４の操作性も向上することになる。また、本実施の形態２においても、実施の形態１で述べた効果は全て得ることが可能である。更に、本実施の形態２に対しても、実施の形態１で述べた変形例を適用することができる。   As described above, according to the third embodiment, the operator 200 also controls the work arm 64 by holding the work arm 64 with two fingers, and in this state, moves the work arm 64 in various directions. Thus, the operability of the work arm 64 is improved. Also in the second embodiment, all the effects described in the first embodiment can be obtained. Furthermore, the modification described in the first embodiment can be applied to the second embodiment.

また、本実施の形態３における遠隔操縦装置９０の動作も、実施の形態２において図１３に示した各ステップに沿って行われる。従って、本実施の形態３におけるプログラムも、コンピュータに、図１３に示すステップＳ２０１〜Ｓ２０７を実行させるプログラムであれば良い。但し、作業アーム６４のカメラ６５からの映像が表示画面２１に表示される場合は、処理対象が、操縦オブジェクト１０１（図１０）ではなく、アーム操縦用オブジェクト１０４（図１４参照）となる。   Further, the operation of the remote control device 90 in the third embodiment is also performed along the steps shown in FIG. 13 in the second embodiment. Therefore, the program in the third embodiment may be a program that causes a computer to execute steps S201 to S207 shown in FIG. However, when the video from the camera 65 of the work arm 64 is displayed on the display screen 21, the processing target is not the steering object 101 (FIG. 10) but the arm steering object 104 (see FIG. 14).

また、図１４に示した例では、カメラ６１からの映像と、カメラ６５からの映像とは、切替によって別々に表示画面２１に表示されているが、本実施の形態３はこの例に限定されない。本実施の形態３は、カメラ６１からの映像と、カメラ６５からの映像とが、表示画面２１上に一緒に表示される態様であっても良い。この場合、操縦者２００は、画面を切替えることなく、移動装置６０自体と作業用アーム６４とを操縦することができる。   In the example shown in FIG. 14, the video from the camera 61 and the video from the camera 65 are displayed separately on the display screen 21 by switching, but the third embodiment is not limited to this example. . The third embodiment may be an aspect in which the video from the camera 61 and the video from the camera 65 are displayed together on the display screen 21. In this case, the operator 200 can maneuver the moving device 60 itself and the work arm 64 without switching the screen.

以上のように、本発明によれば、遠隔操縦装置及び遠隔システムにおいて、製造コストの低減と機動性の向上とを図ることができる。よって、本発明は、遠隔操縦が求められる各種分野、例えば、作業用ロボット、レスキューロボット等に有用である。   As described above, according to the present invention, it is possible to reduce the manufacturing cost and improve the mobility in the remote control device and the remote system. Therefore, the present invention is useful in various fields that require remote control, for example, work robots, rescue robots, and the like.

１０ 遠隔操縦装置（実施の形態１）
１１ 駆動部
１２ 伝達部材
１３ 装着部材
１４ 制御部
１５ プーリ
１６ 通し穴
１８ 装着部材収納用の凹部
１９ 伝達部材収納用の凹部
２０ 表示部
２１ 表示画面
３０ 位置検出部
４０ 情報処理部
４１ 遠隔操縦部
４２ 通信部
５０ カバー
５１ 筐体
６０ 移動装置
６１ カメラ
６２ 動力部
６３ 通信部
６４ 作業用アーム
６５ カメラ
７０ 実空間に存在する物体
８０ 遠隔操縦装置（実施の形態２）
８１ 装着部材
８２ 伝達部材
８３ 駆動部
９０ 遠隔操縦装置（実施の形態３）
１００ 遠隔操縦システム（実施の形態１）
１０１ 操縦用オブジェクト
１０２、１０３ ユーザオブジェクト
１０４ アーム操縦用オブジェクト
１１０ 遠隔操縦システム（実施の形態２）
１２０ 遠隔操縦システム（実施の形態３）
２００ 操縦者 10. Remote control device (Embodiment 1)
DESCRIPTION OF SYMBOLS 11 Drive part 12 Transmission member 13 Mounting member 14 Control part 15 Pulley 16 Through-hole 18 Recessed part for storing a mounting member 19 Recessed part for storing a transmission member 20 Display part 21 Display screen 30 Position detection part 40 Information processing part 41 Remote control part 42 Communication unit 50 Cover 51 Housing 60 Moving device 61 Camera 62 Power unit 63 Communication unit 64 Working arm 65 Camera 70 Object existing in real space 80 Remote control device (Embodiment 2)
81 Mounting member 82 Transmission member 83 Drive unit 90 Remote control device (Embodiment 3)
100 Remote control system (Embodiment 1)
101 Steering Object 102, 103 User Object 104 Arm Steering Object 110 Remote Steering System (Embodiment 2)
120 Remote control system (Embodiment 3)
200 Pilot

Claims (12)

移動装置を遠隔から操縦するための遠隔操縦装置であって、
前記移動装置に取り付けられたカメラからの映像を、画面上に表示させる、表示部と、
操縦者に装着される装着部材と、
前記装着部材の実空間での位置を検出する、位置検出部と、
当該遠隔操縦装置から、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせ、更に、検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出し、そして、算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、情報処理部と、
前記情報処理部によって特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、遠隔操縦部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、制御部と、
を備えている、ことを特徴とする遠隔操縦装置。 A remote control device for remotely controlling a mobile device,
A display unit for displaying an image from a camera attached to the mobile device on a screen;
A mounting member to be mounted on the operator;
A position detector for detecting the position of the mounting member in real space;
A transmission member extending from the remote control device to the mounting member and transmitting a force in a pulling direction to the mounting member;
A drive unit that generates a force in the pulling direction and applies the force to the transmission member;
A first object corresponding to the moving device and a second object corresponding to the mounting member are created in a virtual space, and these are superimposed on an image from the camera, and the detected mounting When the second object is moved according to the position of the member and the second object gives an external force to the first object, the external force is calculated, and the calculated external force is used to calculate the first force. An information processing unit for identifying a change occurring in one object;
A remote control unit for instructing the mobile device to operate so that a change similar to the change specified by the information processing unit occurs in the mobile device;
The driving unit generates in advance a force in the pulling direction having a set magnitude as an initial force, and a reaction force against the external force calculated by the information processing unit is a force presented to the operator. As a sense, a control unit that increases or decreases the initial force in the drive unit so as to be transmitted to the operator via the mounting member;
A remote control device characterized by comprising: 前記装着部材が、前記操縦者の一の指に装着されており、
当該遠隔操縦装置は、前記一の指とは別の指に装着される第２の装着部材と、当該遠隔操縦装置から、前記第２の装着部材へと伸びて、前記第２の装着部材に引っ張り方向の力を伝達する第２の伝達部材と、引っ張り方向の力を発生させて、それを前記第２の伝達部材に与える第２の駆動部と、を更に備え、
前記情報処理部は、前記仮想空間に、前記第２の装着部材に相当する第３のオブジェクトを作成し、これを前記第１のオブジェクト及び前記第２のオブジェクトと共に、前記カメラからの映像に重ね合わせ、更に、検出された前記第２の装着部材の位置に応じて、前記第３のオブジェクトを移動させ、前記第２のオブジェクト及び前記第３のオブジェクトの一方又は両方が前記第１のオブジェクトに外力を与えた場合は、前記外力を算出し、そして、算出した前記外力によって前記第１のオブジェクトに生じた変化を特定し、
前記制御部は、予め、前記第２の駆動部にも、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記外力に対する反力が、前記力覚として、前記装着部材及び前記第２の装着部材の一方又は両方を介して前記操縦者に伝達されるように、前記駆動部及び前記第２の駆動部の一方又は両方における前記初期力を増加又は減少させる、請求項１に記載の遠隔操縦装置。 The mounting member is mounted on one finger of the pilot;
The remote control device includes a second mounting member mounted on a finger different from the one finger, and extends from the remote control device to the second mounting member, to the second mounting member. A second transmission member that transmits a force in the pulling direction; and a second drive unit that generates a force in the pulling direction and applies the force to the second transmission member;
The information processing unit creates a third object corresponding to the second mounting member in the virtual space, and superimposes the third object on the video from the camera together with the first object and the second object. In addition, the third object is moved according to the detected position of the second mounting member, and one or both of the second object and the third object are changed to the first object. When an external force is applied, the external force is calculated, and a change caused in the first object by the calculated external force is specified,
The control unit causes the second driving unit to generate a force in the pulling direction having a set magnitude as an initial force in advance, and a reaction force against the external force calculated by the information processing unit is generated. The initial force in one or both of the drive unit and the second drive unit is transmitted as the force sensation to the operator via one or both of the mounting member and the second mounting member. 2. A remote control device according to claim 1, which increases or decreases the force. 前記操縦者が、前記装着部材と前記第２の装着部材とを操作して、前記第２のオブジェクトと前記第３のオブジェクトとによって、前記第１のオブジェクトを挟み込み、その状態で、前記第１のオブジェクトを動かした場合に、
前記情報処理部が、前記第１のオブジェクトに生じる変化として、前記第１のオブジェクトの移動方向と前記移動方向への加速度とを特定し、
前記遠隔操縦部が、前記移動装置が、特定された加速度で、特定された移動方向へと移動するように、前記移動装置に対して動作を指示する、
請求項２に記載の遠隔操縦装置。 The operator operates the mounting member and the second mounting member to sandwich the first object between the second object and the third object, and in this state, the first object If you move the object of
The information processing unit specifies a moving direction of the first object and an acceleration in the moving direction as a change occurring in the first object,
The remote control unit instructs the mobile device to operate so that the mobile device moves in the specified moving direction at the specified acceleration;
The remote control device according to claim 2. 前記移動装置が、複数の関節を有する作業用アームを備えたロボットであり、
前記情報処理部が、更に、前記作業用アームに対応する、第４のオブジェクトを作成し、これを前記カメラからの映像に重ね合わせ、そして、前記操縦者が、前記装着部材と前記第２の装着部材とを操作して、前記第２のオブジェクトと前記第３のオブジェクトとによって、前記第４のオブジェクトを動かした場合に、前記第４のオブジェクトに生じた変化を特定し、
前記遠隔操縦部が、前記作業用アームに、特定された変化と同様の変化が生じるように、前記移動装置に対して動作を指示する、
請求項２または３に記載の遠隔操縦装置。 The moving device is a robot including a working arm having a plurality of joints;
The information processing unit further creates a fourth object corresponding to the working arm, superimposes the fourth object on the video from the camera, and the operator moves the mounting member and the second object. When the fourth object is moved by the second object and the third object by operating a mounting member, the change that has occurred in the fourth object is specified,
The remote control unit instructs the mobile device to operate so that a change similar to the specified change occurs in the working arm;
The remote control device according to claim 2 or 3. 当該遠隔操縦装置が、タブレット状の筐体を更に備え、
前記伝達部材及び前記第２の伝達部材は、それぞれ、前記筐体の背面側における異なる位置から前記接続部材へと伸びる複数の紐状の部材で構成され、
前記駆動部は、前記伝達部材を構成する前記複数の紐状の部材それぞれを巻き取ることによって、これらに前記引っ張り方向の力を与え、
前記第２の駆動部は、前記第２の伝達部材を構成する前記複数の紐状の部材それぞれを巻き取ることによって、これらに前記引っ張り方向の力を与え、
前記制御部は、前記駆動部が前記複数の紐状の部材に与える前記引っ張り方向の力の合力と、前記第２の駆動部が前記複数の紐状の部材に与える前記引っ張り方向の力の合力とを、前記力覚として、前記操縦者に伝達する、
請求項２〜４のいずれかに記載の遠隔操縦装置。 The remote control device further includes a tablet-like housing,
The transmission member and the second transmission member are each composed of a plurality of string-like members extending from different positions on the back side of the housing to the connection member,
The driving unit applies a force in the pulling direction to each of the plurality of string-like members constituting the transmission member,
The second driving unit applies a force in the pulling direction to each of the plurality of string-shaped members constituting the second transmission member,
The controller includes a resultant force of the pulling direction force applied to the plurality of string-like members by the driving unit and a resultant force of the pulling direction force applied to the plurality of string-like members by the second driving unit. To the pilot as the force sense,
The remote control device according to any one of claims 2 to 4. 移動装置と、それを遠隔から操縦するための遠隔操縦装置とを備え、
前記移動装置は、前方を撮影するカメラを備え、
前記遠隔操縦装置は、
前記移動装置に取り付けられた前記カメラからの映像を、画面上に表示させる、表示部と、
操縦者に装着される装着部材と、
前記装着部材の実空間での位置を検出する、位置検出部と、
当該遠隔操縦装置から、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせ、更に、検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出し、そして、算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、情報処理部と、
前記情報処理部によって特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、遠隔操縦部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、制御部と、
を備えている、ことを特徴とする遠隔操縦システム。 A mobile device and a remote control device for remotely controlling the mobile device,
The moving device includes a camera for photographing the front,
The remote control device includes:
A display unit for displaying an image from the camera attached to the moving device on a screen;
A mounting member to be mounted on the operator;
A position detector for detecting the position of the mounting member in real space;
A transmission member extending from the remote control device to the mounting member and transmitting a force in a pulling direction to the mounting member;
A drive unit that generates a force in the pulling direction and applies the force to the transmission member;
A first object corresponding to the moving device and a second object corresponding to the mounting member are created in a virtual space, and these are superimposed on an image from the camera, and the detected mounting When the second object is moved according to the position of the member and the second object gives an external force to the first object, the external force is calculated, and the calculated external force is used to calculate the first force. An information processing unit for identifying a change occurring in one object;
A remote control unit for instructing the mobile device to operate so that a change similar to the change specified by the information processing unit occurs in the mobile device;
The driving unit generates in advance a force in the pulling direction having a set magnitude as an initial force, and a reaction force against the external force calculated by the information processing unit is a force presented to the operator. As a sense, a control unit that increases or decreases the initial force in the drive unit so as to be transmitted to the operator via the mounting member;
A remote control system characterized by comprising: 前記装着部材が、前記操縦者の一の指に装着されており、
前記遠隔操縦装置は、前記一の指とは別の指に装着される第２の装着部材と、当該遠隔操縦装置から、前記第２の装着部材へと伸びて、前記第２の装着部材に引っ張り方向の力を伝達する第２の伝達部材と、引っ張り方向の力を発生させて、それを前記第２の伝達部材に与える第２の駆動部と、を更に備え、
前記情報処理部は、前記仮想空間に、前記第２の装着部材に相当する第３のオブジェクトを作成し、これを前記第１のオブジェクト及び前記第２のオブジェクトと共に、前記カメラからの映像に重ね合わせ、更に、検出された前記第２の装着部材の位置に応じて、前記第３のオブジェクトを移動させ、前記第２のオブジェクト及び前記第３のオブジェクトの一方又は両方が前記第１のオブジェクトに外力を与えた場合は、前記外力を算出し、そして、算出した前記外力によって前記第１のオブジェクトに生じた変化を特定し、
前記制御部は、予め、前記第２の駆動部にも、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記外力に対する反力が、前記力覚として、前記装着部材及び前記第２の装着部材の一方又は両方を介して前記操縦者に伝達されるように、前記駆動部及び前記第２の駆動部の一方又は両方における前記初期力を増加又は減少させる、請求項６に記載の遠隔操縦システム。 The mounting member is mounted on one finger of the pilot;
The remote control device extends from the remote control device to the second mounting member, and is attached to the second mounting member. The second mounting member is mounted on a finger different from the one finger. A second transmission member that transmits a force in the pulling direction; and a second drive unit that generates a force in the pulling direction and applies the force to the second transmission member;
The information processing unit creates a third object corresponding to the second mounting member in the virtual space, and superimposes the third object on the video from the camera together with the first object and the second object. In addition, the third object is moved according to the detected position of the second mounting member, and one or both of the second object and the third object are changed to the first object. When an external force is applied, the external force is calculated, and a change caused in the first object by the calculated external force is specified,
The control unit causes the second driving unit to generate a force in the pulling direction having a set magnitude as an initial force in advance, and a reaction force against the external force calculated by the information processing unit is generated. The initial force in one or both of the drive unit and the second drive unit is transmitted as the force sensation to the operator via one or both of the mounting member and the second mounting member. The remote control system of claim 6, wherein the force is increased or decreased. 前記操縦者が、前記装着部材と前記第２の装着部材とを操作して、前記第２のオブジェクトと前記第３のオブジェクトとによって、前記第１のオブジェクトを挟み込み、その状態で、前記第１のオブジェクトを動かした場合に、
前記情報処理部が、前記第１のオブジェクトに生じる変化として、前記第１のオブジェクトの移動方向と前記移動方向への加速度とを特定し、
前記遠隔操縦部が、前記移動装置が、特定された加速度で、特定された移動方向へと移動するように、前記移動装置に対して動作を指示する、
請求項７に記載の遠隔操縦システム。 The operator operates the mounting member and the second mounting member to sandwich the first object between the second object and the third object, and in this state, the first object If you move the object of
The information processing unit specifies a moving direction of the first object and an acceleration in the moving direction as a change occurring in the first object,
The remote control unit instructs the mobile device to operate so that the mobile device moves in the specified moving direction at the specified acceleration;
The remote control system according to claim 7. 前記移動装置が、複数の関節を有する作業用アームを備え、
前記情報処理部が、更に、前記作業用アームに対応する、第４のオブジェクトを作成し、これを前記カメラからの映像に重ね合わせ、そして、前記操縦者が、前記装着部材と前記第２の装着部材とを操作して、前記第２のオブジェクトと前記第３のオブジェクトとによって、前記第４のオブジェクトを動かした場合に、前記第４のオブジェクトに生じた変化を特定し、
前記遠隔操縦部が、前記作業用アームに、特定された変化と同様の変化が生じるように、前記移動装置に対して動作を指示する、
請求項７または８に記載の遠隔操縦システム。 The moving device includes a working arm having a plurality of joints;
The information processing unit further creates a fourth object corresponding to the working arm, superimposes the fourth object on the video from the camera, and the operator moves the mounting member and the second object. When the fourth object is moved by the second object and the third object by operating a mounting member, the change that has occurred in the fourth object is specified,
The remote control unit instructs the mobile device to operate so that a change similar to the specified change occurs in the working arm;
The remote control system according to claim 7 or 8. 前記遠隔操縦装置が、タブレット状の筐体を更に備え、
前記伝達部材及び前記第２の伝達部材は、それぞれ、前記筐体の背面側における異なる位置から前記接続部材へと伸びる複数の紐状の部材で構成され、
前記駆動部は、前記伝達部材を構成する前記複数の紐状の部材それぞれを巻き取ることによって、これらに前記引っ張り方向の力を与え、
前記第２の駆動部は、前記第２の伝達部材を構成する前記複数の紐状の部材それぞれを巻き取ることによって、これらに前記引っ張り方向の力を与え、
前記制御部は、前記駆動部が前記複数の紐状の部材に与える前記引っ張り方向の力の合力と、前記第２の駆動部が前記複数の紐状の部材に与える前記引っ張り方向の力の合力とを、前記力覚として、前記操縦者に伝達する、
請求項７〜９のいずれかに記載の遠隔操縦システム。 The remote control device further includes a tablet-like housing,
The transmission member and the second transmission member are each composed of a plurality of string-like members extending from different positions on the back side of the housing to the connection member,
The driving unit applies a force in the pulling direction to each of the plurality of string-like members constituting the transmission member,
The second driving unit applies a force in the pulling direction to each of the plurality of string-shaped members constituting the second transmission member,
The controller includes a resultant force of the pulling direction force applied to the plurality of string-like members by the driving unit and a resultant force of the pulling direction force applied to the plurality of string-like members by the second driving unit. To the pilot as the force sense,
The remote control system according to any one of claims 7 to 9. 遠隔操縦の対象となる移動装置に取り付けられたカメラからの映像を、画面上に表示させる、表示部と、操縦者に装着される装着部材と、前記装着部材の実空間での位置を検出する、位置検出部と、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、コンピュータと、を備える遠隔操縦装置を用いた、遠隔操縦方法であって、
前記コンピュータによって実行される、
（ａ）仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせる、ステップと、
（ｂ）検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出する、ステップと、
（ｃ）算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、ステップと、
（ｄ）前記（ｃ）のステップで特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、ステップと、
（ｅ）予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記（ｂ）のステップで算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、ステップと、
を有する、ことを特徴とする遠隔操縦方法。 Displaying an image from a camera attached to a mobile device to be remotely controlled on a screen, detecting a display unit, a mounting member mounted on a pilot, and a position of the mounting member in real space A position detection unit; a transmission member that extends to the mounting member to transmit a force in the pulling direction to the mounting member; a drive unit that generates the force in the pulling direction and applies the force to the transmission member; and a computer A remote control method using a remote control device comprising:
Executed by the computer,
(A) creating a first object corresponding to the moving device and a second object corresponding to the mounting member in a virtual space, and superimposing these on a video from the camera;
(B) moving the second object according to the detected position of the mounting member, and calculating the external force when the second object applies an external force to the first object, When,
(C) identifying a change that occurs in the first object by the calculated external force;
(D) instructing the mobile device to perform an operation such that a change similar to the change identified in step (c) occurs in the mobile device;
(E) A force in the pulling direction having a set magnitude is generated as an initial force in advance in the drive unit, and a reaction force against the external force calculated in the step (b) Increasing or decreasing the initial force in the drive unit to be transmitted to the operator via the mounting member as a force sensation presented to
A remote control method comprising: 前記遠隔操縦装置は、遠隔操縦の対象となる移動装置に取り付けられたカメラからの映像を、画面上に表示させる、表示部と、操縦者に装着される装着部材と、前記装着部材の実空間での位置を検出する、位置検出部と、前記装着部材へと伸びて、前記装着部材に引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、コンピュータと、を備える遠隔操縦装置において、
前記コンピュータに、
（ａ）仮想空間に、前記移動装置に対応する第１のオブジェクトと、前記装着部材に相当する第２のオブジェクトとを作成し、これらを、前記カメラからの映像に重ね合わせる、ステップと、
（ｂ）検出された前記装着部材の位置に応じて、前記第２のオブジェクトを移動させ、前記第２のオブジェクトが前記第１のオブジェクトに外力を与えた場合は、前記外力を算出する、ステップと、
（ｃ）算出した前記外力によって前記第１のオブジェクトに生じる変化を特定する、ステップと、
（ｄ）前記（ｃ）のステップで特定された変化と同様の変化が、前記移動装置に生じるように、前記移動装置に対して動作を指示する、ステップと、
（ｅ）予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記（ｂ）のステップで算出された前記外力に対する反力が、前記操縦者に提示される力覚として、前記装着部材を介して前記操縦者に伝達されるように、前記駆動部における前記初期力を増加又は減少させる、ステップと、
を実行させる、プログラム。 The remote control device includes a display unit that displays an image from a camera attached to a mobile device that is a target of remote control on a screen, a mounting member that is mounted on a pilot, and a real space of the mounting member. A position detection unit that detects a position at the position, a transmission member that extends to the mounting member and transmits a force in the pulling direction to the mounting member, and generates a force in the pulling direction, which is transmitted to the transmission member In a remote control device comprising a drive unit for giving and a computer,
In the computer,
(A) creating a first object corresponding to the moving device and a second object corresponding to the mounting member in a virtual space, and superimposing these on a video from the camera;
(B) moving the second object according to the detected position of the mounting member, and calculating the external force when the second object applies an external force to the first object, When,
(C) identifying a change that occurs in the first object by the calculated external force;
(D) instructing the mobile device to perform an operation such that a change similar to the change identified in step (c) occurs in the mobile device;
(E) A force in the pulling direction having a set magnitude is generated as an initial force in advance in the drive unit, and a reaction force against the external force calculated in the step (b) Increasing or decreasing the initial force in the drive unit to be transmitted to the operator via the mounting member as a force sensation presented to
A program that executes
JP2014032088A 2014-02-21 2014-02-21 Remote control device, remote control system, method and program of remote control Pending JP2015157323A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014032088A JP2015157323A (en) 2014-02-21 2014-02-21 Remote control device, remote control system, method and program of remote control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014032088A JP2015157323A (en) 2014-02-21 2014-02-21 Remote control device, remote control system, method and program of remote control

Publications (1)

Publication Number Publication Date
JP2015157323A true JP2015157323A (en) 2015-09-03

Family

ID=54181790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014032088A Pending JP2015157323A (en) 2014-02-21 2014-02-21 Remote control device, remote control system, method and program of remote control

Country Status (1)

Country Link
JP (1) JP2015157323A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105364934A (en) * 2015-11-30 2016-03-02 山东建筑大学 Remote operation control system and method of hydraulic mechanical arm
JP7339776B2 (en) 2019-05-28 2023-09-06 川崎重工業株式会社 Control system, machine system and control method
JP7339806B2 (en) 2019-08-05 2023-09-06 川崎重工業株式会社 Control system, robot system and control method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105364934A (en) * 2015-11-30 2016-03-02 山东建筑大学 Remote operation control system and method of hydraulic mechanical arm
JP7339776B2 (en) 2019-05-28 2023-09-06 川崎重工業株式会社 Control system, machine system and control method
JP7339806B2 (en) 2019-08-05 2023-09-06 川崎重工業株式会社 Control system, robot system and control method

Similar Documents

Publication Publication Date Title
JP6642432B2 (en) Information processing apparatus, information processing method, and image display system
JP6538961B2 (en) Control device
US9884248B2 (en) Display control method for head-mounted display (HMD) and image generation device
JP5246672B2 (en) Robot system
CN103877726B (en) A kind of virtual reality components system
JP6601402B2 (en) Control device, control method and program
US11609428B2 (en) Information processing apparatus and information processing method
US9332219B2 (en) Telepresence device
US20210069894A1 (en) Remote control system, information processing method, and non-transitory computer-readable recording medium
US10771707B2 (en) Information processing device and information processing method
JP2016024707A (en) Tactile sense presentation device and inner force sense presentation system
JP2022184958A (en) animation production system
JP2015157323A (en) Remote control device, remote control system, method and program of remote control
JP2015134384A (en) Remote control device and remote control system
WO2021261595A1 (en) Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft
WO2020209167A1 (en) Information processing device, information processing method, and program
JP6341096B2 (en) Haptic sensation presentation device, information terminal, haptic presentation method, and computer-readable recording medium
JPH08257948A (en) Remote control device for robot
WO2021002116A1 (en) Information processing device, information processing method, and program
JP6133344B2 (en) User interface display method and program for display on head mounted display
JP6428629B2 (en) Tactile sensation presentation device, information terminal, haptic presentation method, and program
JP3834606B2 (en) Remote control device for mobile manipulator
JPWO2022124398A5 (en)
TW201944365A (en) A method to enhance first-person-view experience
WO2023021757A1 (en) Information processing device, information processing method, and program