JP2020175453A - Remote control device - Google Patents

Remote control device Download PDF

Info

Publication number
JP2020175453A
JP2020175453A JP2019077174A JP2019077174A JP2020175453A JP 2020175453 A JP2020175453 A JP 2020175453A JP 2019077174 A JP2019077174 A JP 2019077174A JP 2019077174 A JP2019077174 A JP 2019077174A JP 2020175453 A JP2020175453 A JP 2020175453A
Authority
JP
Japan
Prior art keywords
virtual
image
remote control
work site
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019077174A
Other languages
Japanese (ja)
Inventor
祥 安井
Sho Yasui
祥 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2019077174A priority Critical patent/JP2020175453A/en
Publication of JP2020175453A publication Critical patent/JP2020175453A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

To associate a coordinate system of a mobile robot with a coordinate system of a work site without using a distance measurement device.SOLUTION: A remote control device comprises: an imaging unit imaging an actual video image of a work site of a mobile robot; a virtual video image generation unit generating a virtual three-dimensional video image of the work site on the basis of the actual video image and a three-dimensional model; a display unit displaying the virtual three-dimensional video image; and an operation unit generating an operation signal for remotely operating the mobile robot. The virtual video image generation unit adjusts a position of a basic virtual three-dimensional video image in such a way that common objects common to the basic virtual three-dimensional video image generated based on the three-dimensional model and the actual video image overlap each other.SELECTED DRAWING: Figure 1

Description

本発明は、遠隔操作装置に関する。 The present invention relates to a remote control device.

下記特許文献１には、移動型ロボットシステムにおけるマニピュレータ遠隔操作方法が開示されている。このマニピュレータ遠隔操作方法は、距離計測装置で計測した障害物までの距離に基づいて移動型マニピュレータと障害物との位置関係を特定し、この上でカメラで撮像したカメラ画像を操縦システムの表示装置に表示させ、操作者が表示装置に表示されたカメラ画像を見つつ移動型ロボットシステムを遠隔操作するものである。 The following Patent Document 1 discloses a manipulator remote control method in a mobile robot system. In this remote control method of the manipulator, the positional relationship between the mobile manipulator and the obstacle is specified based on the distance to the obstacle measured by the distance measuring device, and the camera image captured by the camera is displayed on the display device of the control system. The operator remotely controls the mobile robot system while viewing the camera image displayed on the display device.

特許第４５５８６８２号公報Japanese Patent No. 4558682

ところで、上記距離計測装置はレーザ光を用いて移動ロボットと障害物との距離を計測するものであるが、作業現場の環境によっては採用することができない場合がある。このような場合、移動型マニピュレータの座標系（移動ロボットの座標系）と障害物の座標系（作業現場の座標系）とを関連付けることができなくなるので、移動型マニピュレータを遠隔操作することができなくなる。 By the way, the distance measuring device measures the distance between the mobile robot and an obstacle by using a laser beam, but it may not be adopted depending on the environment of the work site. In such a case, the coordinate system of the mobile manipulator (coordinate system of the mobile robot) and the coordinate system of the obstacle (coordinate system of the work site) cannot be associated with each other, so that the mobile manipulator can be operated remotely. It disappears.

本発明は、上述した事情に鑑みてなされたものであり、距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付けることを目的とするものである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to associate the coordinate system of a mobile robot with the coordinate system of a work site without using a distance measuring device.

上記目的を達成するために、本発明では、遠隔操作装置に係る第１の解決手段として、移動ロボットの作業現場の実映像を撮像する撮像部と、前記実映像と前記作業現場の三次元モデルとに基づいて前記作業現場の仮想三次元映像を生成する仮想映像生成部と、前記仮想三次元映像を表示する表示部と、前記移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、前記仮想映像生成部は、前記三次元モデルに基づいて生成した基本仮想三次元映像と前記実映像とに共通する共通物体が重なり合うように前記基本仮想三次元映像の位置調整を行うことにより前記仮想三次元映像を生成する、という手段を採用する。 In order to achieve the above object, in the present invention, as a first solution relating to the remote control device, an imaging unit that captures an actual image of a mobile robot's work site, and a three-dimensional model of the actual image and the work site. A virtual image generation unit that generates a virtual three-dimensional image of the work site based on the above, a display unit that displays the virtual three-dimensional image, and an operation unit that generates an operation signal for remotely operating the mobile robot are provided. The virtual image generation unit adjusts the position of the basic virtual three-dimensional image so that the common object common to the basic virtual three-dimensional image generated based on the three-dimensional model and the real image overlaps with each other. The means of generating a virtual three-dimensional image is adopted.

本発明では、遠隔操作装置に係る第２の解決手段として、上記第１の解決手段において、前記共通物体は、前記作業現場に設けられるマーク部材である、という手段を採用する。 In the present invention, as the second solution means for the remote control device, in the first solution means, the common object is a mark member provided at the work site.

本発明では、遠隔操作装置に係る第３の解決手段として、上記第１または第２の解決手段において、前記移動ロボットは、自走タイプのロボットである、という手段を採用する。 In the present invention, as the third solution means for the remote control device, in the first or second solution means, the mobile robot is a self-propelled type robot.

本発明では、遠隔操作装置に係る第４の解決手段として、上記第１〜第３のいずれかの解決手段において、前記表示部は、ヘッドマウントディスプレイである、という手段を採用する。 In the present invention, as a fourth solution relating to the remote control device, in any of the first to third solutions, the display unit is a head-mounted display.

本発明では、遠隔操作装置に係る第５の解決手段として、上記第１〜第４のいずれかの解決手段において、前記作業現場は、放射線レベルが通常レベルに比較して高い場所である、という手段を採用する。 In the present invention, as a fifth solution according to the remote control device, in any of the first to fourth solutions, the work site is a place where the radiation level is higher than the normal level. Adopt the means.

本発明によれば、距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付けることが可能である。 According to the present invention, it is possible to associate the coordinate system of the mobile robot with the coordinate system of the work site without using a distance measuring device.

本発明の一実施形態におけるロボットシステムの全体構成を示すシステム構成図である。It is a system block diagram which shows the whole structure of the robot system in one Embodiment of this invention. 本発明の一実施形態に係る遠隔操作装置の構成を示すブロック図である。It is a block diagram which shows the structure of the remote control device which concerns on one Embodiment of this invention. 本発明の一実施形態における実映像を示す模式図（ａ）及び仮想三次元映像を示す模式図（ｂ）である。It is a schematic diagram (a) which shows the real image and the schematic diagram (b) which shows a virtual three-dimensional image in one embodiment of the present invention. 本発明の一実施形態における合成映像を示す模式図である。It is a schematic diagram which shows the synthetic image in one Embodiment of this invention.

以下、図面を参照して、本発明の一実施形態について説明する。
最初に、本実施形態におけるロボットシステムは、図１に示すようにロボット本体１と遠隔操作装置２とによって構成される。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
First, the robot system in this embodiment is composed of a robot body 1 and a remote control device 2 as shown in FIG.

ロボット本体１は、所定の作業現場で移動しつつワークＷに対して所定の作業を行う移動ロボットであり、図示するように移動台車１ａ、マニピュレータ１ｂ、作業具１ｃ、カメラ１ｄ及びロボットコントローラ１ｅを少なくとも備えている。上記作業現場は、放射線レベルが通常レベルに比較して高い場所であり、ロボット本体１において従来の距離計測装置を用いることが困難な環境である。 The robot body 1 is a mobile robot that performs a predetermined work on the work W while moving at a predetermined work site, and has a mobile trolley 1a, a manipulator 1b, a work tool 1c, a camera 1d, and a robot controller 1e as shown in the figure. At least I have. The work site is a place where the radiation level is higher than the normal level, and it is difficult to use the conventional distance measuring device in the robot body 1.

この作業現場には、ロボット本体１の作業対象であるワークＷが支持台Ｔ上に載置されている。また、ワークＷの近傍には、ワークＷの位置とロボット本体１の位置とを関連付けるためのマーク部材Ｍが設けられている。このマーク部材Ｍは、特異な形状をした物体である。 At this work site, the work W, which is the work target of the robot body 1, is placed on the support base T. Further, in the vicinity of the work W, a mark member M for associating the position of the work W with the position of the robot body 1 is provided. The mark member M is an object having a peculiar shape.

ロボット本体１は、作業現場を自走する自走タイプのロボットである。このロボット本体１は、ロボットコントローラ１ｅによって制御されることによって、支持台Ｔ上に載置されたワークＷに対して所定の作業を行う。 The robot body 1 is a self-propelled robot that runs on the work site. The robot body 1 is controlled by the robot controller 1e to perform a predetermined work on the work W placed on the support base T.

移動台車１ａは、複数の車輪と当該車輪を駆動する駆動装置（モータ等）を備えており、ロボットコントローラ１ｅから入力される走行制御信号に基づいて作業現場のフロアＦ上を走行する。この移動台車１ａは、自らに搭載されたマニピュレータ１ｂの作業現場における位置を所定の作業位置に設定する。 The mobile carriage 1a includes a plurality of wheels and a drive device (motor or the like) for driving the wheels, and travels on the floor F of the work site based on a travel control signal input from the robot controller 1e. The mobile carriage 1a sets the position of the manipulator 1b mounted on the mobile carriage 1b at the work site to a predetermined work position.

マニピュレータ１ｂは、上記移動台車１ａの上に固定設置されており、複数のアームと当該アームを連結する複数の関節部を備える。このマニピュレータ１ｂは、ロボットコントローラ１ｅから入力される関節制御信号に基づいて関節部に備えられたモータを駆動することにより、先端部に装着された作業具１ｃを移動させる。すなわち、このマニピュレータ１ｂは、作業具１ｃの位置や姿勢をワークＷに対する作業内容に応じて最適設定する機械装置である。 The manipulator 1b is fixedly installed on the moving carriage 1a, and includes a plurality of arms and a plurality of joints connecting the arms. The manipulator 1b moves the work tool 1c attached to the tip portion by driving a motor provided in the joint portion based on a joint control signal input from the robot controller 1e. That is, the manipulator 1b is a mechanical device that optimally sets the position and posture of the work tool 1c according to the work content with respect to the work W.

作業具１ｃは、マニピュレータ１ｂの先端部に着脱自在に装着されており、ワークＷに対して直接的な作業を行う部位である。例えば、ワークに対して機械的な加工を行う場合、作業具１ｃは、ワークに対してせん断力や押圧力等を作用させる工具である。 The work tool 1c is detachably attached to the tip of the manipulator 1b, and is a portion for directly performing work on the work W. For example, when mechanically machining a work, the work tool 1c is a tool that exerts a shearing force, a pressing force, or the like on the work.

カメラ１ｄは、移動台車１ａの前方側、つまり移動台車１ａにおいてマニピュレータ１ｂの前に固定設置されており、移動台車１ａの前方の映像を作業現場の実映像Ｇ１として撮像する。この実映像Ｇ１は、図３（ａ）に示すように、作業現場におけるワークＷ及び当該ワークに対して作業を行う作業具１ｃの状態を示す動画である。このようなカメラ１ｄは、実映像Ｇ１を実映像信号として遠隔操作装置２に出力する。 The camera 1d is fixedly installed on the front side of the mobile carriage 1a, that is, in front of the manipulator 1b on the mobile carriage 1a, and captures an image in front of the mobile carriage 1a as an actual image G1 of the work site. As shown in FIG. 3A, the actual image G1 is a moving image showing the state of the work W at the work site and the work tool 1c that performs work on the work. Such a camera 1d outputs the real video G1 as a real video signal to the remote control device 2.

ここで、図１ではカメラ１ｄと遠隔操作装置２とが別体の構成要素として描かれているが、カメラ１ｄは、機能的には遠隔操作装置２に含まれる構成要素である。また、このカメラ１ｄは、作業現場の実映像Ｇ１を撮像する撮像部に相当する。 Here, in FIG. 1, the camera 1d and the remote control device 2 are drawn as separate components, but the camera 1d is functionally a component included in the remote control device 2. Further, the camera 1d corresponds to an imaging unit that captures an actual image G1 at a work site.

ロボットコントローラ１ｅは、操作室の遠隔操作装置２と通信自在に接続された制御装置であり、遠隔操作装置２から受信した操作信号に基づいて移動台車１ａ及びマニピュレータ１ｂを制御する。このロボットコントローラ１ｅは、一種のコンピュータであり、予め記憶された制御プログラムに従って操作信号を情報処理することにより、操作信号に従って移動台車１ａ及びマニピュレータ１ｂを制御する。 The robot controller 1e is a control device communicatively connected to the remote control device 2 in the operation room, and controls the mobile carriage 1a and the manipulator 1b based on the operation signal received from the remote control device 2. The robot controller 1e is a kind of computer, and controls the mobile carriage 1a and the manipulator 1b according to the operation signal by processing the operation signal according to the control program stored in advance.

遠隔操作装置２は、作業現場とは離間した操作室に備えられており、操作者からの操作入力に基づいてロボット本体１に操作信号を出力する。この遠隔操作装置２は、操作入力を操作プログラムに基づいて情報処理することにより操作信号を生成する一種のコンピュータであり、機能構成要素として図２に示す仮想映像生成部２ａ、表示部２ｂ及び操作部２ｃを少なくとも備えている。 The remote control device 2 is provided in an operation room separated from the work site, and outputs an operation signal to the robot body 1 based on an operation input from the operator. The remote control device 2 is a kind of computer that generates an operation signal by processing an operation input based on an operation program, and has a virtual image generation unit 2a, a display unit 2b, and an operation shown in FIG. 2 as functional components. It includes at least part 2c.

仮想映像生成部２ａは、作業現場の仮想三次元映像Ｇ２つまりバーチャルリアリティ映像を生成する。すなわち、この仮想映像生成部２ａは、予め記憶している作業現場の三次元モデル及び表示部２ｂから入力される視点指定信号並びにカメラ１ｄから入力される作業現場の実映像Ｇ１に基づいて仮想三次元映像Ｇ２を生成する。 The virtual image generation unit 2a generates a virtual three-dimensional image G2, that is, a virtual reality image at the work site. That is, the virtual image generation unit 2a is a virtual tertiary based on the three-dimensional model of the work site stored in advance, the viewpoint designation signal input from the display unit 2b, and the actual image G1 of the work site input from the camera 1d. Generates the original video G2.

上記作業現場の三次元モデルは、作業現場に存在する主要な物体、つまりワークＷ、ロボット本体１及びマーク部材Ｍ等の三次元形状と主要な物体の位置関係を示すデータとを含むものである。すなわち、仮想三次元映像Ｇ２は、作業現場に存在する主要な物体を個々のオブジェクトとして含むものである。なお、上記マーク部材Ｍは、実映像Ｇ１と仮想三次元映像Ｇ２とで共通する共通物体である。 The three-dimensional model of the work site includes data showing the positional relationship between the three-dimensional shapes of the main objects existing in the work site, that is, the work W, the robot body 1, the mark member M, and the like, and the main objects. That is, the virtual three-dimensional image G2 includes the main objects existing in the work site as individual objects. The mark member M is a common object common to the real image G1 and the virtual three-dimensional image G2.

また、上記仮想三次元映像Ｇ２は、視点指定信号に基づいて視点が設定される映像である。すなわち、この仮想三次元映像Ｇ２は、図３（ｂ）に示すように、支持台Ｔ’、ワークＷ’、ロボット本体１’及びマーク部材Ｍ’等の主要な物体が視点指定信号で指定される視点から見た三次元映像として表示される。仮想映像生成部２ａは、このような仮想三次元映像Ｇ２を表示部２ｂに出力する。 Further, the virtual three-dimensional image G2 is an image in which a viewpoint is set based on a viewpoint designation signal. That is, in this virtual three-dimensional image G2, as shown in FIG. 3B, main objects such as the support base T', the work W', the robot body 1', and the mark member M'are designated by the viewpoint designation signal. It is displayed as a three-dimensional image viewed from a different viewpoint. The virtual image generation unit 2a outputs such a virtual three-dimensional image G2 to the display unit 2b.

ここで、詳細については後述するが、仮想映像生成部２ａは、遠隔操作装置２を用いた作業の初期段階で基本仮想三次元映像Ｇｋを生成し、当該基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ処理を行う。この仮想映像生成部２ａは、上記位置合わせ処理の結果として仮想三次元映像Ｇ２を生成する。 Here, although the details will be described later, the virtual image generation unit 2a generates the basic virtual three-dimensional image Gk at the initial stage of the work using the remote control device 2, and the basic virtual three-dimensional image Gk and the real image G1. Performs alignment processing with. The virtual image generation unit 2a generates a virtual three-dimensional image G2 as a result of the alignment process.

表示部２ｂは、上記仮想三次元映像Ｇ２を表示する表示装置である。この表示部２ｂは、ロボット本体１を遠隔操作する上での支援情報として操作者に対して仮想三次元映像Ｇ２を提供する。すなわち、この表示部２ｂは、操作室において操作者が視認し易い形態のものであり、例えばヘッドマウントディスプレイ（ＨＭＤ）である。 The display unit 2b is a display device that displays the virtual three-dimensional image G2. The display unit 2b provides the operator with the virtual three-dimensional image G2 as support information for remotely controlling the robot body 1. That is, the display unit 2b has a form that is easy for the operator to see in the operation room, and is, for example, a head-mounted display (HMD).

また、この表示部２ｂには、被装着者つまり操作者の頭の向きを検出するモーションセンサ２ｄが組み込まれている。このモーションセンサ２ｄは、操作者の頭の向きを示す検出信号を視点指定信号として仮想映像生成部２ａに出力する。このようなモーションセンサ２ｄは、仮想三次元映像Ｇ２の視点を指定する視点指定部に相当する。 Further, the display unit 2b incorporates a motion sensor 2d that detects the direction of the head of the wearer, that is, the operator. The motion sensor 2d outputs a detection signal indicating the direction of the operator's head to the virtual image generation unit 2a as a viewpoint designation signal. Such a motion sensor 2d corresponds to a viewpoint designation unit that designates the viewpoint of the virtual three-dimensional image G2.

なお、上述した仮想映像生成部２ａは、このようなモーションセンサ２ｄの検出信号を視点指定信号として取り込むことにより、操作者の頭の向きに応じて視点が変化する仮想三次元映像Ｇ２を生成する。 The virtual image generation unit 2a described above captures the detection signal of the motion sensor 2d as a viewpoint designation signal to generate a virtual three-dimensional image G2 whose viewpoint changes according to the direction of the operator's head. ..

操作部２ｃは、操作者が操作指示を入力する装置である。すなわち、この操作部２ｃは、ロボット本体１を遠隔操作するための操作指示を操作者から受け付け、当該操作指示を示す操作信号を生成してロボットコントローラ１ｅに出力する。このような操作部２ｃは、例えばジョイステックである。 The operation unit 2c is a device for the operator to input an operation instruction. That is, the operation unit 2c receives an operation instruction for remotely controlling the robot body 1 from the operator, generates an operation signal indicating the operation instruction, and outputs the operation signal to the robot controller 1e. Such an operation unit 2c is, for example, Joyce Tech.

次に、本実施形態に係る遠隔操作装置の動作、特に基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ動作について詳しく説明する。 Next, the operation of the remote control device according to the present embodiment, particularly the positioning operation of the basic virtual three-dimensional image Gk and the real image G1 will be described in detail.

この遠隔操作装置を用いてロボット本体１を遠隔操作する場合、操作者はＨＭＤである表示部２ｂを顔に装着して操作部２ｃに操作入力を行う。すなわち、操作者は、図２（ｂ）に示した仮想三次元映像Ｇ２を視認しつつ操作部２ｃに対して操作入力を行うことにより、ロボット本体１を遠隔操作する。 When the robot main body 1 is remotely controlled by using this remote control device, the operator attaches the display unit 2b, which is an HMD, to the face and inputs an operation to the operation unit 2c. That is, the operator remotely controls the robot body 1 by performing an operation input to the operation unit 2c while visually recognizing the virtual three-dimensional image G2 shown in FIG. 2 (b).

ここで、作業者及び遠隔操作装置は、実際の作業に先立って基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ処理を行う。すなわち、仮想映像生成部２ａは、この位置合わせ処理において、最初に視点指定信号及びワークＷ及び三次元モデルに基づいて基本となる基本仮想三次元映像Gｋを作成する。 Here, the operator and the remote control device perform the positioning process of the basic virtual three-dimensional image Gk and the real image G1 prior to the actual work. That is, in this alignment process, the virtual image generation unit 2a first creates a basic virtual three-dimensional image Gk based on the viewpoint designation signal, the work W, and the three-dimensional model.

この基本仮想三次元映像Gｋは、図３（ｂ）に示した仮想三次元映像Ｇ２と同様に、支持台Ｔ’、ワークＷ’、ロボット本体１’及びマーク部材Ｍ’等の主要な物体が表示されるものの実映像Ｇ１と関連付けられていない仮想映像である。したがって、基本仮想三次元映像Gｋは、支持台Ｔ’、ワークＷ’、ロボット本体１’及びマーク部材Ｍ’等の主要な物体の位置は、実映像Ｇ１におけるワークＷ、ロボット本体１及びマーク部材Ｍ等とは位置関係が一致していない仮想映像である。 Similar to the virtual 3D image G2 shown in FIG. 3B, the basic virtual 3D image Gk includes main objects such as a support base T', a work W', a robot body 1', and a mark member M'. It is a virtual image that is displayed but is not associated with the actual image G1. Therefore, in the basic virtual three-dimensional image Gk, the positions of the main objects such as the support base T', the work W', the robot body 1'and the mark member M'are determined by the work W, the robot body 1 and the mark member in the actual image G1. It is a virtual image whose positional relationship does not match with M and the like.

仮想映像生成部２ａは、遠隔操作装置を用いた作業の初期段階で上記基本仮想三次元映像Gｋを生成し、図４に示すように基本仮想三次元映像Gｋに実映像Ｇ１を重ね合わせた合成映像Ｇｇを表示部２ｂに出力する。また、仮想映像生成部２ａは、合成映像Ｇｇにおける実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Gｋのマーク部材Ｍ’とが重なり合うように基本仮想三次元映像Ｇｋの位置を調整することを促すテロップを合成映像Ｇｇに表示させる。 The virtual image generation unit 2a generates the above-mentioned basic virtual three-dimensional image Gk at the initial stage of the work using the remote control device, and synthesizes the basic virtual three-dimensional image Gk by superimposing the real image G1 as shown in FIG. The video Gg is output to the display unit 2b. Further, the virtual image generation unit 2a adjusts the position of the basic virtual three-dimensional image Gk so that the mark member M of the real image G1 and the mark member M'of the basic virtual three-dimensional image Gk in the composite image Gg overlap. The telop to be prompted is displayed on the synthetic video Gg.

操作者は、最初に自らの頭の向きを変えることによって、基本仮想三次元映像Gｋの視点を実映像Ｇ１の視点つまりカメラ１ｄの位置に合わせる。あるいは、カメラ１ｄの位置から見えるはずの映像を仮想映像生成部２ａで生成して表示部２ｂに小ウインドウの形で表示することによって、基本仮想三次元映像Gｋの視点を実映像Ｇ１の視点つまりカメラ１ｄの位置に合わせる。 The operator first changes the direction of his / her head to align the viewpoint of the basic virtual three-dimensional image Gk with the viewpoint of the real image G1, that is, the position of the camera 1d. Alternatively, by generating an image that should be visible from the position of the camera 1d by the virtual image generation unit 2a and displaying it on the display unit 2b in the form of a small window, the viewpoint of the basic virtual three-dimensional image Gk can be changed to the viewpoint of the real image G1. Align with the position of camera 1d.

そして、操作者は、このような視点調整が完了すると、操作部２ｃを操作することによって、実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Gｋのマーク部材Ｍ’とが重なり合うように基本仮想三次元映像Gｋの位置調整を行う。なお、図４では、実映像Ｇ１のマーク部材Ｍ及び基本仮想三次元映像Gｋのマーク部材Ｍ’のみを便宜的に示している。 Then, when such viewpoint adjustment is completed, the operator operates the operation unit 2c so that the mark member M of the real image G1 and the mark member M'of the basic virtual three-dimensional image Gk overlap each other. Adjust the position of the 3D image Gk. Note that, in FIG. 4, only the mark member M of the actual image G1 and the mark member M'of the basic virtual three-dimensional image Gk are shown for convenience.

このようにして実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Gｋのマーク部材Ｍ’とが重なり合うことによって、作業現場の座標系に対するロボット本体１の座標系との関連付けが完了したことになる。仮想映像生成部２ａは、このような基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ処理が完了すると、仮想三次元映像Ｇ２を生成して表示部２ｂに出力する。 By overlapping the mark member M of the real image G1 and the mark member M'of the basic virtual three-dimensional image Gk in this way, the association of the coordinate system of the robot body 1 with the coordinate system of the work site is completed. .. When the alignment process between the basic virtual three-dimensional image Gk and the real image G1 is completed, the virtual image generation unit 2a generates the virtual three-dimensional image G2 and outputs it to the display unit 2b.

このような仮想三次元映像Ｇ２に基づくロボット本体１の遠隔操作では、操作者が頭の向きを変えると、この変化が表示部２ｂのモーションセンサ２ｄによって検出され、視点指定信号として仮想映像生成部２ａに入力される。この結果、仮想映像生成部２ａは、新たな頭の向きに対応した視点の仮想三次元映像（バーチャルリアリティ映像）を生成する。この結果、表示部２ｂに表示される仮想三次元映像Ｇ２のワークＷ’及びロボット本体１’等は、新たな頭の向きに応じた視点から見たものとなる。 In the remote control of the robot body 1 based on the virtual three-dimensional image G2, when the operator changes the direction of the head, this change is detected by the motion sensor 2d of the display unit 2b, and the virtual image generation unit is used as a viewpoint designation signal. It is input to 2a. As a result, the virtual image generation unit 2a generates a virtual three-dimensional image (virtual reality image) of the viewpoint corresponding to the new head orientation. As a result, the work W'and the robot body 1'of the virtual three-dimensional image G2 displayed on the display unit 2b are viewed from a new viewpoint according to the direction of the head.

このような本実施形態によれば、実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Ｇｋのマーク部材Ｍ’とが重なり合うように基本仮想三次元映像Ｇｋの位置を調整することによってロボット本体１の座標系と作業現場の座標系とを関連付けるので、距離計測装置を用いることなくロボット本体１の座標系と作業現場の座標系とを関連付けることが可能である。 According to this embodiment, the robot body 1 is adjusted by adjusting the position of the basic virtual three-dimensional image Gk so that the mark member M of the real image G1 and the mark member M'of the basic virtual three-dimensional image Gk overlap each other. Since the coordinate system of the robot body 1 is associated with the coordinate system of the work site, it is possible to associate the coordinate system of the robot body 1 with the coordinate system of the work site without using a distance measuring device.

また、本実施形態によれば、操作者は仮想三次元映像Ｇ２の視点を変えることによってロボット本体１’とワークＷ’との位置関係をより的確に把握することができる。したがって、本実施形態によれば、従来よりも作業性に優れた遠隔操作装置を提供することが可能である。 Further, according to the present embodiment, the operator can more accurately grasp the positional relationship between the robot body 1'and the work W'by changing the viewpoint of the virtual three-dimensional image G2. Therefore, according to the present embodiment, it is possible to provide a remote control device having better workability than the conventional one.

なお、本発明は上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。
（１）上記実施形態では、マーク部材Ｍを共通物体としたが、本発明はこれに限定されない。マーク部材Ｍ以外の主要な物体を共通物体としてもよい。例えば、支持台ＴあるいはワークＷを共通物体としてもよい。 The present invention is not limited to the above embodiment, and for example, the following modifications can be considered.
(1) In the above embodiment, the mark member M is a common object, but the present invention is not limited to this. A main object other than the mark member M may be a common object. For example, the support base T or the work W may be a common object.

（２）上記実施形態では、操作者が操作部２ｃを操作することによって基本仮想三次元映像Gｋの位置を調整したが、本発明はこれに限定されない。例えば、仮想映像生成部２ａが実映像Ｇ１に画像処理を施すことによって特異な形状のマーク部材Ｍを抽出し、当該抽出されたマーク部材Ｍに対して基本仮想三次元映像Gｋのマーク部材Ｍ’が重なるように基本仮想三次元映像Gｋの位置を自動調整してもよい。 (2) In the above embodiment, the position of the basic virtual three-dimensional image Gk is adjusted by the operator operating the operation unit 2c, but the present invention is not limited to this. For example, the virtual image generation unit 2a extracts a mark member M having a peculiar shape by performing image processing on the real image G1, and the mark member M'of the basic virtual three-dimensional image Gk with respect to the extracted mark member M. The positions of the basic virtual three-dimensional video Gk may be automatically adjusted so that they overlap.

（３）上記実施形態では、ヘッドマウントディスプレイ（ＨＭＤ）を表示部２ｂとして採用したが、本発明はこれに限定されない。また、本発明の視点指定部は、モーションセンサ２ｄに限定されない。例えば操作者が操作部２ｄを操作することによって仮想三次元映像（バーチャルリアリティ映像）の視点を指定してもよい。 (3) In the above embodiment, the head-mounted display (HMD) is adopted as the display unit 2b, but the present invention is not limited to this. Further, the viewpoint designation unit of the present invention is not limited to the motion sensor 2d. For example, the operator may specify the viewpoint of the virtual three-dimensional image (virtual reality image) by operating the operation unit 2d.

１ ロボット本体
１ａ 移動台車
１ｂ マニピュレータ
１ｃ 作業具
１ｄ カメラ
１ｅ ロボットコントローラ
２ 遠隔操作装置
２ａ 仮想映像生成部
２ｂ 表示部
２ｃ 操作部
２ｄ モーションセンサ
Ｇ１ 実映像
Ｇ２ 仮想三次元映像
Ｆ フロア
Ｗ ワーク
Ｔ 支持台
1 Robot body 1a Mobile trolley 1b Manipulator 1c Work tool 1d Camera 1e Robot controller 2 Remote control device 2a Virtual image generator 2b Display 2c Operation unit 2d Motion sensor G1 Real image G2 Virtual 3D image F floor W work T support

Claims (5)

移動ロボットの作業現場の実映像を撮像する撮像部と、
前記実映像と前記作業現場の三次元モデルとに基づいて前記作業現場の仮想三次元映像を生成する仮想映像生成部と、
前記仮想三次元映像を表示する表示部と、
前記移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、
前記仮想映像生成部は、前記三次元モデルに基づいて生成した基本仮想三次元映像と前記実映像とに共通する共通物体が重なり合うように前記基本仮想三次元映像の位置調整を行うことにより前記仮想三次元映像を生成することを特徴とする遠隔操作装置。 An imaging unit that captures the actual image of the work site of the mobile robot,
A virtual image generation unit that generates a virtual three-dimensional image of the work site based on the actual image and the three-dimensional model of the work site.
A display unit that displays the virtual three-dimensional image and
It is provided with an operation unit that generates an operation signal for remotely controlling the mobile robot.
The virtual image generation unit adjusts the position of the basic virtual three-dimensional image so that a common object common to the basic virtual three-dimensional image generated based on the three-dimensional model and the real image overlaps with the virtual image. A remote control device characterized by generating a three-dimensional image. 前記共通物体は、前記作業現場に設けられるマーク部材であることを特徴とする請求項１記載の遠隔操作装置。 The remote control device according to claim 1, wherein the common object is a mark member provided at the work site. 前記移動ロボットは、自走タイプのロボットであることを特徴とする請求項１または２記載の遠隔操作装置。 The remote control device according to claim 1 or 2, wherein the mobile robot is a self-propelled robot. 前記表示部は、ヘッドマウントディスプレイであることを特徴とする請求項１〜３のいずれか一項に記載の遠隔操作装置。 The remote control device according to any one of claims 1 to 3, wherein the display unit is a head-mounted display. 前記作業現場は、放射線レベルが通常レベルに比較して高い場所であることを特徴とする請求項１〜４のいずれか一項に記載の遠隔操作装置。
The remote control device according to any one of claims 1 to 4, wherein the work site is a place where the radiation level is higher than the normal level.
JP2019077174A 2019-04-15 2019-04-15 Remote control device Pending JP2020175453A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019077174A JP2020175453A (en) 2019-04-15 2019-04-15 Remote control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019077174A JP2020175453A (en) 2019-04-15 2019-04-15 Remote control device

Publications (1)

Publication Number Publication Date
JP2020175453A true JP2020175453A (en) 2020-10-29

Family

ID=72937278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019077174A Pending JP2020175453A (en) 2019-04-15 2019-04-15 Remote control device

Country Status (1)

Country Link
JP (1) JP2020175453A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024044891A1 (en) * 2022-08-29 2024-03-07 Abb Schweiz Ag Adjusting a virtual relative position in a virtual robot work cell

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003200372A (en) * 2001-10-23 2003-07-15 Fuji Electric Co Ltd Remote control type cutting robot
JP2003311661A (en) * 2002-04-24 2003-11-05 Hitachi Ltd Remote operation controlling device
JP2008093814A (en) * 2006-10-16 2008-04-24 Yamatake Corp Operation support device and method thereof
JP2016197393A (en) * 2015-04-03 2016-11-24 キヤノン株式会社 Information processor, information processing method and program
JP2016203276A (en) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 Remote operation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003200372A (en) * 2001-10-23 2003-07-15 Fuji Electric Co Ltd Remote control type cutting robot
JP2003311661A (en) * 2002-04-24 2003-11-05 Hitachi Ltd Remote operation controlling device
JP2008093814A (en) * 2006-10-16 2008-04-24 Yamatake Corp Operation support device and method thereof
JP2016197393A (en) * 2015-04-03 2016-11-24 キヤノン株式会社 Information processor, information processing method and program
JP2016203276A (en) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 Remote operation system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024044891A1 (en) * 2022-08-29 2024-03-07 Abb Schweiz Ag Adjusting a virtual relative position in a virtual robot work cell

Similar Documents

Publication Publication Date Title
US11345042B2 (en) Robot system equipped with video display apparatus that displays image of virtual object in superimposed fashion on real image of robot
US10913125B2 (en) Welding system providing visual and audio cues to a welding helmet with a display
US10878591B2 (en) Welding trainer utilizing a head up display to display simulated and real-world objects
JP6348149B2 (en) Laser processing robot system that performs laser processing using a robot
US7818091B2 (en) Process and device for determining the position and the orientation of an image reception means
JP2016107379A (en) Robot system including augmented reality corresponding display
JP4167954B2 (en) Robot and robot moving method
JP5022868B2 (en) Information processing apparatus and information processing method
JP6723738B2 (en) Information processing apparatus, information processing method, and program
JP6445092B2 (en) Robot system displaying information for teaching robots
EP3265865A1 (en) Sensor assisted head mounted displays for welding
CN107567369A (en) Enhancing vision system with active welder guiding
JP2004213673A (en) Toughened reality system and method
JP2014065100A (en) Robot system and method for teaching robot
JP6589604B2 (en) Teaching result display system
JPH0976063A (en) Welding equipment
JP2020175453A (en) Remote control device
JPH0421105A (en) Stereoscopic teaching device for manipulator
JP2021065971A (en) Robot teaching system, image forming method and program
JPH11338532A (en) Teaching device
JP3409105B2 (en) Teaching device
WO2020203819A1 (en) Remote operating device
JP7490349B2 (en) Input device, control method for input device, robot system, method for manufacturing article using robot system, control program and recording medium
WO2023106353A1 (en) Teaching system, robot system, robot teaching method, and robot teaching program
JPS60126985A (en) Working state display device for remote control operation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231003