JP2018128847A - Stop position determination method of remote maneuvering vehicle and maneuvering system of remote maneuvering vehicle - Google Patents

Stop position determination method of remote maneuvering vehicle and maneuvering system of remote maneuvering vehicle Download PDF

Info

Publication number
JP2018128847A
JP2018128847A JP2017021319A JP2017021319A JP2018128847A JP 2018128847 A JP2018128847 A JP 2018128847A JP 2017021319 A JP2017021319 A JP 2017021319A JP 2017021319 A JP2017021319 A JP 2017021319A JP 2018128847 A JP2018128847 A JP 2018128847A
Authority
JP
Japan
Prior art keywords
manipulator
image
vehicle
remote control
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017021319A
Other languages
Japanese (ja)
Other versions
JP6903442B2 (en
Inventor
弘隆 熊倉
Hirotaka Kumakura
弘隆 熊倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
IHI Aerospace Co Ltd
Original Assignee
IHI Corp
IHI Aerospace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, IHI Aerospace Co Ltd filed Critical IHI Corp
Priority to JP2017021319A priority Critical patent/JP6903442B2/en
Publication of JP2018128847A publication Critical patent/JP2018128847A/en
Application granted granted Critical
Publication of JP6903442B2 publication Critical patent/JP6903442B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a stop position determination method of a remote maneuvering vehicle and a maneuvering system of the remote maneuvering vehicle which can stop the remote maneuvering vehicle in a position which is easy to start work as a manipulation quickly and exactly.SOLUTION: Image processing means 40 equipped on a remote control device 30 records a selection image SP1 of a side part of a work object W imaged by an on-vehicle camera 5 and positional and directional data of the on-vehicle camera 5 at imaging in a state where the remote maneuvering vehicle 1 is stopped in the neighborhood of the work object w, creates a CG image CGP by calculating the work posture of a prerecorded manipulator 10 on the basis of positional and directional data of the remote maneuvering vehicle 1, shape data of the manipulator and each posture data at selection position and vehicle stop position of the manipulator 10 as work posture of the manipulator 10 in the vehicle stop position on the selection image and displays on a monitor 31 of the remote control device 30 by creating a composite image MP which compounds the selection image SP1 and CG image CGP.SELECTED DRAWING: Figure 1

Description

本発明は、マニピュレータ及びカメラを搭載した遠隔操縦車両を所望する位置、例えば、マニピュレータによる作業を開始する位置に停止させる際に用いられる遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムに関するものである。   The present invention relates to a remote control vehicle stop position determination method and a remote control vehicle control system used when a remote control vehicle equipped with a manipulator and a camera is stopped at a desired position, for example, a position where work by a manipulator is started. Is.

従来、上記したマニピュレータ及びカメラを搭載した遠隔操縦車両としては、例えば、特許文献1に記載されたものがある。この遠隔操縦車両のマニピュレータは、多関節アーム部及びこの多関節アーム部の先端に位置するエンド部を具備しており、多関節アーム部におけるエンド部を視認できる部位にカメラは配置されている。   Conventionally, as a remote control vehicle equipped with the above-described manipulator and camera, there is one described in Patent Document 1, for example. The manipulator of this remote control vehicle includes an articulated arm part and an end part located at the tip of the articulated arm part, and a camera is disposed at a site where the end part of the articulated arm part can be visually recognized.

このようなマニピュレータを搭載した遠隔操縦車両には、オペレータが操作する表示部付の遠隔操縦装置と無線でデータ通信を行う車載制御器が装備されており、カメラで撮影した画像をオペレータが遠隔操縦装置の表示部で確認しながら、遠隔操縦車両の操縦及びマニピュレータの操作を遠隔で行うようになっている。   A remote control vehicle equipped with such a manipulator is equipped with a remote control device with a display unit operated by an operator and an in-vehicle controller that performs data communication wirelessly. While confirming with the display part of an apparatus, the control of a remotely controlled vehicle and the operation of a manipulator are performed remotely.

特開昭64−071691号公報Japanese Unexamined Patent Publication No. 64-071691

しかしながら、上記した遠隔操縦車両において、マニピュレータに取り付けられた1台のカメラの画像だけでは遠近感に乏しいことから、マニピュレータのエンド部で作業対象物を掴む作業の場合には、作業対象物に対して遠隔操縦車両をどの程度近づければ、マニピュレータによる把持作業を始め易いかが把握し辛く、作業開始時における遠隔操縦車両の停止位置を複数回変更せざるを得ないのが現状である。   However, in the above-described remote control vehicle, the perspective of only one camera attached to the manipulator is poor, so in the case of gripping the work object at the end of the manipulator, Therefore, it is difficult to grasp how close the remote control vehicle is to start the gripping operation by the manipulator, and it is necessary to change the stop position of the remote control vehicle several times at the start of the operation.

この際、遠近感を確保するために、2台のカメラを使用することも検討されているが、装置や制御の複雑化を招いてしまい好ましくなく、したがって、カメラの台数を増すことなく上記した問題を解決することが従来の課題となっていた。   At this time, in order to ensure a sense of perspective, the use of two cameras is also being considered, but this is undesirable because it complicates the apparatus and control, and thus the above-described without increasing the number of cameras. Solving the problem has been a conventional problem.

本発明は、上記した従来の課題に着目してなされたもので、遠隔操縦車両に搭載したマニピュレータによる、例えば作業対象物の把持作業を開始するにあたって、マニピュレータにとって把持作業を始め易い位置に遠隔操縦車両を迅速かつ的確に停止させることができる遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムを提供することを目的としている。   The present invention has been made by paying attention to the above-described conventional problems. For example, when starting a gripping operation of a work object by a manipulator mounted on a remote control vehicle, the manipulator can remotely control the gripping operation at a position where the gripping operation can be easily started. It is an object of the present invention to provide a remote control vehicle stop position determination method and a remote control vehicle control system capable of stopping a vehicle quickly and accurately.

本発明の第1の態様は、マニピュレータ及び該マニピュレータ上に配置されたカメラを備えた遠隔操縦車両の停止位置を決定する方法であって、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた後、前記マニピュレータの動作により前記作業対象物の側部を捉える選定位置に前記カメラを移動させて前記作業対象物の選定画像を撮像すると共に、該選定画像の撮像時における前記カメラの位置及び方向データを記録し、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢のCG画像を作製し、前記選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製して、該合成画像上の前記作業対象物と前記マニピュレータとの位置関係から、前記遠隔操縦車両の停止位置を決定する構成としている。   According to a first aspect of the present invention, there is provided a method for determining a stop position of a remotely operated vehicle including a manipulator and a camera disposed on the manipulator, wherein the remotely operated vehicle is located near a front portion set as a work object. And then moving the camera to a selected position where the side of the work object is captured by the operation of the manipulator to pick up a selection image of the work object, and the camera at the time of picking up the selection image The position and direction data of the remotely operated vehicle as the work posture of the manipulator at the vehicle stop position on the selected image where the position and direction data of the camera at the time of imaging are recorded, Shape data of the manipulator, and posture data at the selected position and the vehicle stop position of the manipulator Based on the above, a pre-recorded CG image of the manipulator working posture is created, a composite image of the selected image and a CG image of the manipulator working posture is created, and the work object on the composite image is The stop position of the remotely controlled vehicle is determined from the positional relationship with the manipulator.

本発明の第2の態様は、前記選定画像の撮像を複数の選定位置で行い、前記複数の選定位置で撮像した複数の選定画像から選んだ選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製する構成としている。   According to a second aspect of the present invention, the selection image is captured at a plurality of selection positions, and a selection image selected from the plurality of selection images captured at the plurality of selection positions and a CG image of the working posture of the manipulator. A composition image is produced.

本発明の第3の態様は、予め複数通り記録した前記マニピュレータの作業姿勢のうちの少なくとも一通りの作業姿勢のCG画像を作製し、前記選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製する構成としている。   According to a third aspect of the present invention, a CG image of at least one working posture among the working postures of the manipulator recorded in advance is created, and the selected image and a CG image of the working posture of the manipulator are combined. An image is produced.

本発明の第4の態様は、前記カメラが方位可変に前記マニピュレータに取り付けられている構成とし、本発明の第5の態様は、前記カメラが全方位カメラである構成としている。   According to a fourth aspect of the present invention, the camera is attached to the manipulator in a variable direction, and according to a fifth aspect of the invention, the camera is an omnidirectional camera.

一方、本発明の第6の態様は、マニピュレータ及び該マニピュレータに配置されたカメラを備えた遠隔操縦車両の操縦システムであって、前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置と、前記遠隔操縦車両に搭載されて前記遠隔操縦装置と相互にデータ通信を行う車載制御装置を備え、前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが画像処理手段を具備し、前記画像処理手段は、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた状態で前記カメラにより撮像した前記作業対象物の側部の選定画像を記録すると共に、該選定画像の撮像時におけるカメラの位置及び方向データを記録する機能と、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢を算出してCG画像を作製する機能と、前記選定画像と前記マニピュレータの作業姿勢のCG画像とを合成した合成画像を作製して、前記遠隔操縦装置の表示部に表示させる機能を有している構成としている。   On the other hand, a sixth aspect of the present invention is a control system for a remote control vehicle including a manipulator and a camera disposed on the manipulator, and is for operator operation provided with a display unit that displays an image captured by the camera. And a vehicle-mounted control device that is mounted on the remote-controlled vehicle and performs data communication with the remote-controlled device, and at least one of the remote-controlled device and the vehicle-mounted control device has an image processing means. The image processing means records a selection image of a side portion of the work object captured by the camera in a state where the remote control vehicle is stopped in the vicinity of the front face set as the work object; The function of recording the camera position and direction data at the time of capturing the selected image, and the selection of the camera position and direction data recorded at the time of image capturing. As the work posture of the manipulator at the vehicle stop position on the image, the position and direction data of the remote control vehicle, the shape data of the manipulator, and the posture data of the manipulator at the selected position and the vehicle stop position Based on this, the function of creating a CG image by calculating the pre-recorded working posture of the manipulator, and creating a composite image by combining the selected image and a CG image of the working posture of the manipulator, the remote control device It is set as the structure which has a function displayed on the display part.

本発明に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、例えば、遠隔操縦車両に搭載したマニピュレータで作業対象物を把持する作業を開始する場合に、把持作業を始め易い位置に遠隔操縦車両を迅速かつ的確に停止させることが可能であるという非常に優れた効果がもたらされる。   In the remote control vehicle stop position determination method and the remote control vehicle control system according to the present invention, for example, when starting a work of gripping a work object with a manipulator mounted on the remote control vehicle, a position where the gripping work can be easily started. Therefore, it is possible to bring about an excellent effect that the remotely operated vehicle can be stopped quickly and accurately.

本発明に係る遠隔操縦車両の操縦システムの一実施形態を示す作業対象物近傍に停止している遠隔操縦車両の側面説明図(a)及び平面説明図(b)である。It is side surface explanatory drawing (a) and plane explanatory drawing (b) of the remote control vehicle which has stopped in the vicinity of the work target which shows one Embodiment of the control system of the remote control vehicle which concerns on this invention. 本発明の一実施形態に係る遠隔操縦車両の操縦システムの画像処理手段を説明するブロック図である。It is a block diagram explaining the image processing means of the control system of the remote control vehicle which concerns on one Embodiment of this invention. 図1の遠隔操縦車両の車載カメラで作業対象物の側部を撮影する状況を示す平面説明図(a)及び車載カメラで撮影した作業対象物の画像説明図(b)である。It is plane explanatory drawing (a) which shows the condition which image | photographs the side part of a work target object with the vehicle-mounted camera of the remote control vehicle of FIG. 1, and image explanatory drawing (b) of the work target object image | photographed with the vehicle-mounted camera. 図1の遠隔操縦車両におけるマニピュレータの予め記録した三通りの作業姿勢を示す側面説明図(a)〜(c)である。It is side surface explanatory drawing (a)-(c) which shows three kinds of pre-recorded working postures of the manipulator in the remote control vehicle of FIG. 図4のマニピュレータの作業姿勢のうちの(a),(b)二通りの作業姿勢を合わせて作製したCG画像説明図(a)及び図5(a)のCG画像を作業対象物の選定画像に重畳して作製した合成画像説明図(b)である。CG image explanatory drawing (a) produced by combining two working postures of the working postures of the manipulator of FIG. 4 (a) and the CG images of FIG. It is explanatory drawing (b) of the synthesized image produced by superimposing on.

以下、本発明の実施例を図面に基づいて説明する。
図1〜図5は、本発明の一実施例による遠隔操縦車両の操縦システムを示している。
図1に示すように、遠隔操縦車両1は、車体2と、この車体2の前後左右に配置された車輪3と、車体2に搭載されたマニピュレータ10を備えており、人が立ち入り困難な場所での作業や、危険物を処理する作業等の遠隔で行う作業に用いられる。
Embodiments of the present invention will be described below with reference to the drawings.
1 to 5 show a control system for a remotely controlled vehicle according to an embodiment of the present invention.
As shown in FIG. 1, the remote control vehicle 1 includes a vehicle body 2, wheels 3 disposed on the front, rear, left, and right sides of the vehicle body 2, and a manipulator 10 mounted on the vehicle body 2. It is used for work performed remotely, such as work on the ground and work for handling dangerous goods.

遠隔操縦車両1の前後左右の車輪(或いは前後いずれかの左右車輪)3は、インホールモータ、又は、車載された原動機により駆動されるようになっており、この遠隔操縦車両1には、必要に応じてステアリング機構が装備される。なお、前後左右の車輪(或いは前後いずれかの左右車輪)3に代えてクローラを配置するようにしてもよいほか、車輪3の数も4輪に限定しない。   The front / rear and left / right wheels (or front / rear left / right wheels) 3 of the remote control vehicle 1 are driven by an in-hole motor or a motor mounted on the vehicle. Steering mechanism is equipped according to. It should be noted that crawlers may be arranged in place of the front and rear left and right wheels (or either front and rear left and right wheels) 3, and the number of wheels 3 is not limited to four.

マニピュレータ10は、車体2の上面の中央に配置されたベース11と、このベース11に回動可能に設置された旋回柱12と、第1連結杆13a〜第3連結杆13cの3つの連結杆を具備したアーム部13と、一対のフィンガー14a,14aを具備したハンド部14を備えている。   The manipulator 10 includes a base 11 disposed in the center of the upper surface of the vehicle body 2, a swivel column 12 rotatably installed on the base 11, and three connecting rods, a first connecting rod 13a to a third connecting rod 13c. And a hand portion 14 having a pair of fingers 14a and 14a.

アーム部13の第1連結杆13aの基端は旋回柱12の上端に第1関節16を介して連結され、第2連結杆13bの基端は第1連結杆13aの先端に第2関節17を介して連結され、第3連結杆13cの基端は第2連結杆13bの先端に第3関節18を介して連結され、第3連結杆13cの先端にハンド部14が連結されている。   The base end of the first connecting rod 13a of the arm portion 13 is connected to the upper end of the swivel column 12 via the first joint 16, and the base end of the second connecting rod 13b is connected to the distal end of the first connecting rod 13a at the second joint 17. The base end of the third connecting rod 13c is connected to the tip of the second connecting rod 13b via the third joint 18, and the hand portion 14 is connected to the tip of the third connecting rod 13c.

このマニピュレータ10において、旋回柱12,アーム部13の第1連結杆13a〜第3連結杆13c及びハンド部14のフィンガー14a,14aの各駆動原としては、回転検出機能を有するサーボモータがそれぞれ用いられ、旋回柱12は、垂直軸回りに回動可能であり、アーム部13の第1連結杆13a〜第3連結杆13cの各連結杆は、第1関節16〜第3関節18においていずれもピッチ軸回りに回動可能である。また、ハンド部14の一対のフィンガー14a,14aは、第3連結杆13cの軸(ロール軸)と直交するヨー軸回りに互いに回動して把持解放動作を行うようになっている。
なお、アーム部13に第1連結杆13a〜第3連結杆13cの各連結杆とは別の連結杆を追加してもよいほか、上記以外の動作、例えば、ハンド部14を第3連結杆13cのロール軸回りに回動させてもよい。
In this manipulator 10, servo motors having a rotation detection function are used as driving sources for the revolving column 12, the first connecting rod 13 a to the third connecting rod 13 c of the arm portion 13, and the fingers 14 a and 14 a of the hand portion 14. The swivel column 12 is rotatable about the vertical axis, and the first connecting rod 13a to the third connecting rod 13c of the arm portion 13 are connected to each other at the first joint 16 to the third joint 18. It can be rotated around the pitch axis. Further, the pair of fingers 14a, 14a of the hand portion 14 rotate with respect to each other about a yaw axis perpendicular to the axis (roll axis) of the third connecting rod 13c to perform a grip release operation.
In addition to the connection rods other than the connection rods of the first connection rod 13a to the third connection rod 13c being added to the arm portion 13, operations other than those described above, for example, the hand portion 14 may be connected to the third connection rod. It may be rotated around the roll axis 13c.

このマニピュレータ10において、アーム部13の第3連結杆13cの基端近傍には、車載カメラ5が旋回台4を介して装着されている。旋回台4には回転検出機能を有するサーボモータが内蔵されており、車載カメラ5は、サーボモータの出力により第3連結杆13cの軸と直交するヨー軸回りに回動して、フレーミングを水平方向に移動させることができるようになっている。
車載カメラ5には、ズーム機能やチルト機能(フレーミングを垂直方向に移動させる機能)を付加し得る、例えば、CCDカメラを採用することができるほか、水平方向の全方位カメラを採用してもよい。
In this manipulator 10, the in-vehicle camera 5 is mounted via the swivel 4 near the base end of the third connecting rod 13 c of the arm portion 13. The swivel 4 has a built-in servo motor having a rotation detection function, and the in-vehicle camera 5 is rotated around the yaw axis perpendicular to the axis of the third connecting rod 13c by the output of the servo motor, thereby horizontally framing. It can be moved in the direction.
The in-vehicle camera 5 can be added with a zoom function and a tilt function (function of moving the framing in the vertical direction). For example, a CCD camera can be adopted, and a horizontal omnidirectional camera can be adopted. .

このようなマニピュレータ10及び車載カメラ5を搭載した遠隔操縦車両1の操縦システムは、遠隔操縦車両1に搭載された車載制御装置20と、この車載制御装置20と相互にデータ通信を行うオペレータ操作用の遠隔操縦装置30を備えている。   The control system of the remote control vehicle 1 equipped with such a manipulator 10 and the in-vehicle camera 5 includes an in-vehicle control device 20 mounted in the remote control vehicle 1 and an operator operation for performing data communication with the in-vehicle control device 20. Remote control device 30 is provided.

車載制御装置20は、遠隔操縦車両1の自己位置を検出する位置センサと、遠隔操縦車両1の方向を検出する方向センサと、主コンピュータと、送受信機と、バッテリとから主として構成されており、位置センサには、例えば、GPSが採用され、方向センサには、例えば、加速度計や磁気センサが採用される。   The in-vehicle control device 20 is mainly composed of a position sensor that detects the self-position of the remote control vehicle 1, a direction sensor that detects the direction of the remote control vehicle 1, a main computer, a transceiver, and a battery. For example, GPS is adopted as the position sensor, and for example, an accelerometer or a magnetic sensor is adopted as the direction sensor.

主コンピュータには、遠隔操縦車両1の位置及び方向データ、マニピュレータ10の姿勢データ、車載カメラ5の位置及び方向データ、車載カメラ5で撮像した画像データ等の各種データが入力される。マニピュレータ10の姿勢データは、旋回柱12,アーム部13の第1連結杆13a〜第3連結杆13c及びハンド部14におけるフィンガー14a,14aの各サーボモータの回転検出により得ることができ、車載カメラ5の位置及び方向データは、マニピュレータ10の姿勢データ及び旋回台4の回転検出により得ることができる。   Various data such as position and direction data of the remote control vehicle 1, attitude data of the manipulator 10, position and direction data of the in-vehicle camera 5, and image data captured by the in-vehicle camera 5 are input to the main computer. The posture data of the manipulator 10 can be obtained by detecting the rotations of the servo motors of the fingers 14a and 14a in the swivel column 12, the first connecting rod 13a to the third connecting rod 13c of the arm portion 13, and the hand portion 14. The position and direction data of 5 can be obtained by attitude data of the manipulator 10 and rotation detection of the swivel 4.

そして、主コンピュータは、オペレータが操作する遠隔操縦装置30から受信した指令信号を遠隔操縦車両1の走行系機能部やマニピュレータ10の各サーボモータに出力する。   Then, the main computer outputs a command signal received from the remote control device 30 operated by the operator to the traveling system function unit of the remote control vehicle 1 and each servo motor of the manipulator 10.

一方、遠隔操縦装置30は、この実施例においてコンピュータを内蔵した携行可能なものであって、送受信機と、モニタ(表示部)31と、遠隔操縦車両1を走行させるためのコントローラ32と、マニピュレータ10を動作させるためのコントローラ33と、バッテリとから主として構成されている。なお、遠隔操縦装置30は携行可能なものに限定されない。   On the other hand, the remote control device 30 is portable and includes a computer in this embodiment, and includes a transceiver, a monitor (display unit) 31, a controller 32 for running the remote control vehicle 1, and a manipulator. 10 is mainly composed of a controller 33 for operating 10 and a battery. The remote control device 30 is not limited to a portable device.

この遠隔操縦装置30に内蔵したコンピュータは、車載制御装置20の主コンピュータからの各種データを受信すると共に、遠隔操縦車両1の車載カメラ5が撮影した画像や画像処理後の画像をモニタ31に表示させ、走行系コントローラ32及びマニピュレータ用コントローラ33の各操作による指令信号を車載制御装置20の主コンピュータに出力する。   The computer built in the remote control device 30 receives various data from the main computer of the in-vehicle control device 20 and displays on the monitor 31 images taken by the in-vehicle camera 5 of the remote control vehicle 1 and images after image processing. The command signal by each operation of the traveling system controller 32 and the manipulator controller 33 is output to the main computer of the in-vehicle control device 20.

この遠隔操縦車両の操縦システムは、車載制御装置20及び遠隔操縦装置30のうちの少なくとも何れかが画像処理手段40を具備しており、この画像処理手段40を遠隔操縦装置30側に具備させれば、車載制御装置20の主コンピュータの簡略化及びデータ通信量の低減が図られる。   In this remote control vehicle control system, at least one of the in-vehicle control device 20 and the remote control device 30 includes an image processing means 40, and the image processing means 40 is provided on the remote control device 30 side. For example, the main computer of the in-vehicle control device 20 can be simplified and the amount of data communication can be reduced.

この画像処理手段40は、図2に示すように、メモリ部41及び演算部42を有している。メモリ部41には、遠隔操縦車両1の位置及び方向データD1と、マニピュレータ10の形状データD2と、マニピュレータ10の姿勢データD3と、車載カメラ5の特性データD4と、車載カメラ5の撮像時における位置及び方向データD5と、画像データD6と、マニピュレータの作業姿勢データD7の各種データが記録される。   As shown in FIG. 2, the image processing unit 40 includes a memory unit 41 and a calculation unit 42. In the memory unit 41, the position and direction data D1 of the remote control vehicle 1, the shape data D2 of the manipulator 10, the attitude data D3 of the manipulator 10, the characteristic data D4 of the in-vehicle camera 5, and the in-vehicle camera 5 at the time of imaging. Various data such as position and direction data D5, image data D6, and work posture data D7 of the manipulator are recorded.

この際、遠隔操縦車両1の位置及び方向データD1は、前述したように、位置センサ及び方向センサによって検出されるデータである。マニピュレータ10の形状データD2は、予め設定されているデータであり、車体2の上面の中央に配置された旋回柱12の高さ寸法を含むアーム部13(第1連結杆13a〜第3連結杆13c、第1関節16〜第3関節18)及びハンド部14の各諸寸法である。   At this time, the position and direction data D1 of the remote control vehicle 1 are data detected by the position sensor and the direction sensor as described above. The shape data D2 of the manipulator 10 is data set in advance, and includes an arm portion 13 (first connecting rod 13a to third connecting rod) including the height dimension of the swiveling column 12 disposed in the center of the upper surface of the vehicle body 2. 13c, the first joint 16 to the third joint 18), and the dimensions of the hand portion 14.

また、マニピュレータ10の姿勢データD3は、前述したように、旋回柱12,アーム部13の第1連結杆13a〜第3連結杆13c及びハンド部14におけるフィンガー14a,14aの各サーボモータの回転角度により得られるデータであり、アーム部13の第1連結杆13a〜第3連結杆13cの各傾斜角度を得ることができる。   Further, as described above, the posture data D3 of the manipulator 10 is the rotation angle of each servo motor of the fingers 14a and 14a in the swivel column 12, the first connecting rod 13a to the third connecting rod 13c of the arm portion 13, and the hand portion 14. In other words, the inclination angles of the first connecting rod 13a to the third connecting rod 13c of the arm portion 13 can be obtained.

さらに、車載カメラ5の特性データD4は、車載カメラ5の画角や解像度等の予め設定されているデータである。車載カメラ5の撮像時における位置及び方向データD5は、前述したように、マニピュレータ10の姿勢データD3及び旋回台4の回転検出により得られるデータである。マニピュレータの作業姿勢データD7は、後述するように、予め記録した複数通りのマニピュレータ10の作業姿勢のデータである。   Further, the characteristic data D4 of the in-vehicle camera 5 is data set in advance such as an angle of view and a resolution of the in-vehicle camera 5. The position and direction data D5 at the time of imaging by the in-vehicle camera 5 is data obtained by detecting the attitude data D3 of the manipulator 10 and the rotation of the swivel 4 as described above. The manipulator work posture data D7 is data of work postures of a plurality of manipulators 10 recorded in advance, as will be described later.

そして、この画像処理手段40のメモリ部41は、遠隔操縦車両1の停止位置を決定する場合において、図3(a)に示すように、作業対象物W近傍の作業開始予定位置に遠隔操縦車両1を停止させた状態で車載カメラ5により撮像した作業対象物Wの側部の選定画像(図3(b)の画像)SP1を記録し、そのうえで、この選定画像SP1の撮像時における車載カメラ5の位置及び方向データを記録する。   Then, when determining the stop position of the remote control vehicle 1, the memory unit 41 of the image processing means 40, as shown in FIG. 3A, places the remote control vehicle at a work start planned position near the work target W. 1 is recorded, and a selection image (image of FIG. 3B) SP1 of the side of the work target W imaged by the in-vehicle camera 5 is recorded, and then the in-vehicle camera 5 at the time of imaging the selection image SP1. Record position and direction data.

一方、画像処理手段40の演算部42は、選定画像SP1上における作業開始予定位置(車両停止位置)でのマニピュレータ10の作業姿勢として、予めメモリ部41に記録した複数通りのマニピュレータ10の作業姿勢、例えば、図4(a)〜(c)に示すハンド部斜め下向き姿勢,ハンド部水平姿勢及びハンド部斜め上向き姿勢のうちの少なくとも一通りの作業姿勢を算出して、図5(a)に示すように、CG(Computer Graphics)画像CGPを作製するCG画像作製機能を有している。   On the other hand, the calculation unit 42 of the image processing means 40 has a plurality of work postures of the manipulator 10 recorded in advance in the memory unit 41 as the work posture of the manipulator 10 at the work start scheduled position (vehicle stop position) on the selected image SP1. For example, at least one working posture is calculated from the hand portion obliquely downward posture, the hand portion horizontal posture, and the hand portion obliquely upward posture shown in FIGS. As shown, it has a CG image creation function for creating a CG (Computer Graphics) image CGP.

この画像処理手段40の演算部42では、遠隔操縦車両1の位置及び方向データD1、マニピュレータ10の形状データD2、並びに、マニピュレータ10の選定位置及び作業開始予定位置での各姿勢データD3に基づいてマニピュレータ10の作業姿勢を算出する。具体的には、姿勢データD3におけるマニピュレータ10の姿勢に近い姿勢を算出し、この実施例において、図1(a)のマニピュレータ10の斜め下向き姿勢に近いマニピュレータ10の斜め下向き姿勢のハンド部14dw及び水平姿勢のハンド部14hoの二通りの作業姿勢のハンド部14を載せたCG画像CGPを作製している。   The calculation unit 42 of the image processing means 40 is based on the position and direction data D1 of the remote control vehicle 1, the shape data D2 of the manipulator 10, and the posture data D3 at the selected position and the scheduled work start position of the manipulator 10. The working posture of the manipulator 10 is calculated. Specifically, a posture close to the posture of the manipulator 10 in the posture data D3 is calculated, and in this embodiment, the hand portion 14dw of the manipulator 10 in the obliquely downward posture close to the obliquely downward posture of the manipulator 10 in FIG. A CG image CGP on which the hand portion 14 in two working postures of the hand portion 14ho in a horizontal posture is mounted is produced.

また、この画像処理手段40の演算部42は、図5(b)に示すように、選定画像SP1とマニピュレータ10の作業姿勢のCG画像CGPとを合成した合成画像MP(=SP1+CGP)を作製して、遠隔操縦装置30のモニタ31に表示させる画像合成機能を有している。   Further, as shown in FIG. 5B, the calculation unit 42 of the image processing means 40 creates a composite image MP (= SP1 + CGP) obtained by combining the selected image SP1 and the CG image CGP of the working posture of the manipulator 10. And an image composition function to be displayed on the monitor 31 of the remote control device 30.

なお、予めメモリ部41に記録する複数通りのマニピュレータ10の作業姿勢は、上記した図4(a)〜(c)に示すハンド部斜め下向き姿勢,ハンド部水平姿勢及びハンド部斜め上向き姿勢に限定されるものではなく、ハンド部14が真下を向くハンド部下向き姿勢や、ハンド部14が真上を向くハンド部上向き姿勢であってもよいほか、CG画像CGP上におけるマニピュレータ10の作業姿勢の数もハンド部斜め下向き姿勢及びハンド部水平姿勢の二通りに限定されるものではない。   The working postures of the plurality of manipulators 10 recorded in advance in the memory unit 41 are limited to the hand portion obliquely downward posture, the hand portion horizontal posture, and the hand portion obliquely upward posture shown in FIGS. 4A to 4C described above. The hand unit 14 may be in a downward posture in which the hand unit 14 is directed downward, or in an upward direction in the hand unit in which the hand unit 14 is directly upward, and the number of work postures of the manipulator 10 on the CG image CGP. The hand part is not limited to an obliquely downward attitude and a hand part horizontal attitude.

次に、上記した遠隔操縦車両の操縦システムによる遠隔操縦車両の停止位置決定方法を説明する。   Next, a method for determining the stop position of the remote control vehicle by the above-described remote control vehicle control system will be described.

まず、図1(a),(b)に示すように、遠隔操縦装置30を操作して作業を行うべき方向から遠隔操縦車両1を作業対象物Wに接近させ、作業対象物Wに設定した正面部近傍の作業開始予定位置に遠隔操縦車両1を停止させる。このとき、作業対象物Wの正面部は、作業時に任意に設定するものであり、通常は、接近する遠隔操縦車両1の前面と対向する作業対象物Wの部位を正面部とし、その左右両側を側部として設定する。   First, as shown in FIGS. 1A and 1B, the remote control device 30 is operated to operate the remote control device 30 so that the remote control vehicle 1 approaches the work object W from the direction in which the work should be performed, and the work object W is set. The remote control vehicle 1 is stopped at the scheduled work start position near the front portion. At this time, the front part of the work object W is arbitrarily set at the time of work, and normally, the part of the work object W facing the front surface of the approaching remote control vehicle 1 is set as the front part, and both left and right sides thereof. Is set as the side.

この後、マニピュレータ10を回動させて、図3(a)に示すように、作業対象物Wの側部を捉える選定位置に車載カメラ5を移動させて、図3(b)に示すように、作業対象物Wの選定画像SP1を撮像すると共に、この撮像時における車載カメラ5の位置及び方向データ(D5)を特性データ(D4)とともに画像処理手段40のメモリ部41に記録する。   Thereafter, the manipulator 10 is rotated to move the in-vehicle camera 5 to a selected position where the side of the work object W is captured as shown in FIG. 3A, and as shown in FIG. The selected image SP1 of the work object W is imaged, and the position and direction data (D5) of the in-vehicle camera 5 at the time of imaging is recorded in the memory unit 41 of the image processing means 40 together with the characteristic data (D4).

この選定画像SP1の撮像は、この実施例のように、一つの選定位置のみで行ってもよいが、作業対象物Wの側部を捉え得る複数の選定位置で行ってもよく、作業対象物Wの形状や向きに応じて選択的に行うことができる。   The selected image SP1 may be picked up at one selected position as in this embodiment, but may be taken at a plurality of selected positions that can capture the side portion of the work object W. This can be done selectively according to the shape and orientation of W.

次に、画像処理手段40の演算部42のCG画像作製機能により、選定画像SP1上における作業開始予定位置(車両停止位置)でのマニピュレータ10の作業姿勢として、予め画像処理手段40のメモリ部41に記録した複数通りのマニピュレータ10の作業姿勢データ(D7)からマニピュレータ10のハンド部斜め下向き姿勢及びハンド部水平姿勢の二通りの作業姿勢が算出される。   Next, by the CG image creation function of the calculation unit 42 of the image processing unit 40, the memory unit 41 of the image processing unit 40 is previously set as the work posture of the manipulator 10 at the planned work start position (vehicle stop position) on the selected image SP1. From the work posture data (D7) of the plurality of manipulators 10 recorded in (2), two types of work postures of the hand portion obliquely downward posture and the hand portion horizontal posture of the manipulator 10 are calculated.

このマニピュレータ10のハンド部斜め下向き姿勢及びハンド部水平姿勢の算出は、遠隔操縦車両1の位置及び方向データ(D1)、マニピュレータ10の形状データ(D2)、並びに、マニピュレータ10の選定位置及び作業開始予定位置での各姿勢データ(D3)に基づいてなされる。具体的には、姿勢データD3におけるマニピュレータ10の姿勢に近い姿勢(この実施例において、図1(a)のマニピュレータ10の斜め下向き姿勢に近いハンド部斜め下向き姿勢及びハンド部水平姿勢)が算出され、図5(a)に示すように、算出されたマニピュレータ10の斜め下向き姿勢のハンド部14dw及び水平姿勢のハンド部14hoの二通りの作業姿勢のハンド部14を載せたCG画像CGPが作製される。   The calculation of the hand portion diagonally downward posture and the hand portion horizontal posture of the manipulator 10 includes the position and direction data (D1) of the remote control vehicle 1, the shape data (D2) of the manipulator 10, and the selected position and start of work of the manipulator 10. It is made based on each posture data (D3) at the planned position. Specifically, a posture close to the posture of the manipulator 10 in the posture data D3 (in this embodiment, the hand portion obliquely downward posture and the hand portion horizontal posture close to the obliquely downward posture of the manipulator 10 in FIG. 1A) is calculated. As shown in FIG. 5A, a CG image CGP on which the hand portion 14 in two working postures, that is, the hand portion 14dw in the obliquely downward posture and the hand portion 14ho in the horizontal posture of the calculated manipulator 10 is prepared. The

これに続いて、画像処理手段40の演算部42の画像合成機能により、図5(b)に示すように、選定画像SP1と、マニピュレータ10の作業姿勢のCG画像CGPとの合成画像MP(=SP1+CGP)が作製されると共に、この合成画像MPが車載制御装置20を介して遠隔操縦装置30のモニタ31に表示される。この合成画像MPは、遠隔操縦装置30側で作製される場合もあり、その際には、遠隔操縦装置30で製作されてモニタ31に表示される。   Subsequently, as shown in FIG. 5B, the composite image MP (=) of the selected image SP1 and the CG image CGP of the working posture of the manipulator 10 by the image composition function of the calculation unit 42 of the image processing means 40. SP1 + CGP) is produced, and this composite image MP is displayed on the monitor 31 of the remote control device 30 via the in-vehicle control device 20. The composite image MP may be produced on the remote control device 30 side. At that time, the composite image MP is produced by the remote control device 30 and displayed on the monitor 31.

そして、モニタ31に表示される合成画像MP上の作業対象物Wとマニピュレータ10のハンド部14との位置関係に基づいて、遠隔操縦車両1の作業開始予定位置の妥当性が判断され、遠隔操縦車両1の停止位置が決定する。   Based on the positional relationship between the work object W on the composite image MP displayed on the monitor 31 and the hand unit 14 of the manipulator 10, the validity of the scheduled work start position of the remote control vehicle 1 is determined, and the remote control is performed. The stop position of the vehicle 1 is determined.

この実施例において、マニピュレータ10の作業姿勢として斜め下向き姿勢のハンド部14dwを採用する場合には、斜め下向き姿勢のハンド部14dwの作業対象物Wに対する位置が適切でほぼ作業を始め易い状況なので、遠隔操縦車両1の停止位置を変更することなくそのまま作業を開始する。   In this embodiment, when the hand portion 14dw having the obliquely downward posture is adopted as the working posture of the manipulator 10, the position of the hand portion 14dw having the obliquely downward posture is appropriate with respect to the work target W, and thus it is easy to start work. The work is started without changing the stop position of the remote control vehicle 1.

一方、マニピュレータ10の作業姿勢として水平姿勢のハンド部14hoを採用する場合には、作業対象物Wに水平姿勢のハンド部14hoが重なる分だけ一旦遠隔操縦車両1を後退させて作業を開始する。   On the other hand, when the horizontal posture hand portion 14ho is adopted as the work posture of the manipulator 10, the remote control vehicle 1 is once moved backward by the amount corresponding to the horizontal posture hand portion 14ho overlapping the work target W, and the work is started.

このとき、画像処理手段40の演算部42は、マニピュレータ10の選定位置及び作業開始予定位置での各姿勢データ(D3)を用いてマニピュレータ10の作業姿勢を算出し、そして、CG画像CGPを作製しているので、このCG画像CGPが合成されてモニタ31に表示される合成画像MPは、遠隔操縦車両1及びマニピュレータ10の動きに同期した動画で表示され、したがって、遠隔操縦車両1を的確な距離だけ容易に後退させ得ることとなる。   At this time, the calculation unit 42 of the image processing unit 40 calculates the work posture of the manipulator 10 using each posture data (D3) at the selected position of the manipulator 10 and the planned work start position, and creates a CG image CGP. Therefore, the synthesized image MP that is synthesized and displayed on the monitor 31 by synthesizing the CG image CGP is displayed as a moving image synchronized with the movements of the remote control vehicle 1 and the manipulator 10, and accordingly, the remote control vehicle 1 can be accurately identified. It can be easily retracted by the distance.

ここで、例えば、遠隔操縦車両1の走行経路の上方に位置している作業対象物Wを把持する場合には、選定画像SP1上における作業開始予定位置(車両停止位置)でのマニピュレータ10の作業姿勢として、画像処理手段40のメモリ部41に予め記録した複数通りのマニピュレータ10の作業姿勢データ(D7)からマニピュレータ10のハンド部斜め上向き姿勢やハンド部上向き姿勢が算出され、少なくとも何れかの作業姿勢のハンド部14を載せたCG画像CGPが作製される。   Here, for example, when the work object W located above the travel route of the remote control vehicle 1 is gripped, the work of the manipulator 10 at the work start scheduled position (vehicle stop position) on the selected image SP1. As the posture, the hand portion obliquely upward posture and the hand portion upward posture of the manipulator 10 are calculated from the plurality of work posture data (D7) of the manipulator 10 recorded in advance in the memory portion 41 of the image processing means 40, and at least one of the operations is performed. A CG image CGP on which the posture hand unit 14 is placed is produced.

上記したように、この実施例に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、作業対象物Wの側部を捉えた選定画像SP1上に、予め記録したマニピュレータ10の作業姿勢を重畳することで、作業対象物Wとマニピュレータ10のハンド部14との位置関係を把握するようにしているので、遠隔操縦車両1に搭載したマニピュレータ10で作業対象物Wを把持する作業を開始する場合において、把持作業を始め易い位置に遠隔操縦車両1を迅速かつ的確に停止させ得ることとなる。   As described above, in the remote control vehicle stop position determination method and the remote control vehicle control system according to this embodiment, the operation of the manipulator 10 recorded in advance on the selection image SP1 that captures the side portion of the work target W. By superimposing the posture, the positional relationship between the work object W and the hand unit 14 of the manipulator 10 is grasped, so that the work of gripping the work object W with the manipulator 10 mounted on the remote control vehicle 1 is performed. In the case of starting, the remote control vehicle 1 can be quickly and accurately stopped at a position where the gripping operation can be easily started.

加えて、この実施例に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、選定画像SP1上に、予め記録したマニピュレータ10の作業姿勢を少なくとも二通り重畳するようにしているので、作業に適したマニピュレータ10の作業姿勢を選択することで、把持作業を始め易い位置に遠隔操縦車両1をより迅速に停止させ得ることとなる。   In addition, in the remote control vehicle stop position determination method and the remote control vehicle control system according to this embodiment, at least two pre-recorded work postures of the manipulator 10 are superimposed on the selected image SP1. By selecting the work posture of the manipulator 10 suitable for the work, the remote control vehicle 1 can be stopped more quickly at a position where the gripping work can be easily started.

また、この実施例に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、画像処理手段40のメモリ部41に、マニピュレータ10の作業姿勢データ(D7)として、複数通りのマニピュレータ10の作業姿勢を予め記録しているので、地中に埋まっている作業対象物Wを引き抜く作業や、上方から垂れ下がっている作業対象物Wを取り払う作業等の様々な内容の作業に対応し得ることとなる。   Further, in the remote control vehicle stop position determination method and remote control vehicle control system according to this embodiment, a plurality of manipulators 10 are stored in the memory unit 41 of the image processing means 40 as work posture data (D7) of the manipulator 10. Since the work posture is recorded in advance, it is possible to cope with work of various contents such as work of pulling out the work object W buried in the ground and work of removing the work object W hanging from above. It becomes.

上記した遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、選定画像SP1の撮像を一つの選定位置のみで行っているが、作業対象物Wの側部を捉え得る複数の選定位置で選定画像SP1の撮像を行ってもよく、この場合には、作業対象物Wの形状や向きの違いに対応し得ることとなる。   In the above-described remote control vehicle stop position determination method and remote control vehicle control system, the selection image SP1 is picked up at only one selection position, but a plurality of selection positions at which the side portion of the work target W can be captured. The selected image SP1 may be picked up, and in this case, the difference in the shape and orientation of the work object W can be dealt with.

また、上記した遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、旋回台4を介してマニピュレータ10に取り付けられる車載カメラ5を用いているが、車載カメラ5の代わりに全方位カメラを採用した場合には、旋回台4が不要になる分だけ軽量化が図られると共に、処理データ量の軽減も合わせて図られることとなる。   In the remote control vehicle stop position determination method and the remote control vehicle control system described above, the in-vehicle camera 5 attached to the manipulator 10 via the swivel 4 is used, but an omnidirectional camera is used instead of the in-vehicle camera 5. In this case, the weight can be reduced to the extent that the swivel 4 is not required, and the amount of processing data can be reduced.

本発明に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムの構成は、上記した実施例の構成に限定されるものではなく、本発明の要旨を逸脱しなければ、構成の細部を適宜変更することが可能である。   The configuration of the remote control vehicle stop position determination method and the remote control vehicle control system according to the present invention is not limited to the configuration of the above-described embodiment, and the details of the configuration are within the scope of the present invention. Can be changed as appropriate.

1 遠隔操縦車両
5 車載カメラ(カメラ)
10 マニピュレータ
20 車載制御装置
30 遠隔操縦装置
31 モニタ(表示部)
40 画像処理手段
CGP CG画像
MP 合成画像
SP1 選定画像
W 作業対象物
1 Remote control vehicle 5 On-board camera (camera)
DESCRIPTION OF SYMBOLS 10 Manipulator 20 Vehicle-mounted control apparatus 30 Remote control apparatus 31 Monitor (display part)
40 Image processing means CGP CG image MP Composite image SP1 Selected image W Work object

Claims (6)

マニピュレータ及び該マニピュレータ上に配置されたカメラを備えた遠隔操縦車両の停止位置を決定する方法であって、
作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた後、
前記マニピュレータの動作により前記作業対象物の側部を捉える選定位置に前記カメラを移動させて前記作業対象物の選定画像を撮像すると共に、該選定画像の撮像時における前記カメラの位置及び方向データを記録し、
撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの複数通りの作業姿勢から選択した作業姿勢のCG画像を作製し、
前記選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製して、該合成画像上の前記作業対象物と前記マニピュレータとの位置関係から、前記遠隔操縦車両の停止位置を決定する遠隔操縦車両の停止位置決定方法。
A method for determining a stop position of a remotely operated vehicle including a manipulator and a camera disposed on the manipulator,
After stopping the remote control vehicle in the vicinity of the front set as the work object,
The camera is moved to a selected position for capturing the side portion of the work object by the operation of the manipulator to pick up a selection image of the work object, and the position and direction data of the camera at the time of picking up the selection image is obtained. Record,
As the working posture of the manipulator at the vehicle stop position on the selected image in which the camera position and direction data at the time of imaging is recorded, the position and direction data of the remotely operated vehicle, the shape data of the manipulator, and the Based on each posture data at the selected position and the vehicle stop position of the manipulator, a CG image of a work posture selected from a plurality of pre-recorded work postures of the manipulator is created,
A remote image is generated by creating a composite image of the selected image and a CG image of the working posture of the manipulator and determining a stop position of the remotely operated vehicle from a positional relationship between the work object and the manipulator on the composite image. A method for determining the stop position of a control vehicle
前記選定画像の撮像を複数の選定位置で行い、前記複数の選定位置で撮像した複数の選定画像から選んだ選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製する請求項1に記載の遠隔操縦車両の停止位置決定方法。   The selection image is picked up at a plurality of selection positions, and a composite image of a selection image selected from the plurality of selection images picked up at the plurality of selection positions and a CG image of the working posture of the manipulator is created. A method for determining a stop position of a remote control vehicle as described. 予め記録した前記マニピュレータの複数通りの作業姿勢から選択した少なくとも二通りの作業姿勢が載ったCG画像を作製し、前記選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製する請求項1又は2に記載の遠隔操縦車両の停止位置決定方法。   A CG image on which at least two work postures selected from a plurality of work postures of the manipulator recorded in advance are created, and a composite image of the selected image and a CG image of the work posture of the manipulator is created. The stop position determination method of the remote control vehicle according to 1 or 2. 前記カメラが方位可変に前記マニピュレータに取り付けられている請求項1〜3のいずれか一つの項に記載の遠隔操縦車両の停止位置決定方法。   The stop position determination method of the remote control vehicle according to any one of claims 1 to 3, wherein the camera is attached to the manipulator in a variable direction. 前記カメラが全方位カメラである請求項1〜3のいずれか一つの項に記載の遠隔操縦車両の停止位置決定方法。   The remote control vehicle stop position determination method according to any one of claims 1 to 3, wherein the camera is an omnidirectional camera. マニピュレータ及び該マニピュレータに配置されたカメラを備えた遠隔操縦車両の操縦システムであって、
前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置と、前記遠隔操縦車両に搭載されて前記遠隔操縦装置と相互にデータ通信を行う車載制御装置を備え、
前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが画像処理手段を具備し、
前記画像処理手段は、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた状態で前記カメラにより撮像した前記作業対象物の側部の選定画像を記録すると共に、該選定画像の撮像時におけるカメラの位置及び方向データを記録する機能と、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢を算出してCG画像を作製する機能と、前記選定画像と前記マニピュレータの作業姿勢のCG画像とを合成した合成画像を作製して、前記遠隔操縦装置の表示部に表示させる機能を有している遠隔操縦車両の操縦システム。
A control system for a remotely controlled vehicle including a manipulator and a camera disposed on the manipulator,
A remote control device for operator operation provided with a display unit for displaying an image captured by the camera, and an in-vehicle control device mounted on the remote control vehicle and performing data communication with the remote control device;
At least one of the remote control device and the in-vehicle control device includes an image processing unit,
The image processing means records a selection image of the side portion of the work object captured by the camera in a state where the remote control vehicle is stopped in the vicinity of the front face set as the work object, The function of recording the position and direction data of the camera at the time of imaging, and the working posture of the manipulator at the vehicle stop position on the selected image where the position and direction data of the camera at the time of imaging are recorded, Based on the position and direction data, the shape data of the manipulator, and the posture data of the manipulator at the selected position and the vehicle stop position, the pre-recorded working posture of the manipulator is calculated to produce a CG image And a composite image obtained by combining the selected image and a CG image of the working posture of the manipulator And manufacturing, steering system remotely piloted vehicle having a function of displaying on the display unit of the remote control device.
JP2017021319A 2017-02-08 2017-02-08 Remote control method of remote control vehicle and control system of remote control vehicle Active JP6903442B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017021319A JP6903442B2 (en) 2017-02-08 2017-02-08 Remote control method of remote control vehicle and control system of remote control vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017021319A JP6903442B2 (en) 2017-02-08 2017-02-08 Remote control method of remote control vehicle and control system of remote control vehicle

Publications (2)

Publication Number Publication Date
JP2018128847A true JP2018128847A (en) 2018-08-16
JP6903442B2 JP6903442B2 (en) 2021-07-14

Family

ID=63174144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017021319A Active JP6903442B2 (en) 2017-02-08 2017-02-08 Remote control method of remote control vehicle and control system of remote control vehicle

Country Status (1)

Country Link
JP (1) JP6903442B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009212A1 (en) 2018-07-06 2020-01-09 日本製鉄株式会社 Surface-treated steel sheet and method for producing surface-treated steel sheet
JP2020030721A (en) * 2018-08-24 2020-02-27 株式会社ダイヘン Moving vehicle
EP3862492A1 (en) 2020-01-27 2021-08-11 Toyota Jidosha Kabushiki Kaisha Work system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000343468A (en) * 1999-05-31 2000-12-12 Matsushita Electric Works Ltd Robot remote-control equipment, recording medium used therefor, and robot remote-control system
JP2004294067A (en) * 2003-03-25 2004-10-21 Penta Ocean Constr Co Ltd Full automation construction system
JP2012152870A (en) * 2011-01-27 2012-08-16 Hitachi Ltd Manipulator device, and work device with manipulator
US20130054029A1 (en) * 2011-04-15 2013-02-28 Irobot Auto-reach method for a remote vehicle
JP2014180736A (en) * 2013-03-21 2014-09-29 Toyota Motor Corp Remote operation robot system
JP2017052053A (en) * 2015-09-10 2017-03-16 株式会社Ihiエアロスペース Method of creating image for remote-control in unmanned vehicle, and remote control system of unmanned vehicle
WO2017042873A1 (en) * 2015-09-08 2017-03-16 株式会社日立製作所 Remote operation system and operation assistance system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000343468A (en) * 1999-05-31 2000-12-12 Matsushita Electric Works Ltd Robot remote-control equipment, recording medium used therefor, and robot remote-control system
JP2004294067A (en) * 2003-03-25 2004-10-21 Penta Ocean Constr Co Ltd Full automation construction system
JP2012152870A (en) * 2011-01-27 2012-08-16 Hitachi Ltd Manipulator device, and work device with manipulator
US20130054029A1 (en) * 2011-04-15 2013-02-28 Irobot Auto-reach method for a remote vehicle
JP2014180736A (en) * 2013-03-21 2014-09-29 Toyota Motor Corp Remote operation robot system
WO2017042873A1 (en) * 2015-09-08 2017-03-16 株式会社日立製作所 Remote operation system and operation assistance system
JP2017052053A (en) * 2015-09-10 2017-03-16 株式会社Ihiエアロスペース Method of creating image for remote-control in unmanned vehicle, and remote control system of unmanned vehicle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009212A1 (en) 2018-07-06 2020-01-09 日本製鉄株式会社 Surface-treated steel sheet and method for producing surface-treated steel sheet
JP2020030721A (en) * 2018-08-24 2020-02-27 株式会社ダイヘン Moving vehicle
JP7153505B2 (en) 2018-08-24 2022-10-14 株式会社ダイヘン moving body
EP3862492A1 (en) 2020-01-27 2021-08-11 Toyota Jidosha Kabushiki Kaisha Work system
JP7322722B2 (en) 2020-01-27 2023-08-08 トヨタ自動車株式会社 working system
US11787669B2 (en) 2020-01-27 2023-10-17 Toyota Jidosha Kabushiki Kaisha Work system

Also Published As

Publication number Publication date
JP6903442B2 (en) 2021-07-14

Similar Documents

Publication Publication Date Title
JP6650710B2 (en) Method for creating image for remote control in unmanned vehicle, and remote control system for unmanned vehicle
JP6420229B2 (en) A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot
JP5802476B2 (en) Construction machine control system
JP4977667B2 (en) Visual aid for work machine
JP2844040B2 (en) 3D display device
JP6512657B2 (en) Mobile device environment presentation system
JP6662762B2 (en) Work vehicle
JP5337658B2 (en) Wide-angle imaging device and measurement system
JP7023492B2 (en) Follow-up image presentation system for moving objects
JP6903442B2 (en) Remote control method of remote control vehicle and control system of remote control vehicle
JP6083520B2 (en) Robot guidance method and apparatus
JP2006256544A (en) Reverse drive supporting system
JP2008240362A (en) Construction machine and method of guiding backward movement of construction machine
JP2007257276A (en) Traveling path preparation method, autonomous traveling object and autonomous traveling object control system
JP2004356845A (en) Apparatus for supervising surrounding of vehicle
US10017024B2 (en) Tablet computer-based robotic system
JP2022186719A (en) Dismantling system
JP2004120661A (en) Moving object periphery monitoring apparatus
JP4849178B2 (en) Mobile robot
JP7122863B2 (en) Image display device, image display method and remote control system
JP4277825B2 (en) Robot teaching system
JP4207519B2 (en) Moving object periphery monitoring device
JP2020088766A (en) Demolition system
JPH08322120A (en) Method for positioning boom for high-spot working and supporting system for positioning
JPH0790492B2 (en) Remote-controlled manipulator device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210623

R150 Certificate of patent or registration of utility model

Ref document number: 6903442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250