JP2018128847A - Stop position determination method of remote maneuvering vehicle and maneuvering system of remote maneuvering vehicle - Google Patents
Stop position determination method of remote maneuvering vehicle and maneuvering system of remote maneuvering vehicle Download PDFInfo
- Publication number
- JP2018128847A JP2018128847A JP2017021319A JP2017021319A JP2018128847A JP 2018128847 A JP2018128847 A JP 2018128847A JP 2017021319 A JP2017021319 A JP 2017021319A JP 2017021319 A JP2017021319 A JP 2017021319A JP 2018128847 A JP2018128847 A JP 2018128847A
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- image
- vehicle
- remote control
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 239000002131 composite material Substances 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 230000036544 posture Effects 0.000 claims description 91
- 238000004891 communication Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims 1
- 150000001875 compounds Chemical class 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000009432 framing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、マニピュレータ及びカメラを搭載した遠隔操縦車両を所望する位置、例えば、マニピュレータによる作業を開始する位置に停止させる際に用いられる遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムに関するものである。 The present invention relates to a remote control vehicle stop position determination method and a remote control vehicle control system used when a remote control vehicle equipped with a manipulator and a camera is stopped at a desired position, for example, a position where work by a manipulator is started. Is.
従来、上記したマニピュレータ及びカメラを搭載した遠隔操縦車両としては、例えば、特許文献1に記載されたものがある。この遠隔操縦車両のマニピュレータは、多関節アーム部及びこの多関節アーム部の先端に位置するエンド部を具備しており、多関節アーム部におけるエンド部を視認できる部位にカメラは配置されている。
Conventionally, as a remote control vehicle equipped with the above-described manipulator and camera, there is one described in
このようなマニピュレータを搭載した遠隔操縦車両には、オペレータが操作する表示部付の遠隔操縦装置と無線でデータ通信を行う車載制御器が装備されており、カメラで撮影した画像をオペレータが遠隔操縦装置の表示部で確認しながら、遠隔操縦車両の操縦及びマニピュレータの操作を遠隔で行うようになっている。 A remote control vehicle equipped with such a manipulator is equipped with a remote control device with a display unit operated by an operator and an in-vehicle controller that performs data communication wirelessly. While confirming with the display part of an apparatus, the control of a remotely controlled vehicle and the operation of a manipulator are performed remotely.
しかしながら、上記した遠隔操縦車両において、マニピュレータに取り付けられた1台のカメラの画像だけでは遠近感に乏しいことから、マニピュレータのエンド部で作業対象物を掴む作業の場合には、作業対象物に対して遠隔操縦車両をどの程度近づければ、マニピュレータによる把持作業を始め易いかが把握し辛く、作業開始時における遠隔操縦車両の停止位置を複数回変更せざるを得ないのが現状である。 However, in the above-described remote control vehicle, the perspective of only one camera attached to the manipulator is poor, so in the case of gripping the work object at the end of the manipulator, Therefore, it is difficult to grasp how close the remote control vehicle is to start the gripping operation by the manipulator, and it is necessary to change the stop position of the remote control vehicle several times at the start of the operation.
この際、遠近感を確保するために、2台のカメラを使用することも検討されているが、装置や制御の複雑化を招いてしまい好ましくなく、したがって、カメラの台数を増すことなく上記した問題を解決することが従来の課題となっていた。 At this time, in order to ensure a sense of perspective, the use of two cameras is also being considered, but this is undesirable because it complicates the apparatus and control, and thus the above-described without increasing the number of cameras. Solving the problem has been a conventional problem.
本発明は、上記した従来の課題に着目してなされたもので、遠隔操縦車両に搭載したマニピュレータによる、例えば作業対象物の把持作業を開始するにあたって、マニピュレータにとって把持作業を始め易い位置に遠隔操縦車両を迅速かつ的確に停止させることができる遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムを提供することを目的としている。 The present invention has been made by paying attention to the above-described conventional problems. For example, when starting a gripping operation of a work object by a manipulator mounted on a remote control vehicle, the manipulator can remotely control the gripping operation at a position where the gripping operation can be easily started. It is an object of the present invention to provide a remote control vehicle stop position determination method and a remote control vehicle control system capable of stopping a vehicle quickly and accurately.
本発明の第1の態様は、マニピュレータ及び該マニピュレータ上に配置されたカメラを備えた遠隔操縦車両の停止位置を決定する方法であって、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた後、前記マニピュレータの動作により前記作業対象物の側部を捉える選定位置に前記カメラを移動させて前記作業対象物の選定画像を撮像すると共に、該選定画像の撮像時における前記カメラの位置及び方向データを記録し、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢のCG画像を作製し、前記選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製して、該合成画像上の前記作業対象物と前記マニピュレータとの位置関係から、前記遠隔操縦車両の停止位置を決定する構成としている。 According to a first aspect of the present invention, there is provided a method for determining a stop position of a remotely operated vehicle including a manipulator and a camera disposed on the manipulator, wherein the remotely operated vehicle is located near a front portion set as a work object. And then moving the camera to a selected position where the side of the work object is captured by the operation of the manipulator to pick up a selection image of the work object, and the camera at the time of picking up the selection image The position and direction data of the remotely operated vehicle as the work posture of the manipulator at the vehicle stop position on the selected image where the position and direction data of the camera at the time of imaging are recorded, Shape data of the manipulator, and posture data at the selected position and the vehicle stop position of the manipulator Based on the above, a pre-recorded CG image of the manipulator working posture is created, a composite image of the selected image and a CG image of the manipulator working posture is created, and the work object on the composite image is The stop position of the remotely controlled vehicle is determined from the positional relationship with the manipulator.
本発明の第2の態様は、前記選定画像の撮像を複数の選定位置で行い、前記複数の選定位置で撮像した複数の選定画像から選んだ選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製する構成としている。 According to a second aspect of the present invention, the selection image is captured at a plurality of selection positions, and a selection image selected from the plurality of selection images captured at the plurality of selection positions and a CG image of the working posture of the manipulator. A composition image is produced.
本発明の第3の態様は、予め複数通り記録した前記マニピュレータの作業姿勢のうちの少なくとも一通りの作業姿勢のCG画像を作製し、前記選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製する構成としている。 According to a third aspect of the present invention, a CG image of at least one working posture among the working postures of the manipulator recorded in advance is created, and the selected image and a CG image of the working posture of the manipulator are combined. An image is produced.
本発明の第4の態様は、前記カメラが方位可変に前記マニピュレータに取り付けられている構成とし、本発明の第5の態様は、前記カメラが全方位カメラである構成としている。 According to a fourth aspect of the present invention, the camera is attached to the manipulator in a variable direction, and according to a fifth aspect of the invention, the camera is an omnidirectional camera.
一方、本発明の第6の態様は、マニピュレータ及び該マニピュレータに配置されたカメラを備えた遠隔操縦車両の操縦システムであって、前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置と、前記遠隔操縦車両に搭載されて前記遠隔操縦装置と相互にデータ通信を行う車載制御装置を備え、前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが画像処理手段を具備し、前記画像処理手段は、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた状態で前記カメラにより撮像した前記作業対象物の側部の選定画像を記録すると共に、該選定画像の撮像時におけるカメラの位置及び方向データを記録する機能と、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢を算出してCG画像を作製する機能と、前記選定画像と前記マニピュレータの作業姿勢のCG画像とを合成した合成画像を作製して、前記遠隔操縦装置の表示部に表示させる機能を有している構成としている。 On the other hand, a sixth aspect of the present invention is a control system for a remote control vehicle including a manipulator and a camera disposed on the manipulator, and is for operator operation provided with a display unit that displays an image captured by the camera. And a vehicle-mounted control device that is mounted on the remote-controlled vehicle and performs data communication with the remote-controlled device, and at least one of the remote-controlled device and the vehicle-mounted control device has an image processing means. The image processing means records a selection image of a side portion of the work object captured by the camera in a state where the remote control vehicle is stopped in the vicinity of the front face set as the work object; The function of recording the camera position and direction data at the time of capturing the selected image, and the selection of the camera position and direction data recorded at the time of image capturing. As the work posture of the manipulator at the vehicle stop position on the image, the position and direction data of the remote control vehicle, the shape data of the manipulator, and the posture data of the manipulator at the selected position and the vehicle stop position Based on this, the function of creating a CG image by calculating the pre-recorded working posture of the manipulator, and creating a composite image by combining the selected image and a CG image of the working posture of the manipulator, the remote control device It is set as the structure which has a function displayed on the display part.
本発明に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、例えば、遠隔操縦車両に搭載したマニピュレータで作業対象物を把持する作業を開始する場合に、把持作業を始め易い位置に遠隔操縦車両を迅速かつ的確に停止させることが可能であるという非常に優れた効果がもたらされる。 In the remote control vehicle stop position determination method and the remote control vehicle control system according to the present invention, for example, when starting a work of gripping a work object with a manipulator mounted on the remote control vehicle, a position where the gripping work can be easily started. Therefore, it is possible to bring about an excellent effect that the remotely operated vehicle can be stopped quickly and accurately.
以下、本発明の実施例を図面に基づいて説明する。
図1〜図5は、本発明の一実施例による遠隔操縦車両の操縦システムを示している。
図1に示すように、遠隔操縦車両1は、車体2と、この車体2の前後左右に配置された車輪3と、車体2に搭載されたマニピュレータ10を備えており、人が立ち入り困難な場所での作業や、危険物を処理する作業等の遠隔で行う作業に用いられる。
Embodiments of the present invention will be described below with reference to the drawings.
1 to 5 show a control system for a remotely controlled vehicle according to an embodiment of the present invention.
As shown in FIG. 1, the
遠隔操縦車両1の前後左右の車輪(或いは前後いずれかの左右車輪)3は、インホールモータ、又は、車載された原動機により駆動されるようになっており、この遠隔操縦車両1には、必要に応じてステアリング機構が装備される。なお、前後左右の車輪(或いは前後いずれかの左右車輪)3に代えてクローラを配置するようにしてもよいほか、車輪3の数も4輪に限定しない。
The front / rear and left / right wheels (or front / rear left / right wheels) 3 of the
マニピュレータ10は、車体2の上面の中央に配置されたベース11と、このベース11に回動可能に設置された旋回柱12と、第1連結杆13a〜第3連結杆13cの3つの連結杆を具備したアーム部13と、一対のフィンガー14a,14aを具備したハンド部14を備えている。
The
アーム部13の第1連結杆13aの基端は旋回柱12の上端に第1関節16を介して連結され、第2連結杆13bの基端は第1連結杆13aの先端に第2関節17を介して連結され、第3連結杆13cの基端は第2連結杆13bの先端に第3関節18を介して連結され、第3連結杆13cの先端にハンド部14が連結されている。
The base end of the first connecting
このマニピュレータ10において、旋回柱12,アーム部13の第1連結杆13a〜第3連結杆13c及びハンド部14のフィンガー14a,14aの各駆動原としては、回転検出機能を有するサーボモータがそれぞれ用いられ、旋回柱12は、垂直軸回りに回動可能であり、アーム部13の第1連結杆13a〜第3連結杆13cの各連結杆は、第1関節16〜第3関節18においていずれもピッチ軸回りに回動可能である。また、ハンド部14の一対のフィンガー14a,14aは、第3連結杆13cの軸(ロール軸)と直交するヨー軸回りに互いに回動して把持解放動作を行うようになっている。
なお、アーム部13に第1連結杆13a〜第3連結杆13cの各連結杆とは別の連結杆を追加してもよいほか、上記以外の動作、例えば、ハンド部14を第3連結杆13cのロール軸回りに回動させてもよい。
In this
In addition to the connection rods other than the connection rods of the
このマニピュレータ10において、アーム部13の第3連結杆13cの基端近傍には、車載カメラ5が旋回台4を介して装着されている。旋回台4には回転検出機能を有するサーボモータが内蔵されており、車載カメラ5は、サーボモータの出力により第3連結杆13cの軸と直交するヨー軸回りに回動して、フレーミングを水平方向に移動させることができるようになっている。
車載カメラ5には、ズーム機能やチルト機能(フレーミングを垂直方向に移動させる機能)を付加し得る、例えば、CCDカメラを採用することができるほか、水平方向の全方位カメラを採用してもよい。
In this
The in-
このようなマニピュレータ10及び車載カメラ5を搭載した遠隔操縦車両1の操縦システムは、遠隔操縦車両1に搭載された車載制御装置20と、この車載制御装置20と相互にデータ通信を行うオペレータ操作用の遠隔操縦装置30を備えている。
The control system of the
車載制御装置20は、遠隔操縦車両1の自己位置を検出する位置センサと、遠隔操縦車両1の方向を検出する方向センサと、主コンピュータと、送受信機と、バッテリとから主として構成されており、位置センサには、例えば、GPSが採用され、方向センサには、例えば、加速度計や磁気センサが採用される。
The in-
主コンピュータには、遠隔操縦車両1の位置及び方向データ、マニピュレータ10の姿勢データ、車載カメラ5の位置及び方向データ、車載カメラ5で撮像した画像データ等の各種データが入力される。マニピュレータ10の姿勢データは、旋回柱12,アーム部13の第1連結杆13a〜第3連結杆13c及びハンド部14におけるフィンガー14a,14aの各サーボモータの回転検出により得ることができ、車載カメラ5の位置及び方向データは、マニピュレータ10の姿勢データ及び旋回台4の回転検出により得ることができる。
Various data such as position and direction data of the
そして、主コンピュータは、オペレータが操作する遠隔操縦装置30から受信した指令信号を遠隔操縦車両1の走行系機能部やマニピュレータ10の各サーボモータに出力する。
Then, the main computer outputs a command signal received from the
一方、遠隔操縦装置30は、この実施例においてコンピュータを内蔵した携行可能なものであって、送受信機と、モニタ(表示部)31と、遠隔操縦車両1を走行させるためのコントローラ32と、マニピュレータ10を動作させるためのコントローラ33と、バッテリとから主として構成されている。なお、遠隔操縦装置30は携行可能なものに限定されない。
On the other hand, the
この遠隔操縦装置30に内蔵したコンピュータは、車載制御装置20の主コンピュータからの各種データを受信すると共に、遠隔操縦車両1の車載カメラ5が撮影した画像や画像処理後の画像をモニタ31に表示させ、走行系コントローラ32及びマニピュレータ用コントローラ33の各操作による指令信号を車載制御装置20の主コンピュータに出力する。
The computer built in the
この遠隔操縦車両の操縦システムは、車載制御装置20及び遠隔操縦装置30のうちの少なくとも何れかが画像処理手段40を具備しており、この画像処理手段40を遠隔操縦装置30側に具備させれば、車載制御装置20の主コンピュータの簡略化及びデータ通信量の低減が図られる。
In this remote control vehicle control system, at least one of the in-
この画像処理手段40は、図2に示すように、メモリ部41及び演算部42を有している。メモリ部41には、遠隔操縦車両1の位置及び方向データD1と、マニピュレータ10の形状データD2と、マニピュレータ10の姿勢データD3と、車載カメラ5の特性データD4と、車載カメラ5の撮像時における位置及び方向データD5と、画像データD6と、マニピュレータの作業姿勢データD7の各種データが記録される。
As shown in FIG. 2, the
この際、遠隔操縦車両1の位置及び方向データD1は、前述したように、位置センサ及び方向センサによって検出されるデータである。マニピュレータ10の形状データD2は、予め設定されているデータであり、車体2の上面の中央に配置された旋回柱12の高さ寸法を含むアーム部13(第1連結杆13a〜第3連結杆13c、第1関節16〜第3関節18)及びハンド部14の各諸寸法である。
At this time, the position and direction data D1 of the
また、マニピュレータ10の姿勢データD3は、前述したように、旋回柱12,アーム部13の第1連結杆13a〜第3連結杆13c及びハンド部14におけるフィンガー14a,14aの各サーボモータの回転角度により得られるデータであり、アーム部13の第1連結杆13a〜第3連結杆13cの各傾斜角度を得ることができる。
Further, as described above, the posture data D3 of the
さらに、車載カメラ5の特性データD4は、車載カメラ5の画角や解像度等の予め設定されているデータである。車載カメラ5の撮像時における位置及び方向データD5は、前述したように、マニピュレータ10の姿勢データD3及び旋回台4の回転検出により得られるデータである。マニピュレータの作業姿勢データD7は、後述するように、予め記録した複数通りのマニピュレータ10の作業姿勢のデータである。
Further, the characteristic data D4 of the in-
そして、この画像処理手段40のメモリ部41は、遠隔操縦車両1の停止位置を決定する場合において、図3(a)に示すように、作業対象物W近傍の作業開始予定位置に遠隔操縦車両1を停止させた状態で車載カメラ5により撮像した作業対象物Wの側部の選定画像(図3(b)の画像)SP1を記録し、そのうえで、この選定画像SP1の撮像時における車載カメラ5の位置及び方向データを記録する。
Then, when determining the stop position of the
一方、画像処理手段40の演算部42は、選定画像SP1上における作業開始予定位置(車両停止位置)でのマニピュレータ10の作業姿勢として、予めメモリ部41に記録した複数通りのマニピュレータ10の作業姿勢、例えば、図4(a)〜(c)に示すハンド部斜め下向き姿勢,ハンド部水平姿勢及びハンド部斜め上向き姿勢のうちの少なくとも一通りの作業姿勢を算出して、図5(a)に示すように、CG(Computer Graphics)画像CGPを作製するCG画像作製機能を有している。
On the other hand, the
この画像処理手段40の演算部42では、遠隔操縦車両1の位置及び方向データD1、マニピュレータ10の形状データD2、並びに、マニピュレータ10の選定位置及び作業開始予定位置での各姿勢データD3に基づいてマニピュレータ10の作業姿勢を算出する。具体的には、姿勢データD3におけるマニピュレータ10の姿勢に近い姿勢を算出し、この実施例において、図1(a)のマニピュレータ10の斜め下向き姿勢に近いマニピュレータ10の斜め下向き姿勢のハンド部14dw及び水平姿勢のハンド部14hoの二通りの作業姿勢のハンド部14を載せたCG画像CGPを作製している。
The
また、この画像処理手段40の演算部42は、図5(b)に示すように、選定画像SP1とマニピュレータ10の作業姿勢のCG画像CGPとを合成した合成画像MP(=SP1+CGP)を作製して、遠隔操縦装置30のモニタ31に表示させる画像合成機能を有している。
Further, as shown in FIG. 5B, the
なお、予めメモリ部41に記録する複数通りのマニピュレータ10の作業姿勢は、上記した図4(a)〜(c)に示すハンド部斜め下向き姿勢,ハンド部水平姿勢及びハンド部斜め上向き姿勢に限定されるものではなく、ハンド部14が真下を向くハンド部下向き姿勢や、ハンド部14が真上を向くハンド部上向き姿勢であってもよいほか、CG画像CGP上におけるマニピュレータ10の作業姿勢の数もハンド部斜め下向き姿勢及びハンド部水平姿勢の二通りに限定されるものではない。
The working postures of the plurality of
次に、上記した遠隔操縦車両の操縦システムによる遠隔操縦車両の停止位置決定方法を説明する。 Next, a method for determining the stop position of the remote control vehicle by the above-described remote control vehicle control system will be described.
まず、図1(a),(b)に示すように、遠隔操縦装置30を操作して作業を行うべき方向から遠隔操縦車両1を作業対象物Wに接近させ、作業対象物Wに設定した正面部近傍の作業開始予定位置に遠隔操縦車両1を停止させる。このとき、作業対象物Wの正面部は、作業時に任意に設定するものであり、通常は、接近する遠隔操縦車両1の前面と対向する作業対象物Wの部位を正面部とし、その左右両側を側部として設定する。
First, as shown in FIGS. 1A and 1B, the
この後、マニピュレータ10を回動させて、図3(a)に示すように、作業対象物Wの側部を捉える選定位置に車載カメラ5を移動させて、図3(b)に示すように、作業対象物Wの選定画像SP1を撮像すると共に、この撮像時における車載カメラ5の位置及び方向データ(D5)を特性データ(D4)とともに画像処理手段40のメモリ部41に記録する。
Thereafter, the
この選定画像SP1の撮像は、この実施例のように、一つの選定位置のみで行ってもよいが、作業対象物Wの側部を捉え得る複数の選定位置で行ってもよく、作業対象物Wの形状や向きに応じて選択的に行うことができる。 The selected image SP1 may be picked up at one selected position as in this embodiment, but may be taken at a plurality of selected positions that can capture the side portion of the work object W. This can be done selectively according to the shape and orientation of W.
次に、画像処理手段40の演算部42のCG画像作製機能により、選定画像SP1上における作業開始予定位置(車両停止位置)でのマニピュレータ10の作業姿勢として、予め画像処理手段40のメモリ部41に記録した複数通りのマニピュレータ10の作業姿勢データ(D7)からマニピュレータ10のハンド部斜め下向き姿勢及びハンド部水平姿勢の二通りの作業姿勢が算出される。
Next, by the CG image creation function of the
このマニピュレータ10のハンド部斜め下向き姿勢及びハンド部水平姿勢の算出は、遠隔操縦車両1の位置及び方向データ(D1)、マニピュレータ10の形状データ(D2)、並びに、マニピュレータ10の選定位置及び作業開始予定位置での各姿勢データ(D3)に基づいてなされる。具体的には、姿勢データD3におけるマニピュレータ10の姿勢に近い姿勢(この実施例において、図1(a)のマニピュレータ10の斜め下向き姿勢に近いハンド部斜め下向き姿勢及びハンド部水平姿勢)が算出され、図5(a)に示すように、算出されたマニピュレータ10の斜め下向き姿勢のハンド部14dw及び水平姿勢のハンド部14hoの二通りの作業姿勢のハンド部14を載せたCG画像CGPが作製される。
The calculation of the hand portion diagonally downward posture and the hand portion horizontal posture of the
これに続いて、画像処理手段40の演算部42の画像合成機能により、図5(b)に示すように、選定画像SP1と、マニピュレータ10の作業姿勢のCG画像CGPとの合成画像MP(=SP1+CGP)が作製されると共に、この合成画像MPが車載制御装置20を介して遠隔操縦装置30のモニタ31に表示される。この合成画像MPは、遠隔操縦装置30側で作製される場合もあり、その際には、遠隔操縦装置30で製作されてモニタ31に表示される。
Subsequently, as shown in FIG. 5B, the composite image MP (=) of the selected image SP1 and the CG image CGP of the working posture of the
そして、モニタ31に表示される合成画像MP上の作業対象物Wとマニピュレータ10のハンド部14との位置関係に基づいて、遠隔操縦車両1の作業開始予定位置の妥当性が判断され、遠隔操縦車両1の停止位置が決定する。
Based on the positional relationship between the work object W on the composite image MP displayed on the
この実施例において、マニピュレータ10の作業姿勢として斜め下向き姿勢のハンド部14dwを採用する場合には、斜め下向き姿勢のハンド部14dwの作業対象物Wに対する位置が適切でほぼ作業を始め易い状況なので、遠隔操縦車両1の停止位置を変更することなくそのまま作業を開始する。
In this embodiment, when the hand portion 14dw having the obliquely downward posture is adopted as the working posture of the
一方、マニピュレータ10の作業姿勢として水平姿勢のハンド部14hoを採用する場合には、作業対象物Wに水平姿勢のハンド部14hoが重なる分だけ一旦遠隔操縦車両1を後退させて作業を開始する。
On the other hand, when the horizontal posture hand portion 14ho is adopted as the work posture of the
このとき、画像処理手段40の演算部42は、マニピュレータ10の選定位置及び作業開始予定位置での各姿勢データ(D3)を用いてマニピュレータ10の作業姿勢を算出し、そして、CG画像CGPを作製しているので、このCG画像CGPが合成されてモニタ31に表示される合成画像MPは、遠隔操縦車両1及びマニピュレータ10の動きに同期した動画で表示され、したがって、遠隔操縦車両1を的確な距離だけ容易に後退させ得ることとなる。
At this time, the
ここで、例えば、遠隔操縦車両1の走行経路の上方に位置している作業対象物Wを把持する場合には、選定画像SP1上における作業開始予定位置(車両停止位置)でのマニピュレータ10の作業姿勢として、画像処理手段40のメモリ部41に予め記録した複数通りのマニピュレータ10の作業姿勢データ(D7)からマニピュレータ10のハンド部斜め上向き姿勢やハンド部上向き姿勢が算出され、少なくとも何れかの作業姿勢のハンド部14を載せたCG画像CGPが作製される。
Here, for example, when the work object W located above the travel route of the
上記したように、この実施例に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、作業対象物Wの側部を捉えた選定画像SP1上に、予め記録したマニピュレータ10の作業姿勢を重畳することで、作業対象物Wとマニピュレータ10のハンド部14との位置関係を把握するようにしているので、遠隔操縦車両1に搭載したマニピュレータ10で作業対象物Wを把持する作業を開始する場合において、把持作業を始め易い位置に遠隔操縦車両1を迅速かつ的確に停止させ得ることとなる。
As described above, in the remote control vehicle stop position determination method and the remote control vehicle control system according to this embodiment, the operation of the
加えて、この実施例に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、選定画像SP1上に、予め記録したマニピュレータ10の作業姿勢を少なくとも二通り重畳するようにしているので、作業に適したマニピュレータ10の作業姿勢を選択することで、把持作業を始め易い位置に遠隔操縦車両1をより迅速に停止させ得ることとなる。
In addition, in the remote control vehicle stop position determination method and the remote control vehicle control system according to this embodiment, at least two pre-recorded work postures of the
また、この実施例に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、画像処理手段40のメモリ部41に、マニピュレータ10の作業姿勢データ(D7)として、複数通りのマニピュレータ10の作業姿勢を予め記録しているので、地中に埋まっている作業対象物Wを引き抜く作業や、上方から垂れ下がっている作業対象物Wを取り払う作業等の様々な内容の作業に対応し得ることとなる。
Further, in the remote control vehicle stop position determination method and remote control vehicle control system according to this embodiment, a plurality of
上記した遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、選定画像SP1の撮像を一つの選定位置のみで行っているが、作業対象物Wの側部を捉え得る複数の選定位置で選定画像SP1の撮像を行ってもよく、この場合には、作業対象物Wの形状や向きの違いに対応し得ることとなる。 In the above-described remote control vehicle stop position determination method and remote control vehicle control system, the selection image SP1 is picked up at only one selection position, but a plurality of selection positions at which the side portion of the work target W can be captured. The selected image SP1 may be picked up, and in this case, the difference in the shape and orientation of the work object W can be dealt with.
また、上記した遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムでは、旋回台4を介してマニピュレータ10に取り付けられる車載カメラ5を用いているが、車載カメラ5の代わりに全方位カメラを採用した場合には、旋回台4が不要になる分だけ軽量化が図られると共に、処理データ量の軽減も合わせて図られることとなる。
In the remote control vehicle stop position determination method and the remote control vehicle control system described above, the in-
本発明に係る遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システムの構成は、上記した実施例の構成に限定されるものではなく、本発明の要旨を逸脱しなければ、構成の細部を適宜変更することが可能である。 The configuration of the remote control vehicle stop position determination method and the remote control vehicle control system according to the present invention is not limited to the configuration of the above-described embodiment, and the details of the configuration are within the scope of the present invention. Can be changed as appropriate.
1 遠隔操縦車両
5 車載カメラ(カメラ)
10 マニピュレータ
20 車載制御装置
30 遠隔操縦装置
31 モニタ(表示部)
40 画像処理手段
CGP CG画像
MP 合成画像
SP1 選定画像
W 作業対象物
1
DESCRIPTION OF
40 Image processing means CGP CG image MP Composite image SP1 Selected image W Work object
Claims (6)
作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた後、
前記マニピュレータの動作により前記作業対象物の側部を捉える選定位置に前記カメラを移動させて前記作業対象物の選定画像を撮像すると共に、該選定画像の撮像時における前記カメラの位置及び方向データを記録し、
撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの複数通りの作業姿勢から選択した作業姿勢のCG画像を作製し、
前記選定画像と前記マニピュレータの作業姿勢のCG画像との合成画像を作製して、該合成画像上の前記作業対象物と前記マニピュレータとの位置関係から、前記遠隔操縦車両の停止位置を決定する遠隔操縦車両の停止位置決定方法。 A method for determining a stop position of a remotely operated vehicle including a manipulator and a camera disposed on the manipulator,
After stopping the remote control vehicle in the vicinity of the front set as the work object,
The camera is moved to a selected position for capturing the side portion of the work object by the operation of the manipulator to pick up a selection image of the work object, and the position and direction data of the camera at the time of picking up the selection image is obtained. Record,
As the working posture of the manipulator at the vehicle stop position on the selected image in which the camera position and direction data at the time of imaging is recorded, the position and direction data of the remotely operated vehicle, the shape data of the manipulator, and the Based on each posture data at the selected position and the vehicle stop position of the manipulator, a CG image of a work posture selected from a plurality of pre-recorded work postures of the manipulator is created,
A remote image is generated by creating a composite image of the selected image and a CG image of the working posture of the manipulator and determining a stop position of the remotely operated vehicle from a positional relationship between the work object and the manipulator on the composite image. A method for determining the stop position of a control vehicle
前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置と、前記遠隔操縦車両に搭載されて前記遠隔操縦装置と相互にデータ通信を行う車載制御装置を備え、
前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが画像処理手段を具備し、
前記画像処理手段は、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた状態で前記カメラにより撮像した前記作業対象物の側部の選定画像を記録すると共に、該選定画像の撮像時におけるカメラの位置及び方向データを記録する機能と、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢を算出してCG画像を作製する機能と、前記選定画像と前記マニピュレータの作業姿勢のCG画像とを合成した合成画像を作製して、前記遠隔操縦装置の表示部に表示させる機能を有している遠隔操縦車両の操縦システム。 A control system for a remotely controlled vehicle including a manipulator and a camera disposed on the manipulator,
A remote control device for operator operation provided with a display unit for displaying an image captured by the camera, and an in-vehicle control device mounted on the remote control vehicle and performing data communication with the remote control device;
At least one of the remote control device and the in-vehicle control device includes an image processing unit,
The image processing means records a selection image of the side portion of the work object captured by the camera in a state where the remote control vehicle is stopped in the vicinity of the front face set as the work object, The function of recording the position and direction data of the camera at the time of imaging, and the working posture of the manipulator at the vehicle stop position on the selected image where the position and direction data of the camera at the time of imaging are recorded, Based on the position and direction data, the shape data of the manipulator, and the posture data of the manipulator at the selected position and the vehicle stop position, the pre-recorded working posture of the manipulator is calculated to produce a CG image And a composite image obtained by combining the selected image and a CG image of the working posture of the manipulator And manufacturing, steering system remotely piloted vehicle having a function of displaying on the display unit of the remote control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021319A JP6903442B2 (en) | 2017-02-08 | 2017-02-08 | Remote control method of remote control vehicle and control system of remote control vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021319A JP6903442B2 (en) | 2017-02-08 | 2017-02-08 | Remote control method of remote control vehicle and control system of remote control vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018128847A true JP2018128847A (en) | 2018-08-16 |
JP6903442B2 JP6903442B2 (en) | 2021-07-14 |
Family
ID=63174144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017021319A Active JP6903442B2 (en) | 2017-02-08 | 2017-02-08 | Remote control method of remote control vehicle and control system of remote control vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6903442B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020009212A1 (en) | 2018-07-06 | 2020-01-09 | 日本製鉄株式会社 | Surface-treated steel sheet and method for producing surface-treated steel sheet |
JP2020030721A (en) * | 2018-08-24 | 2020-02-27 | 株式会社ダイヘン | Moving vehicle |
JP2021115662A (en) * | 2020-01-27 | 2021-08-10 | トヨタ自動車株式会社 | Work system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000343468A (en) * | 1999-05-31 | 2000-12-12 | Matsushita Electric Works Ltd | Robot remote-control equipment, recording medium used therefor, and robot remote-control system |
JP2004294067A (en) * | 2003-03-25 | 2004-10-21 | Penta Ocean Constr Co Ltd | Full automation construction system |
JP2012152870A (en) * | 2011-01-27 | 2012-08-16 | Hitachi Ltd | Manipulator device, and work device with manipulator |
US20130054029A1 (en) * | 2011-04-15 | 2013-02-28 | Irobot | Auto-reach method for a remote vehicle |
JP2014180736A (en) * | 2013-03-21 | 2014-09-29 | Toyota Motor Corp | Remote operation robot system |
JP2017052053A (en) * | 2015-09-10 | 2017-03-16 | 株式会社Ihiエアロスペース | Method of creating image for remote-control in unmanned vehicle, and remote control system of unmanned vehicle |
WO2017042873A1 (en) * | 2015-09-08 | 2017-03-16 | 株式会社日立製作所 | Remote operation system and operation assistance system |
-
2017
- 2017-02-08 JP JP2017021319A patent/JP6903442B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000343468A (en) * | 1999-05-31 | 2000-12-12 | Matsushita Electric Works Ltd | Robot remote-control equipment, recording medium used therefor, and robot remote-control system |
JP2004294067A (en) * | 2003-03-25 | 2004-10-21 | Penta Ocean Constr Co Ltd | Full automation construction system |
JP2012152870A (en) * | 2011-01-27 | 2012-08-16 | Hitachi Ltd | Manipulator device, and work device with manipulator |
US20130054029A1 (en) * | 2011-04-15 | 2013-02-28 | Irobot | Auto-reach method for a remote vehicle |
JP2014180736A (en) * | 2013-03-21 | 2014-09-29 | Toyota Motor Corp | Remote operation robot system |
WO2017042873A1 (en) * | 2015-09-08 | 2017-03-16 | 株式会社日立製作所 | Remote operation system and operation assistance system |
JP2017052053A (en) * | 2015-09-10 | 2017-03-16 | 株式会社Ihiエアロスペース | Method of creating image for remote-control in unmanned vehicle, and remote control system of unmanned vehicle |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020009212A1 (en) | 2018-07-06 | 2020-01-09 | 日本製鉄株式会社 | Surface-treated steel sheet and method for producing surface-treated steel sheet |
JP2020030721A (en) * | 2018-08-24 | 2020-02-27 | 株式会社ダイヘン | Moving vehicle |
JP7153505B2 (en) | 2018-08-24 | 2022-10-14 | 株式会社ダイヘン | moving body |
JP2021115662A (en) * | 2020-01-27 | 2021-08-10 | トヨタ自動車株式会社 | Work system |
EP3862492A1 (en) | 2020-01-27 | 2021-08-11 | Toyota Jidosha Kabushiki Kaisha | Work system |
JP7322722B2 (en) | 2020-01-27 | 2023-08-08 | トヨタ自動車株式会社 | working system |
US11787669B2 (en) | 2020-01-27 | 2023-10-17 | Toyota Jidosha Kabushiki Kaisha | Work system |
Also Published As
Publication number | Publication date |
---|---|
JP6903442B2 (en) | 2021-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6650710B2 (en) | Method for creating image for remote control in unmanned vehicle, and remote control system for unmanned vehicle | |
JP6420229B2 (en) | A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot | |
JP5802476B2 (en) | Construction machine control system | |
JP4977667B2 (en) | Visual aid for work machine | |
JP2844040B2 (en) | 3D display device | |
JP6512657B2 (en) | Mobile device environment presentation system | |
JP6662762B2 (en) | Work vehicle | |
JP5337658B2 (en) | Wide-angle imaging device and measurement system | |
JP7023492B2 (en) | Follow-up image presentation system for moving objects | |
JP6903442B2 (en) | Remote control method of remote control vehicle and control system of remote control vehicle | |
JP6083520B2 (en) | Robot guidance method and apparatus | |
JP2006256544A (en) | Reverse drive supporting system | |
JP2008240362A (en) | Construction machine and method of guiding backward movement of construction machine | |
JP2007257276A (en) | Traveling path preparation method, autonomous traveling object and autonomous traveling object control system | |
JP2004356845A (en) | Apparatus for supervising surrounding of vehicle | |
KR101132713B1 (en) | Device for control of moving robot, moving robot system having the same and method for control of moving robot | |
US10017024B2 (en) | Tablet computer-based robotic system | |
JP2022186719A (en) | Dismantling system | |
JP4849178B2 (en) | Mobile robot | |
JP7122863B2 (en) | Image display device, image display method and remote control system | |
JP4277825B2 (en) | Robot teaching system | |
JP4207519B2 (en) | Moving object periphery monitoring device | |
JP2020088766A (en) | Demolition system | |
JPH08322120A (en) | Method for positioning boom for high-spot working and supporting system for positioning | |
JPH0790492B2 (en) | Remote-controlled manipulator device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6903442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |