JP7303008B2 - Image display method and remote control system - Google Patents

Image display method and remote control system Download PDF

Info

Publication number
JP7303008B2
JP7303008B2 JP2019070565A JP2019070565A JP7303008B2 JP 7303008 B2 JP7303008 B2 JP 7303008B2 JP 2019070565 A JP2019070565 A JP 2019070565A JP 2019070565 A JP2019070565 A JP 2019070565A JP 7303008 B2 JP7303008 B2 JP 7303008B2
Authority
JP
Japan
Prior art keywords
laser
display
robot
measurement point
laser measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019070565A
Other languages
Japanese (ja)
Other versions
JP2020170293A (en
Inventor
忠弘 中島
裕之 矢代
強 寺内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
IHI Aerospace Co Ltd
Original Assignee
IHI Corp
IHI Aerospace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, IHI Aerospace Co Ltd filed Critical IHI Corp
Priority to JP2019070565A priority Critical patent/JP7303008B2/en
Publication of JP2020170293A publication Critical patent/JP2020170293A/en
Application granted granted Critical
Publication of JP7303008B2 publication Critical patent/JP7303008B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、ディスプレーを有する遠隔操縦装置によってロボットである車両や建機を遠隔操縦する際に用いるのに好適な画像表示方法及び遠隔操縦システムに関するものである。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display method and a remote control system suitable for use in remotely controlling a vehicle or construction machine, which is a robot, using a remote control device having a display.

従来、上記したようなロボットとしては、例えば、特許文献1に記載された車両タイプの移動ロボットがある。 Conventionally, there is a vehicle-type mobile robot described in Patent Document 1, for example, as the above-described robot.

この移動ロボットは、レーザ光を走査して進行方向側のレーザ計測点群を取得するレーザレンジファインダと、自己位置を求めるGPS等の自己位置計測部と、レーザレンジファインダで得た進行方向側のレーザ計測点群のデータが入力されると共に自己位置計測部で得た自己位置データが入力される制御部を備えている。 This mobile robot has a laser range finder that scans a laser beam to obtain a group of laser measurement points in the traveling direction, a self-positioning unit such as a GPS that obtains its own position, and a moving direction side obtained by the laser range finder. A control section is provided to which the data of the laser measurement point cloud is input and the self-position data obtained by the self-position measurement section is input.

レーザレンジファインダで取得される進行方向側のレーザ計測点群のデータは、制御部において、移動ロボットが移動する度に自己位置計測部で取得されるレーザレンジファインダの位置を原点とするレーザ計測点群のデータに更新され、制御部から遠隔操縦装置に送信されてディスプレーにリアルタイムで表示される。 The data of the laser measurement point cloud on the traveling direction side acquired by the laser range finder is the laser measurement points with the position of the laser range finder as the origin, which is acquired by the self-position measurement unit each time the mobile robot moves in the control unit. Group data is updated, transmitted from the control unit to the remote control unit, and displayed on the display in real time.

この場合、遠隔操縦装置のディスプレーに表示されるレーザ計測点群の画像をよりリアルなものにするための手法として、レーザレンジファインダで得たプロファイルデータであるレーザ計測点群を座標(高さや距離)に基づいて色付けする方法がある。 In this case, as a method for making the image of the laser measurement point cloud displayed on the display of the remote control device more realistic, the laser measurement point cloud, which is the profile data obtained by the laser range finder, is coordinated (height and distance). ).

特開2012-159954号JP 2012-159954

ところが、上記したレーザレンジファインダで取得するプロファイルデータは、レーザ計測点群の密度が薄いことから、レーザ計測点の位置情報に基づいて色付け処理を施したとしても、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーに表示することができないという問題があり、この問題を解決することが従来の課題となっている。 However, since the profile data obtained by the above-described laser range finder has a low density of the laser measurement point cloud, even if the coloring process is performed based on the position information of the laser measurement points, the image useful for remote control can be obtained remotely. There is a problem that it cannot be displayed on the display of the control device, and solving this problem has been a conventional problem.

本発明は、上記した従来の課題に着目してなされたもので、ディスプレーを有する遠隔操縦装置によって、例えば、ロボットを遠隔操縦するに際して、遠隔操縦装置のディスプレーに有用な画像をリアルタイムで表示することが可能である画像表示方法及び遠隔操縦システムを提供することを目的としている。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems of the conventional art, and is intended to display useful images on the display of a remote control device in real time when, for example, a robot is remotely controlled by a remote control device having a display. It is an object of the present invention to provide an image display method and a remote control system capable of

本発明の第1の態様は、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサ、自己位置データを取得する自己位置計測部、及び、カラーデジタルカメラを搭載したロボットを、遠隔操縦用画像が表示されるディスプレーを有する遠隔操縦装置によって遠隔操縦するに際して、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する構成としている。 According to a first aspect of the present invention, a robot equipped with a laser sensor that scans a laser beam to obtain a group of laser measurement points in the surrounding area, a self-position measurement unit that obtains self-position data, and a color digital camera is remotely operated. When the robot is remotely controlled by a remote control device having a display on which a control image is displayed, the laser measurement point cloud obtained by the laser sensor of the robot is colored based on the image obtained by the color digital camera. , the laser measurement point group subjected to the coloring process is converted from the sensor coordinate system to the global coordinate system based on the self-position data obtained by the self-position measurement unit , and the laser measurement after the coloring process is performed. After converting the point cloud from the sensor coordinate system to the global coordinate system, the range of the display data and the range of the measurement frame of the laser measurement point cloud acquired by the laser sensor are moved at a slow moving speed of the robot. In this case, a wide display range is determined, and when the robot moves at a high speed, a narrow display range is determined. It is configured to be displayed on the display of the remote control device.

また、本発明の第の態様は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。 In a second aspect of the present invention, among the laser measurement point group acquired by the laser sensor of the robot, the laser measurement points have a preset height within a range that hinders movement of the robot. is extracted, and the display viewpoint is changed to the side where there are many laser measurement points within the set range, and displayed on the display of the remote control device.

さらに、本発明の第の態様において、前記ロボットは作動部を有し、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。 Further, in the third aspect of the present invention, the robot has an operating section, and the laser measurement point closest to the operating section is extracted from the group of laser measurement points acquired by the laser sensor of the robot. and, when the distance between the extracted laser measurement point and the operating unit is equal to or less than a preset threshold value, the display viewpoint is changed to the side of the extracted laser measurement point and displayed on the display of the remote control device. there is

一方、本発明の第の態様は、ロボットを遠隔操縦装置によって遠隔操縦する遠隔操縦システムであって、前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。 On the other hand, a fourth aspect of the present invention is a remote control system for remotely controlling a robot by a remote control device, wherein the robot includes a laser sensor for scanning a laser beam and acquiring a group of laser measurement points around the robot. , a self-localization unit that acquires self-position data, and a color digital camera are installed, and the remote control device is equipped with a display that displays an image for remote control, and either the robot or the remote control device is provided with a control unit to which the data of the laser measurement point cloud obtained by the laser sensor of the robot is input and the self-position data obtained by the self-position measurement unit is input, and the control unit is The laser measurement point group acquired by the laser sensor of the robot is subjected to coloring processing based on the image by the color digital camera, and the self-position measurement is performed for the laser measurement point group subjected to the coloring processing. After converting from the sensor coordinate system to the global coordinate system based on the self-position information obtained in the section, and converting the laser measurement point group after the coloring process from the sensor coordinate system to the global coordinate system , the display data range and the measurement frame range of the laser measurement point cloud acquired by the laser sensor are determined to be a wide display range when the moving speed of the robot is slow, and when the moving speed of the robot is fast A narrow display range is determined, and the laser measurement point cloud sequentially acquired as the robot moves is superimposed each time it is updated and displayed on the display of the remote control device.

また、本発明の第の態様において、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。 Further , in the fifth aspect of the present invention, the control unit determines that the height of the laser measurement point group acquired by the laser sensor of the robot is set in advance to a range that hinders the movement of the robot. Then, the display viewpoint is changed to the side where there are many laser measurement points within the set range and displayed on the display of the remote control device.

さらに、本発明の第の態様において、前記ロボットは作動部を有し、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。 Furthermore, in the sixth aspect of the present invention, the robot has an operating section, and the control section is closest to the operating section in the laser measurement point group acquired by the laser sensor of the robot. A laser measurement point is extracted, and when the distance between the extracted laser measurement point and the operating unit is equal to or less than a preset threshold value, the display viewpoint is changed to the side of the extracted laser measurement point, and the display of the remote control device is displayed. It is configured to be displayed on

本発明に係る画像表示方法及び遠隔操縦システムにおいて、ロボットの周囲のレーザ計測点群(プロファイルデータ)を取得するレーザセンサとしては、例えば、水平ラインスキャンタイプの1軸レーザレンジファインダであれば事足りる。 In the image display method and the remote control system according to the present invention, a horizontal line scan type 1-axis laser range finder, for example, is sufficient as a laser sensor for acquiring the laser measurement point group (profile data) around the robot.

また、自己位置データ(自己位置の他に姿勢角及び方位を含む)を求める自己位置計測部としては、例えば、GPSや、INS(慣性航法装置)やIMU(慣性計測装置)やデッドレコニングを用いることができる。 In addition, as a self-position measurement unit that obtains self-position data (including attitude angle and azimuth in addition to self-position), for example, GPS, INS (inertial navigation system), IMU (inertial measurement unit), and dead reckoning are used. be able to.

本発明の第1の態様に係る画像表示方法及び第の態様に係る遠隔操縦システムでは、ディスプレーを有する遠隔操縦装置によってロボットを遠隔操縦するに際して、計測対象物を区別できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーにリアルタイムで表示することが可能であるという非常に優れた効果がもたらされる。 In the image display method according to the first aspect of the present invention and the remote control system according to the fourth aspect of the present invention, when a remote control device having a display is used to remotely control a robot, an image such as a camera image capable of distinguishing an object to be measured is displayed. That is, it is possible to display an image useful for remote control on the display of the remote control device in real time.

また、本発明の第の態様に係る画像表示方法及び第の態様に係る遠隔操縦システムは、ロボットを移動させる場合において、ロボットの移動速度にマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。 The image display method according to the first aspect of the present invention and the remote control system according to the fourth aspect of the present invention can display an image matching the moving speed of the robot on the display of the remote control device in real time when the robot is moved. can be displayed.

さらに、本発明の第の態様に係る画像表示方法及び第の態様に係る遠隔操縦システムでは、密な情報を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。 Furthermore, in the image display method according to the second aspect and the remote control system according to the fifth aspect of the present invention, detailed information can be displayed on the display of the remote control device in real time.

さらにまた、本発明の第の態様に係る画像表示方法及び第の態様に係る遠隔操縦システムは、ロボットの作動部を動作させる場合において、ロボットの作動部の動きにマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。 Furthermore, in the image display method according to the third aspect and the remote control system according to the sixth aspect of the present invention, in the case of operating the operating part of the robot, an image matching the motion of the operating part of the robot is remotely controlled. It can be displayed in real time on the display of the device.

本発明の一実施例による画像表示方法及び遠隔操縦システムを採用した車両の概要を示す構成説明図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a configuration explanatory diagram showing an overview of a vehicle that employs an image display method and a remote control system according to an embodiment of the present invention; 図1における車両の制御機器の接続ブロック図である。FIG. 2 is a connection block diagram of control equipment of the vehicle in FIG. 1; 本発明の一実施例による画像表示方法の色付け処理が成されて表示された画像のイメージ図である。FIG. 4 is an image diagram of an image displayed after being subjected to coloring processing of the image display method according to one embodiment of the present invention; 本発明の一実施例による画像表示方法の動作フローチャートである。4 is an operation flowchart of an image display method according to an embodiment of the present invention; 図4に示した画像表示方法の動作フローチャートにおける色付け処理の動作フローチャートである。5 is an operation flowchart of coloring processing in the operation flowchart of the image display method shown in FIG. 4; 図4に示した画像表示方法の動作フローチャートにおける速度対応処理の動作フローチャートである。FIG. 5 is an operation flowchart of speed correspondence processing in the operation flowchart of the image display method shown in FIG. 4; FIG. 図4に示した画像表示方法の動作フローチャートにおける位置の表示視点変更処理の動作フローチャートである。FIG. 5 is an operation flowchart of position display viewpoint change processing in the operation flowchart of the image display method shown in FIG. 4 ; FIG. 図4に示した画像表示方法の動作フローチャートに沿って実行した際のディスプレー表示状態を示す実行前の表示状態(a)及び実行後の表示状態(b)である。5 shows a display state (a) before execution and a display state (b) after execution showing a display state when the image display method is executed in accordance with the operation flowchart of the image display method shown in FIG. 本発明の他の実施例による画像表示方法及び遠隔操縦システムを採用した建機を側面方向から見たイメージ図である。FIG. 10 is an image diagram of a construction machine employing an image display method and a remote control system according to another embodiment of the present invention, viewed from the side; 図7に示した位置の表示視点変更処理の動作フローチャートに相当する他の表示視点変更処理の動作フローチャートである。8 is an operation flowchart of another display viewpoint change process corresponding to the operation flowchart of the position display viewpoint change process shown in FIG. 7; 図10における他の表示視点変更処理の動作フローチャートに沿って実行した際のディスプレー表示状態を示す実行前の表示状態(a)及び実行後の表示状態(b)である。11 shows a display state (a) before execution and a display state (b) after execution, which show the display display state when the other display viewpoint change processing is executed along the operation flowchart in FIG. 10 .

以下、本発明の実施例を図面に基づいて説明する。
図1~図8は、本発明の一実施例による画像表示方法及び遠隔操縦システムを採用した車両を示している。
Embodiments of the present invention will be described below with reference to the drawings.
1 to 8 show a vehicle employing an image display method and remote control system according to one embodiment of the present invention.

この遠隔操縦システムは、図1に示すように、携帯型の遠隔操縦装置Aによって車両Bの移動をコントロールする際に用いられるシステムであって、図2に示すように、車両制御用コンピュータ10及びこの車両制御用コンピュータ10とLAN11を介して接続されるセンサデータ処理用コンピュータ30が備えられている。なお、遠隔操縦装置Aは携帯型に限定されない。 This remote control system, as shown in FIG. 1, is a system used to control the movement of a vehicle B by means of a portable remote control device A. As shown in FIG. A sensor data processing computer 30 connected to the vehicle control computer 10 via a LAN 11 is provided. Note that the remote control device A is not limited to a portable type.

車両制御用コンピュータ10の入力側には、アンテナ12が入出力回路15を介して接続されていると共に、位置情報取得用のGPS16と、姿勢制御用のバーチカルジャイロ17と、移動速度測定用の車速パルス(移動速度測定手段)18がシリアル回線を介して接続されている。 An antenna 12 is connected to the input side of the vehicle control computer 10 via an input/output circuit 15, a GPS 16 for position information acquisition, a vertical gyro 17 for attitude control, and a vehicle speed measurement for moving speed measurement. A pulse (moving speed measuring means) 18 is connected via a serial line.

また、車両制御用コンピュータ10の出力側には、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23が接続されており、モータドライバ21とアクチュエータ22,23と車輪24とで駆動ユニット20を構成している。 A steering actuator 22 and a brake/accelerator actuator 23 are connected to the output side of the vehicle control computer 10 via a motor driver 21. It constitutes a unit 20.

車両制御用コンピュータ10は、GPS16やバーチカルジャイロ17で取得した自己位置や姿勢等の各種情報をセンサデータ処理用コンピュータ30にLAN11を介して送信する機能を有していると共に、遠隔操縦装置Aから送信される操作情報に基づいて、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動、停止させる機能を有している。 The vehicle control computer 10 has a function of transmitting various kinds of information such as its own position and attitude acquired by the GPS 16 and the vertical gyro 17 to the sensor data processing computer 30 via the LAN 11. It has a function of operating and stopping the steering actuator 22 and the brake/accelerator actuator 23 via the motor driver 21 based on the transmitted operation information.

一方、センサデータ処理用コンピュータ30の入力側には、レーザ光を走査して車両Bの周囲のレーザ計測点群を取得するレーザレンジファインダ(レーザセンサ)31と、このレーザレンジファインダ31により取得されるレーザ計測点群に対して色付け処理を行うためのレーザ計測点色付け用カメラ(デジタルカメラ)32が接続されており、このセンサデータ処理用コンピュータ30は、レーザ計測点色付け用カメラ32で色付したレーザ計測点群データを遠隔操縦装置Aに送信する機能を有している。 On the other hand, on the input side of the sensor data processing computer 30, a laser range finder (laser sensor) 31 for scanning laser light to obtain a group of laser measurement points around the vehicle B, and A laser measurement point coloring camera (digital camera) 32 is connected to perform coloring processing on the laser measurement point cloud. It has a function to transmit the measured laser point cloud data to the remote control device A.

遠隔操縦装置Aは、車両Bのレーザ計測点色付け用カメラ32で色付されたレーザ計測点群データを表示するディスプレー40と、車両制御用コンピュータ10及びセンサデータ処理用コンピュータ30に対してデータのやり取りをする制御部60を具備しており、ディスプレー40は、図示しないCPUやキーボード61やアンテナ62とともに制御部60に組み込まれている。 The remote control device A sends data to the display 40 that displays the laser measurement point cloud data colored by the laser measurement point coloring camera 32 of the vehicle B, the vehicle control computer 10, and the sensor data processing computer 30. A control unit 60 for communication is provided, and the display 40 is incorporated in the control unit 60 together with a CPU, a keyboard 61 and an antenna 62 (not shown).

この場合、車両Bに搭載された上記センサデータ処理用コンピュータ30は、レーザレンジファインダ31により取得されるレーザ計測点群に対してレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行う機能を有している。なお、このセンサデータ処理用コンピュータ30は、レーザ計測点色付け用カメラ32の画像に基づく色付け機能に加えて、レーザ計測点群の位置情報に基づく色付け機能も有している。 In this case, the sensor data processing computer 30 mounted on the vehicle B has a function of coloring the group of laser measurement points acquired by the laser range finder 31 based on the image of the laser measurement point coloring camera 32. have. The sensor data processing computer 30 has a coloring function based on the position information of the laser measurement point cloud in addition to the coloring function based on the image of the laser measurement point coloring camera 32 .

この色付け処理とは、車両Bの周囲のレーザ計測点群に、RGB(赤緑青の各成分)情報を付与することである。このRGB情報が、レーザ計測点色付け用カメラ32の画像に基づくものであれば、計測対象物を明瞭に区別可能なカメラ画像のような位置情報となり、一方、RGB情報が、レーザ計測点群の位置情報に基づくものであれば、標高によって異なるRGB情報が付与されて、地面と障害物(穴等の凹みを含む)との区別が可能な位置情報となる。
このように、センサデータ処理用コンピュータ30は、レーザ計測点群の位置情報に基づいて画像を作成し、作成された画像は、図3に示すように、遠隔操縦装置Aのディスプレー40にて表示される。図3の画像は、カメラ画像に基づくRGB情報をレーザ計測点群に付与することで作成された画像である。
This coloring process is to give RGB (each component of red, green and blue) information to the laser measurement point group around the vehicle B. FIG. If this RGB information is based on the image of the laser measurement point coloring camera 32, it becomes position information such as a camera image that can clearly distinguish the measurement object. If it is based on positional information, RGB information that differs depending on the altitude is added, and positional information that can distinguish between the ground and obstacles (including depressions such as holes) is obtained.
In this way, the sensor data processing computer 30 creates an image based on the position information of the laser measurement point cloud, and the created image is displayed on the display 40 of the remote control device A as shown in FIG. be done. The image in FIG. 3 is an image created by adding RGB information based on the camera image to the laser measurement point group.

この色付け処理が成されたレーザ計測点群のデータは、レーザレンジファインダ31とレーザ計測点群との間の相対距離なので、上記センサデータ処理用コンピュータ30において、色付け処理後のレーザ計測点群に対してGPS16で取得した自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行って、遠隔操縦装置Aのディスプレー40に表示させるようにしている。 Since the data of the laser measurement point group that has undergone the coloring process is the relative distance between the laser range finder 31 and the laser measurement point group, the sensor data processing computer 30 processes the laser measurement point group after the coloring process. On the other hand, the sensor coordinate system based on the self-location information acquired by the GPS 16 is converted to the global coordinate system, and the display 40 of the remote control device A is made to display it.

また、上記センサデータ処理用コンピュータ30は、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定する。
ここで、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲とは、表示するレーザ計測点群の座標の範囲であり、この表示データの範囲を決定すると、例えば、車両Bの前方における所定距離までの範囲内のレーザ計測点群の座標や、車両Bの前方における所定角度内のレーザ計測点群の座標を表示することになる。
一方、計測フレームの範囲とは、表示するレーザ計測点群の計測フレーム(レーザレンジファインダ31による1計測)の数であり、データを表示しようとする場合に、現在の計測フレームにそれ以前の計測フレームを重畳する(同時に表示する)ことになる。
つまり、車両Bの移動速度が遅い場合には、レーザレンジファインダ31による計測対象物の変化が少ないので、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させ、車両Bの移動速度が速い場合には、レーザレンジファインダ31による計測対象物の変化が大きいので、無駄に表示するデータの量を減らすべく狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしている。
Further, the sensor data processing computer 30 determines the display data range and the measurement frame range of the laser measurement point cloud acquired by the laser range finder 31 according to the moving speed of the vehicle B. FIG.
Here, the range of the display data of the laser measurement point group acquired by the laser range finder 31 is the range of coordinates of the laser measurement point group to be displayed. , and the coordinates of the laser measurement point group within a predetermined angle in front of the vehicle B are displayed.
On the other hand, the range of measurement frames is the number of measurement frames (one measurement by the laser range finder 31) of the laser measurement point cloud to be displayed. The frames are superimposed (displayed at the same time).
In other words, when the moving speed of the vehicle B is slow, the change in the object to be measured by the laser range finder 31 is small. When the moving speed of B is fast, the change in the object to be measured by the laser range finder 31 is large. is displayed on the display 40 of.

さらに、上記センサデータ処理用コンピュータ30は、車両Bのレーザレンジファインダ31により取得されるレーザ計測点群のうちの高さが予め設定した範囲内にあるレーザ計測点を抽出し、この抽出したレーザ計測点について車両Bの周辺における分布を算出して、予め設定した閾値以上のレーザ計測点が多く存在する側に表示視点を変更して遠隔操縦装置Aのディスプレー40に表示させる機能を有している。
車両Bの周辺におけるレーザ計測点の分布の算出は、車両Bに最も近いレーザ計測点、及び、予め設定した閾値以上のレーザ計測点全体の統計値(平均値、分散共分散値等の統計値)に基づいて、閾値以上のレーザ計測点の代表値等の値を得る。
Furthermore, the sensor data processing computer 30 extracts laser measurement points whose height is within a preset range from the group of laser measurement points acquired by the laser range finder 31 of the vehicle B, and extracts the extracted laser measurement points. It has a function of calculating the distribution of the measurement points around the vehicle B, changing the display viewpoint to the side where there are many laser measurement points equal to or greater than a preset threshold value, and displaying it on the display 40 of the remote control device A. there is
Calculation of the distribution of laser measurement points in the vicinity of vehicle B is performed by using the laser measurement points closest to vehicle B and statistical values (average, variance covariance, etc.) of all laser measurement points above a preset threshold value. ), a value such as a representative value of laser measurement points above the threshold is obtained.

そこで、上記センサデータ処理用コンピュータ30による画像表示要領を説明する。まず、図4に示すように、ステップS1において、レーザレンジファインダ31によりレーザ光を走査して車両Bの周囲のレーザ計測点群を取得すると共に、GPS16等の自己位置計測部で自己位置情報を取得する。 Therefore, the image display procedure by the sensor data processing computer 30 will be described. First, as shown in FIG. 4, in step S1, laser light is scanned by the laser range finder 31 to acquire a laser measurement point group around the vehicle B, and self-position information is obtained by a self-position measurement unit such as the GPS 16. get.

次いで、ステップS2においてレーザ計測点群に対してレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行うと共に、色付け処理が成されたレーザ計測点群に対して座標変換を行う。 Next, in step S2, the laser measurement point group is subjected to coloring processing based on the image of the laser measurement point coloring camera 32, and coordinate conversion is performed to the laser measurement point group that has been subjected to the coloring processing.

続いて、ステップS3において車両Bの移動速度に応じたレーザ計測点群の更新処理を行うのに続いて、ステップS4において遠隔操縦装置Aのディスプレー40における表示視点の変更処理を行う。 Subsequently, in step S3, the laser measurement point group is updated according to the moving speed of the vehicle B, and in step S4, the display viewpoint on the display 40 of the remote control device A is changed.

このステップS2~S4における各処理の後、ステップS5において処理後の色付けされたレーザ計測点群が遠隔操縦装置Aのディスプレー40に表示され、ステップS1においてレーザレンジファインダ31により新たなレーザ計測点群の取得が成される都度、ステップS2~5が繰り返し実行される。 After each processing in steps S2 to S4, the colored laser measurement point cloud after processing is displayed on the display 40 of the remote control device A in step S5, and a new laser measurement point cloud is displayed by the laser range finder 31 in step S1. Steps S2 to S5 are repeatedly executed each time the acquisition of is made.

具体的には、ステップ2の色付け処理及び座標変換処理は、図5に示すように、ステップS21においてカラーデジタルカメラであるレーザ計測点色付け用カメラ32を用いる選択(Yesを選択)を操縦者Cが行うことで、遠隔操縦装置Aからセンサデータ処理用コンピュータ30に信号が送られ、レーザレンジファインダ31により取得されるレーザ計測点群に対して、ステップS22においてレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行う。 Specifically, as shown in FIG. 5, the coloring process and the coordinate conversion process in step 2 are performed by the operator C when the operator C selects (selects Yes) using the laser measurement point coloring camera 32, which is a color digital camera, in step S21. By doing so, a signal is sent from the remote control device A to the sensor data processing computer 30, and in step S22, for the laser measurement point group acquired by the laser range finder 31, the image of the laser measurement point coloring camera 32 is displayed. Coloring process based on.

次に、色付け処理が成されたレーザ計測点群に対して、GPS16で取得した自己位置情報に基づいて、ステップS23においてセンサ座標系からグローバル座標系への変換を行う。 Next, in step S23, the sensor coordinate system is converted to the global coordinate system based on the self-location information acquired by the GPS 16 for the laser measurement point cloud that has undergone the coloring process.

なお、ステップS24の処理は、レーザ計測点色付け用カメラ32を利用する色付けの代替処理であり、ステップS21においてカラーデジタルカメラであるレーザ計測点色付け用カメラ32を利用しない方を操縦者Cが選択(Noを選択)することで、このステップS24において、レーザ計測点群をGPS16で取得した自己位置情報(地面からの高さや距離)に基づいた色付けが成される、例えば、標高が高い部位は赤く、標高が低い部位は青く色付けされる。 Note that the process of step S24 is an alternative process for coloring using the laser measurement point coloring camera 32, and the operator C selects not to use the laser measurement point coloring camera 32, which is a color digital camera, in step S21. By selecting (No), in this step S24, the laser measurement point group is colored based on the self-location information (height and distance from the ground) acquired by GPS 16. Areas of low elevation are colored in red and blue.

また、ステップ3の移動速度に応じた更新処理は、図6に示すように、ステップS31において車両Bの移動速度を車速パルス18から取得し、ステップS32において、レーザレンジファインダ31によるレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定する処理である。例えば、車両Bの移動速度が遅い場合には、レーザ計測点群の表示範囲を広くすると共に計測フレームを少なくし、一方、車両Bの移動速度が速い場合には、レーザ計測点群の表示範囲を絞ると共に計測フレームを多くする。 In addition, as shown in FIG. 6, the update process according to the moving speed in step 3 acquires the moving speed of the vehicle B from the vehicle speed pulse 18 in step S31, and in step S32, the laser measurement point cloud by the laser range finder 31. is a process of determining the display data range and the measurement frame range according to the moving speed of the vehicle B. For example, when the moving speed of vehicle B is slow, the display range of the laser measurement point cloud is widened and the number of measurement frames is decreased. and increase the number of measurement frames.

そして、ステップS33において、車両Bの移動に伴って逐次取得するレーザ計測点群を更新する毎に、最新の計測データである現在の計測フレーム(レーザレンジファインダ31による1計測)に対して、それ以前の計測データである計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示する。 Then, in step S33, each time the group of laser measurement points that are sequentially acquired as the vehicle B moves is updated, the current measurement frame (one measurement by the laser range finder 31), which is the latest measurement data, is updated. The measurement frame, which is the previous measurement data, is superimposed and displayed on the display 40 of the remote control device A.

さらに、ステップ4の表示視点変更処理は、図7に示すように、ステップS41において、レーザレンジファインダ31により取得するレーザ計測点群のうちの高さが予め設定した車両Bにとって走行に支障を来す範囲(例えば、車両Bの最低地上高さ~車両Bの最高地上高さ+α)内のレーザ計測点を抽出する。例えば、図8(a)に示すように、車両Bの左方に壁Wがある場合には、遠隔操縦装置Aのディスプレー40に表示される多数のレーザ計測点Pは、壁Wにおける反射点であるレーザ計測点P1と、壁W以外の地面や遠方の対象物(障害物)の反射点であるレーザ計測点P2とから成り、多数のレーザ計測点Pのうちの抽出されるレーザ計測点Pは、車両Bの左方の壁Wからのレーザ計測点P1となる。 Further, in the display viewpoint change processing of step 4, as shown in FIG. (for example, the lowest ground height of vehicle B to the highest ground height of vehicle B +α). For example, as shown in FIG. 8A, when there is a wall W on the left side of the vehicle B, many laser measurement points P displayed on the display 40 of the remote control device A are reflection points on the wall W. and a laser measurement point P2 that is a reflection point of the ground other than the wall W or a distant object (obstacle), and the laser measurement points extracted from among the many laser measurement points P P is the laser measurement point P1 from the left wall W of the vehicle B.

続いて、多数のレーザ計測点Pのうちの抽出された壁Wにおけるレーザ計測点P1に対して、ステップS42において車両Bの周辺における分布を算出する。この分布の算出においては、車両Bに最も近いレーザ計測点P、及び、壁Wのレーザ計測点P1全体の統計値(平均値、分散共分散値等の統計値)に基づいて、壁Wのレーザ計測点P1の代表値等の値を得る。
そして、最後に、上記のようにして得られた値に基づいて(抽出したレーザ計測点P1がディスプレー40の左側の部分に多く存在することを認識して)、ステップS43において、抽出したレーザ計測点P1が多く存在するディスプレー40の左側に表示視点を変更して遠隔操縦装置Aのディスプレー40に表示させる。具体的には、車両Bの位置及び壁Wと見なしたレーザ計測点P1の位置(座標)がいずれも既知なので、例えば、図8(b)に示すように、ディスプレー40の壁Wと見なした左側の部分と車両Bとの中間線Lが画面の中央に来るように表示させる。
Subsequently, for the laser measurement points P1 on the wall W extracted from among the many laser measurement points P, the distribution around the vehicle B is calculated in step S42. In calculating this distribution, based on the laser measurement point P closest to the vehicle B and the statistical values (statistical values such as the average value and the variance-covariance value) of the entire laser measurement point P1 on the wall W, A value such as a representative value of the laser measurement point P1 is obtained.
Finally, based on the values obtained as described above (recognizing that many of the extracted laser measurement points P1 exist on the left side of the display 40), in step S43, the extracted laser measurement points The display viewpoint is changed to the left side of the display 40 where many points P1 exist, and the display 40 of the remote control device A is caused to display. Specifically, since the position of the vehicle B and the position (coordinates) of the laser measurement point P1 regarded as the wall W are both known, for example, as shown in FIG. The middle line L between the formed left part and the vehicle B is displayed so as to come to the center of the screen.

このように、上記した実施例では、センサデータ処理用コンピュータ30によって、レーザレンジファインダ31により取得されるレーザ計測点群に対して、レーザ計測点色付け用カメラ32で得た画像に基づいて色情報を付与する色付け処理を行うと共に、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行うようにしている。
したがって、密度が薄いレーザ計測点群であったとしても、計測対象物である壁Wを明瞭に認識できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像として遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
As described above, in the above-described embodiment, the sensor data processing computer 30 generates color information based on the image obtained by the laser measurement point coloring camera 32 for the laser measurement point group acquired by the laser range finder 31. , and transforms the laser measurement point group after the coloring process from the sensor coordinate system to the global coordinate system.
Therefore, even if the density of the laser measurement point cloud is low, the display 40 of the remote control device A can be used as an image such as a camera image that can clearly recognize the wall W, which is the object to be measured, that is, an image useful for remote control. can be displayed in real time.

加えて、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定して、車両Bの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしている。
つまり、車両Bの移動速度が遅い場合には、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させ、車両Bの移動速度が速い場合には、狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしているので、車両Bを移動させる場合において、車両Bの移動速度にマッチした密な情報を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
In addition, after converting the laser measurement point cloud after the coloring process from the sensor coordinate system to the global coordinate system, the range of the display data of the laser measurement point cloud acquired by the laser range finder 31 and the measurement frame The range is determined according to the moving speed of the vehicle B, and the display 40 of the remote control device A superimposes it every time the group of laser measurement points sequentially acquired as the vehicle B moves is updated.
That is, when the moving speed of the vehicle B is slow, a small number of measurement frames are superimposed over a wide display range and displayed on the display 40 of the remote control device A, and when the moving speed of the vehicle B is fast, a narrow display range is displayed. In addition, since many measurement frames are superimposed and displayed on the display 40 of the remote control device A, when the vehicle B is moved, detailed information matching the moving speed of the vehicle B can be displayed on the display of the remote control device A. 40 can be displayed in real time.

さらに、上記した実施例では、センサデータ処理用コンピュータ30によって、車両Bのレーザレンジファインダ31により取得されるレーザ計測点群のうちの高さを予め設定した範囲内(車両Bにとって走行に支障を来す範囲内)にあるレーザ計測点P1を抽出し、この抽出したレーザ計測点P1の車両Bの周辺における分布を算出するようにしているので、車両Bと周囲のレーザ計測点Pとの関係に基づいて、遠隔操縦装置Aのディスプレー40の表示視点を単一視点のカメラ画像と比べて自由且つ簡単に変更し得ることとなり、その結果、車両Bを安全に走行させるための遠隔操縦に適した画像を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。 Furthermore, in the above-described embodiment, the sensor data processing computer 30 sets the height of the laser measurement point group acquired by the laser range finder 31 of the vehicle B within a preset range (which does not hinder the vehicle B from traveling). The laser measurement points P1 within the range of the vehicle B are extracted, and the distribution of the extracted laser measurement points P1 around the vehicle B is calculated. , the display viewpoint of the display 40 of the remote control device A can be changed more freely and easily than a single viewpoint camera image. The resulting image can be displayed on the display 40 of the remote control device A in real time.

図9~図11は、本発明の他の実施例による画像表示方法及び遠隔操縦システムを示しており、この実施例では、図9に示すように、ロボットが走行可能で且つ作動部としてのバケットBaを有する建機BKである場合を示している。 9 to 11 show an image display method and a remote control system according to another embodiment of the present invention. In this embodiment, as shown in FIG. A case of a construction machine BK having Ba is shown.

この実施例における建機BKは、先の実施例における車両Bと同様にセンサデータ処理用コンピュータ30を有しているほか、アームBcを介してバケットBaを支持するブームBbの角度及び向きを検出するセンサや、ブームBb及びアームBc間の角度を検出するセンサ(いずれも図示省略)を有しており、このセンサデータ処理用コンピュータ30では、図7に示した画像表示方法の動作フローチャートにおける位置の表示視点変更処理(ステップS4)に代えて、図10に示す他の表示視点変更処理(ステップS4A)が行われる。 The construction machine BK in this embodiment has a sensor data processing computer 30 as in the case of the vehicle B in the previous embodiment, and also detects the angle and direction of the boom Bb supporting the bucket Ba via the arm Bc. and a sensor (not shown) for detecting the angle between the boom Bb and the arm Bc. 10, another display viewpoint change process (step S4A) shown in FIG. 10 is performed instead of the display viewpoint change process (step S4).

すなわち、このステップS4Aの表示視点変更処理は、ステップS41Aにおいて、建機BKのレーザレンジファインダ31により取得される複数のレーザ計測点PのうちのバケットBaにもっとも近いレーザ計測点PMを抽出する。例えば、図11(a)に示すように、遠隔操縦装置Aにおけるディスプレー40にバケットBaが表示されている場合に、このバケットBaにもっとも近いレーザ計測点PMを抽出する。
この際、レーザレンジファインダ31により取得される複数のレーザ計測点Pの各グローバル座標系での位置は既知であり、一方、バケットBaのグローバル座標系での位置もブームBb及びアームBc周りに配置したセンサにより認識し得るので、バケットBaにもっとも近いレーザ計測点PMは、例えば、公知の最近傍探索法を用いて抽出することができる。
That is, in step S41A, the display viewpoint change process of step S4A extracts the laser measurement point PM closest to the bucket Ba among the plurality of laser measurement points P acquired by the laser range finder 31 of the construction machine BK. For example, as shown in FIG. 11(a), when a bucket Ba is displayed on the display 40 of the remote control device A, the laser measurement point PM closest to this bucket Ba is extracted.
At this time, the positions of the plurality of laser measurement points P acquired by the laser range finder 31 in each global coordinate system are known, while the position of the bucket Ba in the global coordinate system is also arranged around the boom Bb and the arm Bc. The laser measurement point PM closest to the bucket Ba can be extracted using, for example, a known nearest neighbor search method.

次いで、ステップS42Aにおいて、この抽出したレーザ計測点PMとバケットBaとの距離が予め設定した閾値d以下の場合に、この抽出したレーザ計測点PM側に表示視点を変更して遠隔操縦装置Aにおけるディスプレー40に表示する。例えば、図11(b)に示すように、遠隔操縦装置Aにおけるディスプレー40上のバケットBa近傍に視点をずらして表示させる。 Next, in step S42A, if the distance between the extracted laser measurement point PM and the bucket Ba is equal to or less than a preset threshold value d, the display viewpoint is changed to the side of the extracted laser measurement point PM, and the remote control device A displayed on the display 40. For example, as shown in FIG. 11(b), the display 40 of the remote control device A is displayed by shifting the viewpoint to the vicinity of the bucket Ba.

このように、上記した実施例では、建機BKのバケットBaを動作させる場合において、センサデータ処理用コンピュータ30によって、レーザレンジファインダ31により取得される多数のレーザ計測点PのうちのバケットBaにもっとも近いレーザ計測点PMを抽出し、この抽出したレーザ計測点PM側に表示視点を変更するようにしているので、建機BKのバケットBaと周囲との関係に基づいて遠隔操縦装置Aのディスプレー40の表示視点を変更し得ることとなり、その結果、建機BKのバケットBaの動きにマッチした画像を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。 As described above, in the above-described embodiment, when the bucket Ba of the construction machine BK is operated, the sensor data processing computer 30 controls the bucket Ba among the large number of laser measurement points P acquired by the laser range finder 31. Since the nearest laser measurement point PM is extracted and the display viewpoint is changed to the side of this extracted laser measurement point PM, the display of the remote control device A is displayed based on the relationship between the bucket Ba of the construction machine BK and the surroundings. 40 can be changed, and as a result, an image matching the movement of the bucket Ba of the construction machine BK can be displayed on the display 40 of the remote control device A in real time.

上記した実施例では、色付け処理や座標変換処理や移動速度に応じた更新処理や表示視点変更処理をセンサデータ処理用コンピュータ30で行う構成としているが、上記した各処理は遠隔操縦装置Aの制御部60で行う構成としてもよい。 In the above-described embodiment, the sensor data processing computer 30 performs the coloring process, the coordinate conversion process, the update process according to the moving speed, and the display viewpoint change process. A configuration performed by the unit 60 may be employed.

また、上記した実施例では、移動速度に応じた更新処理(ステップ3)や表示視点変更処理(ステップ4)を色付け処理及び座標変換処理(ステップ2)に続いて行う構成としているが、色付け処理及び座標変換処理の両処理のみとしたり、色付け処理及び座標変換処理に続いて移動速度に応じた更新処理だけを行ったり、色付け処理及び座標変換処理に続いて表示視点変更処理だけを行ったりしてもよい。 In the above-described embodiment, the updating process (step 3) and the display viewpoint changing process (step 4) according to the moving speed are performed following the coloring process and the coordinate conversion process (step 2). and coordinate conversion processing only, only update processing according to the moving speed is performed following coloring processing and coordinate conversion processing, or only display viewpoint change processing is performed following coloring processing and coordinate conversion processing. may

本発明に係る画像表示方法及び遠隔操縦システムの構成は、上記した実施例に限定されるものではない。 The image display method and the configuration of the remote control system according to the present invention are not limited to the above-described embodiments.

16 GPS(自己位置計測部)
18 車速パルス(移動速度測定手段)
30 センサデータ処理用コンピュータ(制御部)
31 レーザレンジファインダ(レーザセンサ)
32 レーザ計測点色付け用カメラ(カラーデジタルカメラ)
40 ディスプレー
A 遠隔操縦装置
B 車両(ロボット)
BK 建機(ロボット)
Ba バケット(作動部)
d 閾値
P レーザ計測点(レーザ計測点群)
P1 車両(ロボット)にとって移動に支障を来す範囲内のレーザ計測点
PM バケットにもっとも近いレーザ計測点
W 壁(車両(ロボット)にとって移動に支障を来す範囲)
16 GPS (self-positioning unit)
18 vehicle speed pulse (moving speed measuring means)
30 Sensor data processing computer (control unit)
31 laser range finder (laser sensor)
32 Laser measurement point coloring camera (color digital camera)
40 Display A Remote control device B Vehicle (robot)
BK construction machine (robot)
Ba bucket (actuating part)
d threshold P laser measurement point (laser measurement point group)
P1 Laser measurement point PM within a range that hinders movement for the vehicle (robot) Laser measurement point W closest to the bucket Wall (range that hinders movement for the vehicle (robot))

Claims (6)

レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサ、自己位置データを取得する自己位置計測部、及び、カラーデジタルカメラを搭載したロボットを、遠隔操縦用画像が表示されるディスプレーを有する遠隔操縦装置によって遠隔操縦するに際して、
前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行い、
色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する画像表示方法。
A robot equipped with a laser sensor that scans a laser beam and acquires the surrounding laser measurement point cloud, a self-position measurement unit that acquires self-position data, and a color digital camera, and a display that displays images for remote control. When remotely controlled by the remote control device possessed,
The laser measurement point group acquired by the laser sensor of the robot is subjected to coloring processing based on the image by the color digital camera, and the laser measurement point group subjected to the coloring processing is subjected to the self-positioning. Transform from the sensor coordinate system to the global coordinate system based on the self-position data obtained by the measurement unit ,
After converting the laser measurement point cloud after the coloring process from the sensor coordinate system to the global coordinate system, the display data range and the measurement frame range of the laser measurement point cloud acquired by the laser sensor are When the moving speed of the robot is slow, the display range is determined to be wide, and when the moving speed of the robot is fast, the display range is determined to be narrow. An image display method for displaying an image on the display of the remote control device by superimposing each time the image is updated .
前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する請求項1に記載の画像表示方法。 Among the laser measurement point group acquired by the laser sensor of the robot, the laser measurement points are extracted within a preset range of heights that interfere with movement of the robot, and the laser measurement points within the set range are extracted. 2. The image display method according to claim 1, wherein the display of the remote control device is displayed by changing the display viewpoint to the side where there are many measurement points. 前記ロボットは作動部を有し、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する請求項1に記載の画像表示方法。 The robot has an operating section, extracts a laser measurement point closest to the operating section from the laser measurement point group acquired by the laser sensor of the robot, and extracts the laser measurement point and the operating section. 2. The image display method according to claim 1, wherein the display viewpoint is changed to the side of the extracted laser measurement point and displayed on the display of the remote control device when the distance to and from is equal to or less than a preset threshold value. ロボットを遠隔操縦装置によって遠隔操縦する遠隔操縦システムであって、
前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、
前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、
前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、
前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる遠隔操縦システム。
A remote control system for remotely controlling a robot by a remote control device,
The robot is equipped with a laser sensor that scans a laser beam to obtain a group of surrounding laser measurement points, a self-position measurement unit that obtains self-position data, and a color digital camera.
The remote control device is equipped with a display on which an image for remote control is displayed,
Control in which the data of the laser measurement point cloud obtained by the laser sensor of the robot and the self-position data obtained by the self-position measurement unit are input to either the robot or the remote control device. is equipped with
The control unit performs coloring processing based on the image by the color digital camera on the laser measurement point group acquired by the laser sensor of the robot, and the laser measurement point group that has been subjected to the coloring processing. converts the sensor coordinate system to the global coordinate system based on the self-position information obtained by the self-position measurement unit, and converts the laser measurement point group after the coloring process from the sensor coordinate system to the global coordinate system. is performed, the display data range and the measurement frame range of the laser measurement point cloud acquired by the laser sensor are determined to be a wide display range when the moving speed of the robot is slow, and the moving speed of the robot A remote control system that determines a narrow display range when the movement of the robot is fast, and superimposes the laser measurement point cloud sequentially acquired with the movement of the robot and displays it on the display of the remote control device each time it is updated.
前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる請求項4に記載の遠隔操縦システム。 The control unit extracts, from the group of laser measurement points obtained by the laser sensor of the robot, laser measurement points whose heights are within a preset range where movement of the robot is hindered, and 5. The remote control system according to claim 4, wherein the display viewpoint of the remote control device is displayed on the side where there are many laser measurement points within the range. 前記ロボットは作動部を有し、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる請求項に記載の遠隔操縦システム。 The robot has an operating unit, and the control unit extracts a laser measurement point closest to the operating unit from among the laser measurement point group acquired by the laser sensor of the robot, and extracts the extracted laser measurement point. 5. The remote control system according to claim 4 , wherein when the distance between the point and the operating part is equal to or less than a preset threshold value, the display viewpoint is changed to the side of the extracted laser measurement point and displayed on the display of the remote control device. .
JP2019070565A 2019-04-02 2019-04-02 Image display method and remote control system Active JP7303008B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019070565A JP7303008B2 (en) 2019-04-02 2019-04-02 Image display method and remote control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019070565A JP7303008B2 (en) 2019-04-02 2019-04-02 Image display method and remote control system

Publications (2)

Publication Number Publication Date
JP2020170293A JP2020170293A (en) 2020-10-15
JP7303008B2 true JP7303008B2 (en) 2023-07-04

Family

ID=72745969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019070565A Active JP7303008B2 (en) 2019-04-02 2019-04-02 Image display method and remote control system

Country Status (1)

Country Link
JP (1) JP7303008B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176617A1 (en) * 2022-03-14 2023-09-21 パイオニア株式会社 Position estimation device, position estimation method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015174155A (en) 2014-03-13 2015-10-05 三菱重工業株式会社 Robot, method of controlling robot, and control program of robot
WO2017042873A1 (en) 2015-09-08 2017-03-16 株式会社日立製作所 Remote operation system and operation assistance system
JP2018110352A (en) 2017-01-05 2018-07-12 Kddi株式会社 Steering device, information processing method, program, and flight system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6445808B2 (en) * 2014-08-26 2018-12-26 三菱重工業株式会社 Image display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015174155A (en) 2014-03-13 2015-10-05 三菱重工業株式会社 Robot, method of controlling robot, and control program of robot
WO2017042873A1 (en) 2015-09-08 2017-03-16 株式会社日立製作所 Remote operation system and operation assistance system
JP2018110352A (en) 2017-01-05 2018-07-12 Kddi株式会社 Steering device, information processing method, program, and flight system

Also Published As

Publication number Publication date
JP2020170293A (en) 2020-10-15

Similar Documents

Publication Publication Date Title
KR102296723B1 (en) Laser scanning device calibration method, apparatus, device and storage medium
US11940789B2 (en) System and method for autonomous operation of a machine
EP3272586B1 (en) Work vehicle
US11009893B2 (en) Flying vehicle tracking method, flying vehicle image acquiring method, flying vehicle displaying method and flying vehicle guiding system
KR101515496B1 (en) Simulation system for autonomous vehicle for applying obstacle information in virtual reality
KR101703177B1 (en) Apparatus and method for recognizing position of vehicle
US9664784B2 (en) System and methods for data point detection and spatial modeling
US20160223647A1 (en) System and methods for scanning with integrated radar detection and image capture
US11508091B2 (en) Calibration device for imaging device, monitoring device, work machine and calibration method
KR20140144921A (en) Simulation system for autonomous vehicle using virtual reality
KR20170124871A (en) Lidar sensor device for automatic driving of unmanned vehicles
KR102176729B1 (en) Position recognition method and position recognition system of vehicles
JP7303008B2 (en) Image display method and remote control system
JP2018147158A (en) Control method of unmanned mobile body
WO2020230410A1 (en) Mobile object
US20200309537A1 (en) Searchlight unit with terrain mapping capability
CA3227036A1 (en) Method and a control node for controlling a mining rig
JP7461817B2 (en) Display information creating device, display system, and display information creating method
US20210055744A1 (en) Mobile device, mobile body control system, mobile body control method, and program
JP7452038B2 (en) Work support system
JP2015162886A (en) obstacle monitoring system and program
KR102318841B1 (en) Movable Marking System, Controlling Method For Movable Marking Apparatus and Computer Readable Recording Medium
JP7278637B2 (en) Self-propelled moving device
JP2018067764A (en) Monitoring device and program
JP7468075B2 (en) Control System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230622

R150 Certificate of patent or registration of utility model

Ref document number: 7303008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150