JP2009118072A - Remote control device and remote control method - Google Patents
Remote control device and remote control method Download PDFInfo
- Publication number
- JP2009118072A JP2009118072A JP2007287529A JP2007287529A JP2009118072A JP 2009118072 A JP2009118072 A JP 2009118072A JP 2007287529 A JP2007287529 A JP 2007287529A JP 2007287529 A JP2007287529 A JP 2007287529A JP 2009118072 A JP2009118072 A JP 2009118072A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- area
- processing unit
- camera
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000007906 compression Methods 0.000 claims abstract description 138
- 230000006835 compression Effects 0.000 claims abstract description 137
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000013144 data compression Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、自走型ロボット等の移動装置を遠隔操作するための遠隔操作装置及び遠隔操作方法に関し、特に、遠隔操作における操作画面の表示に関する。 The present invention relates to a remote operation device and a remote operation method for remotely operating a mobile device such as a self-propelled robot, and more particularly to display of an operation screen in remote operation.
従来、遠隔操作によって自走することが可能となされた自走型ロボット等の移動装置が提案されている。このような自走型ロボットは、無線送受信機能を有する遠隔操作装置を用いて遠隔操作ができるようになっている。このような自走型ロボットを遠隔操作するにあたっては、操作者は、当該自走型ロボットを見ることができない場所において操作する場合がある。このような場合においては、自走型ロボットに進行方向の映像を撮像するカメラを設置し、このカメラにより撮像した映像を遠隔操作装置に送り、操作者は、送られた映像に基づいて遠隔操作を行うことになる。 Conventionally, a mobile device such as a self-propelled robot that can be self-propelled by remote control has been proposed. Such a self-propelled robot can be remotely operated using a remote operation device having a wireless transmission / reception function. When such a self-propelled robot is remotely controlled, an operator may operate it in a place where the self-propelled robot cannot be seen. In such a case, the self-propelled robot is provided with a camera that captures a moving direction image, the image captured by this camera is sent to the remote control device, and the operator performs a remote operation based on the transmitted image. Will do.
このように、自走型ロボットに設置したカメラにより撮像した映像を遠隔操作装置に送る場合には、操作者が良好な操作が行える程度の解像度、フレームレート及び視野の映像を送る必要がある。そのため、この映像の送信には、十分に広い帯域の電波を用いることが必要となる。しかし、実際には、使用できる電波の帯域には制限があるため、送信する映像データを削減する必要がある。 As described above, when an image captured by a camera installed in a self-propelled robot is sent to the remote control device, it is necessary to send an image with a resolution, a frame rate, and a field of view that allow the operator to perform a favorable operation. For this reason, it is necessary to use a sufficiently wide band of radio waves for transmitting this video. However, in practice, there is a limit to the band of radio waves that can be used, so it is necessary to reduce the video data to be transmitted.
制限された帯域の電波により必要な映像を送信するための手段として、特許文献1には、複数のカメラを設置し、これら複数のカメラの撮像した映像を合成して一つの映像とし、また、表示映像における操作者の視線の方向を検出し、表示画面における操作者の視線の方向に対応するカメラにより撮像された映像のみについて高い解像度及び高いフレームレートを維持し、他のカメラにより撮像された映像については、解像度及びフレームレートを落とすようにした遠隔操作装置が記載されている。 As a means for transmitting necessary images by radio waves in a limited band, in Patent Document 1, a plurality of cameras are installed, and images captured by the plurality of cameras are combined into one image, The direction of the operator's line of sight in the display image is detected, and only the image captured by the camera corresponding to the direction of the operator's line of sight on the display screen is maintained at a high resolution and a high frame rate, and is captured by another camera. For video, a remote control device is described in which the resolution and frame rate are reduced.
また、特許文献2には、全周囲カメラを設置し、自走型ロボットの進行方向については解像度の高い映像を撮像し、周辺部については解像度の低い映像を撮影するようにした遠隔操作装置が記載されている。 Patent Document 2 discloses a remote control device in which an omnidirectional camera is installed, a high-resolution video is captured in the traveling direction of the self-propelled robot, and a low-resolution video is captured in the peripheral portion. Are listed.
さらに、特許文献3には、過去の撮像により取得された環境情報を現に撮像されている映像に重ね合わせることにより、表示される映像の領域を広くした遠隔操作装置が記載されている。
Further,
なお、映像データを削減する方法としては、いわゆるJPEG方式やMPEG方式など、映像データを圧縮処理する画像圧縮技術が一般的に使われている。
ところで、前述の特許文献1に記載された遠隔操作装置においては、複数台のカメラを個々に制御する必要があるため、操作者が注視する範囲より広い範囲について解像度及びフレームレートを高く維持する必要があり、データ圧縮に限界があった。また、操作者が注視していない範囲に障害物があった場合には、その障害物の検知が困難となり、対応が遅れて事故に繋がる虞があった。 By the way, in the remote control device described in the above-mentioned Patent Document 1, since it is necessary to individually control a plurality of cameras, it is necessary to maintain high resolution and frame rate over a wider range than the range in which the operator is gazing. There was a limit to data compression. In addition, when there is an obstacle in a range where the operator is not gazing, it is difficult to detect the obstacle, and there is a possibility that the response is delayed and an accident is caused.
特許文献2に記載された遠隔操作装置においては、解像度の高い映像が撮像される方向が自走型ロボットの進行方向によって特定されてしまうため、操作者が別の方向について高い解像度の映像を見たい場合には、カメラ自体を自走型ロボットに対して動かす機構が必要となり、構造及び制御が複雑となる。 In the remote control device described in Patent Document 2, since the direction in which a high-resolution video is captured is specified by the traveling direction of the self-propelled robot, the operator views a high-resolution video in another direction. If this is desired, a mechanism for moving the camera itself with respect to the self-propelled robot is required, which complicates the structure and control.
特許文献3に記載された遠隔操作装置においては、自走型ロボットが旋回する場合や高速走行を行う場合には、過去の撮像により取得された環境情報が不足するため、所望の範囲の映像を得ることが困難となるという問題がある。
In the remote control device described in
そして、いわゆるJPEG方式やMPEG方式などの画像圧縮技術は、汎用的なデータ圧縮技術であり、自走型ロボットに取り付けたカメラにより得られる映像について、最適な圧縮ができるとは限らない。 An image compression technique such as the so-called JPEG system or MPEG system is a general-purpose data compression technique, and it is not always possible to optimally compress an image obtained by a camera attached to a self-propelled robot.
そこで、本発明は、前記の実情に鑑みてなされたものであり、その目的は、自走型ロボット等の移動装置を遠隔操作するための遠隔操作装置及び遠隔操作方法において、移動装置に取付けられたカメラにより撮像された映像データを良好に圧縮処理することができ、また、操作者が注視していない範囲に障害物があった場合にも、その障害物の検知が容易であり、移動装置の構造及び制御を複雑化することなく、さらに、移動装置が旋回や高速走行を行う場合にも対応することができる遠隔操作装置及び遠隔操作方法を提供することにある。 Therefore, the present invention has been made in view of the above circumstances, and an object thereof is to be attached to a mobile device in a remote operation device and a remote operation method for remotely operating a mobile device such as a self-propelled robot. The video data captured by the camera can be compressed well, and even if there is an obstacle in the range where the operator is not gazing, the obstacle can be easily detected. It is another object of the present invention to provide a remote control device and a remote control method that can cope with a case where the mobile device performs turning and high speed travel without complicating the structure and control of the above.
前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。 In order to solve the above-described problems and achieve the object, the present invention has any one of the following configurations.
〔構成1〕
移動装置の移動動作を遠隔操作する操作部と、移動装置に取付けられ撮像した映像データを出力するカメラと、このカメラより出力された映像データを圧縮処理して送出する圧縮処理部と、この圧縮処理部から送られた映像データを受信し操作部に設けられたモニタに該映像データに基づく映像を表示する映像データ処理部とを備え、圧縮処理部は、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、移動装置の移動速度及び旋回速度に基づき、これら移動状態(高速走行中か、低速走行中か、旋回中か)に応じた所定の領域を算出し、この所定の領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この所定の領域以外の映像データを、該所定の領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げることを特徴とするものである。
[Configuration 1]
An operation unit that remotely controls the moving operation of the mobile device, a camera that is attached to the mobile device and outputs captured video data, a compression processing unit that compresses and sends the video data output from the camera, and this compression A video data processing unit that receives video data sent from the processing unit and displays a video based on the video data on a monitor provided in the operation unit, and the compression processing unit meshes the video imaged by the camera Are divided into a plurality of areas, and based on the moving speed and turning speed of the mobile device, a predetermined area corresponding to these moving states (high speed running, low speed running or turning) is calculated. The video data in the area is compressed at a predetermined compression rate or preferentially sent to the video data processing unit, and the video data other than the predetermined area is compressed in the video data in the predetermined area. It is characterized in lowering the high by the amount of compression for compressing or frame rate, than.
〔構成2〕
移動装置の移動動作を遠隔操作する操作部と、移動装置に取付けられ撮像した映像データを出力するカメラと、このカメラより出力された映像データを圧縮処理して送出する圧縮処理部と、この圧縮処理部から送られた映像データを受信し操作部に設けられたモニタに該映像データに基づく映像を表示する映像データ処理部と、モニタ上における操作者の視線の方向を検出する視線センサとを備え、圧縮処理部は、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、視線センサによる検出結果に基づき、操作者が注視している注視領域を算出し、この注視領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この注視領域以外の映像データを、該注視領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げることを特徴とするものである。なお、モニタと操作者との距離を計測するセンサをも使用することにより、操作者が注視している領域を的確に検出することができる。
[Configuration 2]
An operation unit that remotely controls the moving operation of the mobile device, a camera that is attached to the mobile device and outputs captured video data, a compression processing unit that compresses and sends the video data output from the camera, and this compression A video data processing unit that receives video data sent from the processing unit and displays a video based on the video data on a monitor provided in the operation unit, and a line-of-sight sensor that detects the direction of the line of sight of the operator on the monitor The compression processing unit disassembles the image captured by the camera into a plurality of areas in a mesh shape, calculates the gaze area that the operator is gazing based on the detection result of the gaze sensor, and the video of the gaze area The data is compressed at a predetermined compression rate or preferentially sent to the video data processing unit, and the video data other than the gaze area is converted to the pressure of the video data in the gaze area. Compressed by the high compression rate than the rate, or is characterized in lowering the frame rate. In addition, by using a sensor that measures the distance between the monitor and the operator, it is possible to accurately detect the region that the operator is gazing at.
〔構成3〕
移動装置の移動動作を遠隔操作する操作部と、移動装置に取付けられ撮像した映像データを出力するカメラと、このカメラより出力された映像データを圧縮処理して送出する圧縮処理部と、この圧縮処理部から送られた映像データを受信し操作部に設けられたモニタに該映像データに基づく映像を表示する映像データ処理部と、移動装置に取付けられ障害物の有無及び障害物までの距離を検知する障害物センサとを備え、圧縮処理部は、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、障害物センサによる検出結果に基づき、障害物が存在する領域を算出し、移動装置の移動方向と障害物の存在する方向との関係、及び、移動装置から障害物までの距離に応じて、障害物が存在する領域の映像データの圧縮率を距離により選択し、近い距離にある領域の映像データを優先的に映像データ処理部に送出、または、該障害物が存在する領域の映像データの表示色を選択するとともに、該障害物が存在する領域以外の映像データを、該障害物が存在する領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げることを特徴とするものである。
[Configuration 3]
An operation unit that remotely controls the moving operation of the mobile device, a camera that is attached to the mobile device and outputs captured video data, a compression processing unit that compresses and sends the video data output from the camera, and this compression A video data processing unit that receives video data sent from the processing unit and displays a video based on the video data on a monitor provided in the operation unit, and whether or not there is an obstacle attached to the mobile device and the distance to the obstacle An obstacle sensor to detect, and the compression processing unit decomposes the image captured by the camera into a plurality of regions in a mesh shape, calculates a region where the obstacle exists based on the detection result by the obstacle sensor, Depending on the relationship between the moving direction of the mobile device and the direction in which the obstacle exists, and the distance from the mobile device to the obstacle, the compression rate of the video data in the area where the obstacle exists is selected by the distance. Then, the video data of the area at a close distance is preferentially sent to the video data processing unit, or the display color of the video data of the area where the obstacle exists is selected and the area other than the area where the obstacle exists is selected. The video data is compressed at a compression rate higher than the compression rate of the video data in the area where the obstacle exists, or the frame rate is lowered.
〔構成4〕
移動装置に取付けたカメラにより撮像した映像データを圧縮処理して送出しこの映像データに基づく映像をモニタに表示させてこの映像に基づいて移動装置の移動動作を遠隔操作する遠隔操作方法であって、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、移動装置の移動速度及び旋回速度に基づき、これら移動状態(高速走行中か、低速走行中か、旋回中か)に応じた所定の領域を算出し、この所定の領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この所定の領域以外の映像データを、該所定の領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げることを特徴とするものである。
[Configuration 4]
A remote operation method for compressing and sending video data captured by a camera attached to a mobile device, displaying a video based on the video data on a monitor, and remotely controlling the moving operation of the mobile device based on the video. The image captured by the camera is decomposed into a plurality of areas in a mesh shape, and according to the moving state (high speed running, low speed running, or turning) based on the moving speed and turning speed of the moving device A predetermined area is calculated, and the video data in the predetermined area is compressed at a predetermined compression rate, or is preferentially sent to the video data processing unit, and video data other than the predetermined area is transmitted to the predetermined area. The video data is compressed at a compression rate higher than the compression rate of the video data, or the frame rate is lowered.
〔構成5〕
移動装置に取付けたカメラにより撮像した映像データを圧縮処理して送出しこの映像データに基づく映像をモニタに表示させてこの映像に基づいて移動装置の移動動作を遠隔操作する遠隔操作方法であって、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、視線センサにより操作者が注視している注視領域を算出し、この注視領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この注視領域以外の映像データを、該注視領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げることを特徴とするものである。なお、モニタと操作者との距離も計測することにより、操作者が注視している領域を的確に検出することができる。
[Configuration 5]
A remote operation method for compressing and sending video data captured by a camera attached to a mobile device, displaying a video based on the video data on a monitor, and remotely controlling the moving operation of the mobile device based on the video. The image captured by the camera is decomposed into a plurality of areas in a mesh shape, the gaze sensor calculates the gaze area in which the operator is gazing, and the video data in the gaze area is compressed at a predetermined compression rate, or The video data is preferentially sent to the video data processing unit, and video data other than the gaze area is compressed at a compression rate higher than the compression rate of the video data in the gaze area, or the frame rate is reduced. It is. Note that by measuring the distance between the monitor and the operator, it is possible to accurately detect the region in which the operator is gazing.
〔構成6〕
移動装置に取付けたカメラにより撮像した映像データを圧縮処理して送出しこの映像データに基づく映像をモニタに表示させてこの映像に基づいて移動装置の移動動作を遠隔操作する遠隔操作方法であって、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、移動装置に取付けた障害物センサにより障害物が存在する領域を算出し、移動装置の移動方向と障害物の存在する方向との関係、及び、移動装置から障害物までの距離に応じて、障害物が存在する領域の映像データの圧縮率を距離により選択し、近い距離にある領域の映像データを優先的に映像データ処理部に送出、または、該障害物が存在する領域の映像データの表示色を選択するとともに、該障害物が存在する領域以外の映像データを、該障害物が存在する領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げることを特徴とするものである。
[Configuration 6]
A remote operation method for compressing and sending video data captured by a camera attached to a mobile device, displaying a video based on the video data on a monitor, and remotely controlling the moving operation of the mobile device based on the video. The image captured by the camera is decomposed into a plurality of areas in a mesh shape, the area where the obstacle exists is calculated by the obstacle sensor attached to the moving apparatus, the moving direction of the moving apparatus and the direction where the obstacle exists The compression ratio of the video data in the area where the obstacle exists is selected according to the distance according to the relationship between the mobile device and the obstacle, and the video data in the area in the near distance is preferentially processed. The display color of the video data in the area where the obstacle exists, and the video data other than the area where the obstacle exists are selected in the area where the obstacle exists. Compressed by the high compression ratio than the compression ratio of the image data, or is characterized in lowering the frame rate.
構成1を有する遠隔操作装置においては、圧縮処理部は、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、移動装置の移動速度及び旋回速度に基づき、これら移動状態(高速走行中か、低速走行中か、旋回中か)に応じた所定の領域を算出し、この所定の領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この所定の領域以外の映像データを、該所定の領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げるので、移動装置の遠隔操作において必要となる所定の領域の映像データを高い解像度及びフレームレートに維持し、遠隔操作に最低限必要なデータ圧縮を行うことにより、圧縮処理部からの無線通信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を優先的に操作者に届けることができる。 In the remote control device having the configuration 1, the compression processing unit decomposes the image captured by the camera into a plurality of areas in a mesh shape, and based on the moving speed and the turning speed of the moving device, the moving state (during high-speed running) A predetermined area corresponding to whether the vehicle is traveling at a low speed or turning, and the video data in the predetermined area is compressed at a predetermined compression rate, or is preferentially sent to the video data processing unit, Since the video data other than the predetermined area is compressed at a compression rate higher than the compression ratio of the video data in the predetermined area, or the frame rate is reduced, the video of the predetermined area required for the remote operation of the mobile device By maintaining the data at a high resolution and frame rate and performing the minimum data compression required for remote operation, the band of radio waves used for wireless communication from the compression processor It is possible to narrow. In addition, by sending image data of a high resolution area preferentially among the images of each area divided in a mesh shape, even if the radio wave condition deteriorates, useful information is preferentially delivered to the operator. be able to.
構成2を有する遠隔操作装置においては、圧縮処理部は、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、視線センサによる検出結果に基づき、操作者が注視している注視領域を算出し、この注視領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この注視領域以外の映像データを、該注視領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げるので、移動装置の遠隔操作において必要となる操作者が注視している注視領域の映像データを高い解像度及びフレームレートに維持し、遠隔操作に最低限必要なデータ圧縮を行うことにより、圧縮処理部からの無線通信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を優先的に操作者に届けることができる。 In the remote control device having the configuration 2, the compression processing unit decomposes the video imaged by the camera into a plurality of areas in a mesh shape, and determines the gaze area that the operator is gazing based on the detection result of the gaze sensor. Calculate and compress the video data in the gaze area at a predetermined compression rate, or send the video data to the video data processing unit with priority, and the video data other than the gaze area from the compression rate of the video data in the gaze area Since the compression is performed at a high compression rate or the frame rate is lowered, the video data of the gaze area that is required by the operator for remote operation of the mobile device is maintained at a high resolution and frame rate. By performing the necessary data compression, the band of the radio wave used for wireless communication from the compression processing unit can be narrowed. In addition, by sending image data of a high resolution area preferentially among the images of each area divided in a mesh shape, even if the radio wave condition deteriorates, useful information is preferentially delivered to the operator. be able to.
構成3を有する遠隔操作装置においては、圧縮処理部は、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、障害物センサによる検出結果に基づき、障害物が存在する領域を算出し、移動装置の移動方向と障害物の存在する方向との関係、及び、移動装置から障害物までの距離に応じて、障害物が存在する領域の映像データの圧縮率を距離により選択し、近い距離にある領域の映像データを優先的に映像データ処理部に送出、または、該障害物が存在する領域の映像データの表示色を選択するとともに、該障害物が存在する領域以外の映像データを、該障害物が存在する領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げるので、移動装置の遠隔操作において必要となる障害物が存在する領域の映像データを高い解像度及びフレームレートに維持し、遠隔操作に最低限必要なデータ圧縮を行うことにより、圧縮処理部からの無線通信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域、または近い距離にある障害物の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を優先的に操作者に届けることができる。さらに、圧縮率の高い低解像度の映像の領域においても、障害物の検知を容易に行うことができ、事故の発生を抑えることができる。
In the remote control device having the
構成4を有する遠隔操作方法においては、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、移動装置の移動速度及び旋回速度に基づき、これら移動状態(高速走行中か、低速走行中か、旋回中か)に応じた所定の領域を算出し、この所定の領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この所定の領域以外の映像データを、該所定の領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げるので、移動装置の遠隔操作において必要となる所定の領域の映像データを高い解像度及びフレームレートに維持し、遠隔操作に最低限必要なデータ圧縮を行うことにより、圧縮処理部からの無線通信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を優先的に操作者に届けることができる。 In the remote operation method having the configuration 4, the image captured by the camera is decomposed into a plurality of areas in a mesh shape, and based on the moving speed and the turning speed of the moving device, these moving states (high speed running or low speed running) Or a predetermined area according to whether the vehicle is turning, and the video data in the predetermined area is compressed at a predetermined compression rate, or is preferentially sent to the video data processing unit, and other than the predetermined area. Video data is compressed at a compression rate higher than the compression rate of the video data in the predetermined area, or the frame rate is reduced, so that the video data in the predetermined area required for the remote operation of the mobile device has high resolution and Maintain the frame rate and perform the minimum data compression required for remote operation, thereby narrowing the band of radio waves used for wireless communication from the compression processor It can be. In addition, by sending image data of a high resolution area preferentially among the images of each area divided in a mesh shape, even if the radio wave condition deteriorates, useful information is preferentially delivered to the operator. be able to.
構成5を有する遠隔操作方法においては、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、視線センサにより操作者が注視している注視領域を算出し、この注視領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この注視領域以外の映像データを、該注視領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げるので、移動装置の遠隔操作において必要となる操作者が注視している注視領域の映像データを高い解像度及びフレームレートに維持し、遠隔操作に最低限必要なデータ圧縮を行うことにより、圧縮処理部からの無線通信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を優先的に操作者に届けることができる。 In the remote operation method having the configuration 5, the image captured by the camera is divided into a plurality of areas in a mesh shape, the gaze area that the operator is gazing at is calculated by the line-of-sight sensor, and the video data of the gaze area is obtained. The video data is compressed at a predetermined compression rate or preferentially sent to the video data processing unit, and the video data other than the gaze region is compressed at a compression rate higher than the compression rate of the video data in the gaze region, or a frame By reducing the rate, the video data of the gaze area that the operator who is required in the remote operation of the mobile device keeps the video data at a high resolution and frame rate, and by performing the minimum data compression necessary for the remote operation, The band of the radio wave used for wireless communication from the compression processing unit can be narrowed. In addition, by sending image data of a high resolution area preferentially among the images of each area divided in a mesh shape, even if the radio wave condition deteriorates, useful information is preferentially delivered to the operator. be able to.
構成6を有する遠隔操作方法においては、カメラにより撮像された映像をメッシュ状に複数の領域に分解し、移動装置に取付けた障害物センサにより障害物が存在する領域を算出し、移動装置の移動方向と障害物の存在する方向との関係、及び、移動装置から障害物までの距離に応じて、障害物が存在する領域の映像データの圧縮率を距離により選択し、近い距離にある領域の映像データを優先的に映像データ処理部に送出、または、該障害物が存在する領域の映像データの表示色を選択するとともに、該障害物が存在する領域以外の映像データを、該障害物が存在する領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げるので、移動装置の遠隔操作において必要となる障害物が存在する領域の映像データを高い解像度及びフレームレートに維持し、遠隔操作に最低限必要なデータ圧縮を行うことにより、圧縮処理部からの無線通信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域、または近い距離にある障害物の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を優先的に操作者に届けることができる。さらに、圧縮率の高い低解像度の映像の領域においても、障害物の検知を容易に行うことができ、事故の発生を抑えることができる。
In the remote operation method having the
すなわち、本発明は、自走型ロボット等の移動装置を遠隔操作するための遠隔操作装置及び遠隔操作方法において、移動装置に取付けられたカメラにより撮像された映像データを良好に圧縮処理することができ、また、操作者が注視していない範囲に障害物があった場合にも、その障害物の検知が容易であり、移動装置の構造及び制御を複雑化することなく、さらに、移動装置が旋回や高速走行を行う場合にも対応することができる遠隔操作装置及び遠隔操作方法を提供することができるものである。 That is, according to the present invention, in a remote operation device and a remote operation method for remotely operating a mobile device such as a self-propelled robot, it is possible to satisfactorily compress video data captured by a camera attached to the mobile device. In addition, even if there is an obstacle in the range that the operator is not paying attention to, it is easy to detect the obstacle, and without complicating the structure and control of the moving device, the moving device It is possible to provide a remote control device and a remote control method that can cope with turning and high speed running.
以下、本発明を実施するための最良の形態について図面を参照して説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
〔遠隔操作装置の第1の実施の形態における構成〕
図1は、本発明に係る遠隔操作装置の構成を示す模式的な側面図である。
[Configuration of Remote Operation Device in First Embodiment]
FIG. 1 is a schematic side view showing a configuration of a remote control device according to the present invention.
この遠隔操作装置は、図1に示すように、移動装置となる自走型ロボット101の移動動作を無線送受信により遠隔操作する操作部1を備えている。
As shown in FIG. 1, the remote operation device includes an operation unit 1 that remotely controls a moving operation of a self-propelled
自走型ロボット101は、筐体102内に動力源として電源及びモータ等を内蔵して構成され、この動力源により車輪103等からなる自走機構を駆動して自走することができる。この自走型ロボット101は、遠隔操作装置の操作部1より無線送信される制御信号に基づいて、自走機構を駆動して、前進、後退、または、旋回を行うことができ、また、移動速度の調整を行うことができる。
The self-propelled
操作部1は、操作者104の操作に応じて、前進、後退、または、旋回及び速度調整を指示する制御信号を生成し、この制御信号を、自走型ロボット101に対して、無線送信できるように構成されている。
The operation unit 1 can generate a control signal instructing forward, backward, or turn and speed adjustment according to the operation of the
そして、この遠隔操作装置は、自走型ロボット101に取付けられ、撮像した映像データを出力するカメラ2を備えている。このカメラ2は、例えば、CCDカメラ等である。このカメラ2より出力された映像データは、自走型ロボット101上に設けられた圧縮処理部3に送られる。この圧縮処理部3は、カメラ2から送られた映像データを圧縮処理して、操作部1に対して無線送信する。
The remote control device includes a camera 2 that is attached to the self-propelled
圧縮処理部3から送られた映像データは、操作部1において映像データ処理部4により受信される。映像データ処理部4は、受信された映像データに基づいて、操作部1に設けられたモニタ5に、映像を表示する。操作者104は、モニタ5に表示される映像に基づいて操作を行うことにより、本発明に係る遠隔操作方法を実行して、自走型ロボット101を的確に遠隔操作することができる。すなわち、操作者104は、モニタ5に表示される映像により、自走型ロボット101を障害物を避けて移動させたり、自走型ロボット101を所望の目標物に向けて移動させるなどの遠隔操作を行うことができる。
The video data sent from the
この実施の形態における遠隔操作装置において、圧縮処理部3は、カメラ2により撮像された映像をメッシュ状に複数の領域に分解する。そして、圧縮処理部3は、自走型ロボット101の移動速度及び旋回速度に基づき、自走型ロボット101の移動状態、すなわち、高速走行中か低速走行中か、あるいは、旋回中かに応じて、撮像された映像における所定の領域を算出する。この所定の領域とは、例えば、自走型ロボット101が高速で直進中であれば、中央部の上方、すなわち、前方の遠方、自走型ロボット101が低速で直進中であれば、中央部の下方、すなわち、前方の近傍、自走型ロボット101が旋回中であれば、旋回方向に応じた右方部分、または、左方部分というように定めることができる。 そして、圧縮処理部3は、所定の領域の映像データを所定の圧縮率(低い圧縮率)により圧縮するとともに、この所定の領域以外の映像データを、該所定の領域の映像データの圧縮率よりも高い圧縮率によって圧縮する。すなわち、この遠隔操作装置においては、所定の領域には、高解像度、または、高フレームレートの映像が表示され、所定の領域以外の周囲の領域には、低解像度、または、低フレームレートの映像が表示される。
In the remote control device according to this embodiment, the
このようにして、この遠隔操作装置においては、圧縮処理部3から送出される映像データのデータ量を削減することができ、無線送信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を操作者104に届けることができる。さらに、圧縮率の高い低解像度の映像の領域においても、障害物の検知を容易に行うことができ、事故の発生を抑えることができる。
Thus, in this remote control device, the amount of video data sent from the
なお、圧縮処理部3における映像データの圧縮処理としては、いわゆる「JPEG」方式で採用されているように、各領域の映像データを周波数変換し、その結果の高周波成分をカットした後に、ハフマン圧縮をかける処理を用いることができる。また、この圧縮処理は、各領域の映像データそのものにハフマン圧縮をかける処理であってもよい。さらに、この圧縮処理は、ウェーブレット変換を行い、その結果の高周波成分をカットした後に、ハフマン圧縮をかける処理であってもよい。
As the compression processing of the video data in the
圧縮率としては、例えば、低い圧縮率として、3%乃至1%程度、中程度の圧縮率として、1%乃至0.8%程度、高い圧縮率として、0.8%乃至0.5%程度が想定される。 The compression rate is, for example, about 3% to 1% as a low compression rate, about 1% to 0.8% as a medium compression rate, and about 0.8% to 0.5% as a high compression rate. Is assumed.
また、厳密な意味では画像圧縮ではないが、映像の更新周期(フレームレート)を下げることや、映像の解像度を1/5乃至2/5程度に下げること、あるいは、減色することなどによっても、データ転送量の削減を図ることができる。 In a strict sense, it is not image compression, but by reducing the video update cycle (frame rate), reducing the video resolution to about 1/5 to 2/5, or reducing the color, The amount of data transfer can be reduced.
映像の更新周期としては、高いフレームレートとしては、30fps乃至10fps程度、低いフレームレートとしては、10fps乃至1fps程度が想定される。映像の解像度としては、例えば、高解像度として撮像した映像データの1ピクセル分、低解像度として撮像した映像データの4×4ピクセル分が想定される。また、減色としては、例えば、1600万色を256色に減色することが想定される。 As a video update cycle, a high frame rate is assumed to be about 30 fps to 10 fps, and a low frame rate is assumed to be about 10 fps to 1 fps. As the video resolution, for example, one pixel of video data captured as a high resolution and 4 × 4 pixels of video data captured as a low resolution are assumed. Further, as the color reduction, for example, it is assumed that 16 million colors are reduced to 256 colors.
〔遠隔操作装置の第2の実施の形態における構成〕
本発明に係る遠隔操作装置は、図1に示すように、モニタ5上における操作者104の視線の方向を検出する視線センサ6を設けてもよい。この視線センサ6としては、操作者104の顔を撮像し、撮像された顔の映像により、顔の向きや瞳孔の位置を認識するセンサを用いることができる。
[Configuration of Remote Operation Device in Second Embodiment]
As shown in FIG. 1, the remote control device according to the present invention may include a line-of-
この場合には、圧縮処理部3は、カメラ2により撮像された映像をメッシュ状に複数の領域に分解し、視線センサ6による検出結果に基づいて、操作者104が注視している注視領域を算出する。
In this case, the
そして、圧縮処理部3は、注視領域の映像データを所定の圧縮率(低い圧縮率)により圧縮するとともに、この注視領域以外の映像データを、該注視領域の映像データの圧縮率よりも高い圧縮率によって圧縮する。すなわち、この遠隔操作装置においては、注視領域には、高解像度、または、高フレームレートの映像が表示され、注視領域以外の周囲の領域には、低解像度、または、低フレームレートの映像が表示される。
Then, the
このようにして、この遠隔操作装置においては、圧縮処理部3から送出される映像データのデータ量を削減することができ、無線送信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を操作者104に届けることができる。さらに、圧縮率の高い低解像度の映像の領域においても、障害物の検知を容易に行うことができ、事故の発生を抑えることができる。
Thus, in this remote control device, the amount of video data sent from the
さらに、この遠隔操作装置においては、図1に示すように、モニタ5と操作者104との距離を計測する距離センサ7をも設けるようにしてもよい。この距離センサ7としては、レーザ距離計等を用いることができる。距離センサ7をも使用することにより、操作者104が注視している注視領域を、より的確に検出することができる。
Furthermore, in this remote operation device, as shown in FIG. 1, a distance sensor 7 for measuring the distance between the monitor 5 and the
〔遠隔操作装置の第3の実施の形態における構成〕
本発明に係る遠隔操作装置は、図1に示すように、障害物の有無及び障害物までの距離を検知する障害物センサ8を自走型ロボット101に取り付けて設けてもよい。障害物センサ8としては、例えば、レーザ距離計や、ステレオカメラ等を使用することができる。この障害物センサ8からの検出信号は、信号処理部9に送られる。信号処理部9は、障害物センサ8からの検出信号に基づき、障害物の有無及び障害物までの距離を算出して出力する。信号処理部9からの出力信号は、圧縮処理部3に送られる。
[Configuration of Third Embodiment of Remote Operation Device]
As shown in FIG. 1, the remote control device according to the present invention may be provided with an obstacle sensor 8 that detects the presence or absence of an obstacle and the distance to the obstacle attached to the self-propelled
この場合には、圧縮処理部3は、カメラ2により撮像された映像をメッシュ状に複数の領域に分解し、障害物センサ8による検出結果に基づき、障害物が存在する領域を算出する。
In this case, the
そして、圧縮処理部3は、自走型ロボット101の移動方向と障害物の存在する方向との関係、及び、自走型ロボット101から障害物までの距離に応じて、障害物が存在する領域の映像データの圧縮率を選択し、または、該障害物が存在する領域の映像データの表示色を選択する。すなわち、圧縮処理部3は、障害物が存在する領域、特に、自走型ロボット101の進行方向上の障害物が存在する領域には、高解像度の映像を表示し、また、特に、自走型ロボット101の近傍の障害物が存在する領域には、注意を喚起する赤色等の着色処理を施した映像を表示する。
Then, the
そして、圧縮処理部3は、障害物が存在する領域以外の映像データについては、障害物が存在する領域の映像データの圧縮率よりも高い圧縮率によって圧縮する。すなわち、この遠隔操作装置においては、障害物が存在する領域には、高解像度、または、高フレームレートの映像が表示され、障害物が存在する領域以外の周囲の領域には、低解像度、または、低フレームレートの映像が表示される。
The
このようにして、この遠隔操作装置においては、圧縮処理部3から送出される映像データのデータ量を削減することができ、無線送信に使用する電波の帯域を狭くすることができる。また、メッシュ状に分割した各領域の映像のうち、解像度の高い領域の映像データを優先的に送信することにより、電波状態が悪くなった場合でも、有用な情報を操作者104に届けることができる。さらに、圧縮率の高い低解像度の映像の領域においても、障害物の検知を容易に行うことができ、事故の発生を抑えることができる。
Thus, in this remote control device, the amount of video data sent from the
〔遠隔操作装置のおける処理のアルゴリズム〕
図2は、本発明に係る遠隔操作装置において実行される信号処理のアルゴリズムを示すフローチャートである。
[Processing algorithm in the remote control device]
FIG. 2 is a flowchart showing an algorithm of signal processing executed in the remote control device according to the present invention.
以下、この遠隔操作装置において圧縮処理部3により実行される信号処理のアルゴリズムを説明する。すなわち、圧縮処理部3は、動作を開始すると、図2に示すように、ステップst1において、映像取得、すなわち、カメラ2からの映像データの取り込みを行う。次に、ステップst2において、自走型ロボット101の走行速度、旋回操作の入力値や、カメラ2の位置情報を取得する。次に、ステップst3において、カメラ2により撮像された映像を複数の領域に分割するメッシュを作成し、ステップst4に進む。
Hereinafter, a signal processing algorithm executed by the
図3は、本発明に係る遠隔操作装置においてモニタに表示される映像の例を示す正面図である。 FIG. 3 is a front view showing an example of an image displayed on a monitor in the remote control device according to the present invention.
映像を複数の領域に分割するメッシュは、図3中の(a)に示すように、自走型ロボット101を中心とした直行座標系上のメッシュをカメラ2からの視点に変換したものである。また、このメッシュは、水平線をなくした地面の方向のみのものや、表示画面そのものを直行座標系としてメッシュ状に分割するものであってもよい。
The mesh that divides the video into a plurality of regions is obtained by converting a mesh on an orthogonal coordinate system centered on the self-propelled
そして、ステップst4において、自走型ロボット101の走行軌跡を推測する。走行軌跡の推測は、自走型ロボット101の走行速度、旋回操作の入力値や、カメラ2の位置情報に基づいて、図3中の(b)、(c)、(d)において矢印で示すように、カメラ2により撮像されている映像中における自走型ロボット101の走行軌跡を推測する。旋回する場合の走行軌跡については、旋回操作の入力値及び自走型ロボット101の旋回特性に基づいて、自走型ロボット101の旋回軌跡を推測する。
In step st4, the traveling locus of the self-propelled
一方、操作部1に視線センサ6を備えている場合には、ステップst5において、この視線センサ6により視点データを取得しておく。
On the other hand, if the operation unit 1 includes the line-of-
また、自走型ロボット101に距離センサ7を備えている場合には、ステップst6において、距離センサ7により、自走型ロボット101から障害物までの方向及び距離を示すデータを取得しておく。ステップst7においては、障害物までの方向及び距離を示すデータを幾何学変換し、ステップst2で取得したカメラ2の位置情報に対応させ、カメラ2により得られた映像における障害物の位置を算出しておく。
If the self-propelled
次に、ステップst8において、注視領域等の所定の領域を設定する。すなわち、ステップst7において推測された自走型ロボット101の走行軌跡に基づいて、例えば、自走型ロボット101がこれから向かう方向の領域を所定の領域として設定する。
Next, in step st8, a predetermined area such as a gaze area is set. That is, based on the travel locus of the self-propelled
例えば、予め設定してある走行速度と注視点との関係を示すテーブルから、現在の走行速度に対する注視点を算出し、カメラ2の設置方向や高さ情報に応じて、図3中の(b)、(c)に示すように、表示映像における注視点を計算する。そして、この注視点を中心とする一定の広さの範囲を所定の領域とする。図3中の(b)は、高速走行時の表示画面における所定の領域を示したものである。また、図3中の(c)は、低速走行時の表示画面における所定の領域を示したものである。 For example, a gazing point with respect to the current traveling speed is calculated from a table showing a relationship between a preset traveling speed and a gazing point, and (b) in FIG. ) And (c), the gaze point in the display image is calculated. A range of a certain width centered on this gazing point is set as a predetermined area. (B) in FIG. 3 shows a predetermined area on the display screen during high-speed driving. Further, (c) in FIG. 3 shows a predetermined area on the display screen during low-speed traveling.
そして、図3中の(d)は、旋回時の表示画面における所定の領域を示したものである。自走型ロボット101が旋回する場合については、図3中の(d)に示すように、推測された自走型ロボット101の走行軌跡と、走行速度及び注視点の関係を示すテーブルとから、走行軌跡上での注視点距離にある注視点を計算する。そして、この注視点を中心とする一定の広さの範囲を所定の領域とする。
And (d) in
操作部1に視線センサ6を備えている場合には、モニタ5上において操作者104が注視している方向を所定の領域(注視領域)として設定する。さらに、自走型ロボット101に距離センサ7を備えている場合には、図3中の(e)に示すように、障害物が存在する領域を、所定の領域として設定する。なお、この場合には、自走型ロボット101の移動方向と障害物の存在する方向との関係、及び、自走型ロボット101から障害物までの距離に応じて、所定の領域を設定してもよい。また、障害物が存在する領域については、注意を喚起するため、映像データに赤色等の着色処理を施してもよい。
When the line-of-
次のステップst9においては、カメラ2による映像、障害物を示すマーキングや、領域分割のメッシュ等の各映像の重ね合わせを行い、ステップst10においては、フレームレートを下げる領域を設定する。そして、ステップst11においては、各領域についての圧縮率を設定する。 In the next step st9, the images by the camera 2, markings indicating obstacles, and images such as area division meshes are superimposed, and in step st10, an area for lowering the frame rate is set. In step st11, the compression rate for each region is set.
そして、ステップst12においては、ステップst11で設定した圧縮率により、各領域の映像データの圧縮処理を行う。なお、この圧縮処理は、操作部1への送信を行う領域についてのみ行えばよく、送信しない領域については行う必要がない。 In step st12, the video data in each area is compressed at the compression rate set in step st11. This compression process only needs to be performed for the area where transmission to the operation unit 1 is performed, and need not be performed for areas where transmission is not performed.
ステップst13においては、優先して送信する領域を設定する。すなわち、遠隔操作において重要な領域の映像データを優先して送信しておくことにより、通信障害等が生じて映像データの送信が中断する場合においても、遠隔操作に対する影響を最小限に抑えることができる。そして、ステップst14において、映像データを操作部1に送信する。 In step st13, a preferential transmission area is set. In other words, by preferentially transmitting video data in an important area in remote operation, even if communication failure occurs and video data transmission is interrupted, the influence on remote operation can be minimized. it can. In step st14, the video data is transmitted to the operation unit 1.
映像データを送信された操作部1においては、ステップst15において、映像データを取得し、ステップst16において、映像データを展開(伸長)し、ステップst17において、モニタ5に映像表示を行う。 The operation unit 1 to which the video data has been transmitted acquires the video data in step st15, expands (expands) the video data in step st16, and displays the video on the monitor 5 in step st17.
操作者104は、このようにしてモニタ5に表示された映像に基づいて、自走型ロボット101に対する遠隔操作を行うことができる。
The
1 操作部
2 カメラ
3 圧縮処理部
4 映像データ処理部
5 モニタ
6 視線センサ
7 距離センサ
8 障害物センサ
101 自走型ロボット
104 操作者
DESCRIPTION OF SYMBOLS 1 Operation part 2
Claims (6)
前記移動装置に取付けられ、撮像した映像データを出力するカメラと、
前記カメラより出力された映像データを圧縮処理して送出する圧縮処理部と、
前記圧縮処理部から送られた映像データを受信し、前記操作部に設けられたモニタに該映像データに基づく映像を表示する映像データ処理部と
を備え、
前記圧縮処理部は、前記カメラにより撮像された映像をメッシュ状に複数の領域に分解し、前記移動装置の移動速度及び旋回速度に基づき、これら移動状態に応じた所定の領域を算出し、この所定の領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この所定の領域以外の映像データを、該所定の領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げる
ことを特徴とする遠隔操作装置。 An operation unit for remotely controlling the movement operation of the mobile device;
A camera that is attached to the mobile device and outputs captured video data;
A compression processing unit for compressing and sending video data output from the camera;
A video data processing unit that receives video data sent from the compression processing unit and displays a video based on the video data on a monitor provided in the operation unit;
The compression processing unit decomposes the image captured by the camera into a plurality of regions in a mesh shape, calculates a predetermined region according to the moving state based on the moving speed and the turning speed of the moving device, The video data in the predetermined area is compressed at a predetermined compression rate, or is preferentially sent to the video data processing unit, and the video data other than the predetermined area is more than the compression rate of the video data in the predetermined area. A remote control device characterized by compressing at a high compression rate or reducing the frame rate.
前記移動装置に取付けられ、撮像した映像データを出力するカメラと、
前記カメラより出力された映像データを圧縮処理して送出する圧縮処理部と、
前記圧縮処理部から送られた映像データを受信し、前記操作部に設けられたモニタに該映像データに基づく映像を表示する映像データ処理部と、
前記モニタ上における操作者の視線の方向を検出する視線センサと
を備え、
前記圧縮処理部は、前記カメラにより撮像された映像をメッシュ状に複数の領域に分解し、前記視線センサによる検出結果に基づき、操作者が注視している注視領域を算出し、この注視領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この注視領域以外の映像データを、該注視領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げる
ことを特徴とする遠隔操作装置。 An operation unit for remotely controlling the movement operation of the mobile device;
A camera that is attached to the mobile device and outputs captured video data;
A compression processing unit for compressing and sending video data output from the camera;
A video data processing unit that receives the video data sent from the compression processing unit and displays a video based on the video data on a monitor provided in the operation unit;
A line-of-sight sensor that detects the direction of the line of sight of the operator on the monitor,
The compression processing unit decomposes an image captured by the camera into a plurality of areas in a mesh shape, calculates a gaze area in which the operator is gazing based on a detection result by the gaze sensor, The video data is compressed at a predetermined compression rate or preferentially sent to the video data processing unit, and the video data other than the gaze area is compressed at a compression rate higher than the compression rate of the video data in the gaze area. A remote control device characterized by lowering the frame rate.
前記移動装置に取付けられ、撮像した映像データを出力するカメラと、
前記カメラより出力された映像データを圧縮処理して送出する圧縮処理部と、
前記圧縮処理部から送られた映像データを受信し、前記操作部に設けられたモニタに該映像データに基づく映像を表示する映像データ処理部と、
前記移動装置に取付けられ、障害物の有無及び障害物までの距離を検知する障害物センサと
を備え、
前記圧縮処理部は、前記カメラにより撮像された映像をメッシュ状に複数の領域に分解し、前記障害物センサによる検出結果に基づき、障害物が存在する領域を算出し、前記移動装置の移動方向と前記障害物の存在する方向との関係、及び、前記移動装置から前記障害物までの距離に応じて、前記障害物が存在する領域の映像データの圧縮率を距離により選択し、近い距離にある領域の映像データを優先的に映像データ処理部に送出、または、該障害物が存在する領域の映像データの表示色を選択するとともに、該障害物が存在する領域以外の映像データを、該障害物が存在する領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げる
ことを特徴とする遠隔操作装置。 An operation unit for remotely controlling the movement operation of the mobile device;
A camera that is attached to the mobile device and outputs captured video data;
A compression processing unit for compressing and sending video data output from the camera;
A video data processing unit that receives the video data sent from the compression processing unit and displays a video based on the video data on a monitor provided in the operation unit;
An obstacle sensor attached to the moving device for detecting the presence or absence of an obstacle and the distance to the obstacle;
The compression processing unit decomposes an image captured by the camera into a plurality of regions in a mesh shape, calculates a region where an obstacle exists based on a detection result by the obstacle sensor, and moves the moving device According to the relationship between the obstacle and the direction in which the obstacle exists, and the distance from the mobile device to the obstacle, the compression ratio of the video data in the area where the obstacle is present is selected according to the distance, The video data of a certain area is preferentially sent to the video data processing unit, or the display color of the video data of the area where the obstacle exists is selected, and the video data other than the area where the obstacle exists is A remote control device that compresses at a compression rate higher than the compression rate of video data in an area where an obstacle exists or lowers the frame rate.
前記カメラにより撮像された映像をメッシュ状に複数の領域に分解し、前記移動装置の移動速度及び旋回速度に基づき、これら移動状態に応じた所定の領域を算出し、この所定の領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この所定の領域以外の映像データを、該所定の領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げる
ことを特徴とする遠隔操作方法。 A remote operation method of compressing and transmitting video data captured by a camera attached to a mobile device, displaying a video based on the video data on a monitor, and remotely operating the moving operation of the mobile device based on the video Because
The video imaged by the camera is disassembled into a plurality of areas in a mesh shape, a predetermined area corresponding to the moving state is calculated based on the moving speed and the turning speed of the moving device, and video data of the predetermined area Is compressed at a predetermined compression rate, or is preferentially sent to the video data processing unit, and video data other than the predetermined region is compressed at a compression rate higher than the compression rate of the video data in the predetermined region. Or a remote operation method characterized by lowering the frame rate.
前記カメラにより撮像された映像をメッシュ状に複数の領域に分解し、視線センサにより操作者が注視している注視領域を算出し、この注視領域の映像データを所定の圧縮率により圧縮する、または優先的に映像データ処理部へ送出するとともに、この注視領域以外の映像データを、該注視領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げる
ことを特徴とする遠隔操作方法。 A remote operation method of compressing and transmitting video data captured by a camera attached to a mobile device, displaying a video based on the video data on a monitor, and remotely operating the moving operation of the mobile device based on the video Because
The image captured by the camera is decomposed into a plurality of areas in a mesh shape, the gaze sensor calculates the gaze area that the operator is gazing at, and the video data of the gaze area is compressed at a predetermined compression rate, or Remotely transmitting to the video data processing unit with priority and compressing video data other than the gaze area at a compression rate higher than the compression rate of the video data in the gaze area or reducing the frame rate Method of operation.
前記カメラにより撮像された映像をメッシュ状に複数の領域に分解し、前記移動装置に取付けた障害物センサにより障害物が存在する領域を算出し、前記移動装置の移動方向と前記障害物の存在する方向との関係、及び、前記移動装置から前記障害物までの距離に応じて、前記障害物が存在する領域の映像データの圧縮率を距離により選択し、近い距離にある領域の映像データを優先的に映像データ処理部に送出、または、該障害物が存在する領域の映像データの表示色を選択するとともに、該障害物が存在する領域以外の映像データを、該障害物が存在する領域の映像データの圧縮率よりも高い圧縮率によって圧縮する、またはフレームレートを下げる
ことを特徴とする遠隔操作方法。 A remote operation method of compressing and transmitting video data captured by a camera attached to a mobile device, displaying a video based on the video data on a monitor, and remotely operating the moving operation of the mobile device based on the video Because
The image captured by the camera is decomposed into a plurality of areas in a mesh shape, the area where the obstacle exists is calculated by the obstacle sensor attached to the moving device, the moving direction of the moving device and the presence of the obstacle The compression ratio of the video data in the area where the obstacle is present is selected according to the distance according to the relationship with the direction to be performed and the distance from the mobile device to the obstacle, and the video data of the area in the near distance is selected. An area in which the obstacle exists, and a video data display unit that preferentially sends to the video data processing unit or selects a display color of the video data in the area in which the obstacle exists, A remote operation method characterized by compressing at a compression rate higher than the compression rate of video data or reducing the frame rate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287529A JP2009118072A (en) | 2007-11-05 | 2007-11-05 | Remote control device and remote control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287529A JP2009118072A (en) | 2007-11-05 | 2007-11-05 | Remote control device and remote control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009118072A true JP2009118072A (en) | 2009-05-28 |
Family
ID=40784719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007287529A Pending JP2009118072A (en) | 2007-11-05 | 2007-11-05 | Remote control device and remote control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009118072A (en) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011145743A (en) * | 2010-01-12 | 2011-07-28 | Ihi Aerospace Co Ltd | Autonomous mobile robot system |
KR101212849B1 (en) * | 2011-01-14 | 2012-12-14 | 주식회사 에스원 | System for processing image and method for processing image |
JP2013157745A (en) * | 2012-01-27 | 2013-08-15 | Mitsubishi Heavy Ind Ltd | Transmission device, display device, and display system |
WO2014102995A1 (en) * | 2012-12-28 | 2014-07-03 | 株式会社日立製作所 | Monitoring system, method, and information-recording medium containing program |
WO2014199666A1 (en) * | 2013-06-13 | 2014-12-18 | シャープ株式会社 | Display device |
WO2017168684A1 (en) * | 2016-03-31 | 2017-10-05 | 三郎 山内 | Monitoring system, monitoring method, program, and computer storage medium |
JP2018019182A (en) * | 2016-07-26 | 2018-02-01 | トヨタ自動車株式会社 | Remote maneuver system of mobile |
JP2018110399A (en) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | Method, device, and camera |
JP2019029697A (en) * | 2017-07-25 | 2019-02-21 | 日本電信電話株式会社 | Packet disposal system and method |
CN109753063A (en) * | 2018-12-18 | 2019-05-14 | 航天时代电子技术股份有限公司 | A kind of remote mobile device motion control method and system |
JP2019140472A (en) * | 2018-02-08 | 2019-08-22 | 株式会社Soken | Image transmission device mounted on remotely-operated vehicle |
JP2019533325A (en) * | 2016-08-01 | 2019-11-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | Adaptive parameters in image area based on eye tracking information |
CN110891160A (en) * | 2018-09-10 | 2020-03-17 | 松下电器(美国)知识产权公司 | Image transmission device, image transmission method, and recording medium |
JP2020043557A (en) * | 2018-09-10 | 2020-03-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Video transmission device, video transmission method, and program |
JP2020099461A (en) * | 2018-12-21 | 2020-07-02 | 日立グローバルライフソリューションズ株式会社 | Autonomously travelling type cleaner |
JP2020123013A (en) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | Autonomous traveling control system |
JP2021034800A (en) * | 2019-08-20 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Compression device, mobile device, compression method, and program |
JP2021081778A (en) * | 2019-11-14 | 2021-05-27 | シャープ株式会社 | Moving body, remote control system by imaging, methods, control programs and recording media |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60217781A (en) * | 1984-04-13 | 1985-10-31 | Toshiba Corp | Remote multivideo device |
JP2000184469A (en) * | 1998-12-17 | 2000-06-30 | Minolta Co Ltd | Controller |
JP2001063500A (en) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | Monitoring device for obstacle around vehicle |
JP2002077903A (en) * | 2000-08-28 | 2002-03-15 | Canon Inc | Image encoder and image encoding method and storage medium |
JP2006260335A (en) * | 2005-03-18 | 2006-09-28 | Ricoh Co Ltd | Remote resource access device, remote resource access method, program and information storage meium |
JP2007266703A (en) * | 2006-03-27 | 2007-10-11 | Matsushita Electric Ind Co Ltd | Display control apparatus |
-
2007
- 2007-11-05 JP JP2007287529A patent/JP2009118072A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60217781A (en) * | 1984-04-13 | 1985-10-31 | Toshiba Corp | Remote multivideo device |
JP2000184469A (en) * | 1998-12-17 | 2000-06-30 | Minolta Co Ltd | Controller |
JP2001063500A (en) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | Monitoring device for obstacle around vehicle |
JP2002077903A (en) * | 2000-08-28 | 2002-03-15 | Canon Inc | Image encoder and image encoding method and storage medium |
JP2006260335A (en) * | 2005-03-18 | 2006-09-28 | Ricoh Co Ltd | Remote resource access device, remote resource access method, program and information storage meium |
JP2007266703A (en) * | 2006-03-27 | 2007-10-11 | Matsushita Electric Ind Co Ltd | Display control apparatus |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011145743A (en) * | 2010-01-12 | 2011-07-28 | Ihi Aerospace Co Ltd | Autonomous mobile robot system |
KR101212849B1 (en) * | 2011-01-14 | 2012-12-14 | 주식회사 에스원 | System for processing image and method for processing image |
JP2013157745A (en) * | 2012-01-27 | 2013-08-15 | Mitsubishi Heavy Ind Ltd | Transmission device, display device, and display system |
WO2014102995A1 (en) * | 2012-12-28 | 2014-07-03 | 株式会社日立製作所 | Monitoring system, method, and information-recording medium containing program |
JPWO2014102995A1 (en) * | 2012-12-28 | 2017-01-12 | 株式会社日立製作所 | Information recording medium storing monitoring system, method and program |
US9875695B2 (en) | 2013-06-13 | 2018-01-23 | Sharp Kabushiki Kaisha | Display device |
WO2014199666A1 (en) * | 2013-06-13 | 2014-12-18 | シャープ株式会社 | Display device |
WO2017168684A1 (en) * | 2016-03-31 | 2017-10-05 | 三郎 山内 | Monitoring system, monitoring method, program, and computer storage medium |
JP2018019182A (en) * | 2016-07-26 | 2018-02-01 | トヨタ自動車株式会社 | Remote maneuver system of mobile |
US10984756B2 (en) | 2016-08-01 | 2021-04-20 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
JP2019533325A (en) * | 2016-08-01 | 2019-11-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | Adaptive parameters in image area based on eye tracking information |
JP2018110399A (en) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | Method, device, and camera |
JP7353015B2 (en) | 2016-12-30 | 2023-09-29 | アクシス アーベー | Methods, devices, and cameras |
JP2019029697A (en) * | 2017-07-25 | 2019-02-21 | 日本電信電話株式会社 | Packet disposal system and method |
JP2019140472A (en) * | 2018-02-08 | 2019-08-22 | 株式会社Soken | Image transmission device mounted on remotely-operated vehicle |
JP2020043557A (en) * | 2018-09-10 | 2020-03-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Video transmission device, video transmission method, and program |
CN110891160A (en) * | 2018-09-10 | 2020-03-17 | 松下电器(美国)知识产权公司 | Image transmission device, image transmission method, and recording medium |
JP7334055B2 (en) | 2018-09-10 | 2023-08-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | VIDEO TRANSMISSION DEVICE, VIDEO TRANSMISSION METHOD, AND PROGRAM |
CN109753063B (en) * | 2018-12-18 | 2022-04-15 | 航天时代电子技术股份有限公司 | Remote mobile device motion control method and system |
CN109753063A (en) * | 2018-12-18 | 2019-05-14 | 航天时代电子技术股份有限公司 | A kind of remote mobile device motion control method and system |
JP2020099461A (en) * | 2018-12-21 | 2020-07-02 | 日立グローバルライフソリューションズ株式会社 | Autonomously travelling type cleaner |
JP2020123013A (en) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | Autonomous traveling control system |
JP2021034800A (en) * | 2019-08-20 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Compression device, mobile device, compression method, and program |
JP2021081778A (en) * | 2019-11-14 | 2021-05-27 | シャープ株式会社 | Moving body, remote control system by imaging, methods, control programs and recording media |
JP7437916B2 (en) | 2019-11-14 | 2024-02-26 | シャープ株式会社 | Mobile object, remote imaging control system, method, control program and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009118072A (en) | Remote control device and remote control method | |
US20190361436A1 (en) | Remote monitoring system and remote monitoring device | |
US7751945B2 (en) | Vehicle-to-vehicle communication apparatus, vehicle-to-vehicle communication system, and method of determining applicability of moving image information to an application program | |
CN110278418B (en) | Video data processing system and method and vehicle | |
EP1178678A3 (en) | Signal receiving apparatus, remote controller, signal receiving system, and apparatus to be controlled | |
US10640042B2 (en) | Surround view vision system that utilizes trailer camera | |
JP2010093567A (en) | Image processing apparatus | |
US8692923B2 (en) | Digital camera | |
WO2015165304A1 (en) | Smart terminal, vehicle, vehicle system and remote control method thereof | |
US20210149392A1 (en) | Vehicle, remote imaging-and-controlling system, method for controlling vehicle, and non-transitory recording medium | |
US20120086817A1 (en) | Digital camera | |
US9981387B2 (en) | Robot control system | |
JP2007249814A (en) | Image-processing device and image-processing program | |
JP2023179496A (en) | Image processing device and image processing method | |
US10328856B2 (en) | Image processing device, image processing method, and on-vehicle apparatus | |
CN104670093A (en) | Method and system for monitoring and shooting blind zones during starting of automobile | |
JP2006279648A (en) | Image display method based on fluctuation correction and remote control system for automobile model or the like using the method | |
JP2004064418A (en) | Wireless communication system, cellular phone, and executable program by cellular phone | |
JP2012199796A (en) | Parking support system | |
JP2011151607A (en) | Image transmission system | |
JP2009118169A (en) | Wireless image transmission system and image display device | |
KR101973300B1 (en) | Vehicular image-display system | |
US11026663B2 (en) | Ultrasound imaging apparatus and methods | |
JP5140889B2 (en) | Image display method by fluctuation correction and moving object remote control system using the method | |
JP5780985B2 (en) | Medical image transmission system, transmission device, and reception device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090630 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120410 |