JP2017188739A - Image acquisition, compression, and transmission method, remote control method for mobile, image acquisition, compression, and transmission device, and remote control system for mobile - Google Patents
Image acquisition, compression, and transmission method, remote control method for mobile, image acquisition, compression, and transmission device, and remote control system for mobile Download PDFInfo
- Publication number
- JP2017188739A JP2017188739A JP2016074859A JP2016074859A JP2017188739A JP 2017188739 A JP2017188739 A JP 2017188739A JP 2016074859 A JP2016074859 A JP 2016074859A JP 2016074859 A JP2016074859 A JP 2016074859A JP 2017188739 A JP2017188739 A JP 2017188739A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image area
- road surface
- image quality
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000005540 biological transmission Effects 0.000 title claims abstract description 91
- 238000007906 compression Methods 0.000 title claims abstract description 67
- 230000006835 compression Effects 0.000 title claims abstract description 67
- 238000004441 surface measurement Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 18
- 238000010295 mobile communication Methods 0.000 claims description 11
- 238000013144 data compression Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、画像取得圧縮送信方法、移動体の遠隔操縦方法、画像取得圧縮送信装置、及び移動体の遠隔操縦システムに関する。更に詳細には、本発明は、遠隔操縦される移動体において取得された複数の画像領域を含む画像データのうち、移動体を遠隔操縦する上で必要度の低い部分を低画質とすることなどにより画像データを圧縮して、送信し得る画像取得圧縮送信方法、画像取得圧縮送信方法を適用した移動体の遠隔操縦方法、画像取得圧縮送信方法を実行し得る画像取得圧縮送信装置、及び画像取得圧縮送信装置を適用した移動体の遠隔操縦システムに関する。 The present invention relates to an image acquisition / compression transmission method, a mobile remote control method, an image acquisition / compression transmission apparatus, and a mobile remote control system. More specifically, the present invention provides a low image quality portion of the image data including a plurality of image areas acquired in a remotely operated mobile object that is less necessary for remotely operating the mobile object. The image acquisition compression transmission method that can compress and transmit image data, the remote control method of the moving body to which the image acquisition compression transmission method is applied, the image acquisition compression transmission device that can execute the image acquisition compression transmission method, and the image acquisition The present invention relates to a mobile remote control system to which a compression transmission device is applied.
従来、途切れの無い遠隔操作が可能となるようにカメラ情報を伝送することができる無人移動体のデータ伝送装置として、カメラ情報を無人移動体から地上装置へ伝送する移動体送信手段と、無人移動体を移動制御するための制御情報を地上装置から無人移動体へ伝送する地上送信手段とを備え、地上装置からの制御情報の受信レベルを評価する受信レベル評価手段と、この受信レベル評価手段の評価結果に基づいてカメラ情報の画像圧縮率または画像サイズを変更するカメラ情報変更手段とを備えたものが提案されている。（特許文献１参照。）。 Conventionally, as an unmanned mobile data transmission device capable of transmitting camera information so that remote operation without interruption is possible, mobile transmission means for transmitting camera information from an unmanned mobile body to a ground device, and unmanned movement A ground transmission means for transmitting control information for controlling the movement of the body from the ground device to the unmanned mobile body, a reception level evaluation means for evaluating the reception level of the control information from the ground device, and the reception level evaluation means There has been proposed a camera information changing unit that changes an image compression rate or an image size of camera information based on an evaluation result. (See Patent Document 1).
また、従来の動画像の符号化や復号化を行う装置ではどうしても符号化や復号化において遅延時間が発生してしまい、上手く遠隔操作できないなどの問題点を解決し得る遠隔点検装置として、外部装置からの遠隔操縦によって走行可能な移動体と、少なくとも移動体のスケールを含む符号化条件を設定する設定部と、移動体に設けられ、移動体の走行路およびその周辺の動画像を入力画像として入力する画像入力部と、符号化条件および入力画像の移動速度から換算したスケール速度に合わせて、画像入力部から入力された入力画像について移動体の進行方向の中心位置から周縁部に向けて円形又は矩形の波紋形状に複数のエリアに区切り、中心位置を含む中心エリアを高画質に符号化し、中心エリアを取り囲む周囲エリアを中心エリアに比べて低画質に符号化する符号化部と、符号化部で符号化された符号化データを外部装置に伝送する伝送部とを備えたものが提案されている（特許文献２参照。）。
In addition, a conventional apparatus that performs encoding and decoding of moving images inevitably causes a delay time in encoding and decoding, and as a remote inspection apparatus that can solve problems such as inability to perform remote operation successfully, an external apparatus A moving body that can be driven by remote control from the vehicle, a setting unit that sets an encoding condition that includes at least the scale of the moving body, and a moving body provided on the moving body and moving images of the moving body and its surroundings as input images The input image input from the image input unit according to the input speed of the input image and the scale speed converted from the moving speed of the input image and the circular speed from the center position in the moving direction of the moving body toward the peripheral portion. Or, a rectangular ripple shape is divided into multiple areas, the central area including the central position is encoded with high image quality, and the surrounding area surrounding the central area is compared to the central area. Te an encoding unit for encoding the low quality, that a transmission unit for transmitting the coded data in the coding unit in the external device has been proposed (see
さらに、従来、静止画像や動画像に関わらずに観察者の体感画質を低下させることなく、高い画像圧縮率を実現し、しかも通信経路の伝送負荷を減少させることができ、多数の端末に画像の情報を送信し得る画像圧縮通信装置として、画像を表す画像データを出力するための画像データ供給手段と、画像データ供給手段から出力された画像データにデータ圧縮処理を施すことによって狭帯域化させるデータ圧縮処理手段と、データ圧縮処理手段の出力である圧縮データを伝送させる画像データ伝送手段と、画像データ伝送手段の出力である圧縮データを伸長して元の画像データに戻すデータ伸長手段と、データ伸長手段の出力データに基づいて、画像を画面に再生表示する再生表示手段と、再生表示手段に表示された画面を観察する観察者の視線を追跡して検出する視線検出手段と、視線検出手段の出力である視線データをデータ圧縮処理手段に伝送する視線情報伝送手段とを備え、データ圧縮処理手段は観察者の視線領域に対応する画像データのデータ圧縮率を制御するものが提案されている（特許文献３参照。）。 Furthermore, conventionally, it is possible to achieve a high image compression rate without reducing the viewer's perceived image quality regardless of whether it is a still image or a moving image, and to reduce the transmission load on the communication path. As an image compression communication apparatus capable of transmitting the above information, an image data supply means for outputting image data representing an image, and a data compression process is performed on the image data output from the image data supply means to narrow the bandwidth Data compression processing means, image data transmission means for transmitting compressed data that is the output of the data compression processing means, data decompression means for decompressing the compressed data that is the output of the image data transmission means, and returning it to the original image data, Based on the output data of the data decompression means, a reproduction display means for reproducing and displaying an image on the screen, and an observer observing the screen displayed on the reproduction display means Line-of-sight detecting means for tracking and detecting the line, and line-of-sight information transmitting means for transmitting line-of-sight data as an output of the line-of-sight detection means to the data compression processing means, the data compression processing means corresponding to the line of sight of the observer A device for controlling the data compression rate of image data has been proposed (see Patent Document 3).
しかしながら、特許文献１に記載された無人移動体のデータ伝送装置にあっては、制御情報の受信レベルによって画質を変えているため、伝送帯域幅が狭い場合、画像全体の画質が低下するという問題点があった。
However, in the unmanned mobile data transmission device described in
また、特許文献２に記載された遠隔点検装置にあっては、画像中心部及び移動体存在部を高画質としているため、必ずしも必要な箇所が高画質になるとは限らないという問題点があった。
In addition, the remote inspection device described in
さらに、特許文献３に記載された画像圧縮通信装置は、観察者の視線位置を伝送する際に遅延が生じるという問題点があった。 Furthermore, the image compression communication apparatus described in Patent Document 3 has a problem in that a delay occurs when transmitting the line-of-sight position of the observer.
本発明は、上述の従来技術が有する課題に鑑みてなされたものである。そして、本発明は、複数の画像領域を含む画像データのうち、移動体を遠隔操縦する上で必要度の低い部分を低画質とすることなどにより画像データを圧縮して、送信することによって、伝送帯域幅が狭い場合であっても、遅延することなく、必要な画像データを送信し得る画像取得圧縮送信方法、画像取得圧縮送信方法を適用した移動体の遠隔操縦方法、画像取得圧縮送信方法を実行し得る画像取得圧縮送信装置、及び画像取得圧縮送信装置を適用した移動体の遠隔操縦システムを提供することを目的とする。 The present invention has been made in view of the problems of the above-described conventional technology. Then, the present invention compresses the image data by, for example, reducing the image quality of the portion of the image data including a plurality of image areas that has a low necessity for remote control of the moving object, and transmits the compressed image data. Image acquisition compression / transmission method capable of transmitting necessary image data without delay even when the transmission bandwidth is narrow, remote control method for moving body to which image acquisition compression / transmission method is applied, and image acquisition compression / transmission method It is an object of the present invention to provide an image acquisition / compression transmission apparatus capable of executing the above and a remote control system for a moving body to which the image acquisition / compression transmission apparatus is applied.
本発明者らは、上記目的を達成するため鋭意検討を重ねた。その結果、遠隔操縦される移動体において複数の画像領域を含む画像データを取得し、取得された画像データのうち、移動体を遠隔操縦する上で必要度の低い部分を低画質とすることなどにより画像データを圧縮して、送信することにより、上記目的が達成できることを見出し、本発明を完成するに至った。 The inventors of the present invention have made extensive studies in order to achieve the above object. As a result, image data including a plurality of image areas is acquired in a remotely operated mobile body, and a portion of the acquired image data that is less necessary for remotely operating the mobile body has low image quality, etc. Thus, the present inventors have found that the above object can be achieved by compressing and transmitting image data, and have completed the present invention.
すなわち、本発明の画像取得圧縮送信方法は、遠隔操縦される移動体に搭載された画像取得手段を用いて複数の画像領域を含む画像データを取得し、移動体に搭載された測距センサを用いて画像領域が走行路面と判定された画像領域を高画質若しくは中画質又は低画質として符号化し、走行路面と判定されなかった画像領域につき、走行路面と判定された画像領域と接している画像領域を高画質又は中画質として及び走行路面と判定された画像領域と接していない画像領域を低画質として符号化し、符号化された画像領域を含む圧縮画像データを送信することを特徴とする。 That is, the image acquisition compression transmission method of the present invention acquires image data including a plurality of image areas using image acquisition means mounted on a remotely operated mobile body, and uses a distance measuring sensor mounted on the mobile body. An image area that is determined to be a road surface using the image area is encoded as high image quality, medium image quality, or low image quality, and an image area that is not determined to be a road surface is in contact with an image area that is determined to be a road surface The image area is encoded with high image quality or medium image quality, and the image area not in contact with the image area determined to be the road surface is encoded with low image quality, and compressed image data including the encoded image area is transmitted.
また、本発明の画像取得圧縮送信方法の好適形態は、下記のステップ（１−１）〜ステップ（１−８）を有することを特徴とする。 Moreover, the suitable form of the image acquisition compression transmission method of this invention has the following step (1-1)-step (1-8), It is characterized by the above-mentioned.
ステップ（１−１）は、遠隔操縦される移動体に搭載された画像取得手段を用いて複数の画像領域を含む画像データを取得するステップである。 Step (1-1) is a step of acquiring image data including a plurality of image areas by using an image acquisition means mounted on a remotely operated mobile body.
ステップ（１−２）は、前記ステップ（１−１）の後に実行される、前記移動体に搭載された測距センサを用いて前記画像領域が走行路面に相当する第１画像領域であるかを判定するステップである。 In step (1-2), whether the image area is a first image area corresponding to a traveling road surface by using a distance measuring sensor mounted on the moving body, which is executed after step (1-1). It is a step which determines.
ステップ（１−３）は、前記ステップ（１−２）において、前記画像領域が前記走行路面に相当する前記第１画像領域であると判定されたときに実行される、前記第１画像領域を高画質又は中画質として符号化するステップである。 Step (1-3) is executed when the step (1-2) determines that the image area is the first image area corresponding to the traveling road surface. It is a step of encoding as high image quality or medium image quality.
ステップ（１−４）は、前記ステップ（１−３）の後に実行される、前記移動体に搭載された前記測距センサを用いて前記画像領域が前記走行路面に相当しない第２画像領域であるかを判定するステップである。 Step (1-4) is a second image area that is executed after step (1-3) and the image area does not correspond to the travel road surface using the distance measuring sensor mounted on the moving body. It is a step of determining whether or not there is.
ステップ（１−５）は、前記ステップ（１−４）において、前記画像領域が前記走行路面に相当しない前記第２画像領域であると判定されたときに実行される、前記第２画像領域が前記第１画像領域と接しているかを判定するステップである。 Step (1-5) is executed when it is determined in Step (1-4) that the image area is the second image area that does not correspond to the traveling road surface. It is a step of determining whether it is in contact with the first image area.
ステップ（１−６）は、前記ステップ（１−５）において、前記第２画像領域が前記第１画像領域と接していないと判定されたときに実行される、前記第２画像領域を低画質として符号化するステップである。 Step (1-6) is executed when it is determined in Step (1-5) that the second image area is not in contact with the first image area. As a step of encoding.
ステップ（１−７）は、前記ステップ（１−５）において、前記第２画像領域が前記第１画像領域と接していると判定されたときに実行される、前記第２画像領域を高画質又は中画質として符号化するステップである。 Step (1-7) is executed when it is determined in Step (1-5) that the second image area is in contact with the first image area. Alternatively, it is a step of encoding as medium image quality.
ステップ（１−８）は、前記画像データにおける全画像領域に対し前記ステップ（１−２）〜前記ステップ（１−７）を実行した後に実行される、前記符号化された画像領域を含む圧縮画像データを送信するステップである。 Step (1-8) is a compression including the encoded image region, which is executed after executing Steps (1-2) to (1-7) for all image regions in the image data. This is a step of transmitting image data.
そして、本発明の移動体の遠隔操縦方法は、下記のステップ（１）及びステップ（２）を有することを特徴とする。 And the remote control method of the mobile body of this invention has the following step (1) and step (2), It is characterized by the above-mentioned.
ステップ（１）は、遠隔操縦される前記移動体において実行される、前記本発明の画像取得圧縮送信方法の好適形態からなるステップである。 Step (1) is a step consisting of a preferred embodiment of the image acquisition / compression transmission method of the present invention, which is executed in the remotely operated mobile body.
ステップ（２）は、前記画像取得圧縮送信方法における圧縮画像データに基づいて、前記移動体の移動を制御するための制御情報データを入力し、前記入力された制御情報データを送信するステップである。 Step (2) is a step of inputting control information data for controlling movement of the moving body based on the compressed image data in the image acquisition compression transmission method, and transmitting the input control information data. .
また、本発明の画像取得圧縮送信装置は、遠隔操縦によって移動可能な移動体に搭載される画像取得圧縮送信装置であって、複数の画像領域を含む画像データを取得する画像取得手段と、測距センサと、前記測距センサからのデータに基づいて、前記画像領域が走行路面に相当する第１画像領域であるか又は前記画像領域が走行路面に相当しない第２画像領域であるかを判定する走行路面判定手段と、前記走行路面判定手段からのデータに基づいて、前記第１画像領域を高画質に若しくは中画質に又は低画質に符号化し、前記第２画像領域を高画質に若しくは中画質に又は低画質に符号化する符号化手段と、前記符号化に基づいて圧縮された圧縮画像データを送信する送信手段とを備えたことを特徴とする。 The image acquisition compression / transmission device of the present invention is an image acquisition compression / transmission device mounted on a movable body that can be moved by remote control, an image acquisition means for acquiring image data including a plurality of image areas, Based on a distance sensor and data from the distance measuring sensor, it is determined whether the image area is a first image area corresponding to a traveling road surface or whether the image area is a second image area not corresponding to a traveling road surface. The first image area is encoded with high image quality, medium image quality, or low image quality, and the second image area with high image quality or medium, based on data from the travel road surface determination means and the data from the travel road surface determination means. It is characterized by comprising encoding means for encoding image quality or low image quality, and transmission means for transmitting compressed image data compressed based on the encoding.
さらに、本発明の移動体の遠隔操縦システムは、外部通信制御装置と、前記外部通信制御装置からの遠隔操縦によって移動可能な移動体に搭載される移動体通信制御装置と、から構成されることを特徴とする。 Furthermore, the mobile remote control system of the present invention comprises an external communication control device and a mobile communication control device mounted on a mobile body movable by remote control from the external communication control device. It is characterized by.
前記移動体通信制御装置は、前記本発明の画像取得圧縮送信装置と、前記外部通信制御装置から送信された前記移動体の移動を制御するための制御情報データを受信する受信手段と、前記制御情報データを前記移動体の移動を制御するために出力する出力手段とを備えたものである。 The mobile communication control device includes the image acquisition / compression transmission device of the present invention, a receiving unit for receiving control information data for controlling movement of the mobile body transmitted from the external communication control device, and the control Output means for outputting information data for controlling the movement of the moving body.
前記外部通信制御装置は、前記移動体通信制御装置から送信された圧縮画像データを受信する受信手段と、前記圧縮画像データを表示する表示手段と、前記圧縮画像データに基づいて、前記制御情報データを入力する入力手段と、前記制御情報データを送信する送信手段とを備えたものである。 The external communication control device includes: a receiving unit that receives the compressed image data transmitted from the mobile communication control device; a display unit that displays the compressed image data; and the control information data based on the compressed image data. Input means for input, and transmission means for transmitting the control information data.
本発明の画像取得圧縮送信方法によれば、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信することができる。 According to the image acquisition compression transmission method of the present invention, image data can be transmitted without delay even when the transmission bandwidth is narrow.
そして、本発明の移動体の遠隔操縦方法によれば、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信し得る画像取得圧縮送信方法を適用した移動体の遠隔操縦方法を提供することができる。 According to the remote control method for a mobile body of the present invention, even when the transmission bandwidth is narrow, the remote control of the mobile body to which the image acquisition compression transmission method that can transmit image data without delay is applied. A method can be provided.
また、本発明の画像取得圧縮送信装置によれば、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信し得る画像取得圧縮送信方法を実行し得る画像取得圧縮送信装置を提供することができる。 Further, according to the image acquisition / compression transmission apparatus of the present invention, even when the transmission bandwidth is narrow, the image acquisition / compression transmission apparatus capable of executing the image acquisition compression / transmission method capable of transmitting image data without delay. Can be provided.
さらに、本発明の移動体の遠隔操縦システムによれば、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信し得る画像取得圧縮送信装置を適用した移動体の遠隔操縦システムを提供することができる。 Furthermore, according to the mobile remote control system of the present invention, even when the transmission bandwidth is narrow, the remote control of the mobile object to which the image acquisition compression transmission device that can transmit the image data without delay is applied. A system can be provided.
以下、本発明の一実施形態に係る画像取得圧縮送信方法、移動体の遠隔操縦方法、画像取得圧縮送信装置、及び移動体の遠隔操縦システムについて詳細に説明する。 Hereinafter, an image acquisition compression transmission method, a mobile remote control method, an image acquisition compression transmission apparatus, and a mobile remote control system according to an embodiment of the present invention will be described in detail.
（第１の実施形態）
まず、本発明の第１の実施形態に係る画像取得圧縮送信方法について図面を参照しながら詳細に説明する。図１は、本発明の第１の実施形態に係る画像取得圧縮送信方法の一例を示すフロー図の一部である。また、図２は、図１に示すフロー図の続きである。
(First embodiment)
First, an image acquisition compression transmission method according to the first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a part of a flowchart showing an example of an image acquisition compression transmission method according to the first embodiment of the present invention. FIG. 2 is a continuation of the flowchart shown in FIG.
図１及び図２に示すように、本例の画像取得圧縮送信方法は、下記のステップ１１〜ステップ１６及びステップ２１〜ステップ２８を有する。なお、図１及び図２中において、例えば「ステップ１１」を「Ｓ１１」のように記載する（以下同様。）。 As shown in FIGS. 1 and 2, the image acquisition compression transmission method of this example includes the following steps 11 to 16 and steps 21 to 28. In FIG. 1 and FIG. 2, for example, “step 11” is described as “S11” (the same applies hereinafter).
まず、ステップ１１においては、遠隔操縦される移動体に搭載された画像取得手段を用いて複数の画像領域を含む画像データを取得する。本例においては、均等に分割された画像領域の数はＮである。
そして、ステップ１２に進む。
このステップ１１は、ステップ（１−１）に相当する。
First, in step 11, image data including a plurality of image areas is acquired using an image acquisition means mounted on a remotely operated mobile body. In this example, the number of equally divided image areas is N.
Then, the process proceeds to Step 12.
This step 11 corresponds to step (1-1).
なお、画像取得手段としては、特に限定されるものではなく、例えば、カメラやビデオカメラなどの静止画や動画、静止画動画を取得可能な従来公知のものを適宜利用することができる。 The image acquisition means is not particularly limited, and for example, a conventionally known device capable of acquiring a still image or a moving image or a still image moving image such as a camera or a video camera can be appropriately used.
また、ステップ１２においては、画像領域の判定回数としてｎ＝１を入力する。
そして、ステップ１３に進む。
In step 12, n = 1 is input as the number of determinations of the image area.
Then, the process proceeds to Step 13.
さらに、ステップ１３においては、移動体に搭載された測距センサを用いて画像領域が走行路面に相当する第１画像領域であるかを判定する。
そして、走行路面判定において、当該画像領域が走行路面に相当する第１画像領域である場合（ＹＥＳの場合）には、ステップ１４に進む。
一方、走行路面判定において、当該画像領域が走行路面に相当しない場合（ＮＯの場合）には、ステップ１５に進む。
このステップ１３は、ステップ（１−１）の後に実行されるステップ（１−２）に相当する。
Further, in step 13, it is determined whether the image area is a first image area corresponding to the traveling road surface by using a distance measuring sensor mounted on the moving body.
In the traveling road surface determination, when the image area is the first image area corresponding to the traveling road surface (in the case of YES), the process proceeds to step 14.
On the other hand, in the traveling road surface determination, when the image area does not correspond to the traveling road surface (in the case of NO), the process proceeds to step 15.
This step 13 corresponds to step (1-2) executed after step (1-1).
ここで、例えば、走行路面は、移動体（例えば車両）の進行方向にあり、且つ、略水平面内であり、且つ、一定程度フラットな場所として定義することができる。そして、画像領域がこのような状態である場合に走行路面であると判定することができる。 Here, for example, the traveling road surface can be defined as a place that is in a traveling direction of a moving body (for example, a vehicle), is substantially in a horizontal plane, and is flat to some extent. And when an image area | region is such a state, it can determine with it being a driving | running | working road surface.
また、略水平面内であることは、例えば、測距センサを用いて、測距センサによる計測が不能でなく（反射が返ってくる）、かつ、画像取得手段の位置から想定される地平線の位置より下方の箇所として定義することができる。そして、画像領域がこのような状態である場合に、略水平面内であると判定することができる。なお、地平線の位置より上方の箇所は、測距センサにより計測が可能である場合には障害物と認識でき、測距センサにより計測が不可能である場合には空と認識できる。 Further, being in a substantially horizontal plane means that, for example, using a distance measuring sensor, measurement by the distance measuring sensor is not impossible (reflection is returned), and the position of the horizon assumed from the position of the image acquisition means It can be defined as a lower location. When the image area is in such a state, it can be determined that the image area is substantially in the horizontal plane. A location above the position of the horizon can be recognized as an obstacle when it can be measured by the distance sensor, and can be recognized as empty when it cannot be measured by the distance sensor.
さらに、一定程度フラットな場所は、例えば、測距センサを用いて障害物（凹凸）のない箇所として定義することができる。そして、画像領域がこのような状態である場合に、一定程度フラットな場所であると判定することができる。 Furthermore, a place that is flat to a certain extent can be defined as a place without an obstacle (unevenness) using, for example, a distance measuring sensor. When the image area is in such a state, it can be determined that the place is flat to some extent.
なお、測距センサとしては、特に限定されるものではなく、例えば、レーザーレンジファインダ（ＬＲＦ）などの従来公知のものを適宜利用することができる。 In addition, it does not specifically limit as a distance measuring sensor, For example, conventionally well-known things, such as a laser range finder (LRF), can be utilized suitably.
また、ステップ１４においては、ステップ１３において、当該画像領域が走行路面に相当する第１画像領域であると判定されたときに、第１画像領域を高画質又は中画質として符号化する。
そして、ステップ１５に進む。
このステップ１４は、ステップ（１−２）において、当該画像領域が走行路面に相当する第１画像領域であると判定されたときに実行されるステップ（１−３）に相当する。
In step 14, when it is determined in step 13 that the image area is the first image area corresponding to the road surface, the first image area is encoded as high image quality or medium image quality.
Then, the process proceeds to step 15.
This step 14 corresponds to step (1-3) executed when it is determined in step (1-2) that the image region is the first image region corresponding to the traveling road surface.
さらに、ステップ１５においては、画像領域の判定回数としてｎ＝ｎ＋１を入力する。
そして、ステップ１６に進む。
Further, in step 15, n = n + 1 is input as the number of determinations of the image area.
Then, the process proceeds to Step 16.
また、ステップ１６においては、ｎ＝Ｎ＋１であるかを判定する。
そして、ｎ＝Ｎ＋１でない場合（ＮＯの場合）には、ステップ１３に戻り、ステップ１３〜ステップ１５を繰り返す。
一方、ｎ＝Ｎ＋１である場合（ＹＥＳの場合）には、ステップ２１に進む。
In step 16, it is determined whether n = N + 1.
If n = N + 1 is not satisfied (NO), the process returns to step 13 and steps 13 to 15 are repeated.
On the other hand, if n = N + 1 (YES), the process proceeds to step 21.
例えば、このようなステップ１１〜ステップ１６を適宜経ることにより、移動体に搭載された測距センサを用いて画像領域が走行路面と判定された画像領域を高画質又は中画質として符号化することができる。 For example, by appropriately performing steps 11 to 16 as described above, the image area in which the image area is determined to be the traveling road surface is encoded as a high image quality or a medium image quality using a distance measuring sensor mounted on the moving body. Can do.
さらに、ステップ２１においては、画像領域の判定回数としてｎ＝１を入力する。
そして、ステップ２２に進む。
Further, in step 21, n = 1 is input as the number of determinations of the image area.
Then, the process proceeds to Step 22.
また、ステップ２２においては、移動体に搭載された測距センサを用いて画像領域が走行路面に相当しない第２画像領域であるかを判定する。
そして、走行路面判定において、当該画像領域が走行路面に相当しない第２画像領域である場合（ＮＯの場合）には、ステップ２３に進む。
一方、走行路面判定において、当該画像領域が走行路面に相当する場合（ＹＥＳの場合）には、ステップ２５に進む。
なお、走行路面判定は、例えば、上述した走行路面判定と同様の手法を採用すればよい。
このステップ２２は、ステップ（１−３）の後に実行されるステップ（１−４）に相当する。
In
In the traveling road surface determination, when the image area is a second image area that does not correspond to the traveling road surface (in the case of NO), the process proceeds to step 23.
On the other hand, in the traveling road surface determination, when the image area corresponds to the traveling road surface (in the case of YES), the process proceeds to step 25.
In addition, what is necessary is just to employ | adopt the method similar to the traveling road surface determination mentioned above, for example for traveling road surface determination.
This
さらに、ステップ２３においては、ステップ２２において、当該画像領域が走行路面に相当しない第２画像領域であると判定されたときに、第２画像領域が第１画像領域と接しているかを判定する。
そして、第２画像領域が第１画像領域と接していない場合（ＮＯの場合）には、ステップ２４に進む。
一方、第２画像領域が第１画像領域と接している場合（ＹＥＳの場合）には、ステップ２８に進む。
このステップ２３は、ステップ（１−４）において、当該画像領域が走行路面に相当しない第２画像領域であると判定されたときに実行されるステップ（１−５）に相当する。
Further, in step 23, when it is determined in
If the second image area is not in contact with the first image area (NO), the process proceeds to step 24.
On the other hand, when the second image area is in contact with the first image area (in the case of YES), the process proceeds to step 28.
This step 23 corresponds to step (1-5) executed when it is determined in step (1-4) that the image region is a second image region that does not correspond to the traveling road surface.
また、ステップ２４においては、ステップ２３において、第２画像領域が第１画像領域と接していないと判定されたときに、第２画像領域を低画質として符号化する。
そして、ステップ２５に進む。
このステップ２４は、ステップ（１−５）において、第２画像領域が第１画像領域と接していないと判定されたときに実行されるステップ（１−６）に相当する。
In
Then, the process proceeds to Step 25.
This
さらに、ステップ２５においては、画像領域の判定回数としてｎ＝ｎ＋１を入力する。
そして、ステップ２６に進む。
Further, in step 25, n = n + 1 is input as the number of determinations of the image area.
Then, the process proceeds to Step 26.
また、ステップ２６においては、ｎ＝Ｎ＋１であるかを判定する。
そして、ｎ＝Ｎ＋１でない場合（ＮＯの場合）には、ステップ２２に戻り、ステップ２２、ステップ２３、ステップ２４、ステップ２５、後述するステップ２８等を適宜繰り返す。
一方、ｎ＝Ｎ＋１である場合（ＹＥＳの場合）には、ステップ２７に進む。
In step 26, it is determined whether n = N + 1.
If n = N + 1 is not satisfied (NO), the process returns to step 22, and step 22, step 23,
On the other hand, if n = N + 1 (YES), the process proceeds to step 27.
さらに、ステップ２７においては、画像データにおける全画像領域に対しステップ１１〜ステップ１６、ステップ２１〜ステップ２６及びステップ２８を適宜実行した後に、符号化された画像領域を含む圧縮画像データを送信する。
このステップ２７は、画像データにおける全画像領域に対しステップ（１−２）〜ステップ（１−７）を実行した後に実行されるステップ（１−８）に相当する。
Further, in step 27, after appropriately executing steps 11 to 16, step 21 to step 26 and step 28 for all image regions in the image data, compressed image data including the encoded image region is transmitted.
This step 27 corresponds to step (1-8) executed after executing steps (1-2) to (1-7) for all image areas in the image data.
また、ステップ２８においては、ステップ２３において、第２画像領域が第１画像領域と接していると判定されたときに、第２画像領域を高画質又は中画質として符号化する。
そして、ステップ２５に進む。
このステップ２８は、ステップ（１−５）において、第２画像領域が第１画像領域と接していると判定されたときに実行されるステップ（１−７）に相当する。
In step 28, when it is determined in step 23 that the second image area is in contact with the first image area, the second image area is encoded with high image quality or medium image quality.
Then, the process proceeds to Step 25.
This step 28 corresponds to step (1-7) executed when it is determined in step (1-5) that the second image area is in contact with the first image area.
例えば、このようなステップ２１〜ステップ２６及びステップ２８を適宜経ることにより、走行路面と判定されなかった画像領域につき、走行路面と判定された画像領域と接している画像領域を高画質又は中画質として及び走行路面と判定された画像領域と接していない画像領域を低画質として符号化することができる。 For example, by appropriately performing steps 21 to 26 and step 28 as described above, for an image area that has not been determined to be a traveling road surface, an image area that is in contact with the image area that has been determined to be a traveling road surface is displayed with high image quality or medium image quality. And an image area that is not in contact with the image area determined to be the traveling road surface can be encoded with low image quality.
そして、このようなステップを経ることにより、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信することができる。 Through such steps, even when the transmission bandwidth is narrow, the image data can be transmitted without delay.
なお、上述の例においては、（ｉ）まず、全画像領域に対し走行路面判定を行い、走行路面と判定された画像領域の画質を決定し、（ｉｉ）その後、再度全画像領域に対して走行路面判定を行い、走行路面と判定されなかった画像領域について、画質を決定している。 In the above-described example, (i) First, the traveling road surface is determined for the entire image area, the image quality of the image area determined to be the traveling road surface is determined, and (ii) Thereafter, the entire image area is again determined. The traveling road surface is determined, and the image quality is determined for the image area that is not determined to be the traveling road surface.
しかしながら、本発明はこれに限定されるものではなく、例えば、（ｉ）まず、全画像領域に対し走行路面判定を行い、走行路面と判定された画像領域の画質を決定し、（ｉｉ）その後、（ｉ）で走行路面と判定されなかった画像領域について、画質を決定してもよい。 However, the present invention is not limited to this. For example, (i) First, the traveling road surface is determined for the entire image area, the image quality of the image area determined as the traveling road surface is determined, and (ii) , (I), the image quality may be determined for an image area that is not determined to be a traveling road surface.
図３は、本発明の第１の実施形態に係る画像取得圧縮送信方法の他の一例を示すフロー図の一部である。また、図４は、図３に示すフロー図の続きである。 FIG. 3 is a part of a flowchart showing another example of the image acquisition compression transmission method according to the first embodiment of the present invention. FIG. 4 is a continuation of the flowchart shown in FIG.
図３及び図４に示すように、本例の画像取得圧縮送信方法は、下記のステップ３１〜ステップ３８及びステップ４１〜ステップ４８を有する。 As shown in FIGS. 3 and 4, the image acquisition compression transmission method of this example includes the following steps 31 to 38 and steps 41 to 48.
まず、ステップ３１においては、遠隔操縦される移動体に搭載された画像取得手段を用いて複数の画像領域を含む画像データを取得する。本例においては、均等に分割された画像領域の数はＮである。
そして、ステップ３２に進む。
このステップ３１は、ステップ（１−１）に相当する。
First, in step 31, image data including a plurality of image regions is acquired using an image acquisition unit mounted on a remotely operated mobile body. In this example, the number of equally divided image areas is N.
Then, the process proceeds to step 32.
This step 31 corresponds to step (1-1).
なお、画像取得手段としては、特に限定されるものではなく、例えば、カメラやビデオカメラなどの静止画や動画、静止画動画を取得可能な従来公知のものを適宜利用することができる。 The image acquisition means is not particularly limited, and for example, a conventionally known device capable of acquiring a still image or a moving image or a still image moving image such as a camera or a video camera can be appropriately used.
また、ステップ３２においては、画像領域の判定回数としてｎ＝１を入力する。
そして、ステップ３３に進む。
In step 32, n = 1 is input as the number of determinations of the image area.
Then, the process proceeds to Step 33.
さらに、ステップ３３においては、移動体に搭載された測距センサを用いて画像領域が走行路面に相当する第１画像領域であるかを判定する。
そして、走行路面判定において、当該画像領域が走行路面に相当する第１画像領域である場合（ＹＥＳの場合）には、ステップ３４に進む。
一方、走行路面判定において、当該画像領域が走行路面に相当しない場合（ＮＯの場合）には、ステップ３６に進む。
このステップ３３は、ステップ（１−１）の後に実行されるステップ（１−２）に相当する。
Furthermore, in step 33, it is determined whether the image area is a first image area corresponding to the traveling road surface by using a distance measuring sensor mounted on the moving body.
In the traveling road surface determination, when the image area is the first image area corresponding to the traveling road surface (in the case of YES), the process proceeds to step 34.
On the other hand, in the traveling road surface determination, if the image area does not correspond to the traveling road surface (in the case of NO), the process proceeds to step 36.
This step 33 corresponds to step (1-2) executed after step (1-1).
ここで、例えば、走行路面は、移動体（例えば車両）の進行方向にあり、且つ、略水平面内であり、且つ、一定程度フラットな場所として定義することができる。そして、画像領域がこのような状態である場合に走行路面であると判定することができる。 Here, for example, the traveling road surface can be defined as a place that is in a traveling direction of a moving body (for example, a vehicle), is substantially in a horizontal plane, and is flat to some extent. And when an image area | region is such a state, it can determine with it being a driving | running | working road surface.
また、略水平面内であることは、例えば、測距センサを用いて、測距センサによる計測が不能でなく（反射が返ってくる）、かつ、画像取得手段の位置から想定される地平線の位置より下方の箇所として定義することができる。そして、画像領域がこのような状態である場合に、略水平面内であると判定することができる。 Further, being in a substantially horizontal plane means that, for example, using a distance measuring sensor, measurement by the distance measuring sensor is not impossible (reflection is returned), and the position of the horizon assumed from the position of the image acquisition means It can be defined as a lower location. When the image area is in such a state, it can be determined that the image area is substantially in the horizontal plane.
さらに、一定程度フラットな場所は、例えば、測距センサを用いて障害物（凹凸）のない箇所として定義することができる。そして、画像領域がこのような状態である場合に、一定程度フラットな場所であると判定することができる。 Furthermore, a place that is flat to a certain extent can be defined as a place without an obstacle (unevenness) using, for example, a distance measuring sensor. When the image area is in such a state, it can be determined that the place is flat to some extent.
なお、測距センサとしては、特に限定されるものではなく、例えば、レーザーレンジファインダ（ＬＲＦ）などの従来公知のものを適宜利用することができる。 In addition, it does not specifically limit as a distance measuring sensor, For example, conventionally well-known things, such as a laser range finder (LRF), can be utilized suitably.
また、ステップ３４においては、ステップ３３において、当該画像領域が走行路面に相当する第１画像領域であると判定されたとき、移動体から当該第１画像領域に相当する位置までの距離と移動体の停止距離との差が所定値以上であるかを判定する。
そして、当該判定ステップにおいて、所定値以上である場合（ＹＥＳの場合）には、ステップ３５に進む。
一方、当該判定ステップにおいて、所定値以上でない場合（ＮＯの場合）には、ステップ３８に進む。
In step 34, when it is determined in step 33 that the image area is the first image area corresponding to the traveling road surface, the distance from the moving object to the position corresponding to the first image area and the moving object are determined. It is determined whether the difference from the stop distance is greater than or equal to a predetermined value.
In the determination step, if it is equal to or greater than the predetermined value (in the case of YES), the process proceeds to step 35.
On the other hand, if the determination step is not equal to or greater than the predetermined value (NO), the process proceeds to step 38.
ここで、本発明において、停止距離とは、ある走行速度における移動体が、その走行速度から停止するまでに最低限必要となる距離を意味する。 Here, in the present invention, the stop distance means a minimum distance required for the moving body at a certain travel speed to stop from the travel speed.
さらに、ステップ３５においては、当該第１画像領域を低画質として符号化する。
そして、ステップ３６に進む。
Further, in step 35, the first image area is encoded with low image quality.
Then, the process proceeds to step 36.
また、ステップ３６においては、画像領域の判定回数としてｎ＝ｎ＋１を入力する。
そして、ステップ３７に進む。
In step 36, n = n + 1 is input as the number of determinations of the image area.
Then, the process proceeds to step 37.
さらに、ステップ３７においては、ｎ＝Ｎ＋１であるかを判定する。
そして、ｎ＝Ｎ＋１でない場合（ＮＯの場合）には、ステップ３３に戻り、ステップ３３〜ステップ３６、後述するステップ３８を適宜繰り返す。
一方、ｎ＝Ｎ＋１である場合（ＹＥＳの場合）には、ステップ４１に進む。
Further, in step 37, it is determined whether n = N + 1.
When n = N + 1 is not satisfied (in the case of NO), the process returns to step 33, and steps 33 to 36 and step 38 described later are repeated as appropriate.
On the other hand, if n = N + 1 (YES), the process proceeds to step 41.
また、ステップ３８においては、当該第１画像領域を高画質又は中画質として符号化する。
そして、ステップ３６に進む。
In step 38, the first image area is encoded with high image quality or medium image quality.
Then, the process proceeds to step 36.
これらのステップ３４、ステップ３５及びステップ３８は、ステップ（１−２）において、当該画像領域が走行路面に相当する第１画像領域であると判定されたときに実行されるステップ（１−３）に相当する。 Step 34, step 35, and step 38 are executed when it is determined in step (1-2) that the image area is the first image area corresponding to the traveling road surface. It corresponds to.
例えば、このようなステップ３１〜ステップ３８を適宜経ることにより、移動体に搭載された測距センサを用いて画像領域が走行路面と判定された画像領域を高画質又は中画質、さらには低画質として符号化することができる。 For example, by appropriately performing steps 31 to 38 as described above, an image area in which the image area is determined to be a traveling road surface using a distance measuring sensor mounted on a moving body is set to a high image quality or a medium image quality, and further to a low image quality. Can be encoded as
さらに、ステップ４１においては、画像領域の判定回数としてｎ＝１を入力する。
そして、ステップ４２に進む。
Further, in step 41, n = 1 is input as the number of determinations of the image area.
Then, the process proceeds to step 42.
また、ステップ４２においては、移動体に搭載された測距センサを用いて画像領域が走行路面に相当しない第２画像領域であるかを判定する。
そして、走行路面判定において、当該画像領域が走行路面に相当しない第２画像領域である場合（ＮＯの場合）には、ステップ４３に進む。
一方、走行路面判定において、当該画像領域が走行路面に相当する場合（ＹＥＳの場合）には、ステップ４５に進む。
なお、走行路面判定は、例えば、上述した走行路面判定と同様の手法を採用すればよい。
このステップ４２は、ステップ（１−３）の後に実行されるステップ（１−４）に相当する。
In
In the traveling road surface determination, when the image area is a second image area not corresponding to the traveling road surface (in the case of NO), the process proceeds to step 43.
On the other hand, in the traveling road surface determination, when the image area corresponds to the traveling road surface (in the case of YES), the process proceeds to step 45.
In addition, what is necessary is just to employ | adopt the method similar to the traveling road surface determination mentioned above, for example for traveling road surface determination.
This
さらに、ステップ４３においては、ステップ４２において、当該画像領域が走行路面に相当しない第２画像領域であると判定されたときに、当該第２画像領域が第１画像領域と接しているかを判定する。
そして、当該第２画像領域が第１画像領域と接していない場合（ＮＯの場合）には、ステップ４４に進む。
一方、当該第２画像領域が第１画像領域と接している場合（ＹＥＳの場合）には、ステップ４８に進む。
このステップ４３は、ステップ（１−４）において、当該画像領域が走行路面に相当しない第２画像領域であると判定されたときに実行されるステップ（１−５）に相当する。
Further, in step 43, when it is determined in
If the second image area is not in contact with the first image area (in the case of NO), the process proceeds to step 44.
On the other hand, when the second image area is in contact with the first image area (in the case of YES), the process proceeds to step 48.
This step 43 corresponds to step (1-5) executed when it is determined in step (1-4) that the image region is a second image region that does not correspond to the traveling road surface.
また、ステップ４４においては、ステップ４３において、当該第２画像領域が第１画像領域と接していないと判定されたときに、当該第２画像領域を低画質として符号化する。
そして、ステップ４５に進む。
このステップ４４は、ステップ（１−５）において、第２画像領域が第１画像領域と接していないと判定されたときに実行されるステップ（１−６）に相当する。
In
Then, the process proceeds to Step 45.
This
さらに、ステップ４５においては、画像領域の判定回数としてｎ＝ｎ＋１を入力する。
そして、ステップ４６に進む。
Further, in step 45, n = n + 1 is input as the number of image region determinations.
Then, the process proceeds to step 46.
また、ステップ４６においては、ｎ＝Ｎ＋１であるかを判定する。
そして、ｎ＝Ｎ＋１でない場合（ＮＯの場合）には、ステップ４２に戻り、ステップ４２、ステップ４３、ステップ４４、ステップ４５、後述するステップ４８等を適宜繰り返す。
一方、ｎ＝Ｎ＋１である場合（ＹＥＳの場合）には、ステップ４７に進む。
In
If n = N + 1 is not satisfied (in the case of NO), the process returns to step 42, and step 42, step 43,
On the other hand, if n = N + 1 (YES), the process proceeds to step 47.
さらに、ステップ４７においては、画像データにおける全画像領域に対しステップ３１〜ステップ３８、ステップ４１〜ステップ４６及びステップ４８を適宜実行した後に、符号化された画像領域を含む圧縮画像データを送信する。
このステップ４７は、画像データにおける全画像領域に対しステップ（１−２）〜ステップ（１−７）を実行した後に実行されるステップ（１−８）に相当する。
Further, in step 47, after step 31 to step 38, step 41 to step 46 and step 48 are appropriately executed for all image regions in the image data, compressed image data including the encoded image region is transmitted.
This step 47 corresponds to step (1-8) executed after executing steps (1-2) to (1-7) for all image regions in the image data.
また、ステップ４８においては、ステップ４３において、第２画像領域が第１画像領域と接していると判定されたときに、第２画像領域を高画質又は中画質として符号化する。
そして、ステップ４５に進む。
このステップ４８は、ステップ（１−５）において、第２画像領域が第１画像領域と接していると判定されたときに実行されるステップ（１−７）に相当する。
In step 48, when it is determined in step 43 that the second image area is in contact with the first image area, the second image area is encoded with high image quality or medium image quality.
Then, the process proceeds to Step 45.
This step 48 corresponds to step (1-7) executed when it is determined in step (1-5) that the second image area is in contact with the first image area.
例えば、このようなステップ４１〜ステップ４６及びステップ４８を適宜経ることにより、走行路面と判定されなかった画像領域につき、走行路面と判定された画像領域と接している画像領域を高画質又は中画質として及び走行路面と判定された画像領域と接していない画像領域を低画質として符号化することができる。 For example, by appropriately performing steps 41 to 46 and step 48 as described above, for an image area that has not been determined to be a traveling road surface, an image area that is in contact with the image area that has been determined to be a traveling road surface is displayed with high image quality or medium image quality. And an image area that is not in contact with the image area determined to be the traveling road surface can be encoded with low image quality.
そして、このようなステップを経ることにより、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信することができる。また、停止距離による判定を組み込むことにより、例えば、近い走行路面を高画質、遠い走行路面を低画質とすることによって、伝送帯域幅が狭い場合であっても、より遅延することなく、画像データを送信することができる。 Through such steps, even when the transmission bandwidth is narrow, the image data can be transmitted without delay. In addition, by incorporating judgment based on the stop distance, for example, by setting the near road surface to high image quality and the far road surface to low image quality, image data can be transmitted without delay even when the transmission bandwidth is narrow. Can be sent.
なお、上述の例においては、（ｉ）まず、全画像領域に対し走行路面判定を行い、走行路面と判定された画像領域の画質を決定し、（ｉｉ）その後、再度全画像領域に対して走行路面判定を行い、走行路面と判定されなかった画像領域について、画質を決定している。 In the above-described example, (i) First, the traveling road surface is determined for the entire image area, the image quality of the image area determined to be the traveling road surface is determined, and (ii) Thereafter, the entire image area is again determined. The traveling road surface is determined, and the image quality is determined for the image area that is not determined to be the traveling road surface.
しかしながら、本発明はこれに限定されるものではなく、例えば、（ｉ）まず、全画像領域に対し走行路面判定を行い、走行路面と判定された画像領域の画質を決定し、（ｉｉ）その後、（ｉ）で走行路面と判定されなかった画像領域について、画質を決定してもよい。 However, the present invention is not limited to this. For example, (i) First, the traveling road surface is determined for the entire image area, the image quality of the image area determined as the traveling road surface is determined, and (ii) , (I), the image quality may be determined for an image area that is not determined to be a traveling road surface.
図５は、本発明の第１の実施形態に係る画像取得圧縮送信方法のさらに他の一例を示すフロー図の一部である。また、図６は、図５に示すフロー図の続きである。 FIG. 5 is a part of a flowchart showing still another example of the image acquisition compression transmission method according to the first embodiment of the present invention. FIG. 6 is a continuation of the flowchart shown in FIG.
図５及び図６に示すように、本例の画像取得圧縮送信方法は、下記のステップ５１〜ステップ５８及びステップ６１〜ステップ６９を有する。 As shown in FIGS. 5 and 6, the image acquisition compression transmission method of this example includes the following steps 51 to 58 and steps 61 to 69.
まず、ステップ５１においては、遠隔操縦される移動体に搭載された画像取得手段を用いて複数の画像領域を含む画像データを取得する。本例においては、均等に分割された画像領域の数はＮである。
そして、ステップ５２に進む。
このステップ５１は、ステップ（１−１）に相当する。
First, in step 51, image data including a plurality of image regions is acquired using an image acquisition means mounted on a remotely operated mobile body. In this example, the number of equally divided image areas is N.
Then, the process proceeds to step 52.
This step 51 corresponds to step (1-1).
なお、画像取得手段としては、特に限定されるものではなく、例えば、カメラやビデオカメラなどの静止画や動画、静止画動画を取得可能な従来公知のものを適宜利用することができる。 The image acquisition means is not particularly limited, and for example, a conventionally known device capable of acquiring a still image or a moving image or a still image moving image such as a camera or a video camera can be appropriately used.
また、ステップ５２においては、画像領域の判定回数としてｎ＝１を入力する。
そして、ステップ５３に進む。
In step 52, n = 1 is input as the number of determinations of the image area.
Then, the process proceeds to step 53.
さらに、ステップ５３においては、移動体に搭載された測距センサを用いて画像領域が走行路面に相当する第１画像領域であるかを判定する。
そして、走行路面判定において、当該画像領域が走行路面に相当する第１画像領域である場合（ＹＥＳの場合）には、ステップ５４に進む。
一方、走行路面判定において、当該画像領域が走行路面に相当しない場合（ＮＯの場合）には、ステップ５６に進む。
このステップ５３は、ステップ（１−１）の後に実行されるステップ（１−２）に相当する。
Further, in step 53, it is determined whether the image area is a first image area corresponding to the traveling road surface by using a distance measuring sensor mounted on the moving body.
In the traveling road surface determination, if the image area is the first image area corresponding to the traveling road surface (YES), the process proceeds to step 54.
On the other hand, in the traveling road surface determination, when the image area does not correspond to the traveling road surface (in the case of NO), the process proceeds to step 56.
This step 53 corresponds to step (1-2) executed after step (1-1).
ここで、例えば、走行路面は、移動体（例えば車両）の進行方向にあり、且つ、略水平面内であり、且つ、一定程度フラットな場所として定義することができる。そして、画像領域がこのような状態である場合に走行路面であると判定することができる。 Here, for example, the traveling road surface can be defined as a place that is in a traveling direction of a moving body (for example, a vehicle), is substantially in a horizontal plane, and is flat to some extent. And when an image area | region is such a state, it can determine with it being a driving | running | working road surface.
また、略水平面内であることは、例えば、測距センサを用いて、測距センサによる計測が不能でなく（反射が返ってくる）、かつ、画像取得手段の位置から想定される地平線の位置より下方の箇所として定義することができる。そして、画像領域がこのような状態である場合に、略水平面内であると判定することができる。 Further, being in a substantially horizontal plane means that, for example, using a distance measuring sensor, measurement by the distance measuring sensor is not impossible (reflection is returned), and the position of the horizon assumed from the position of the image acquisition means It can be defined as a lower location. When the image area is in such a state, it can be determined that the image area is substantially in the horizontal plane.
さらに、一定程度フラットな場所は、例えば、測距センサを用いて障害物（凹凸）のない箇所として定義することができる。そして、画像領域がこのような状態である場合に、一定程度フラットな場所であると判定することができる。 Furthermore, a place that is flat to a certain extent can be defined as a place without an obstacle (unevenness) using, for example, a distance measuring sensor. When the image area is in such a state, it can be determined that the place is flat to some extent.
なお、測距センサとしては、特に限定されるものではなく、例えば、レーザーレンジファインダ（ＬＲＦ）などの従来公知のものを適宜利用することができる。 In addition, it does not specifically limit as a distance measuring sensor, For example, conventionally well-known things, such as a laser range finder (LRF), can be utilized suitably.
また、ステップ５４においては、ステップ５３において、当該画像領域が走行路面に相当する第１画像領域であると判定されたとき、移動体から当該第１画像領域に相当する位置までの距離と移動体の停止距離との差が所定値以上であるかを判定する。
そして、当該判定ステップにおいて、所定値以上である場合（ＹＥＳの場合）には、ステップ５５に進む。
一方、当該判定ステップにおいて、所定値以上でない場合（ＮＯの場合）には、ステップ５８に進む。
In step 54, when it is determined in step 53 that the image area is the first image area corresponding to the traveling road surface, the distance from the moving object to the position corresponding to the first image area and the moving object are determined. It is determined whether the difference from the stop distance is greater than or equal to a predetermined value.
In the determination step, if the value is equal to or greater than the predetermined value (in the case of YES), the process proceeds to step 55.
On the other hand, in the determination step, if it is not equal to or greater than the predetermined value (NO), the process proceeds to step 58.
さらに、ステップ５５においては、当該第１画像領域を低画質として符号化する。
そして、ステップ５６に進む。
In step 55, the first image area is encoded with low image quality.
Then, the process proceeds to step 56.
また、ステップ５６においては、画像領域の判定回数としてｎ＝ｎ＋１を入力する。
そして、ステップ５７に進む。
In step 56, n = n + 1 is input as the number of determinations of the image area.
Then, the process proceeds to step 57.
さらに、ステップ５７においては、ｎ＝Ｎ＋１であるかを判定する。
そして、ｎ＝Ｎ＋１でない場合（ＮＯの場合）には、ステップ５３に戻り、ステップ５３〜ステップ５６、後述するステップ５８を適宜繰り返す。
一方、ｎ＝Ｎ＋１である場合（ＹＥＳの場合）には、ステップ６１に進む。
In step 57, it is determined whether n = N + 1.
If n = N + 1 is not satisfied (in the case of NO), the process returns to step 53, and steps 53 to 56 and step 58 described later are repeated as appropriate.
On the other hand, if n = N + 1 (YES), the process proceeds to step 61.
また、ステップ５８においては、当該第１画像領域を高画質又は中画質として符号化する。
そして、ステップ５６に進む。
In step 58, the first image area is encoded with high image quality or medium image quality.
Then, the process proceeds to step 56.
これらのステップ５４、ステップ５５及びステップ５８は、ステップ（１−２）において、当該画像領域が走行路面に相当する第１画像領域であると判定されたときに実行されるステップ（１−３）に相当する。 Step 54, step 55 and step 58 are executed when it is determined in step (1-2) that the image area is the first image area corresponding to the traveling road surface. It corresponds to.
例えば、このようなステップ５１〜ステップ５８を適宜経ることにより、移動体に搭載された測距センサを用いて画像領域が走行路面と判定された画像領域を高画質又は中画質、さらには低画質として符号化することができる。 For example, by appropriately performing steps 51 to 58 as described above, an image area in which the image area is determined to be a traveling road surface using a distance measuring sensor mounted on a moving body is set to a high image quality or a medium image quality, and further a low image quality. Can be encoded as
さらに、ステップ６１においては、画像領域の判定回数としてｎ＝１を入力する。
そして、ステップ６２に進む。
Furthermore, in step 61, n = 1 is input as the number of times of image region determination.
Then, the process proceeds to Step 62.
また、ステップ６２においては、移動体に搭載された測距センサを用いて画像領域が走行路面に相当しない第２画像領域であるかを判定する。
そして、走行路面判定において、当該画像領域が走行路面に相当しない第２画像領域である場合（ＮＯの場合）には、ステップ６３に進む。
一方、走行路面判定において、当該画像領域が走行路面に相当する場合（ＹＥＳの場合）には、ステップ６５に進む。
なお、走行路面判定は、例えば、上述した走行路面判定と同様の手法を採用すればよい。
このステップ６２は、ステップ（１−３）の後に実行されるステップ（１−４）に相当する。
In Step 62, it is determined whether the image area is a second image area that does not correspond to the traveling road surface by using a distance measuring sensor mounted on the moving body.
In the traveling road surface determination, when the image area is a second image area that does not correspond to the traveling road surface (in the case of NO), the process proceeds to step 63.
On the other hand, in the traveling road surface determination, when the image area corresponds to the traveling road surface (in the case of YES), the process proceeds to step 65.
In addition, what is necessary is just to employ | adopt the method similar to the traveling road surface determination mentioned above, for example for traveling road surface determination.
This step 62 corresponds to step (1-4) executed after step (1-3).
さらに、ステップ６３においては、ステップ６２において、当該画像領域が走行路面に相当しない第２画像領域であると判定されたときに、当該第２画像領域が第１画像領域と接しているかを判定する。
そして、当該第２画像領域が第１画像領域と接していない場合（ＮＯの場合）には、ステップ６４に進む。
一方、当該第２画像領域が第１画像領域と接している場合（ＹＥＳの場合）には、ステップ６８に進む。
このステップ６３は、ステップ（１−４）において、当該画像領域が走行路面に相当しない第２画像領域であると判定されたときに実行されるステップ（１−５）に相当する。
Further, in step 63, when it is determined in step 62 that the image area is a second image area that does not correspond to the traveling road surface, it is determined whether the second image area is in contact with the first image area. .
If the second image area is not in contact with the first image area (NO), the process proceeds to step 64.
On the other hand, when the second image area is in contact with the first image area (in the case of YES), the process proceeds to step 68.
This step 63 corresponds to step (1-5) executed when it is determined in step (1-4) that the image region is a second image region that does not correspond to the traveling road surface.
また、ステップ６４においては、ステップ６３において、当該第２画像領域が第１画像領域と接していないと判定されたときに、当該第２画像領域を低画質として符号化する。
そして、ステップ６５に進む。
このステップ６４は、ステップ（１−５）において、当該第２画像領域が第１画像領域と接していないと判定されたときに実行されるステップ（１−６）に相当する。
In step 64, when it is determined in step 63 that the second image area is not in contact with the first image area, the second image area is encoded with low image quality.
Then, the process proceeds to Step 65.
This step 64 corresponds to step (1-6) executed when it is determined in step (1-5) that the second image area is not in contact with the first image area.
さらに、ステップ６５においては、画像領域の判定回数としてｎ＝ｎ＋１を入力する。
そして、ステップ６６に進む。
Further, in step 65, n = n + 1 is input as the number of determinations of the image area.
Then, the process proceeds to Step 66.
また、ステップ６６においては、ｎ＝Ｎ＋１であるかを判定する。
そして、ｎ＝Ｎ＋１でない場合（ＮＯの場合）には、ステップ６２に戻り、ステップ６２、ステップ６３、ステップ６４、ステップ６５、後述するステップ６８、ステップ６９等を適宜繰り返す。
一方、ｎ＝Ｎ＋１である場合（ＹＥＳの場合）には、ステップ６７に進む。
In
If n = N + 1 is not satisfied (in the case of NO), the process returns to step 62, and step 62, step 63, step 64, step 65, step 68,
On the other hand, if n = N + 1 (YES), the process proceeds to step 67.
さらに、ステップ６７においては、画像データにおける全画像領域に対しステップ５１〜ステップ５８、ステップ６１〜ステップ６６、ステップ６８及びステップ６９を適宜実行した後に、符号化された画像領域を含む圧縮画像データを送信する。
このステップ６７は、画像データにおける全画像領域に対しステップ（１−２）〜ステップ（１−７）を実行した後に実行されるステップ（１−８）に相当する。
Further, in
This
また、ステップ６８においては、ステップ６３において、第２画像領域が第１画像領域と接していると判定されたときに、第１画像領域が高画質又は中画質として符号化されているかを判定する。
そして、判定ステップにおいて、第１画像領域が高画質又は中画質として符号化されている場合（ＹＥＳの場合）には、ステップ６９に進む。
一方、判定ステップにおいて、第１画像領域が高画質又は中画質として符号化されていない場合（ＮＯの場合）には、ステップ６４に進む。
In step 68, when it is determined in step 63 that the second image area is in contact with the first image area, it is determined whether the first image area is encoded as high image quality or medium image quality. .
In the determination step, when the first image area is encoded as high image quality or medium image quality (in the case of YES), the process proceeds to step 69.
On the other hand, in the determination step, if the first image area is not encoded as high image quality or medium image quality (NO), the process proceeds to step 64.
さらに、ステップ６９においては、第２画像領域を高画質又は中画質として符号化する。
そして、ステップ６５に進む。
これらのステップ６８、ステップ６９及びステップ６４は、ステップ（１−５）において、第２画像領域が第１画像領域と接していると判定されたときに実行されるステップ（１−７）に相当する。
Further, in
Then, the process proceeds to Step 65.
These step 68,
例えば、このようなステップ６１〜ステップ６６、ステップ６８及びステップ６９を適宜経ることにより、走行路面と判定されなかった画像領域につき、走行路面と判定された画像領域と接している画像領域を高画質又は中画質として及び走行路面と判定された画像領域と接していない画像領域を低画質として符号化することができる。 For example, by appropriately performing steps 61 to 66, step 68, and step 69, an image area that is in contact with the image area determined to be the traveling road surface is image-quality with respect to the image area that is not determined to be the traveling road surface. Alternatively, an image area that is not in contact with an image area that is determined to have a medium image quality and a road surface can be encoded as a low image quality.
そして、このようなステップを経ることにより、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信することができる。また、停止距離による判定を組み込むことにより、例えば、近い走行路面を高画質、遠い走行路面を低画質とすることによって、伝送帯域幅が狭い場合であっても、より遅延することなく、画像データを送信することができる。さらに、ステップ６８においても、ステップ５４と同様の判断をしてもよい。 Through such steps, even when the transmission bandwidth is narrow, the image data can be transmitted without delay. In addition, by incorporating judgment based on the stop distance, for example, by setting the near road surface to high image quality and the far road surface to low image quality, image data can be transmitted without delay even when the transmission bandwidth is narrow. Can be sent. Further, in step 68, the same determination as in step 54 may be made.
なお、上述の例においては、（ｉ）まず、全画像領域に対し走行路面判定を行い、走行路面と判定された画像領域の画質を決定し、（ｉｉ）その後、再度全画像領域に対して走行路面判定を行い、走行路面と判定されなかった画像領域について、画質を決定している。 In the above-described example, (i) First, the traveling road surface is determined for the entire image area, the image quality of the image area determined to be the traveling road surface is determined, and (ii) Thereafter, the entire image area is again determined. The traveling road surface is determined, and the image quality is determined for the image area that is not determined to be the traveling road surface.
しかしながら、本発明はこれに限定されるものではなく、例えば、（ｉ）まず、全画像領域に対し走行路面判定を行い、走行路面と判定された画像領域の画質を決定し、（ｉｉ）その後、（ｉ）で走行路面と判定されなかった画像領域について、画質を決定してもよい。 However, the present invention is not limited to this. For example, (i) First, the traveling road surface is determined for the entire image area, the image quality of the image area determined as the traveling road surface is determined, and (ii) , (I), the image quality may be determined for an image area that is not determined to be a traveling road surface.
（第２の実施形態）
次に、本発明の第２の実施形態に係る移動体の遠隔操縦方法について詳細に説明する。 本実施形態の移動体の遠隔操縦方法は、上述したステップ（１−１）〜（１〜８）を含む画像取得圧縮送信方法からなるステップ（１）と、画像取得圧縮送信方法における圧縮画像データに基づいて、移動体の移動を制御するための制御情報データを入力し、入力された制御情報データを送信するステップ（２）とを有する。
(Second Embodiment)
Next, the remote control method of the moving body according to the second embodiment of the present invention will be described in detail. The remote control method of the moving body of this embodiment includes step (1) including the image acquisition compression transmission method including steps (1-1) to (1-8) described above, and compressed image data in the image acquisition compression transmission method. And (2) a step of inputting control information data for controlling the movement of the mobile body and transmitting the input control information data.
そして、このようなステップを経ることにより、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信することができ、移動体を的確に遠隔操縦することができる。 Through such steps, even when the transmission bandwidth is narrow, image data can be transmitted without delay, and the mobile body can be accurately remotely controlled.
（第３の実施形態）
次に、本発明の第３の実施形態に係る移動体の遠隔操縦システム（及び移動体の遠隔操縦システムの一部を構成する画像取得圧縮送信装置）の一例について図面を参照しながら詳細に説明する。図７は、本発明の第３の実施形態に係る移動体の遠隔操縦システムの一例を示す概略構成図である。
(Third embodiment)
Next, an example of a mobile remote control system (and an image acquisition / compression transmission apparatus constituting a part of the mobile remote control system) according to the third embodiment of the present invention will be described in detail with reference to the drawings. To do. FIG. 7 is a schematic configuration diagram illustrating an example of a remote control system for a moving body according to the third embodiment of the present invention.
なお、図７中、符号Ｃは、走行路面判定手段２０３、符号化手段２０４、速度計２０６、距離判定手段２０７を備えた制御装置を示す。
In FIG. 7, a symbol C indicates a control device including a traveling road
また、図７中の表示手段４２において、１４×２０の正方形の画像領域を含む画像データが示されている。市松模様の画像領域Ａは走行路面を示し、白地の画像領域Ｂは走行路面に接している部分を示し、小波模様の画像領域Ｄは走行路面に接していない部分を示し、右下がり対角線（破線）模様の画像領域Ｅは空を示し、格子模様の画像領域Ｆは走行路面に接している障害物を示し、ざらざら模様の画像領域Ｇは移動体から遠い障害物を示す。なお、画像領域Ａ及び画像領域Ｂは高画質又は中画質であり、画像領域Ｄ及び画像領域Ｅは低画質であり、画像領域Ｆは高画質又は中画質であり、画像領域Ｇは低画質である。 Further, in the display means 42 in FIG. 7, image data including a 14 × 20 square image region is shown. A checkered image area A indicates a road surface, a white image area B indicates a portion in contact with the road surface, a small-wave image area D indicates a portion not in contact with the road surface, and a diagonal line (a broken line) ) The pattern image area E indicates the sky, the lattice pattern image area F indicates an obstacle in contact with the traveling road surface, and the rough image area G indicates an obstacle far from the moving body. Note that image area A and image area B have high image quality or medium image quality, image area D and image area E have low image quality, image area F has high image quality or medium image quality, and image area G has low image quality. is there.
さらに、図７中、符号Ｗは、外部通信制御装置４と移動体通信制御装置２との間で無線通信が行われている様子を示す。
Further, in FIG. 7, a symbol W indicates that wireless communication is performed between the external
図７に示すように、本例の移動体の遠隔操縦システム１は、所定の外部通信制御装置４と、外部通信制御装置４からの遠隔操縦によって移動可能な移動体Ｍ（例えば、無人移動体である車両）に搭載される所定の移動体通信制御装置２と、から構成されるものである。
As shown in FIG. 7, the
そして、移動体通信制御装置２は、詳しくは後述する画像取得圧縮送信装置２０と、外部通信制御装置４から送信された移動体Ｍの移動を制御するための制御情報データを受信する受信手段２２と、制御情報データを移動体Ｍの移動を制御するために出力する出力手段２４とを具備するものである。
The mobile
なお、受信手段２２としては、特に限定されるものではなく、従来公知のものを適宜利用することができる。また、出力手段２４としては、例えば、車両の出力可変装置（エンジン、モータ）や方向可変装置（ステアリング）に制御情報データを出力するものを適宜利用することができるが、これに限定されるものではない。 The receiving means 22 is not particularly limited, and conventionally known ones can be used as appropriate. Further, as the output means 24, for example, a device that outputs control information data to a vehicle output variable device (engine, motor) or a direction variable device (steering) can be used as appropriate, but is not limited thereto. is not.
また、外部通信制御装置４は、移動体通信制御装置２から送信された圧縮画像データを受信する受信手段４０と、圧縮画像データを表示する表示手段４２と、圧縮画像データに基づいて、制御情報データを入力する入力手段４４と、制御情報データを送信する送信手段４６とを具備するものである。
The external
なお、受信手段４０としては、特に限定されるものではなく、従来公知のものを適宜利用することができる。また、表示手段４２としては、特に限定されるものではなく、タッチパネル式の画面など従来公知のものを適宜利用することができる。さらに、入力手段４４としては、図示するように通常のハンドルが典型例であるが、これに限定されるものではない。すなわち、シフトレバー、アクセル、ブレーキ、さらにはこれらの代替品など従来公知のものを適宜利用することができる。また、表示手段４２をタッチパネル式とすることにより、入力手段４４としても利用できる。また、送信手段４６としては、特に限定されるものではなく、従来公知のものを適宜利用することができる。 The receiving means 40 is not particularly limited, and conventionally known ones can be used as appropriate. Further, the display means 42 is not particularly limited, and a conventionally known one such as a touch panel screen can be used as appropriate. Furthermore, as the input means 44, a normal handle is a typical example as shown in the figure, but is not limited thereto. That is, conventionally known ones such as shift levers, accelerators, brakes, and alternatives thereof can be used as appropriate. Further, the display means 42 can be used as the input means 44 by making it a touch panel type. Further, the transmission means 46 is not particularly limited, and a conventionally known one can be used as appropriate.
さらに、画像取得圧縮送信装置２０は、複数の画像領域を含む画像データを取得する画像取得手段２０１と、測距センサ２０２と、測距センサ２０２からのデータに基づいて、画像データにおける走行路面を判定する走行路面判定手段２０３と、走行路面判定手段２０３からのデータに基づいて、低画質、中画質、高画質等に符号化する符号化手段２０４と、符号化に基づいて圧縮された圧縮画像データを送信する送信手段２０５とを備えたものである。
Further, the image acquisition /
なお、走行路面判定手段２０３としては、特に限定されるものではなく、例えば、測距センサから得られるデータに基づいて走行路面を判定する装置を適宜利用することができる。また、符号化手段２０４としては、従来公知の符号化装置を適宜利用することができる。さらに、送信手段２０５としては、特に限定されるものではなく、従来公知のものを適宜利用することができる。
The traveling road surface determination means 203 is not particularly limited, and for example, a device that determines the traveling road surface based on data obtained from a distance measuring sensor can be used as appropriate. As the
このような構成とすることにより、伝送帯域幅が狭い場合であっても、遅延することなく、画像データを送信し得る画像取得圧縮送信装置を適用した移動体の遠隔操縦システムとなる。その結果、移動体を的確に遠隔操縦することが可能となる。 By adopting such a configuration, even if the transmission bandwidth is narrow, a remote control system for a moving body to which an image acquisition compression transmission device that can transmit image data without delay is applied. As a result, the mobile body can be accurately remotely controlled.
また、本実施形態においては、画像取得圧縮送信装置２０が、速度計２０６と、移動体Ｍの停止距離データを格納し、測距センサ２０２及び速度計２０６からのデータに基づいて、画像領域の移動体Ｍとの離間距離を判定する距離判定手段２０７と、距離判定手段２０７からのデータに基づいて、符号化手段２０４の画質設定を調整することが好ましい。
Further, in the present embodiment, the image acquisition /
このような構成とすることにより、画像データのうち、移動体を遠隔操縦する上で必要度の低い部分をより低画質化することができる。これにより、伝送帯域幅が狭い場合であっても、より遅延することなく、画像データを送信し得る画像取得圧縮送信装置を適用した移動体の遠隔操縦システムとなる。その結果、移動体をより的確に遠隔操縦することが可能となる。 By adopting such a configuration, it is possible to lower the image quality of a portion of the image data that is less necessary for remote control of the moving body. As a result, even when the transmission bandwidth is narrow, a remote control system for a moving body to which an image acquisition compression transmission device that can transmit image data without delay is applied. As a result, the mobile body can be remotely controlled more accurately.
以上、本発明を若干の実施形態によって説明したが、本発明はこれらに限定されるものではなく、本発明の要旨の範囲内で種々の変形が可能である。 As mentioned above, although this invention was demonstrated by some embodiment, this invention is not limited to these, A various deformation | transformation is possible within the range of the summary of this invention.
例えば、上記実施形態においては、移動体として自動車を適用したものを例示したが、これに限定されるものではなく、例えば、移動体として飛行体を適用することも可能である。また、このような移動体については、無人移動体であっても有人移動体であってもよい。 For example, in the above-described embodiment, an example in which an automobile is applied as a moving body is illustrated. However, the present invention is not limited to this. For example, a flying object can be applied as a moving body. Moreover, about such a mobile body, an unmanned mobile body or a manned mobile body may be sufficient.
また、例えば、上記実施形態においては、画質に関して、高・低の２段階、高・中・低の３段階に設定する場合を例に挙げて説明したが、これらに限定されるものではなく、移動体を遠隔操縦する上での必要度に応じて、低画質と高画質の２段階、あるいは、低画質・中画質・高画質の３段階、あるいはそれ以上に設定することができる。 Further, for example, in the above-described embodiment, the case where the image quality is set to two levels of high / low and three levels of high / medium / low has been described as an example, but the present invention is not limited thereto. Depending on the necessity for remote control of the moving body, it is possible to set two levels of low image quality and high image quality, or three levels of low image quality / medium image quality / high image quality, or more.
１ 移動体の遠隔操縦システム
２ 移動体通信制御装置
２０ 画像取得圧縮送信装置
２０１ 画像取得手段
２０２ 測距センサ
２０３ 走行路面判定手段
２０４ 符号化手段
２０５ 送信手段
２０６ 速度計
２０７ 距離判定手段
２２ 受信手段
２４ 出力手段
４ 外部通信制御装置
４０ 受信手段
４２ 表示手段
４４ 入力手段
４６ 送信手段
Ｍ 移動体
DESCRIPTION OF
Claims (8)
（１−１）：遠隔操縦される移動体に搭載された画像取得手段を用いて複数の画像領域を含む画像データを取得するステップと、
（１−２）：前記ステップ（１−１）の後に実行される、前記移動体に搭載された測距センサを用いて前記画像領域が走行路面に相当する第１画像領域であるかを判定するステップと、
（１−３）：前記ステップ（１−２）において、前記画像領域が前記走行路面に相当する前記第１画像領域であると判定されたときに実行される、前記第１画像領域を高画質又は中画質として符号化するステップと、
（１−４）：前記ステップ（１−３）の後に実行される、前記移動体に搭載された前記測距センサを用いて前記画像領域が前記走行路面に相当しない第２画像領域であるかを判定するステップと、
（１−５）：前記ステップ（１−４）において、前記画像領域が前記走行路面に相当しない前記第２画像領域であると判定されたときに実行される、前記第２画像領域が前記第１画像領域と接しているかを判定するステップと、
（１−６）：前記ステップ（１−５）において、前記第２画像領域が前記第１画像領域と接していないと判定されたときに実行される、前記第２画像領域を低画質として符号化するステップと、
（１−７）：前記ステップ（１−５）において、前記第２画像領域が前記第１画像領域と接していると判定されたときに実行される、前記第２画像領域を高画質又は中画質として符号化するステップと、
（１−８）：前記画像データにおける全画像領域に対し前記ステップ（１−２）〜前記ステップ（１−７）を実行した後に実行される、前記符号化された画像領域を含む圧縮画像データを送信するステップと、を有する
ことを特徴とする画像取得圧縮送信方法。 An image acquisition compression transmission method comprising the following steps (1-1) to (1-8)
(1-1): acquiring image data including a plurality of image regions using an image acquisition means mounted on a remotely operated mobile body;
(1-2): Determine whether the image area is a first image area corresponding to a traveling road surface by using a distance measuring sensor mounted on the moving body, which is executed after the step (1-1). And steps to
(1-3): In the step (1-2), when the image area is determined to be the first image area corresponding to the traveling road surface, the first image area is processed with high image quality. Or encoding as medium image quality;
(1-4): Is the image area a second image area that does not correspond to the traveling road surface by using the distance measuring sensor mounted on the moving body, which is executed after the step (1-3)? Determining
(1-5): In the step (1-4), the second image area is executed when it is determined that the image area is the second image area not corresponding to the traveling road surface. Determining whether it is in contact with one image area;
(1-6): When the step (1-5) determines that the second image region is not in contact with the first image region, the second image region is encoded as low image quality. The steps to
(1-7): When the step (1-5) determines that the second image area is in contact with the first image area, the second image area is displayed with high image quality or medium Encoding as image quality;
(1-8): Compressed image data including the encoded image region, which is executed after executing the steps (1-2) to (1-7) for all image regions in the image data. And a step of transmitting the image acquisition compression transmission method.
前記判定ステップにおいて、前記所定値以上であると判定されたときに実行される、前記第１画像領域を低画質として符号化するステップと、
前記判定ステップにおいて、前記所定値以上でないと判定されたときに実行される、前記第１画像領域を高画質又は中画質として符号化するステップと、を含む
ことを特徴とする請求項２に記載の画像取得圧縮送信方法。 The step (1-3) is executed when the step (1-2) determines that the image area is the first image area corresponding to the traveling road surface. Determining whether the difference between the distance to the first image area and the stop distance of the moving body is a predetermined value or more;
Encoding the first image area as low image quality, which is executed when it is determined in the determination step that the value is equal to or greater than the predetermined value;
3. The step of encoding the first image region as a high image quality or a medium image quality, which is executed when it is determined in the determination step that the value is not equal to or greater than the predetermined value. Image acquisition compression transmission method.
前記判定ステップにおいて、前記第１画像領域が高画質又は中画質として符号化されていないと判定されたときに実行される、前記第２画像領域を低画質として符号化するステップと、
前記判定ステップにおいて、前記第１画像領域が高画質又は中画質として符号化されていると判定されたときに実行される、前記第２画像領域を高画質又は中画質として符号化するステップと、を含む
ことを特徴とする請求項３に記載の画像取得圧縮送信方法。 The step (1-7) is executed when it is determined in the step (1-5) that the second image region is in contact with the first image region. Determining whether it is encoded as image quality or medium image quality;
Encoding the second image area as low image quality, which is executed when it is determined in the determining step that the first image area is not encoded as high image quality or medium image quality;
Encoding the second image area as high image quality or medium image quality, which is executed when it is determined in the determining step that the first image area is encoded as high image quality or medium image quality; The image acquisition compression transmission method according to claim 3, further comprising:
（１）：遠隔操縦される前記移動体において実行される、請求項２〜４のいずれか１つの項に記載の画像取得圧縮送信方法からなるステップと、
（２）：前記画像取得圧縮送信方法における圧縮画像データに基づいて、前記移動体の移動を制御するための制御情報データを入力し、前記入力された制御情報データを送信するステップと、を有する
ことを特徴とする移動体の遠隔操縦方法。 A method for remotely maneuvering a moving body, comprising the following steps (1) and (2)
(1): a step comprising the image acquisition compression transmission method according to any one of claims 2 to 4, which is executed in the remotely operated mobile body;
(2): input control information data for controlling movement of the moving body based on compressed image data in the image acquisition compression transmission method, and transmitting the input control information data A method for remotely maneuvering a moving body.
複数の画像領域を含む画像データを取得する画像取得手段と、
測距センサと、
前記測距センサからのデータに基づいて、前記画像領域が走行路面に相当する第１画像領域であるか又は前記画像領域が走行路面に相当しない第２画像領域であるかを判定する走行路面判定手段と、
前記走行路面判定手段からのデータに基づいて、前記第１画像領域を高画質に若しくは中画質に又は低画質に符号化し、前記第２画像領域を高画質に若しくは中画質に又は低画質に符号化する符号化手段と、
前記符号化に基づいて圧縮された圧縮画像データを送信する送信手段と、を備えた
ことを特徴とする画像取得圧縮送信装置。 An image acquisition compression transmission device mounted on a movable body movable by remote control,
Image acquisition means for acquiring image data including a plurality of image regions;
Ranging sensor,
Based on data from the distance measuring sensor, a road surface determination for determining whether the image area is a first image area corresponding to the road surface or whether the image area is a second image area not corresponding to the road surface. Means,
Based on the data from the traveling road surface determination means, the first image area is encoded with high image quality, medium image quality, or low image quality, and the second image area is encoded with high image quality, medium image quality, or low image quality. Encoding means for
An image acquisition compression transmission apparatus comprising: transmission means for transmitting compressed image data compressed based on the encoding.
前記移動体の停止距離データを格納し、前記測距センサ及び前記速度計からのデータに基づいて、前記移動体から前記第１画像領域までの距離と前記移動体の停止距離との差が所定値以上であるかを判定する距離判定手段と、を備えた
ことを特徴とする請求項６に記載の画像取得圧縮送信装置。 Speedometer,
The stop distance data of the moving body is stored, and the difference between the distance from the moving body to the first image area and the stop distance of the moving body is predetermined based on the data from the ranging sensor and the speedometer. The image acquisition compression transmission apparatus according to claim 6, further comprising a distance determination unit that determines whether the value is greater than or equal to the value.
前記外部通信制御装置からの遠隔操縦によって移動可能な移動体に搭載される移動体通信制御装置と、から構成され、
前記移動体通信制御装置が、請求項６又は７に記載の画像取得圧縮送信装置と、
前記外部通信制御装置から送信された前記移動体の移動を制御するための制御情報データを受信する受信手段と、
前記制御情報データを前記移動体の移動を制御するために出力する出力手段と、を備え、
前記外部通信制御装置が、前記移動体通信制御装置から送信された圧縮画像データを受信する受信手段と、
前記圧縮画像データを表示する表示手段と、
前記圧縮画像データに基づいて、前記制御情報データを入力する入力手段と、
前記制御情報データを送信する送信手段と、を備えた
ことを特徴とする移動体の遠隔操縦システム。 An external communication control device;
A mobile communication control device mounted on a mobile body movable by remote control from the external communication control device,
The mobile communication control device, the image acquisition compression transmission device according to claim 6 or 7,
Receiving means for receiving control information data for controlling movement of the mobile body transmitted from the external communication control device;
Output means for outputting the control information data to control the movement of the moving body,
The external communication control device receives receiving compressed image data transmitted from the mobile communication control device;
Display means for displaying the compressed image data;
Input means for inputting the control information data based on the compressed image data;
And a transmitter for transmitting the control information data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016074859A JP2017188739A (en) | 2016-04-04 | 2016-04-04 | Image acquisition, compression, and transmission method, remote control method for mobile, image acquisition, compression, and transmission device, and remote control system for mobile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016074859A JP2017188739A (en) | 2016-04-04 | 2016-04-04 | Image acquisition, compression, and transmission method, remote control method for mobile, image acquisition, compression, and transmission device, and remote control system for mobile |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017188739A true JP2017188739A (en) | 2017-10-12 |
Family
ID=60046562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016074859A Pending JP2017188739A (en) | 2016-04-04 | 2016-04-04 | Image acquisition, compression, and transmission method, remote control method for mobile, image acquisition, compression, and transmission device, and remote control system for mobile |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017188739A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019140472A (en) * | 2018-02-08 | 2019-08-22 | 株式会社Ｓｏｋｅｎ | Image transmission device mounted on remotely-operated vehicle |
| WO2020192473A1 (en) * | 2019-03-27 | 2020-10-01 | 广东欧珀移动通信有限公司 | Unmanned aerial vehicle control method and related apparatus |
| JP2021010101A (en) * | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | Remote work support system |
| CN112351241A (en) * | 2019-08-09 | 2021-02-09 | 丰田自动车株式会社 | Vehicle operation system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011039732A (en) * | 2009-08-10 | 2011-02-24 | Ihi Corp | Image display device for vehicle control, and method of the same |
| JP2013229806A (en) * | 2012-04-26 | 2013-11-07 | Toshiba Corp | Remote inspection device and monitoring device |
| JP2015002429A (en) * | 2013-06-14 | 2015-01-05 | 株式会社東芝 | Encoding device and monitoring system |
| JP2015508954A (en) * | 2012-01-26 | 2015-03-23 | アップル インコーポレイテッド | Encoding based on object detection information |
-
2016
- 2016-04-04 JP JP2016074859A patent/JP2017188739A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011039732A (en) * | 2009-08-10 | 2011-02-24 | Ihi Corp | Image display device for vehicle control, and method of the same |
| JP2015508954A (en) * | 2012-01-26 | 2015-03-23 | アップル インコーポレイテッド | Encoding based on object detection information |
| JP2013229806A (en) * | 2012-04-26 | 2013-11-07 | Toshiba Corp | Remote inspection device and monitoring device |
| JP2015002429A (en) * | 2013-06-14 | 2015-01-05 | 株式会社東芝 | Encoding device and monitoring system |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019140472A (en) * | 2018-02-08 | 2019-08-22 | 株式会社Ｓｏｋｅｎ | Image transmission device mounted on remotely-operated vehicle |
| WO2020192473A1 (en) * | 2019-03-27 | 2020-10-01 | 广东欧珀移动通信有限公司 | Unmanned aerial vehicle control method and related apparatus |
| JP2021010101A (en) * | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | Remote work support system |
| JP7372061B2 (en) | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | Remote work support system |
| CN112351241A (en) * | 2019-08-09 | 2021-02-09 | 丰田自动车株式会社 | Vehicle operation system |
| JP2021028789A (en) * | 2019-08-09 | 2021-02-25 | トヨタ自動車株式会社 | Operation system for vehicle |
| JP7151662B2 (en) | 2019-08-09 | 2022-10-12 | トヨタ自動車株式会社 | Vehicle control system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11468581B2 (en) | Distance measurement method, intelligent control method, electronic device, and storage medium | |
| US20190361436A1 (en) | Remote monitoring system and remote monitoring device | |
| US20210365696A1 (en) | Vehicle Intelligent Driving Control Method and Device and Storage Medium | |
| JP2017188739A (en) | Image acquisition, compression, and transmission method, remote control method for mobile, image acquisition, compression, and transmission device, and remote control system for mobile | |
| KR101376210B1 (en) | Around View Monitor System and Monitoring Method | |
| US9766082B2 (en) | Server device, congestion prediction information display system, congestion prediction information distribution method, congestion prediction information display method, and program | |
| CN106991703A (en) | Vehicle monitoring camera-shooting area obtaining method and system | |
| US20150138352A1 (en) | Image processing device, system, image processing method | |
| WO2017162812A1 (en) | Adaptive display for low visibility | |
| US11226616B2 (en) | Information processing apparatus and computer readable storage medium for remotely driving vehicles | |
| US11703854B2 (en) | Electronic control unit and vehicle control method thereof | |
| JP2016072686A (en) | Image transmission/reception system and method for performing data reduction processing based on region request | |
| WO2016013349A1 (en) | Image display system, image display method, and display device | |
| JP2020042726A (en) | Ogm compression circuit, ogm compression extension system, and moving body system | |
| WO2019049548A1 (en) | Image processing device | |
| US11537144B2 (en) | Display control device and display control method | |
| CN114693536A (en) | Image processing method, device and storage medium | |
| US20220094435A1 (en) | Visible light communication apparatus, visible light communication method, and visible light communication program | |
| US10328856B2 (en) | Image processing device, image processing method, and on-vehicle apparatus | |
| KR101788103B1 (en) | Terminal, server, and streaming system for ENC chart and radar mapping image | |
| US9981387B2 (en) | Robot control system | |
| KR20210021177A (en) | Vehicle and control method thereof | |
| WO2023040137A1 (en) | Data processing | |
| JP7212294B2 (en) | Wireless transmission system, wireless transmission device, wireless transmission method, and program | |
| US10469726B1 (en) | Reversing display system with wireless switching multi-view images and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200212 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200709 |