JP2023122360A - image generation system - Google Patents
image generation system Download PDFInfo
- Publication number
- JP2023122360A JP2023122360A JP2022026027A JP2022026027A JP2023122360A JP 2023122360 A JP2023122360 A JP 2023122360A JP 2022026027 A JP2022026027 A JP 2022026027A JP 2022026027 A JP2022026027 A JP 2022026027A JP 2023122360 A JP2023122360 A JP 2023122360A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- latest
- camera
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 abstract description 14
- 230000000903 blocking effect Effects 0.000 abstract 1
- 101150013335 img1 gene Proteins 0.000 description 22
- 101100207516 Homo sapiens TRIM34 gene Proteins 0.000 description 21
- 102100029502 Tripartite motif-containing protein 34 Human genes 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 19
- 101150071665 img2 gene Proteins 0.000 description 16
- 230000000295 complement effect Effects 0.000 description 14
- 238000009412 basement excavation Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 239000010720 hydraulic oil Substances 0.000 description 6
- 230000001131 transforming effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 108010066278 cabin-4 Proteins 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 239000005341 toughened glass Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Abstract
Description
本開示は、作業機械を遠隔操作するための遠隔操作側の表示装置に表示する画像を生成する画像生成システムに関する。 The present disclosure relates to an image generation system that generates an image to be displayed on a remote-control-side display device for remotely controlling a work machine.
特開２０１８－２０７２４４号公報（特許文献１）には、旋回軸を中心に旋回する旋回体および旋回体に支持される作業機を有する作業機械に搭載され、画像を撮影する撮像装置と、作業機械の外部に存在する表示装置と、作業機械の外部に存在し、作業機械と通信可能な制御装置と、を備え、制御装置は、画像を撮像装置から取得する画像データ取得部と、画像データ取得部で取得された画像を表示装置に表示させる表示制御部と、を有する、遠隔操作システムが開示されている。 Japanese Patent Laying-Open No. 2018-207244 (Patent Document 1) describes an imaging device that is mounted on a work machine having a revolving body that revolves around a revolving shaft and a work machine that is supported by the revolving body, and that captures an image; a display device that exists outside the machine; and a control device that exists outside the work machine and can communicate with the work machine. and a display control unit that causes a display device to display an image acquired by the acquisition unit.
作業機械の車体に撮像装置を搭載する場合、車体を構成する構造物が撮像装置の画角内に存在することがある。この構造物が撮像画像中に写り込み、撮像対象の視認性を低下させることがある。 When an imaging device is mounted on the vehicle body of a work machine, a structure that constitutes the vehicle body may be present within the angle of view of the imaging device. This structure may appear in the captured image and reduce the visibility of the captured object.
本開示では、撮像対象の視認性を向上できる画像生成システムが提案される。 This disclosure proposes an image generation system capable of improving the visibility of an imaging target.
本開示に従うと、作業機械を遠隔操作するための遠隔操作側の表示装置に表示する画像を生成する画像生成システムが提案される。作業機械は、作業現場に存在する撮像対象を撮像する撮像装置を有している。画像生成システムは、表示装置と、撮像装置によって撮像された撮像画像を記録する画像記録部と、撮像画像を処理する画像処理コンピュータとを備えている。画像処理コンピュータは、最新の撮像画像である最新画像を取得する。画像処理コンピュータは、画像記録部に記録されている以前の撮像画像を、撮像装置が最新画像を撮像したときの撮像装置の向きに合わせて変換した、変換画像を生成する。画像処理コンピュータは、最新画像内で撮像対象が遮蔽物により遮蔽されている死角領域を変換画像で補完した補完画像を、表示装置に表示させる。 According to the present disclosure, an image generation system is proposed that generates an image to be displayed on a remote-control-side display device for remotely controlling a work machine. A work machine has an imaging device that captures an image of an imaging target existing at a work site. The image generation system includes a display device, an image recording unit that records a captured image captured by an imaging device, and an image processing computer that processes the captured image. The image processing computer acquires the latest image, which is the latest captured image. The image processing computer generates a transformed image by transforming the previously captured image recorded in the image recording unit according to the orientation of the imaging device when the imaging device captured the latest image. The image processing computer causes the display device to display a complemented image obtained by complementing the blind spot area where the object to be imaged is shielded by a shield in the latest image with the converted image.
本開示に係る画像生成システムによれば、撮像対象の視認性を向上することができる。 According to the image generation system according to the present disclosure, it is possible to improve the visibility of the imaging target.
以下、実施形態について図に基づいて説明する。以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Embodiments will be described below with reference to the drawings. In the following description, the same reference numerals are given to the same parts. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
［第１実施形態］
図１は、実施形態に基づく遠隔操作システムによって遠隔操作される作業機械の一例としての、油圧ショベル１００の外観図である。図１に示されるように、作業機械として、本例においては、主に油圧ショベル１００を例に挙げて説明する。
[First embodiment]
FIG. 1 is an external view of a
油圧ショベル１００は、作業現場に存在し、作業現場で作業する。油圧ショベル１００は、土砂または鉱石などの対象物の掘削作業を実行し、掘削された対象物をダンプトラックなどの運搬機械に積み込む積込作業を実行する。実施形態の油圧ショベル１００は、遠隔操作可能な仕様の作業機械である。油圧ショベル１００の操縦は、遠隔操作システムを用いた遠隔地からの無線信号により行う。油圧ショベル１００は、搭乗したオペレータによる操縦機能を搭載していない。
The
油圧ショベル１００は、本体１を備えている。本体１は、旋回体３と、走行体５とを有している。
A
走行体５は、一対の履帯５Ｃｒと、走行モータ５Ｍとを有している。油圧ショベル１００は、履帯５Ｃｒの回転により走行可能である。走行モータ５Ｍは、走行体５の駆動源として設けられている。走行モータ５Ｍは、油圧により作動する油圧モータである。なお、走行体５が車輪（タイヤ）を有していてもよい。
The
旋回体３は、走行体５の上に配置され、かつ走行体５により支持されている。旋回体３は、旋回軸ＲＸを中心として走行体５に対して旋回可能に、走行体５に搭載されている。旋回体３は、車室４を有している。車室４の前面は、透明な窓板４Ｗで覆われている。窓板４Ｗは、強化ガラスなどで構成されている。車室４内には、空間４Ｓが形成されている。
The revolving body 3 is arranged on the running
車室４は、屋根部分を支持する複数のピラーを有している。複数のピラーは、左フロントピラー４ＦＰ１と、右フロントピラー４ＦＰ２とを有している。左フロントピラー４ＦＰ１は、車室４の左前の角部に配置されている。右フロントピラー４ＦＰ２は、車室４の右前の角部に配置されている。窓板４Ｗは、左フロントピラー４ＦＰ１と右フロントピラー４ＦＰ２との間に配置されている。窓板４Ｗの左縁が左フロントピラー４ＦＰ１に取り付けられ、窓板４Ｗの右縁が右フロントピラー４ＦＰ２に取り付けられている。
The cabin 4 has a plurality of pillars supporting the roof portion. The multiple pillars include a left front pillar 4FP1 and a right front pillar 4FP2. The left front pillar 4FP1 is arranged at the left front corner of the vehicle interior 4. As shown in FIG. The right front pillar 4FP2 is arranged at the right front corner of the vehicle interior 4. As shown in FIG. The
旋回体３は、エンジンが収容されるエンジンルーム９と、旋回体３の後部に設けられるカウンタウェイトとを有している。エンジンルーム９には、後述するエンジン３１および油圧ポンプ３２などが配置されている。
The revolving body 3 has an
旋回体３において、エンジンルーム９の前方に手すり１９が設けられている。手すり１９には、アンテナ２１が設けられている。アンテナ２１は、たとえばＧＮＳＳ（Global Navigation Satellite Systems：全地球航法衛星システム）用のアンテナである。アンテナ２１は、車幅方向に互いに離れるように旋回体３に設けられた第１アンテナ２１Ａおよび第２アンテナ２１Ｂを有している。
A
油圧ショベル１００は、油圧により作動する作業機２を備えている。作業機２は、旋回体３に支持されている。作業機２は、ブーム６と、アーム７と、バケット８とを有している。ブーム６の基端部は、ブームフートピン１３を介して旋回体３に回転可能に連結されている。アーム７の基端部は、ブーム先端ピン１４を介してブーム６の先端部に回転可能に連結されている。バケット８は、アーム先端ピン１５を介してアーム７の先端部に回転可能に連結されている。アーム７およびバケット８のそれぞれは、ブーム６の先端側で移動可能な可動部材である。
The
バケット８は、複数の刃を有している。バケット８は、刃を有していなくてもよい。バケット８の先端部は、ストレート形状の鋼板で形成されていてもよい。バケット８は、作業機２の先端に取付可能なアタッチメントの一例である。作業の種類に応じて、アタッチメントが、ブレーカ、グラップル、またはリフティングマグネットなどに付け替えられる。
なお本実施形態においては、作業機２を基準として、油圧ショベル１００の各部の位置関係について説明する。
In this embodiment, the positional relationship of each part of the
作業機２のブーム６は、旋回体３に対して、ブームフートピン１３を中心に回転する。旋回体３に対して回転するブーム６の特定の部分、たとえばブーム６の先端部が移動する軌跡は円弧状であり、その円弧を含む平面が特定される。油圧ショベル１００を平面視した場合に、当該平面は直線として表される。この直線の延びる方向が、油圧ショベル１００の本体１の前後方向、または旋回体３の前後方向であり、以下では単に前後方向ともいう。油圧ショベル１００の本体１の左右方向（車幅方向）、または旋回体３の左右方向とは、平面視において前後方向と直交する方向であり、以下では単に左右方向ともいう。車両本体の上下方向、または旋回体３の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向であり、以下では単に上下方向ともいう。
The boom 6 of the work machine 2 rotates around the
前後方向において、油圧ショベル１００の本体１から作業機２が突き出している側が前方向であり、前方向と反対方向が後方向である。前方向を視て左右方向の右側、左側がそれぞれ右方向、左方向である。上下方向において地面のある側が下側、空のある側が上側である。
In the front-rear direction, the side where the work implement 2 protrudes from the main body 1 of the
作業機２は、ブームシリンダ１０と、アームシリンダ１１と、バケットシリンダ１２とを有している。ブームシリンダ１０は、ブーム６を駆動する。アームシリンダ１１は、アーム７を駆動する。バケットシリンダ１２は、バケット８を駆動する。ブームシリンダ１０、アームシリンダ１１、およびバケットシリンダ１２のそれぞれは、作動油によって駆動される油圧シリンダである。
The work machine 2 has a
油圧ショベル１００は、カメラ２０を備えている。カメラ２０は、油圧ショベル１００の周辺の作業現場に存在する撮像対象を撮像して、撮像対象の画像を取得するための撮像装置である。カメラ２０は、旋回体３に搭載されている。
The
カメラ２０によって撮像される撮像対象は、作業現場において施工される施工対象を含む。施工対象は、油圧ショベル１００の作業機２によって掘削される掘削対象を含む。掘削対象は、掘削前の掘削対象（すなわち、現況地形）、掘削中の掘削対象、および掘削後の掘削対象を含む。カメラ２０の撮像対象は、油圧ショベル１００の周辺の障害物を含む。
The object to be imaged by the
カメラ２０の撮像対象は、油圧ショベル１００の少なくとも一部を含む。カメラ２０の撮像対象は、作業機２の少なくとも一部を含む。カメラ２０の撮像対象は、油圧ショベル１００の周辺に配置される他の作業機械を含む。他の作業機械は、油圧ショベル１００の掘削対象を運搬する運搬機械を含む。他の作業機械は、ダンプトラックを含む。
An imaging target of the
カメラ２０は、光学系と、光学系を通過した光を受光するイメージセンサとを有している。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでいる。
The
カメラ２０は、右前方カメラ２０Ａと、右側方カメラ２０Ｂと、後方カメラ２０Ｃと、左側方カメラ２０Ｄと、前方カメラ２０Ｅを含んでいる。
The
右前方カメラ２０Ａと右側方カメラ２０Ｂとは、旋回体３の上面の右側縁部に配置されている。右前方カメラ２０Ａは、右側方カメラ２０Ｂよりも前方に配置されている。右前方カメラ２０Ａと右側方カメラ２０Ｂとは、前後方向における旋回体３の中央部付近に、前後に並んで配置されている。右前方カメラ２０Ａは、旋回体３の右前方を撮像する。右前方カメラ２０Ａの光軸は、右前方カメラ２０Ａから右斜め前方向に延びている。右側方カメラ２０Ｂは、旋回体３の右後方を撮像する。右側方カメラ２０Ｂの光軸は、右側方カメラ２０Ｂから右斜め後ろ方向に延びている。
The right
後方カメラ２０Ｃは、前後方向において旋回体３の後端部に配置されており、左右方向において旋回体３の中央部に配置されている。旋回体３の後端部には、採掘時などにおいて車体のバランスをとるためのカウンタウェイトが設置されている。後方カメラ２０Ｃは、カウンタウェイトの上面に配置されている。後方カメラ２０Ｃは、旋回体３の後方を撮像する。後方カメラ２０Ｃの光軸は、後方カメラ２０Ｃから後方向に延びている。左側方カメラ２０Ｄは、旋回体３の上面の左側縁部に配置されている。左側方カメラ２０Ｄは、前後方向における旋回体３の中央部付近に配置されている。左側方カメラ２０Ｄは、旋回体３の左方を撮像する。左側方カメラ２０Ｄの光軸は、左側方カメラ２０Ｄから左方向に延びている。
The
前方カメラ２０Ｅは、旋回体３の前部に配置されている。前方カメラ２０Ｅは、作業機２の左側に配置されている。前方カメラ２０Ｅは、車室４の内部に配置されている。前方カメラ２０Ｅは、車室４に収容されている。前方カメラ２０Ｅは、車室４内の空間４Ｓに配置されている。前方カメラ２０Ｅは、車室４にオペレータが搭乗したならばオペレータの目の位置となる位置に、配置されている。前方カメラ２０Ｅは、窓板４Ｗを通して旋回体３の前方を撮像する。前方カメラ２０Ｅの光軸は、前方カメラ２０Ｅから前方向に延びている。前方カメラ２０Ｅによって撮像される撮像画像は、旋回体３の前方の地形と、作業機２の少なくとも一部とを含み得る。
The
油圧ショベル１００は、通信装置２２と、車体コントローラ２６とを備えている。通信装置２２は、通信アンテナを含んでいる。通信アンテナは、たとえばエンジンルーム９の上方に配置されている。通信装置２２は、遠隔地より送信された制御信号を受信する。車体コントローラ２６は、受信した制御信号に基づいて、エンジン３１、作業機２、および旋回体３などを制御する。通信装置２２はまた、油圧ショベル１００の情報を含む信号を、遠隔地に送信する。通信装置２２は、カメラ２０が撮像した撮像対象の撮像画像、油圧ショベル１００の位置情報および姿勢情報などを、遠隔地に送信する。
The
図２は、油圧ショベル１００の遠隔操作システム２００の一例を模式的に示す図である。遠隔操作システム２００は、油圧ショベル１００の外部に存在する。油圧ショベル１００は、遠隔操作システム２００によって遠隔操作される。遠隔操作システム２００は、たとえば、遠隔操作施設に設けられる。遠隔操作施設は、油圧ショベル１００の存在する作業現場に設置されていてもよく、作業現場から離れた遠隔地に設置されていてもよい。
FIG. 2 is a diagram schematically showing an example of a
遠隔操作システム２００は、遠隔操作装置４０と、表示装置５０と、遠隔コントローラ６０と、通信装置７２とを主に備えている。遠隔操作装置４０、表示装置５０、遠隔コントローラ６０および通信装置７２のそれぞれは、油圧ショベル１００とは別体で設けられている。
The
油圧ショベル１００は、ネットワーク４００を介して、遠隔操作システム２００に接続されている。ネットワーク４００は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、携帯電話通信網、および衛星通信網の少なくとも一つを含んでいる。ネットワーク４００は、通信されるデータを中継する中継局を含んでもよい。
A
油圧ショベル１００の通信装置２２は、ネットワーク４００を介して、遠隔操作システム２００に、油圧ショベル１００の情報を含む信号を送信する。遠隔操作システム２００は、通信装置７２で受信した、カメラ２０が撮像した撮像対象の撮像画像を、遠隔コントローラ６０で処理して、表示装置５０に表示する。
The
図３は、遠隔操作装置４０の一例を模式的に示す図である。図３に示される遠隔操作装置４０と表示装置５０とは、遠隔操作施設に設けられている遠隔操作室に配置されている。遠隔操作装置４０は、操縦シート４５に着座したオペレータによって操作される。オペレータは、表示装置５０の表示画面と正対するように、操縦シート４５に着座する。オペレータは、表示装置５０を介して作業現場の状況を視認する。オペレータは、表示装置５０の表示画面を見ながら、遠隔操作装置４０を操作する。
FIG. 3 is a diagram schematically showing an example of the
遠隔操作装置４０は、作業機２および旋回体３の動作のために操作される左作業レバー４１および右作業レバー４２と、走行体５の動作のために操作される左走行レバー４３および右走行レバー４４とを含んでいる。
The
左作業レバー４１は、操縦シート４５の左方に配置されている。操縦シート４５に着座したオペレータは、左手で左作業レバー４１を把持して、左作業レバー４１を操作する。左作業レバー４１により、アーム７および旋回体３が操作される。左作業レバー４１は、旋回体３の旋回方向と、アーム７の上下動とについてのオペレータの入力を受け付ける。左作業レバー４１の前後方向の操作は、旋回体３の旋回に対応し、前後方向の操作に応じて旋回体３の右旋回動作および左旋回動作が実行される。左作業レバー４１の左右方向の操作は、アーム７の操作に対応し、左右方向の操作に応じてアーム７の上方向への動作および下方向への動作が実行される。
The
右作業レバー４２は、操縦シート４５の右方に配置されている。操縦シート４５に着座したオペレータは、右手で右作業レバー４２を把持して、右作業レバー４２を操作する。右作業レバー４２により、ブーム６およびバケット８が操作される。右作業レバー４２は、ブーム６の上下動およびバケット８の上下動についてのオペレータの入力を受け付ける。右作業レバー４２の前後方向の操作は、ブーム６の操作に対応し、前後方向の操作に応じてブーム６が上昇する動作および下降する動作が実行される。右作業レバー４２の左右方向の操作は、バケット８の操作に対応し、左右方向の操作に応じてバケット８の下方向への動作および上方向への動作が実行される。
The right working lever 42 is arranged on the right side of the control seat 45 . An operator seated on the control seat 45 holds the right working lever 42 with his right hand and operates the right working lever 42 . The boom 6 and the
操縦シート４５の左方にはまた、左コンソール４８が配置されている。操縦シート４５の右方にはまた、右コンソール４９が配置されている。 A left console 48 is also arranged to the left of the operator seat 45 . A right console 49 is also arranged to the right of the operator seat 45 .
左走行レバー４３および右走行レバー４４は、操縦シート４５の前方に配置されている。左走行レバー４３および右走行レバー４４は、左右に並んで、左走行レバー４３が左側に、右走行レバー４４が右側に配置されている。左走行レバー４３および右走行レバー４４は、走行体５の走行についてのオペレータの入力を受け付ける。左走行レバー４３の前後方向の操作に応じて、走行体５の左側の履帯５Ｃｒの前進動作および後進動作が実行される。右走行レバー４４の前後方向の操作に応じて、走行体５の右側の履帯５Ｃｒの前進動作および後進動作が実行される。
The left travel lever 43 and the
表示装置５０は、操縦シート４５の前方に配置されている。表示装置５０は、左走行レバー４３および右走行レバー４４よりも操縦シート４５から離れて配置されている。表示装置５０は、液晶ディスプレイまたは有機ＥＬディスプレイのような、フラットパネルディスプレイを含んでいる。表示装置５０は、画像を表示する。表示装置５０は、カメラ２０によって撮像されネットワーク４００を介して取得した撮像画像を表示可能である。表示装置５０はまた、撮像画像を遠隔コントローラ６０で処理した後の画像を表示可能である。具体的には表示装置５０は、カメラ２０によって撮像された撮像画像を複数組み合わせることで死角を補完した画像を表示可能である。
The
図３では、１つの表示画面が表示装置５０を構成する例が示されているが、表示装置５０は複数の表示画面を含んでもよい。表示装置５０は、中央の表示画面の上下左右に各１つずつの表示画面が隣り合って並べられた計５つの表示画面を含んでもよく、縦３段横３列に互いに隣り合って並べられた計９つの表示画面を含んでもよく、他の任意の態様で配列された任意の数の表示画面を含んでもよい。表示装置５０は、操縦シート４５の前方に配置された表示画面に加えて、操縦シート４５の左方、操縦シートの右方、および／または操縦シート４５の上方に配置された表示画面を含んでもよい。
Although FIG. 3 shows an example in which one display screen configures the
表示装置５０は、遠隔操作室に常設されたモニタでもよいし、ヘッドマウントディスプレイまたはヘッドアップディスプレイでもよい。表示装置５０は、パーソナルコンピュータのモニタでもよいし、タブレットコンピュータ、スマートフォンなどのモバイル端末でもよい。
The
図４は、実施形態に基づく、遠隔操作側の表示装置５０に表示する画像を生成する画像生成システムの構成例を示す機能ブロック図である。遠隔操作システム２００は、油圧ショベル１００の外部の遠隔操作施設に配置されている。遠隔操作システム２００は、ネットワーク４００を介して、油圧ショベル１００に接続されている。
FIG. 4 is a functional block diagram showing a configuration example of an image generation system for generating an image to be displayed on the
油圧ショベル１００は、油圧ポンプ３２がエンジン３１によって駆動され、油圧ポンプ３２から吐出された作動油が方向制御弁３３を介して各種の油圧アクチュエータ３４に供給されるように、構成されている。油圧アクチュエータ３４への油圧の供給および排出が制御されることにより、作業機２の動作、旋回体３の旋回、および走行体５の走行動作が制御される。油圧アクチュエータ３４は、図１に示されるブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２および走行モータ５Ｍと、旋回モータとを含んでいる。
The
エンジン３１は、たとえばディーゼルエンジンである。車体コントローラ２６からの制御信号の出力に従ってエンジン３１への燃料の噴射量が調整されることにより、エンジン３１の出力が制御される。エンジン３１は、油圧ポンプ３２に連結するための駆動軸を有している。
油圧ポンプ３２は、エンジン３１の駆動軸に連結されている。エンジン３１の回転駆動力が油圧ポンプ３２に伝達されることにより、油圧ポンプ３２が駆動される。油圧ポンプ３２は、斜板を有し、斜板の傾転角が変更されることにより吐出容量を変化させる可変容量型の油圧ポンプである。油圧ポンプ３２は、作業機２の駆動、走行体５の走行、および旋回体３の旋回に用いる作動油を供給する。油圧ポンプ３２から吐出された作動油は、減圧弁によって一定の圧力に減圧されて、方向制御弁３３に供給される。
The
方向制御弁３３は、ロッド状のスプールを動かして作動油が流れる方向を切り換えるスプール方式の弁である。方向制御弁３３は、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２、走行モータ５Ｍ、および旋回モータのそれぞれの作動油の供給量を調整するそれぞれのスプールを有している。車体コントローラ２６からの制御信号の出力に従って各スプールが軸方向に移動することにより、油圧アクチュエータ３４に対する作動油の供給量が調整される。
The
遠隔コントローラ６０は、制御信号生成部６９を有している。制御信号生成部６９は、オペレータによる遠隔操作装置４０の操作に基づいて油圧ショベル１００を動作させる制御信号を生成する。通信装置７２は、制御信号生成部６９の生成した制御信号を、ネットワーク４００を介して、油圧ショベル１００に送信する。
The
図１に示されるカメラ２０で撮像された撮像画像は、車体コントローラ２６に入力される。車体コントローラ２６は、画像処理部２６０を有している。画像処理部２６０は、車体コントローラ２６に入力された撮像画像を処理する。通信装置２２は、画像処理された後の画像を、ネットワーク４００を介して、遠隔操作システム２００に送信する。
A captured image captured by the
遠隔コントローラ６０は、画像出力部６７を有している。画像出力部６７は、画像処理部２６０によって画像処理された画像を表示装置５０に出力して、表示装置５０に画像を表示させる。
The
図５は、実施形態に基づく画像生成方法の一例を示すフローチャートである。図４、図５および後続の図を参照して、実施形態の油圧ショベル１００を遠隔操作するための遠隔操作側の表示装置５０に表示する画像を生成する方法について、以下に説明する。以下では、旋回体３の旋回中に撮像対象を撮像する場合の例を説明する。
FIG. 5 is a flowchart illustrating an example image generation method according to an embodiment. A method of generating an image to be displayed on the remote control
図５に示されるように、まずステップＳ１において、最新画像を取得する。画像処理部２６０は、画像取得部２６１を有している。画像取得部２６１は、油圧ショベル１００のカメラ２０によって撮像された最新の撮像画像である、最新画像を取得する。
As shown in FIG. 5, first, in step S1, the latest image is acquired. The
図６は、最新画像の一例を示す図である。図６には、前方カメラ２０Ｅで撮像された画像ＩＭＧが図示されている。画像ＩＭＧには、作業機２の一部が含まれている。画像ＩＭＧには、車室４の左フロントピラー４ＦＰ１の画像ＩＦＰ１と、右フロントピラー４ＦＰ２の画像ＩＦＰ２とが含まれている。画像ＩＭＧには、風景ＬＳが含まれている。図６中の丸印、×印、三角形および四角形などの図形は、単純化した風景ＬＳの一部を示す。風景ＬＳは、画像ＩＦＰ１，ＩＦＰ２により遮蔽されている。左フロントピラー４ＦＰ１および右フロントピラー４ＦＰ２は、撮像対象を遮蔽する実施形態の遮蔽物に相当する。
FIG. 6 is a diagram showing an example of the latest image. FIG. 6 shows an image IMG captured by the
図６中に曲線矢印で示される旋回方向ＲＤは、旋回体３の旋回方向を示す。本実施形態では、旋回体３は右旋回している。 A turning direction RD indicated by a curved arrow in FIG. 6 indicates the turning direction of the turning body 3 . In this embodiment, the revolving body 3 is turning to the right.
図７は、図６中の領域ＶＩＩの拡大図である。領域ＶＩＩは、遮蔽物である左フロントピラー４ＦＰ１の画像ＩＦＰ１を含み、かつ、遮蔽物で遮蔽されていない風景ＬＳを含むように、設定される。図７に示される例では、画像ＩＭＧ１中において、画像ＩＦＰ１の左右両側に、遮蔽されていない風景ＬＳが存在している。 FIG. 7 is an enlarged view of area VII in FIG. The area VII is set so as to include the image IFP1 of the left front pillar 4FP1, which is the shield, and the scenery LS that is not shielded by the shield. In the example shown in FIG. 7, unobstructed scenery LS exists on both the left and right sides of image IFP1 in image IMG1.
ステップＳ２において、最新画像よりも前に撮像された以前の撮像画像である過去画像を読み出す。油圧ショベル１００は、記録部２７０を有している。記録部２７０には、過去画像データ２７８が記録されている。記録部２７０は、カメラ２０で撮像され画像取得部２６１によって取得された画像を、過去画像として記録する。画像処理部２６０は、移動情報取得部２６２を有している。移動情報取得部２６２は、記録部２７０から過去画像を読み出す。典型的には、移動情報取得部２６２は、最新画像の直前に撮像された過去画像である直前画像を読み出す。
In step S2, a past image, which is an image captured before the latest image, is read. The
図８は、直前画像の一例を示す図である。図８に示される画像ＩＭＧ２は、直前画像のうち、図６に示される領域ＶＩＩに相当する領域を拡大したものである。図７の画像ＩＭＧ１と同様に、画像ＩＭＧ２中においては、左フロントピラー４ＦＰ１の画像ＩＦＰ１の左右両側に、遮蔽されていない風景ＬＳが存在している。遮蔽物である左フロントピラー４ＦＰ１は前方カメラ２０Ｅに対して位置が変わらないので、画像ＩＭＧ１と画像ＩＭＧ２とにおいて、左フロントピラー４ＦＰ１の画像ＩＦＰ１の位置は不変である。一方、旋回体３の旋回中に撮像されているので、画像ＩＭＧ１と画像ＩＭＧ２とに含まれる風景ＬＳが変化している。風景ＬＳのうち、画像ＩＭＧ１では見えなかった部分が、画像ＩＭＧ２では見えている。
FIG. 8 is a diagram showing an example of the previous image. Image IMG2 shown in FIG. 8 is obtained by enlarging a region corresponding to region VII shown in FIG. 6 in the previous image. As in the image IMG1 of FIG. 7, in the image IMG2, the unshielded scenery LS exists on both the left and right sides of the image IFP1 of the left front pillar 4FP1. Since the position of the left front pillar 4FP1, which is a shield, does not change with respect to the
具体的に、図７の画像ＩＭＧ１では左フロントピラー４ＦＰ１の画像ＩＦＰ１に丸印の左半分が遮蔽されている。これに対し、図８の画像ＩＭＧ２では、丸印は遮蔽されておらず、丸印の全体が示されている。画像ＩＭＧ１には×印の一部分のみが含まれているのに対し、画像ＩＭＧ２には×印の全体が示されている。 Specifically, in the image IMG1 of FIG. 7, the left half of the circle is blocked by the image IFP1 of the left front pillar 4FP1. On the other hand, in the image IMG2 in FIG. 8, the circle is not blocked and the entire circle is shown. Image IMG1 contains only a portion of the cross, whereas image IMG2 shows the entire cross.
ステップＳ３において、オプティカルフローを算出する。移動情報取得部２６２は、最新画像と直前画像との画像処理を行う。移動情報取得部２６２は、時間的に連続する２つの画像、具体的には画像ＩＭＧ１（図７）および画像ＩＭＧ２（図８）、に含まれる同じ特徴点に対応する画素の移動ベクトルを算出する。本実施形態では旋回体３は右旋回しているので、直前画像の一部の画像ＩＭＧ２と比較して、最新画像の一部の画像ＩＭＧ１では、風景ＬＳが左方向に移動している。移動情報取得部２６２は、画像ＩＭＧ１と画像ＩＭＧ２とを比較して、画像ＩＭＧ１および画像ＩＭＧ２の差分から、直前画像を撮像した時刻から最新画像を撮像した時刻までの時間における風景ＬＳの移動量を算出する。
In step S3, an optical flow is calculated. The movement
ステップＳ４において、変換画像を生成する。画像処理部２６０は、視点変換部２６４を有している。視点変換部２６４は、カメラ２０が最新画像を撮像したときのカメラ２０の向きに合わせて、直前画像を変換する。視点変換部２６４は、ステップＳ３で算出した風景ＬＳの移動量の分だけ、直前画像をずらして、直前画像に含まれる風景ＬＳが最新画像に含まれる風景ＬＳとぴったり重なるようにする。
At step S4, a transformed image is generated. The
図９は、オプティカルフローに基づき視点を変換した画像を示す図である。図９に示される画像ＩＭＧ３のうち、破線で囲まれた部分は、図８に示される画像ＩＭＧ２を図中の左方向に位置をずらしたものに相当する。画像ＩＭＧ３に含まれる丸印および×印と、図７に示される最新画像の一部である画像ＩＭＧ１に含まれる丸印および×印とは、互いに重なり合う位置にある。 FIG. 9 is a diagram showing an image whose viewpoint is transformed based on optical flow. A portion of image IMG3 shown in FIG. 9 surrounded by a broken line corresponds to image IMG2 shown in FIG. 8 shifted leftward in the figure. The circle and cross marks included in image IMG3 and the circle and cross marks included in image IMG1, which is part of the latest image shown in FIG. 7, are positioned to overlap each other.
旋回体３の旋回に伴って、前方カメラ２０Ｅには並進と回転とが生じる。前方カメラ２０Ｅは旋回軸ＲＸの近傍に置かれるため、最新画像と直前画像とにおける風景ＬＳの変化は、前方カメラ２０Ｅの回転によるものが支配的となる。そのため、前方カメラ２０Ｅの回転を利用することが可能になる。前方カメラ２０Ｅの旋回量から一意に定まる単純な変形によって、変換画像を生成可能となる。また、画像を単純に一方向に移動させることによって、変換画像を近似できる。
As the revolving body 3 turns, translation and rotation occur in the
ステップＳ５において、死角領域を検出する。画像処理部２６０は、領域取得部２６３を有している。領域取得部２６３は、最新画像と直前画像との画像処理を行う。領域取得部２６３は、車室４の構造に起因する死角領域を判定する。領域取得部２６３は、最新画像の一部の画像ＩＭＧ１と直前画像の一部のＩＭＧ２とを比較して、変化が少なく変化量が閾値以下である部分を、左フロントピラー４ＦＰ１の画像ＩＦＰ１が存在しており左フロントピラー４ＦＰ１によって風景ＬＳが遮蔽されている死角領域であると認識してもよい。領域取得部２６３は、風景ＬＳを遮蔽する遮蔽物の境界を検出してもよい。領域取得部２６３は、死角領域を、ビットマップとして検出してもよい。
In step S5, a blind area is detected. The
左フロントピラー４ＦＰ１は前方カメラ２０Ｅに対して位置が変わらないので、旋回体３が旋回しても、左フロントピラー４ＦＰ１は画像中の同じ位置に写る。換言すると、旋回しても同じ位置に写る物体が遮蔽物である。これによって、死角領域の決定が容易である。
Since the position of the left front pillar 4FP1 does not change with respect to the
ステップＳ６において、マスキングを行う。ステップＳ７において、画像を合成する。画像処理部２６０は、画像合成部２６５を有している。画像合成部２６５は、最新画像における死角領域をマスキングして、死角領域を画像の合成に使用しないようにする。図１０は、画像を合成する処理を示す図である。図１０に示される画像ＩＭＧ４１は、図７に示される画像ＩＭＧ１のうち、左フロントピラー４ＦＰ１の画像ＩＦＰ１よりも左側の部分に相当する。画像ＩＭＧ４２は、図７に示される画像ＩＭＧ１のうち、左フロントピラー４ＦＰ１の画像ＩＦＰ１よりも右側の部分に相当する。
Masking is performed in step S6. In step S7, images are synthesized. The
画像合成部２６５は、最新画像である画像ＩＭＧ４１，ＩＭＧ４２と、直前画像を視点変換した変換画像である画像ＩＭＧ３とを重ね合わせるように、画像を合成して合成画像を生成する。図１１は、合成画像の一例を示す図である。図１１に示される画像ＩＭＧ５において、左フロントピラー４ＦＰ１の画像ＩＦＰ１よりも左側に画像ＩＭＧ５１が存在し、ＩＦＰ１よりも右側に画像ＩＭＧ５２と画像ＩＭＧ５２とが存在している。画像ＩＭＧ５１と、図１０に示される画像ＩＭＧ４１とは同じである。画像ＩＭＧ５２と、図１０に示される画像ＩＭＧ４２とは同じである。画像ＩＭＧ５３は、図９，１０に示される画像ＩＭＧ３の一部分である。具体的には、画像ＩＭＧ５３は、画像ＩＭＧ３のうち左フロントピラー４ＦＰ１の画像ＩＦＰ１の直ぐ右側の部分に相当する。
The
図１１に示される画像ＩＭＧ５において、画像ＩＭＧ５１と画像ＩＭＧ５２との間に、画像ＩＭＧ５３が存在する。図７に示される最新画像においては左フロントピラー４ＦＰ１の画像ＩＦＰ１が存在している箇所に、画像ＩＭＧ５３が重ね合わされている。最新画像（画像ＩＭＧ１、図７）内で風景ＬＳが左フロントピラー４ＦＰ１により遮蔽されている死角領域が、直前画像（画像ＩＭＧ２、図８）を変換した変換画像（画像ＩＭＧ３、図９，１０）の一部である画像ＩＭＧ５３によって、補完されている。 In image IMG5 shown in FIG. 11, image IMG53 exists between image IMG51 and image IMG52. In the latest image shown in FIG. 7, the image IMG53 is superimposed on the location where the image IFP1 of the left front pillar 4FP1 exists. The blind spot area where the scenery LS is blocked by the left front pillar 4FP1 in the latest image (image IMG1, FIG. 7) is a converted image (image IMG3, FIGS. 9 and 10) obtained by converting the previous image (image IMG2, FIG. 8). is complemented by an image IMG53 that is part of the .
図１２は、複数の過去画像と最新画像とを合成した図である。図１２に示される画像ＩＭＧ６において、画像ＩＭＧ６１，ＩＭＧ６２は、図７にも示される最新画像の一部分である。画像ＩＭＧ６３は、図９にも示される、直前画像を変換した変換画像の一部分である。画像ＩＭＧ６４，ＩＭＧ６５は、直前画像よりも前に撮像した過去画像を、その過去画像を撮像した時刻から最新画像を撮像した時刻までの時間における風景ＬＳの移動量に基づいて同様に変換した、変換画像の一部分である。 FIG. 12 is a diagram obtained by synthesizing a plurality of past images and the latest image. In image IMG6 shown in FIG. 12, images IMG61 and IMG62 are part of the latest image also shown in FIG. Image IMG63 is a portion of the transformed image obtained by transforming the previous image, also shown in FIG. Images IMG64 and IMG65 are obtained by similarly transforming a past image taken before the immediately preceding image based on the amount of movement of the scenery LS during the time from the time the past image was taken until the time the latest image was taken. part of the image.
画像ＩＭＧ６１，ＩＭＧ６２は、最新の画像である。画像ＩＭＧ６３は、最新画像の１つ前に撮像した画像を変換した変換画像である。画像ＩＭＧ６４は、最新画像の２つ前に撮像した画像を変換した変換画像である。画像ＩＭＧ６５は、最新画像の３つ前に撮像した画像を変換した変換画像である。最新画像内の死角領域の全部が、以前の撮像画像を変換した変換画像で補完される。最新画像内の死角領域に変換画像を重ね合わせることで、死角領域を過去画像で補完した合成画像である画像ＩＭＧ６が生成される。画像合成部２６５は、最新画像の一部である画像ＩＭＧ６１，ＩＭＧ６２と、以前の撮像画像である画像ＩＭＧ６３，ＩＭＧ６４，ＩＭＧ６５とを合成して、合成画像である画像ＩＭＧ６を生成する。
Images IMG61 and IMG62 are the latest images. An image IMG63 is a converted image obtained by converting an image captured immediately before the latest image. An image IMG64 is a converted image obtained by converting an image captured two images before the latest image. An image IMG65 is a converted image obtained by converting an image captured three images before the latest image. All blind areas in the latest image are complemented with a transformed image obtained by transforming the previously captured image. By superimposing the transformed image on the blind area in the latest image, an image IMG6, which is a composite image in which the blind area is interpolated with the previous image, is generated. The
ステップＳ８において、画像を出力する。通信装置２２は、画像合成部２６５が生成した画像ＩＭＧ６を、ネットワーク４００を介して、遠隔コントローラ６０に送信する。遠隔コントローラ６０の画像出力部６７は、通信装置７２が車体コントローラ２６から受信した画像ＩＭＧ６を表示装置５０に出力して、表示装置５０に画像ＩＭＧ６を表示させる。
At step S8, the image is output. The
ステップＳ８の処理の後、処理はリターンされ、より新しい撮像画像を用いた合成画像が生成されて表示装置５０に表示される処理が繰り返される。
After the process of step S8, the process is returned, and the process of generating a synthesized image using a newer captured image and displaying it on the
以上説明した実施形態の画像生成システムは、図４に示されるように、遠隔操作側の表示装置５０と、カメラ２０によって撮像された撮像画像を記録する記録部２７０と、撮像画像を処理する画像処理部２６０とを備えている。図５～７に示されるように、画像取得部２６１は、最新の撮像画像である最新画像（画像ＩＭＧ１）を取得する。図５，８～１０に示されるように、視点変換部２６４は、記録部２７０に記録されている以前の撮像画像（画像ＩＭＧ２）を、カメラ２０が最新画像を撮像したときのカメラ２０の向きに合わせて変換した変換画像（画像ＩＭＧ３）を生成する。図５，１０～１２に示されるように、画像出力部６７は、最新画像内で撮像対象が左フロントピラー４ＦＰ１により遮蔽されている死角領域である画像ＩＦＰ１を変換画像で補完した補完画像（画像ＩＭＧ６）を、表示装置５０に表示させる。
As shown in FIG. 4, the image generation system of the embodiment described above includes a
最新の画像ＩＭＧ１において遮蔽物により遮蔽されている風景ＬＳが、以前に撮像した画像においては遮蔽物により遮蔽されておらず、撮像された画像中に含まれている。以前に撮像された画像ＩＭＧ２を、最新の画像ＩＭＧ１を撮像したときのカメラ２０の向きに合わせて変換した画像ＩＭＧ３を生成しておき、最新の画像ＩＭＧ１と変換した画像ＩＭＧ３とを重ね合わせる。このとき、最新の画像ＩＭＧ１における死角領域である画像ＩＦＰ１をマスキングして、画像ＩＭＧ１と画像ＩＭＧ３との重ね合わせに使用しないようにする。これにより、死角領域が以前の撮像画像によって補完された補完画像が得られる。
The scenery LS that is blocked by the shield in the latest image IMG1 is not blocked by the shield in the previously captured image and is included in the captured image. An image IMG3 is generated by converting a previously captured image IMG2 in accordance with the orientation of a
補完画像を表示装置５０に表示することで、あたかも左フロントピラー４ＦＰ１を透明化したかのような画像をオペレータに提示できる。撮像対象を遮蔽する遮蔽物を見かけ上無くした画像をオペレータに提供できるので、撮像対象の視認性を向上することができる。
By displaying the complementary image on the
前方カメラ２０Ｅにより、オペレータが車室４に搭乗して油圧ショベル１００を操作する場合と近い視点からの撮像画像が撮像される。前方カメラ２０Ｅの撮像画像に基づいて、遠隔操作用の画像を表示装置５０に表示することにより、油圧ショベル１００を遠隔操作するオペレータに、より直感的で鮮明な画像を提示することができる。
The
図５，１１～１２に示されるように、画像処理部２６０は、最新画像内の死角領域である画像ＩＦＰ１に変換した画像ＩＭＧ３を重ね合わせた合成画像である画像ＩＭＧ６を生成し、画像ＩＭＧ６を表示装置５０に表示させる。複数の画像を合成した合成画像を画像処理部２６０で生成して、その合成画像を表示装置５０に表示させることで、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。
As shown in FIGS. 5 and 11 to 12, the
図１２に示されるように、画像処理部２６０は、複数の以前の撮像画像から変換画像を生成する。最新画像内の死角領域を完全に補完できるまで変換画像を生成し、これらの変換画像で死角領域を補完することにより、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。
As shown in FIG. 12, the
図１に示されるように、油圧ショベル１００は、旋回軸ＲＸを中心に回転する旋回体３を有している。図１，４に示されるように、カメラ２０が旋回体３に搭載されている。旋回体３の旋回中に撮像された以前の撮像画像を利用して、最新画像内の死角領域を補完することで、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。
As shown in FIG. 1, the
図１に示されるように、旋回体３は、車室４を有している。前方カメラ２０Ｅは、車室４に収容されている。図６，７に示されるように、前方カメラ２０Ｅによる撮像画像内には、左フロントピラー４ＦＰ１の画像ＩＦＰ１が含まれ、画像ＩＦＰ１は撮像対象である風景ＬＳを遮蔽している。実施形態の画像生成システムによって、最新画像内の死角領域を補完することで、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。
As shown in FIG. 1 , the revolving body 3 has a casing 4 . The
図５，８～９に示されるように、画像処理部２６０は、以前の撮像画像を撮像したときから最新画像を撮像したときまでの旋回体３の旋回角度に基づいて、以前の撮像画像の位置をずらして、変換画像を生成する。油圧ショベル１００において、旋回体３が旋回する方向は特定されているので、旋回角度に基づいて撮像画像の位置をずらして変換画像を生成する処理は容易であり、より高精度な変換画像を生成することができる。
As shown in FIGS. 5 and 8 to 9, the
［第２実施形態］
図１３は、第２実施形態に係る画像生成システムの構成例を示す機能ブロック図である。図４と比較して、図１３に示される第２実施形態の画像形成システムは、画像処理部２６０が画像合成部２６５に替えて補完画像生成部２６６を有する点で異なっている。第１実施形態では、最新画像内の死角領域に以前の撮像画像を変換した変換画像を重ね合わせることで、合成画像を生成し、その合成画像を表示装置５０に表示させたが、この例に限られるものではない。
[Second embodiment]
FIG. 13 is a functional block diagram showing a configuration example of an image generation system according to the second embodiment. 4, the image forming system of the second embodiment shown in FIG. 13 is different in that the
第２実施形態の画像形成システムでは、領域取得部２６３は、最新画像内の死角領域を取得する。視点変換部２６４は、カメラ２０が最新画像を撮像したときのカメラ２０の向きに合わせて、直前画像を含む過去画像を変換して、変換画像を生成する。補完画像生成部２６６は、最新画像と変換画像とを比較して、変換画像のうち、死角領域に重なり合う一部分を抽出し、その抽出した部分を補完画像とする。補完画像生成部２６６は、死角領域を完全に補完できるまで、以前の撮像画像である過去画像を変換し、死角領域に重なり合う部分を補完画像として抽出する。補完画像生成部２６６は、複数の補完画像を生成できる。
In the image forming system of the second embodiment, the
通信装置２２は、最新画像と補完画像とを、ネットワーク４００を介して遠隔コントローラ６０に送信する。遠隔コントローラ６０の画像出力部６７は、最新画像を表示装置５０に表示させ、表示装置５０における最新画像の死角領域に相当する領域に補完画像を表示させる。
このように、非死角領域の画像と死角領域を補完する画像とを各々表示装置５０に出力することで、第１実施形態で説明した合成画像を合成する場合と同様に、見かけ上死角領域を無くした画像を、表示装置５０に表示させることができる。表示装置５０に表示される画像に、撮像対象を遮蔽する遮蔽物が存在しないので、撮像対象の視認性を向上することができる。
By outputting the image of the non-blind spot area and the image complementing the blind spot area to the
変換画像は、過去画像の全部を変換したものでなくてもよい。過去画像のうち、最新画像内で撮像対象が遮蔽物に遮蔽されている死角領域に相当する一部分のみを変換して、変換画像を生成してもよい。過去画像のうち死角領域に相当する部分を、ピクセル毎に逐次変換して、ピクセル単位の複数の変換画像を生成してもよい。そのピクセル単位の複数の変換画像を、ピクセル単位の複数の補完画像として用いることができる。ピクセル単位の複数の補完画像を、遠隔コントローラ６０に順にまたは同時に送信して、画像出力部６７がそれら複数の補完画像を表示装置５０に表示することで、遮蔽物を見かけ上無くした画像を確実にオペレータに提供することができる。
The converted image does not have to be obtained by converting all the past images. A converted image may be generated by converting only a part of the past image corresponding to the blind area where the imaging target is shielded by the shield in the latest image. A portion of the past image corresponding to the blind spot area may be successively transformed pixel by pixel to generate a plurality of pixel-by-pixel transformed images. The plurality of pixel-by-pixel transform images can be used as the plurality of pixel-by-pixel complementary images. A plurality of pixel-by-pixel complementary images are transmitted to the
［第３実施形態］
図１４は、第３実施形態に係る画像生成システムの構成例を示す機能ブロック図である。第１および第２実施形態では、油圧ショベル１００に搭載されている車体コントローラ２６が画像処理部２６０を有している。これに対し、第３実施形態の画像生成システムでは、遠隔操作側の遠隔コントローラ６０が画像処理部６００を有している。
[Third Embodiment]
FIG. 14 is a functional block diagram showing a configuration example of an image generation system according to the third embodiment. In the first and second embodiments, the
油圧ショベル１００は、旋回角度センサ２７を備えている。旋回角度センサ２７は、走行体５に対する旋回体３の旋回角度を検出する。旋回角度センサ２７はたとえば、旋回モータの回転軸に設けられたレゾルバであってもよく、旋回体３に搭載されているＩＭＵ（Inertial Measurement Unit）であってもよい。
The
車体コントローラ２６は、図４にも示される画像取得部２６１と、旋回角度取得部２６７とを有している。旋回角度取得部２６７は、旋回角度センサ２７の検出値から、所定時間内に旋回体３が旋回した角度を取得する。
The
遠隔操作システム２００は、記録部６１０を備えている。記録部６１０には、過去画像データ６１８が記録されている。記録部６１０は、ネットワーク４００を介して遠隔操作システム２００に送信された撮像画像を、過去画像として記録する。
The
記録部６１０にはまた、カメラ方向データ６１１が記録されている。カメラ方向データ６１１は、前方カメラ２０Ｅが画像を撮像するときの前方カメラ２０Ｅの向きを示す。たとえば、カメラ方向データ６１１は、ＩＴＲＦ（International Terrestrial Reference Frame）座標系における前方カメラ２０Ｅの光軸の方向を示すものであってもよい。カメラ方向データ６１１は、遠隔操作システム２００に入力されて、記録部６１０に記録される。
記録部６１０にはまた、死角領域データ６１２が記録されている。以下の手順によって、死角領域データ６１２が記録部６１０に記録される。車室４の形状および車室４への前方カメラ２０Ｅの取付位置の設計値が、事前に遠隔操作システム２００に入力される。これらの設計値から、撮像画像の中でどの領域に車室４を構成する構造物が存在するのかを、予め求めておく。たとえば、図６に示される画像ＩＭＧ中の、左フロントピラー４ＦＰ１の画像ＩＦＰ１および右フロントピラー４ＦＰ２の画像ＩＦＰ２の位置が求められる。撮像画像中の、車室４を構成する構造物の位置を死角領域と認定して、記録部６１０に記録する。左フロントピラー４ＦＰ１および右フロントピラー４ＦＰ２は前方カメラ２０Ｅに対して位置が変わらないので、死角領域の決定が容易である。
Blind
図１５は、第３実施形態に係る画像生成方法の一例を示すフローチャートである。図１４および図１５を参照して、第３実施形態に係る画像生成方法について説明する。第１実施形態と同様に、旋回体３の旋回中に撮像対象を撮像する場合の例を説明する。 FIG. 15 is a flow chart showing an example of an image generation method according to the third embodiment. An image generating method according to the third embodiment will be described with reference to FIGS. 14 and 15. FIG. As in the first embodiment, an example of capturing an image of an imaging target while the revolving body 3 is revolving will be described.
図１５に示されるように、まずステップＳ１１において、最新画像を取得する。画像取得部２６１は、油圧ショベル１００のカメラ２０によって撮像された最新の撮像画像である、最新画像を取得する。
As shown in FIG. 15, first, in step S11, the latest image is obtained. The
ステップＳ１２において、旋回角度を取得する。旋回角度取得部２６７は、旋回角度センサ２７の検出値から、旋回体３の旋回角度を取得する。旋回角度取得部２６７は、最新画像の直前の直前画像を撮像した時刻から最新画像を撮像した時刻までの時間における、旋回体３の旋回角度を取得する。
In step S12, a turning angle is obtained. The turning
通信装置２２は、カメラ２０で撮像され画像取得部２６１が取得した撮像画像と、旋回角度取得部２６７が取得した旋回体３の旋回角度とを、ネットワーク４００を介して、遠隔操作システム２００に送信する。
The
ステップＳ１３において、最新画像よりも前に撮像された以前の撮像画像である過去画像を読み出す。画像処理部６００は、視点変換部６０４を有している。視点変換部６０４は、記録部６１０から過去画像を読み出す。典型的には、視点変換部６０４は、最新画像の直前に撮像された過去画像である直前画像を読み出す。
In step S13, a past image, which is an image captured before the latest image, is read. The
ステップＳ１４において、カメラ方向を取得する。画像処理部６００は、方向取得部６０１を有している。方向取得部６０１は、カメラ２０が過去画像を撮像したときのカメラ２０の向きを示すカメラ方向データ６１１を、記録部６１０から読み出す。方向取得部６０１は、前方カメラ２０Ｅの向きを示すデータを、記録部６１０から読み出す。
In step S14, the camera direction is obtained. The
ステップＳ１５において、変換画像を生成する。視点変換部６０４は、旋回体３の旋回角度と、前方カメラ２０Ｅの向きとに基づき、前方カメラ２０Ｅが最新画像を撮像したときの前方カメラ２０Ｅの向きに合わせて、直前画像を含む過去画像を変換する。視点変換部６０４は、過去画像を撮像した時刻から最新画像を撮像した時刻までの旋回体３の旋回角度の分だけ、過去画像をずらして、過去画像に含まれる風景が最新画像に含まれる風景とぴったり重なるようにする。
In step S15, a transformed image is generated. Based on the turning angle of the revolving body 3 and the orientation of the
ステップＳ１６において、死角領域を取得する。画像処理部６００は、領域取得部６０３を有している。領域取得部６０３は、記録部６１０から死角領域データ６１２を読み出す。領域取得部６０３は、前方カメラ２０Ｅによる撮像画像内の死角領域、典型的には左フロントピラー４ＦＰ１の画像ＩＦＰ１および右フロントピラー４ＦＰ２の画像ＩＦＰ２の位置を取得する。
In step S16, a blind spot area is obtained. The
ステップＳ１７において、マスキングを行う。ステップＳ１８において、画像を合成する。画像処理部６００は、画像合成部２６５を有している。画像合成部６０５は、最新画像における死角領域をマスキングして、死角領域を画像の合成に使用しないようにする。画像合成部６０５は、最新画像の一部と変換画像の一部とを重ね合わせるように画像を合成する。必要に応じて、画像合成部６０５は、複数の過去画像を変換した複数の変換画像と最新画像とを合成して、合成画像を生成する。
In step S17, masking is performed. In step S18, the images are synthesized. The
ステップＳ１９において、画像を出力する。画像出力部６７は、ステップＳ１８で生成した合成画像を表示装置５０に出力して、表示装置５０に合成画像を表示させる。
In step S19, the image is output. The
ステップＳ１９の処理の後、処理はリターンされ、より新しい撮像画像を用いた合成画像が生成されて表示装置５０に表示される処理が繰り返される。
After the process of step S19, the process is returned, and the process of generating a synthesized image using a newer captured image and displaying it on the
第３実施形態の画像生成システムによっても、第１実施形態と同様に、見かけ上死角領域を無くした画像を、表示装置５０に表示させることができる。表示装置５０に表示される画像に、撮像対象を遮蔽する遮蔽物が存在しないので、撮像対象の視認性を向上することができる。
The image generation system of the third embodiment can also cause the
表示装置５０に表示する画像を生成する画像生成システムは、作業機械側の車体コントローラ２６に搭載されていてもよく、遠隔操作側の遠隔コントローラ６０に搭載されていてもよく、管制用コンピュータなどのその他のコンピュータに搭載されていてもよい。
An image generation system for generating an image to be displayed on the
［第４実施形態］
図１６は、第４実施形態に係る、カメラによる撮像の状況を示す模式図である。第４実施形態では、模式的に同一平面上に横並びに配置されている風景ＬＳＡ，ＬＳＢ，ＬＳＣを、旋回方向ＲＤに旋回するカメラ２０で順に撮像する例について説明する。
[Fourth Embodiment]
FIG. 16 is a schematic diagram showing a state of imaging by a camera according to the fourth embodiment. In the fourth embodiment, an example will be described in which landscapes LSA, LSB, and LSC, which are schematically arranged side by side on the same plane, are sequentially captured by the
図１７は、第４実施形態に係る撮像画像の一例を示す図である。画像ＩＭＧ１０１には、風景ＬＳＡ，ＬＳＢが含まれている。画像ＩＭＧ１０１は、風景ＬＳＡ，ＬＳＢを斜めから撮像した撮像画像である。画像ＩＭＧ１０２には、風景ＬＳＢと、風景ＬＳＡ，ＬＳＣの一部とが含まれている。画像ＩＭＧ１０２は、風景ＬＳＢを正面から撮像した撮像画像である。画像ＩＭＧ１０３には、風景ＬＳＢ，ＬＳＣが含まれている。画像ＩＭＧ１０３は、風景ＬＳＢ，ＬＳＣを斜めから撮像した撮像画像である。 FIG. 17 is a diagram showing an example of a captured image according to the fourth embodiment. Image IMG101 includes landscapes LSA and LSB. An image IMG101 is a captured image of landscapes LSA and LSB obliquely captured. Image IMG 102 includes landscape LSB and parts of landscapes LSA and LSC. An image IMG102 is a captured image of the scenery LSB captured from the front. Image IMG103 includes landscapes LSB and LSC. An image IMG103 is a captured image of landscapes LSB and LSC obliquely captured.
図１８は、第４実施形態に係る合成画像の一例を示す図である。図１６に示されるようにカメラ２０をその場で旋回させて、図１７に示される複数の画像ＩＭＧ１０１，ＩＭＧ１０２，ＩＭＧ１０３を連続的に撮像し、画像ＩＭＧ１０１，ＩＭＧ１０２，ＩＭＧ１０３の共通部分を重ねるようにつなげることで、１つの画像に合成することができる。図１８に示される画像ＩＭＧ１１１は、図１７に示される画像ＩＭＧ１０１を変形させたものである。画像ＩＭＧ１１２は、画像ＩＭＧ１０２を変形させたものである。
FIG. 18 is a diagram showing an example of a synthesized image according to the fourth embodiment; As shown in FIG. 16, the
直前に撮像された画像ＩＭＧ１０３を基準に合成画像を生成する場合、カメラ２０の旋回角度に基づいて以前に撮像された画像ＩＭＧ１０１，ＩＭＧ１０２の位置をずらすとともに変形させることで、より精密な合成画像を生成することができる。これにより、撮像対象の視認性をさらに向上することができる。
When generating a composite image based on the image IMG103 captured immediately before, by shifting and deforming the positions of the images IMG101 and IMG102 captured previously based on the turning angle of the
上記の実施形態では、表示装置５０に表示させる画像から左フロントピラー４ＦＰ１の画像ＩＦＰ１を見かけ上除去する例を説明した。画像から除去できるのは、ピラー、サイドミラーなどの車室４を構成する構造物に限られない。画像から、作業機２の一部または全部を除去してもよい。ブームシリンダ１０、アームシリンダ１１およびバケットシリンダ１２を除去して作業機２の本体部分を構成するブーム６、アーム７およびバケット８を表示装置５０に表示させてもよい。作業機２の先端に配置された掘削・積込用の作業具であるバケット８のみを表示装置５０に表示させてもよく、バケット８の刃先のみを表示装置５０に表示させてもよい。
In the above-described embodiment, an example of apparently removing the image IFP1 of the left front pillar 4FP1 from the image displayed on the
実施形態では、旋回体３の旋回中に撮像対象を撮像する場合の例を説明したが、旋回体３の旋回中に撮像した撮像画像の画像処理に限られるものではない。旋回体３は走行体５に対して旋回しておらず、旋回体３に対して作業機２が動作している場合において、作業機２を表示装置５０に表示させなくすることも可能である。この場合、複数の撮像画像と、複数の撮像画像を撮像した時刻および作業機２の移動速度とに基づいて、表示装置５０に表示させる画像から作業機２の一部または全部を除去することができる。作業機２の移動速度は、作業機２を駆動する各油圧シリンダに取り付けられたストロークセンサの検出値、作業機２の各要素の回転軸となる各ピンに設けられた回転角度センサの検出値、作業機２を撮像した撮像画像の画像解析、などによって取得することができる。
In the embodiment, an example of capturing an image of an object to be imaged while the revolving body 3 is revolving has been described. When the revolving body 3 is not revolving with respect to the traveling
実施形態では、作業機械の一例として油圧ショベル１００を挙げているが、ローディングショベル、機械式のロープショベル、バケットクレーンなどの他の種類の作業機械にも適用可能である。
Although the
実施形態では、油圧ショベル１００が、油圧アクチュエータ３４である旋回モータを備え、旋回モータに作動油が供給されることにより旋回体３が旋回する例について説明した。この例に限られず、ショベルは、電気モータを備えてもよい。ショベルは、作業機２の動作および走行の駆動源であるエンジンと、電気エネルギーで旋回体３を駆動する電気モータとを備える、ハイブリッドショベルであってもよい。ショベルは、旋回体３の旋回、走行体５による走行、および作業機２の動作の駆動源がいずれも電動機であり、当該電動機はバッテリに蓄えられた電気エネルギーにより駆動される、電動ショベルであってもよい。
In the embodiment, an example has been described in which the
以上のように実施形態について説明を行ったが、各実施形態において互いに組み合わせ可能な構成を適宜組み合わせてもよい。また、今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 Although the embodiments have been described as above, configurations that can be combined with each other in each embodiment may be combined as appropriate. In addition, the embodiments disclosed this time should be considered as examples in all respects and not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above description, and is intended to include all modifications within the scope and meaning of equivalents of the scope of the claims.
１ 本体、２ 作業機、３ 旋回体、４ 車室、４ＦＰ１ 左フロントピラー、４ＦＰ２ 右フロントピラー、４Ｓ 空間、６ ブーム、７ アーム、８ バケット、１０ ブームシリンダ、１１ アームシリンダ、１２ バケットシリンダ、２０ カメラ、２０Ａ 右前方カメラ、２０Ｂ 右側方カメラ、２０Ｃ 後方カメラ、２０Ｄ 左側方カメラ、２０Ｅ 前方カメラ、２２，７２ 通信装置、２６ 車体コントローラ、２７ 旋回角度センサ、４０ 遠隔操作装置、４５ 操縦シート、５０ 表示装置、６０ 遠隔コントローラ、６７ 画像出力部、６９ 制御信号生成部、１００ 油圧ショベル、２００ 遠隔操作システム、２６０，６００ 画像処理部、２６１ 画像取得部、２６２ 移動情報取得部、２６３，６０３ 領域取得部、２６４，６０４ 視点変換部、２６５，６０５ 画像合成部、２６６ 補完画像生成部、２６７ 旋回角度取得部、２７０，６１０ 記録部、２７８，６１８ 過去画像データ、４００ ネットワーク、６０１ 方向取得部、６１１ カメラ方向データ、６１２ 死角領域データ、ＲＤ 旋回方向、ＲＸ 旋回軸。
1 main body 2 working machine 3 revolving body 4 vehicle compartment 4FP1 left front pillar 4FP2 right
Claims (8)
前記作業機械は、作業現場に存在する撮像対象を撮像する撮像装置を有し、
前記画像生成システムは、
前記表示装置と、
前記撮像装置によって撮像された撮像画像を記録する画像記録部と、
前記撮像画像を処理する画像処理コンピュータとを備え、
前記画像処理コンピュータは、最新の前記撮像画像である最新画像を取得し、前記画像記録部に記録されている以前の前記撮像画像を前記撮像装置が前記最新画像を撮像したときの前記撮像装置の向きに合わせて変換した変換画像を生成し、前記最新画像内で前記撮像対象が遮蔽物により遮蔽されている死角領域を前記変換画像で補完した補完画像を前記表示装置に表示させる、画像生成システム。 An image generation system for generating an image to be displayed on a display device on a remote control side for remotely controlling a work machine,
The work machine has an imaging device that captures an image of an imaging target existing at the work site,
The image generation system includes:
the display device;
an image recording unit that records a captured image captured by the imaging device;
An image processing computer that processes the captured image,
The image processing computer acquires the latest image, which is the latest captured image, and converts the previous captured image recorded in the image recording unit to the image captured by the imaging device when the imaging device captured the latest image. An image generating system that generates a converted image converted according to the orientation, and causes the display device to display a complemented image obtained by complementing a blind spot area where the imaging target is shielded by a shield in the latest image with the converted image. .
前記画像処理コンピュータは、以前の前記撮像画像を撮像したときから前記最新画像を撮像したときまでの前記旋回体の旋回角度を取得し、前記旋回角度に基づいて以前の前記撮像画像の位置をずらして前記変換画像を生成する、請求項５または請求項６に記載の画像生成システム。 The imaging device captures an image of the imaging target while the revolving body is revolving,
The image processing computer acquires a turning angle of the turning body from when the previous captured image was captured to when the latest image was captured, and shifts the position of the previous captured image based on the turning angle. 7. An image generation system according to claim 5 or 6, wherein the transformed image is generated by
8. The image generation system according to claim 7, wherein said image processing computer transforms said previously captured image to generate said transformed image based on said turning angle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022026027A JP2023122360A (en) | 2022-02-22 | 2022-02-22 | image generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022026027A JP2023122360A (en) | 2022-02-22 | 2022-02-22 | image generation system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023122360A true JP2023122360A (en) | 2023-09-01 |
Family
ID=87799237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022026027A Pending JP2023122360A (en) | 2022-02-22 | 2022-02-22 | image generation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023122360A (en) |
-
2022
- 2022-02-22 JP JP2022026027A patent/JP2023122360A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107406035B (en) | Engineering operation machine | |
| CN106031167B (en) | The display apparatus for displaying image of surroundings of rotation-type working machine | |
| JP5988683B2 (en) | Display device for self-propelled industrial machine | |
| JP6014664B2 (en) | Display device for self-propelled industrial machine | |
| JP5814187B2 (en) | Display device for self-propelled industrial machine | |
| US20150175071A1 (en) | Environment monitoring device for operating machinery | |
| US20140111648A1 (en) | Device For Monitoring Area Around Working Machine | |
| EP3845988B1 (en) | Remote operation device for construction machine | |
| KR20130138227A (en) | Perimeter surveillance device for work machine | |
| JP4740890B2 (en) | Construction machine and backward movement guidance method for construction machine | |
| WO2018043299A1 (en) | Work machine graphics display system, work machine remote control system, work machine, and work machine graphics display method | |
| WO2020090985A1 (en) | Display control system and display control method | |
| WO2019210931A1 (en) | System and method for selectively displaying image data in a working machine | |
| JP2023122360A (en) | image generation system | |
| AU2021222454B2 (en) | Remote operation system for work machine | |
| WO2020080294A1 (en) | Hydraulic excavator | |
| JP6224770B2 (en) | Dump truck display device | |
| US20230050071A1 (en) | Work machine and remote control system for work machine | |
| WO2023136070A1 (en) | Remote operation support system and remote operation support method | |
| US20230167627A1 (en) | Work machine remote control system | |
| US20210395980A1 (en) | System and method for work machine | |
| JP2023122359A (en) | Remote operation system | |
| WO2023157707A1 (en) | Display control device and remote operation device | |
| JP2021022827A (en) | Display system, remote operation system, and display method |