JP2019083370A - 建設機械の視覚拡張システム - Google Patents

建設機械の視覚拡張システム Download PDF

Info

Publication number
JP2019083370A
JP2019083370A JP2017208522A JP2017208522A JP2019083370A JP 2019083370 A JP2019083370 A JP 2019083370A JP 2017208522 A JP2017208522 A JP 2017208522A JP 2017208522 A JP2017208522 A JP 2017208522A JP 2019083370 A JP2019083370 A JP 2019083370A
Authority
JP
Japan
Prior art keywords
construction machine
unit
display
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017208522A
Other languages
English (en)
Other versions
JP7021502B2 (ja
Inventor
田中 精一
Seiichi Tanaka
精一 田中
玲央奈 高村
Reona Takamura
玲央奈 高村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2017208522A priority Critical patent/JP7021502B2/ja
Publication of JP2019083370A publication Critical patent/JP2019083370A/ja
Application granted granted Critical
Publication of JP7021502B2 publication Critical patent/JP7021502B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】建設機械の操作者が表示装置を見るときに向いている方向と撮影装置が写す作業部の方向を合わせることで、操作者の感覚に沿った視覚情報を提供し、操作性および周囲環境の把握性を向上させる建設機械の視覚拡張システムを提供すること。【解決手段】建設機械の視覚拡張システム1は、建設機械10と、撮影部30と、表示部40と、操作室11とを備える。撮影部30は、対象物を第1撮影方向から撮影する第1撮影装置31を備える。表示部40は、操作箇所51から見て第1表示方向に設置され第1撮影装置31で撮影された画像を操作箇所51に向けて表示する第1画像表示装置41を備える。第1撮影方向の単位ベクトルと第1表示方向の単位ベクトルの内積が負値になるように、第1撮影装置31と第1画像表示装置41が配置されている。【選択図】図3

Description

本発明は、作業部周辺の画像を撮影装置で撮影し、操作室に配置された表示装置に表示する建設機械の視覚拡張システムに関する。
建設機械などの作業機械が作業する作業部周辺に撮影装置を配置し、当該撮影装置からの画像を見ながら作業機械を操作することがある。撮影装置からの画像が多方向からの画像であると作業部が見易くなり、作業性が向上する。
このような作業部の多方向からの画像を表示する技術として、作業部の周辺に複数の撮影装置を配置し、操作者がいる操作室に配置された表示装置に作業部の複数方向からの画像を表示する作業機械の視覚拡張システムが提案されている(例えば、特許文献1参照)。
特開平10−28265号公報
特許文献1の作業機械の視覚拡張システムは、作業部の周辺に複数の撮影装置を配置し、これら複数の撮影装置からの画像を操作室の表示装置に写す際、車体コントローラが自動的に最適の撮影装置を選択するものである。車体コントローラが、各撮影装置のカメラ方向、およびカメラ方向と作業機械の方向との間の各角度を演算し、これらの角度に対する優先度に基づいて自動的に最適の撮影装置を選択して表示装置に画像が映し出される視覚拡張システムである。
ところで、仮に作業者が自分の手の届く範囲にある作業部を見る際には、正面からだけでなく、作業部の右側を確認したいときには作業部の右側に回り込んで顔を左方向に向けて目視し、作業部の左側を確認したいときには作業部の左側に回り込んで顔を右方向に向けて目視すると、作業者の感覚に沿った視覚情報が得られる。
この点、建設機械を操作する操作者が表示装置を介して作業部を見る場合であっても、操作者が表示装置を見るときに向いている方向と撮影装置が写す作業部の方向が合っていれば、操作者の感覚に沿った視覚情報が得られて、操作性および周囲環境の把握性が向上して好ましい。
しかしながら、特許文献1の視覚拡張システムでは、車体コントローラが自動的に最適の撮影装置を選択して、操作室に配置された表示装置の画像を切り替えて表示するが、操作者が表示装置を見るときに向いている方向までは考慮されていない。
本発明は、以上の点に鑑み、建設機械の操作者が表示装置を見るときに向いている方向と撮影装置が写す作業部の方向を合わせることで、操作者の感覚に沿った視覚情報を提供し、操作性および周囲環境の把握性を向上させることができる建設機械の視覚拡張システムを提供することを目的とする。
[1]上記目的を達成するため、本発明の建設機械の視覚拡張システムは、
作業を実行する建設機械と、当該建設機械の操作室外に設けられ対象物を撮影する撮影部と、前記操作室に配置可能に設けられ前記撮影部で撮影された画像を表示する表示部とを備えている建設機械の視覚拡張システムであって、
前記撮影部は、前記操作室外の前記対象物を所定の撮影方向について撮影する少なくとも1つの撮影装置を備え、
前記表示部は、前記撮影装置で撮影された画像を前記操作室内の前記操作者による前記建設機械の操作箇所に対して所定の表示方向について表示する少なくとも1つの画像表示装置を備え、
前記撮影方向の単位ベクトルと前記表示方向の単位ベクトルの内積が負値になるように、前記少なくとも1つの撮影装置と前記少なくとも1つの画像表示装置とが配置されていることを特徴とする。
本発明によれば、建設機械の操作室外に設けられ対象物を撮影する撮影部と、操作室に配置可能に設けられ撮影部で撮影された画像を表示する表示部とを備える。撮影部は、操作室外の対象物を所定の撮影方向について撮影する少なくとも1つの撮影装置を備え、表示部は、第1撮影装置で撮影された画像を操作室内の操作者による建設機械の操作箇所に対して所定の表示方向について表示する少なくとも1つの画像表示装置を備えるので、操作室外の対象物を操作室内の表示部で見ることができる。ここで、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になるように、少なくとも1つの撮影装置と少なくとも1つの画像表示装置とが配置されているので、操作者が画像表示装置を見るときに向いている方向と撮影装置の撮影方向が90°未満の角度範囲に合わせられるので、操作者の感覚に沿った視覚情報を提供し、操作性および周囲環境の把握性を向上させることができる。
[2]また、本発明においては、前記撮影方向の単位ベクトルと前記表示方向の単位ベクトルの内積が−1になるように、前記少なくとも1つの撮影装置と前記少なくとも画像表示装置とが配置されていることが好ましい。
このため、操作者が画像表示装置を見るときに向いている方向と撮影装置の撮影方向が一致するので、操作者は撮影装置の位置から顔を向けて対象物を覗き込んでいる感覚を得ることができ、より操作者の感覚に沿った視覚情報を提供し、操作性および周囲環境の把握性をより向上させることができる。
[3]また、本発明においては、前記表示部に表示される画像は、前記建設機械の作業装置が仮想的に表示された画像であることが好ましい。建設機械の作業装置が、例えばワイヤーフレーム表示や透過表示などの仮想的に表示された画像であるので、本来、建設機械の作業装置の陰になって操作室から見えない対象物を、作業装置をワイヤーフレーム表示又は透過表示させて見ることができる。
[4]また、本発明においては、前記少なくとも1つの画像表示装置は、前記建設機械の操作者の両眼に覆いかぶせるヘッドマウントディスプレイであることが好ましい。少なくとも1つの画像表示装置は、建設機械の操作者の両眼に覆いかぶせるヘッドマウントディスプレイであるので、操作者が向く方向に合わせて作業部を見る方向を変更することができる。
[5]また、本発明においては、前記表示部に表示される画像は、前記対象物の形状を表わす点群で表示された画像であることが好ましい。対象物の形状を表わす点群で表示された画像とすることで、対象物を3次元のグラフィックデータとして表現することができる。
本発明の実施形態に係る建設機械の視覚拡張システムを示す平面図。 本発明の実施形態に係る建設機械の視覚拡張システムを示す側面図。 本発明の実施形態に係る操作部の構成を示す平面図。 本発明の実施形態に係るヘッドマウントディスプレイを説明する図。 本発明の実施形態の構成を示すブロック図。 本発明の実施形態のフローチャート。 図7Aは正面の画像表示装置を説明する図。図7Bは第1画像表示装置を説明する図。図7Cは第2画像表示装置を説明する図。図7Dは透過型ディスプレイを説明する図。
(実施形態)
図を参照して、本発明の実施形態の建設機械の視覚拡張システム1を詳しく説明する。
図1〜図3に示すように、建設機械遠隔操作システム1は、作業を実行する建設機械10と、当該建設機械10の周辺を撮影する撮影部30と、当該撮影部30で撮影された画像を表示する表示部40と、当該表示部40が配置される操作室(キャブ)11とを備えている。
建設機械10は、例えば解体機であり、下部走行体12と、下部走行体12上に旋回軸13を介して旋回可能に設けられた上部旋回体14と、上部旋回体14に設けられた作業装置15と、下部走行体12に設けられた開閉クランプアーム16とを備えている。上部旋回体14の前横部には操作室(キャブ)11が搭載され、上部旋回体14の後部には機械室17に配置されたエンジンやカウンタウエイト18が搭載されている。
上部旋回体14には、ブーム21及びこのブーム21を回動するブームシリンダ22が回動可能に軸支されている。ブームシリンダ22の先端部はピン22aを介してブーム21に回動可能に連結されている。ブーム21の先端には、アーム23がアームシリンダ24により回動されるように軸支されている。アーム23には、先端アタッチメントである破砕機25がリンク部26を介して破砕機シリンダ27により回動されるように軸支されている。
撮影部30は、建設機械10の操作室11外に設けられており、建設機械10の周辺で且つ操作室11外に配置された対象物2を左側から矢印aのように第1撮影方向(右向き)に撮影する第1撮影装置31と、対象物2を右側から矢印bのように第1撮影方向と異なる第2撮影方向(左向き)に撮影する第2撮影装置32とを備えている。
さらに撮影部30は、対象物2を上側から矢印cのように第3撮影方向(下向き)に撮影する第3撮影装置33と、対象物2を前側から矢印dのように第4撮影方向(後向き)に撮影する第4撮影装置34と、対象物2を後側から矢印eのように第5撮影方向(前向き)に撮影する第5撮影装置35とを備えている。なお、矢印a、b、c、d、eは、撮影方向を示す。
第1〜第5撮影装置31〜35は、建設機械10の周囲に配置された支持部(不図示)により支持されている。
操作室11は、操作者の操作箇所51としてのシートと、該操作箇所(シート)51の前方に配置され建設機械10を操作する操作レバー等からなる操作部52と、当該受信部で受信された画像情報を表示する表示部40とを備えている。
操作室11内において、表示部40は、操作者の操作箇所51から見て右側に設置され第1撮影装置31で撮影された画像を矢印fのように第1表示方向(左向き)に操作箇所51に向けて表示する第1画像表示装置41と、操作者の操作箇所51から見て左側に設置され第2撮影装置32で撮影された画像を矢印gのように第1表示方向とは異なる第2表示方向(右向き)に操作箇所51に向けて表示する第2画像表示装置42とを備えている。
さらに表示部40は、前方の下側に配置され第3撮影装置33で撮影された画像を矢印hのように第3表示方向(上向き)に操作箇所51に向けて表示する第3画像表示装置43と、前側に配置され第4撮影装置34で撮影された画像を矢印jのように第4表示方向(後向き)に操作箇所51に向けて表示する第4画像表示装置44と、前側に配置され第5撮影装置35で撮影された画像を矢印kのように第5表示方向(後向き)に操作箇所51に向けて表示する第5画像表示装置45とを備えている。なお、矢印f、g、h、j、kは表示方向を示す。
このように第1表示方向(左向き)は第1撮影方向(右向き)と反対方向であり、第2表示方向(右向き)は第2撮影方向(左向き)と反対の方向である。
なお、実施形態では、第4撮影装置34で撮影された矢印dの後向きの画像を表示する第4画像表示装置44を前側に配置したが、これに限定されず、第4画像表示装置44を操作箇所51から後側に配置してもよい。第4画像表示装置44を操作箇所51から後側に配置することで、操作者はあたかも対象物2の前から後方をのぞき込むような感覚で視覚情報を得ることができる。
なお、実施形態では、第1〜第5撮影装置31〜35と、第1〜第5画像表示装置41〜45とを上述のように配置したが、これに限定されず、第1撮影装置31および第1画像表示装置41のみを、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になるように配置して、第2〜第5撮影装置32〜35および第2〜第5画像表示装置42〜45をなくしてもよい。さらには、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になるように第1〜第2撮影装置31〜32および第1〜第2画像表示装置41〜42のみを配置してもよく、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になるように、少なくとも1つの第1〜第5撮影装置31〜35のそれぞれと少なくとも1つの第1〜第5画像表示装置41〜45のそれぞれとが配置されていれば、撮影装置および画像表示装置の数は問わない。換言すると、実施形態では、5対の撮影装置31〜35および画像表示装置41〜45を使用したが、これに限定されず、いずれかの単一の対の撮影装置と画像表示装置の使用や、5対の内いくつかの対の撮影装置と画像表示装置を使用してもよい。
また、実施形態の第1〜第5撮影装置31〜35および第1〜第5画像表示装置41〜45の配置場所に限らず、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になるように配置されていれば、異なる場所に配置された1対の撮影装置と画像表示装置の単一の対での使用でもよく、さらには、異なる場所に配置された2対、3対や6対以上の撮影装置と画像表示装置を使用してもよい。この場合、少なくとも1対の撮影装置および画像表示装置の撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になっているが、好ましくは、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積の値は、(−1)以上(−1/2)以下であるとよい。例えば、1対の撮影装置と画像表示装置において、平面視において、撮影方向の単位ベクトルを時計表示で10時の方向に向け、表示方向を2時の方向に向けるように撮影装置と画像表示装置とをそれぞれ配置してもよい。また側面視において、撮影方向の単位ベクトルを時計表示で1時の方向に向け、表示方向を8時の方向に向けるように撮影装置と画像表示装置とをそれぞれ配置してもよい。これにより、操作者はあたかも対象物2の前から後方をのぞき込むような感覚で無理なく視覚情報を得ることができる。さらに好ましくは、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積の値は、(−1)以上(−√3/2)以下であるとよい。例えば、1対の撮影装置と画像表示装置において、平面視において、撮影方向の単位ベクトルを時計表示で9時の方向に向け、表示方向を2時の方向に向けるように撮影装置と画像表示装置とをそれぞれ配置してもよい。これにより、操作者はあたかも対象物2の前から後方をのぞき込むような感覚でより一層無理なく視覚情報を得ることができる。
次に表示部40の別態様について説明する。
以上においては、第1画像表示装置31及び第2画像表示装置32を設置型の表示装置としたが、これに限定されず、図4に示すように、第1画像表示装置31及び第2画像表示装置32の一方または両方は、建設機械1の操作者3の両眼に覆いかぶせるヘッドマウントディスプレイ46としてもよい。さらには、第3画像表示装置43、第4画像表示装置44、第5画像表示装置45のいずれか1つ又は2つ又は全てをヘッドマウントディスプレイ46としても差し支えない。
このように、ヘッドマウントディスプレイ46とすることで、操作者3が向く方向に合わせて対象物(作業部)2を見る方向を変更することができる。なお、ヘッドマウントディスプレイ46は、操作者3が顔の方向を変える又は視線を変えることで画面内の表示方向も追従して変わるものとする。
次に、建設機械の視覚拡張システム1における画像情報の送受信についてブロック図で説明する。図5に示すように、建設機械の視覚拡張システム1は、建設機械10の外部に配置された撮影部30と、当該撮影部30で撮影された画像情報を送信する送信部36と、送信部36から送信された画像情報を受信する受信部47と、受信部47で受信した画像情報を加工して表示部40に送る画像情報を制御する制御部48と、制御部48からの画像情報を表示する表示部40とを備えている。
次に、以上に述べた建設機械の視覚拡張システム1の画像情報の流れをフローチャートに基づいて説明する。図6に示すように、STEP1で、撮影部30の各撮影装置31〜35で対象物2を撮影する。STEP2で、撮影部30で撮影した画像情報を送信部36から受信部47へ送信する。STEP3で、受信部47で画像情報を受信する。
STEP4で、制御部48で画像情報を加工、補正する。STEP5で、撮影部30の撮影装置31〜35の画像情報のそれぞれを、表示部40の所定の画像表示装置(又はヘッドマウントディスプレイ)41〜46に送る。STEP6で、表示部40の各画像表示装置又はヘッドマウントディスプレイ)41〜46で画像を表示する。
次に、以上に述べた建設機械の視覚拡張システム1の作用を説明する。図7Aは、操作室11の前側にある対象物2としてのバッテリーを、操作箇所51側から前向きに撮影する第5撮影装置35の画像を第5画像表示装置45に表示したものである。
図1〜図3及び図7Aに示すように、操作者は前方を向いた状態であり、第5画像表示装置45において、建設機械10の破砕機25で対象物(バッテリー)2を掴んでいるように見える画像が確認できる。
図7Bは、対象物2としてのバッテリーを、対象物2の右側から左向き撮影する第2撮影装置32の画像を、操作箇所51の左側に配置した第2画像表示装置42に表示したものである。
図1〜図3及び図7Bに示すように、操作者は左方を向いた状態であり、操作箇所51の左側に配置された第2画像表示装置42において、建設機械10の破砕機25が対象物(バッテリー)2の一部だけに接触している画像が確認できる。このように、破砕機25で対象物2を掴めていないことが確認できる。
図7Cは、対象物2としてのバッテリーを、対象物2の左側から右向き撮影する第1撮影装置31の画像を、操作箇所51の右側に配置した第1画像表示装置41に表示したものである。
図1〜図3及び図7Cに示すように、操作者は右方を向いた状態であり、操作箇所51の右側に配置された第1画像表示装置41において、建設機械10の破砕機25が対象物(バッテリー)2の一部だけに接触している画像が確認できる。このように、破砕機25で対象物2を掴めていないことが確認できる。
このように、本発明によれば、建設機械20の周辺を撮影する撮影部30は、対象物2を第1撮影方向から撮影する第1撮影装置31と、対象物2を第1撮影方向とは異なる第2撮影方向から撮影する第2撮影装置32等とを備えるので、対象物2がある作業部を複数方向から撮影することができる。また、操作室11に配置される表示部40は、操作者の操作箇所51から見て第1表示方向に配置され第1撮影装置31で撮影された画像を操作箇所51に向けて表示する第1画像表示装置41と、操作者の操作箇所51から見て第1表示方向とは異なる第2表示方向に設置され第2撮影装置32で撮影された画像を操作箇所51に向けて表示する第2画像表示装置42を備えるので、建設機械10の操作者が表示装置41、42のそれぞれを見るときに向いている方向と撮影装置31、32が写す作業部の方向を合わせることで、操作者の感覚に沿った視覚情報を提供し、操作性および周囲環境の把握性を向上させることができる。
また、第1表示方向は第1撮影方向と反対の方向であり、第2表示方向は第2撮影方向と反対の方向であるので、操作者は、第1画面表示装置41を見ることで第1撮影装置31の方向と操作者の方向が一致し、また、第2画面表示装置42を見ることで第2撮影装置32の方向と操作者の方向が一致する。このため、操作者は、建設機械10の操作室11に居ながらあたかも、第1・第2撮影装置31、32のそれぞれの位置から顔を向けて対象物2を覗き込んでいる感覚を得ることができる。さらに、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になるように、少なくとも1つの撮影装置31〜35と少なくとも1つの画像表示装置41〜45とが配置されているので、操作者が画像表示装置41〜45を見るときに向いている方向と撮影装置31〜35の撮影方向が90°未満の角度範囲に合わせられるので、操作者の感覚に沿った視覚情報を提供し、操作性および周囲環境の把握性を向上させることができる。
図7Dは、操作室11の前側にある対象物2としてのバッテリーを、第1〜第5撮影装置31〜35のそれぞれで撮影し、それぞれの画像を制御部48で合わせることで対象物2の形状を解析し、破砕機25を透過し、表示部40としての透過型ディスプレイに表示したものである。
破砕機25が透過して、対象物2全体を見ることができる。このように、第1画像表示装置31及び第2画像表示装置32の一方または両方を透過型ディスプレイとすることで、本来、建設機械10の作業装置15の陰になって操作室11から見えない対象物2を、作業装置15を透過させることで見ることができる。
なお、実施形態では、表示部40に表示される画像は、映像そのものとしたが、これに限定されず、撮影部30をレーザスキャナや形状認識用センサー等、対象物2の形状を認識可能な機器として、表示部40に表示される画像を、対象物2の形状を点群で表示された画像としてもよい。さらには、形状のエッジ部分をエッジ点で表示し、当該エッジ点を集合させることで対象物2形状を点群で表示してもよい。また、点群を所定の感覚で間引くことで、点群表示されたデータ量を小さく(軽く)することも可能とする。画像を点群で表示することで、対象物を3次元のグラフィックデータとして表現することができる。結果、操作性および周囲環境の把握性を向上させることができる。
なお、実施形態では、第1撮影方向を右向き、第1表示方向を左向きとし、第2撮影方向を左向き、第2表示方向を右向きとしたがこれに限定されず、第1表示方向を第1撮影方向の反対方向とし、第2表示方向を第2撮影方向の反対方向とすれば、第1撮影方向を斜め右向きや左向きとし、第2撮影方向を斜め左向きや右向きとするなど、撮影方向を他の方向にしても差し支えない。また、撮影方向の単位ベクトルと表示方向の単位ベクトルの内積が負値になるようにとすれば、画像表示装置を操作者の斜め前、斜め上、斜め下等、操作者にとって感覚的に見やすい位置に配置してもよい。
また、撮影部30の撮影装置を対象物2の下部又は下方に配置して下方から斜め上方向に向けて撮影し、当該撮影した画像を表示する表示部40の画像表示装置を、操作室11の操作箇所51から斜め上方向の天井に配置してもよい。
また、実施形態では、通信環境として、画像情報を送信部36から受信部47へ無線で送信するものとしたが、これに限定されず、画像情報を有線で送信しても差し支えない。さらに、実施形態では、表示部40の表示装置を固定型としたがこれに限定されず、配置場所が変更可能な表示装置や、いわゆるタブレット端末を使用し、外部から操作室11内に持ち込んで配置してもよい。また、通信環境をWi-Fi環境とし、撮影部30の撮影装置をいわゆるWebカメラとし、表示部40の画像表示装置をタブレット端末してもよい。
また、実施形態では、建設機械10は破砕機25を備えた解体機としたが、これに限定されず、建設機械10は、いわゆる油圧ショベル、ミニショベル、クローラクレーン等対象物2に対して作業をするものであれば他の建設機械10であっても差し支えない。
1 建設機械の視覚拡張システム
2 対象物(作業部)
3 操作者
10 建設機械(解体機)
11 操作室(キャブ)
25 破砕機
30 撮影部
31 第1撮影装置
32 第2撮影装置
40 表示部
41 第1画像表示装置(透過型ディスプレイ)
42 第2画像表示装置(透過型ディスプレイ)
46 ヘッドマウントディスプレイ
51 操作箇所

Claims (5)

  1. 作業を実行する建設機械と、当該建設機械の操作室外に設けられ対象物を撮影する撮影部と、前記操作室に配置可能に設けられ前記撮影部で撮影された画像を表示する表示部とを備えている建設機械の視覚拡張システムであって、
    前記撮影部は、前記操作室外の前記対象物を所定の撮影方向について撮影する少なくとも1つの撮影装置を備え、
    前記表示部は、前記撮影装置で撮影された画像を前記操作室内の前記操作者による前記建設機械の操作箇所に対して所定の表示方向について表示する少なくとも1つの画像表示装置を備え、
    前記撮影方向の単位ベクトルと前記表示方向の単位ベクトルの内積が負値になるように、前記少なくとも1つの撮影装置と前記少なくとも1つの画像表示装置とが配置されていることを特徴とする建設機械の視覚拡張システム。
  2. 請求項1に記載の建設機械の視覚拡張システムであって、
    前記撮影方向の単位ベクトルと前記表示方向の単位ベクトルの内積が−1になるように、前記少なくとも1つの撮影装置と前記少なくとも画像表示装置とが配置されていることを特徴とする建設機械の視覚拡張システム。
  3. 請求項1または2に記載の建設機械の視覚拡張システムであって、
    前記表示部に表示される画像は、前記建設機械の作業装置が仮想的に表示された画像であることを特徴とする建設機械の視覚拡張システム。
  4. 請求項1または2記載の建設機械の視覚拡張システムであって、
    前記少なくとも1つの画像表示装置は、前記建設機械の操作者の両眼に覆いかぶせるヘッドマウントディスプレイであることを特徴とする建設機械の視覚拡張システム。
  5. 請求項1から請求項4のいずれか1項記載の建設機械の視覚拡張システムであって、
    前記表示部に表示される画像は、前記対象物の形状を表わす点群で表示された画像であることを特徴とする建設機械の視覚拡張システム。
JP2017208522A 2017-10-27 2017-10-27 建設機械の視覚拡張システム Active JP7021502B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017208522A JP7021502B2 (ja) 2017-10-27 2017-10-27 建設機械の視覚拡張システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017208522A JP7021502B2 (ja) 2017-10-27 2017-10-27 建設機械の視覚拡張システム

Publications (2)

Publication Number Publication Date
JP2019083370A true JP2019083370A (ja) 2019-05-30
JP7021502B2 JP7021502B2 (ja) 2022-02-17

Family

ID=66670580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017208522A Active JP7021502B2 (ja) 2017-10-27 2017-10-27 建設機械の視覚拡張システム

Country Status (1)

Country Link
JP (1) JP7021502B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093672A (ja) * 2019-12-12 2021-06-17 株式会社植木組 建設機械用監視カメラ装置
KR20210138185A (ko) * 2020-05-11 2021-11-19 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10299032A (ja) * 1997-04-22 1998-11-10 Kensetsusho Kanto Chiho Kensetsu Kyokucho 作業用走行車の視界改善装置および方法
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
JP2017032276A (ja) * 2015-07-28 2017-02-09 大成建設株式会社 位置計測システム
WO2017033769A1 (ja) * 2015-08-24 2017-03-02 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP2017145649A (ja) * 2016-02-18 2017-08-24 日立建機株式会社 作業機械

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10299032A (ja) * 1997-04-22 1998-11-10 Kensetsusho Kanto Chiho Kensetsu Kyokucho 作業用走行車の視界改善装置および方法
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
JP2017032276A (ja) * 2015-07-28 2017-02-09 大成建設株式会社 位置計測システム
WO2017033769A1 (ja) * 2015-08-24 2017-03-02 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP2017145649A (ja) * 2016-02-18 2017-08-24 日立建機株式会社 作業機械

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093672A (ja) * 2019-12-12 2021-06-17 株式会社植木組 建設機械用監視カメラ装置
KR20210138185A (ko) * 2020-05-11 2021-11-19 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
KR102417984B1 (ko) 2020-05-11 2022-07-08 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법

Also Published As

Publication number Publication date
JP7021502B2 (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
US10579320B2 (en) Display system, display device, information display method, and program
CN107111928B (zh) 远程控制作业机用显示系统
JP6456584B2 (ja) 作業機械用周辺監視装置
WO2019189430A1 (ja) 建設機械
JP6052881B2 (ja) 作業機械用周辺監視装置
JP6947101B2 (ja) 遠隔操作システム及び主操作装置
CN110318441A (zh) 作业机械
JP2015226094A (ja) 作業機械用遠隔操作システム
WO2015133367A1 (ja) 作業機械の周辺監視装置
JP2013253402A (ja) 作業機械の周囲監視装置
JP2018121195A (ja) 遠隔制御システム
US11732440B2 (en) Remote operation system and remote operation server
JP2019083370A (ja) 建設機械の視覚拡張システム
JP6290497B2 (ja) ショベル
JP6420432B2 (ja) ショベル
JP2018197493A (ja) ショベル
CN115210434A (zh) 作业辅助服务器、作业辅助方法
JP6602936B2 (ja) ショベル
JP6301536B2 (ja) ショベル
JP6391656B2 (ja) 作業機械用周辺監視装置及び作業機械
US11939744B2 (en) Display system, remote operation system, and display method
JP2022053421A (ja) 遠隔操作のための表示システム、表示方法およびプログラム
JP7569261B2 (ja) 遠隔制御システム
JP2014183498A (ja) 作業機械用周辺監視装置
JP2014183499A (ja) 作業機械用周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220118

R150 Certificate of patent or registration of utility model

Ref document number: 7021502

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150