JP2021111875A - 建設機械の点検システム - Google Patents
建設機械の点検システム Download PDFInfo
- Publication number
- JP2021111875A JP2021111875A JP2020002727A JP2020002727A JP2021111875A JP 2021111875 A JP2021111875 A JP 2021111875A JP 2020002727 A JP2020002727 A JP 2020002727A JP 2020002727 A JP2020002727 A JP 2020002727A JP 2021111875 A JP2021111875 A JP 2021111875A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- camera
- construction machine
- construction
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 261
- 238000010276 construction Methods 0.000 title claims abstract description 227
- 230000006870 function Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 14
- 230000005856 abnormality Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/267—Diagnosing or detecting failure of vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/38—Investigating fluid-tightness of structures by using light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
Abstract
【課題】建設機械の点検作業を、離れた場所から適切に行うことを可能とするシステムを提供する。【解決手段】点検システムとしての機能を有する遠隔操縦システム1は、建設機械10の配置環境に配置された複数のカメラ25,60と、それぞれの撮影映像を表示器45に表示させ得る撮影映像処理部50aと、建設機械10の点検時に、複数のカメラ25,60から、点検用カメラを選定するカメラ選定部50bとを備える。撮影映像処理部50aは、選定された点検用カメラにより点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を表示器45に表示させ得るように構成されている。【選択図】図2
Description
本発明は、建設機械の点検システムに関する。
油圧ショベル等の建設機械では、その機体の各部に異物が当たることや、ブーム、アーム等の可動部に大きな負荷がかかりやすいこと等から、外面部の亀裂等の損傷の有無や、油漏れの有無等を適宜点検する必要がある。
この場合、建設機械を操縦するオペレータ等の点検作業者が、建設機械の近くで目視による点検を行うことが従来より一般に行われている。
また、例えば特許文献1に見られるように、エンジンルームを撮影する点検用カメラが搭載された支持部を建設機械に取付けて、点検作業者が、建設機械の運転室のディスプレイにて、カメラの撮影映像を視認し得るようにした点検装置が知られている。
ところで、建設機械の点検作業を、建設機械から離れた場所でも行い得ることが望まれる。特に、遠隔操縦を行い得る建設機械では、それを操縦するオペレータ等が建設機械から離れた場所に居るので、点検作業も、離れた場所で行い得ることが望まれる。
この場合、特許文献1に見られる技術では、点検時に建設機械にカメラを取り付ける必要があるので、カメラの撮影映像を建設機械から離れた場所でディスプレイで見られるようにしても、該カメラの取付け作業を行う作業者が必要になってしまう。また、建設機械に1つのカメラを取り付けただけでは、建設機械の複数の部位の点検を行うことは困難である。ひいては、建設機械に複数のカメラを取り付ける作業や、カメラの取付け部位の変更作業が必要になってしまう。
一方、遠隔操縦を行い得る建設機械の配置環境では、該建設機械の動作状況を視覚的に確認し得るようにするために、通常、該建設機械を外部から撮影し得る複数のカメラが配置される。そこで、これらのカメラを利用して建設機械の点検作業を行うことが考えられる。
本発明はかかる背景に鑑みてなされたものであり、建設機械の点検作業を、離れた場所から適切に行うことを可能とするシステムを提供することを目的とする。
本発明の建設機械の点検システムは、上記の目的を達成するために、建設機械の配置環境に該建設機械の外観を撮影し得るように配置された複数のカメラと、
該複数のカメラのそれぞれの撮影映像を受信可能に前記建設機械の外部に配置され、受信した撮影映像を表示可能な表示器を備える撮影映像処理部と、
前記建設機械の点検時に、前記複数のカメラから、該建設機械の点検対象部位を撮影するためのカメラである点検用カメラを選定するカメラ選定部とを備え、
前記撮影映像処理部は、前記選定された点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を前記表示器に表示させ得るように構成されていることを特徴とする(第1発明)。
該複数のカメラのそれぞれの撮影映像を受信可能に前記建設機械の外部に配置され、受信した撮影映像を表示可能な表示器を備える撮影映像処理部と、
前記建設機械の点検時に、前記複数のカメラから、該建設機械の点検対象部位を撮影するためのカメラである点検用カメラを選定するカメラ選定部とを備え、
前記撮影映像処理部は、前記選定された点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を前記表示器に表示させ得るように構成されていることを特徴とする(第1発明)。
かかる第1発明によれば、建設機械の配置環境に配置された複数のカメラから、点検対象部位を撮影する上で好適な点検用カメラを選定することができると共に、その点検用カメラの撮影映像(点検対象部位の画像を含む撮影映像)を建設機械の外部の表示器で表示させることができる。このため、点検作業者は、表示器の表示情報から点検対象部位の状態を視覚的に確認することができる。従って、建設機械の点検時に点検用カメラを建設機械に取付けたりする作業を必要とせずに、建設機械の点検作業を、離れた場所から適切に行うことが可能となる。
上記第1発明では、前記複数のカメラは、前記建設機械の外部に配置されたカメラである外部カメラと、前記建設機械にあらかじめ搭載されているカメラである搭載カメラとを含むことが好ましい(第2発明)。
これによれば、前記複数のカメラが、外部カメラに加えて、搭載カメラを含むので、建設機械の様々な点件対象部位に対して、該点検対象部位の画像含む撮影映像を撮影する上で好適な点検用カメラを選定することが可能となる。
上記第1発明又は第2発明では、前記建設機械の点検対象部位が複数の部位である場合には、前記カメラ選定部は、当該複数の点検対象部位のそれぞれ毎に、前記点検用カメラを選定するように構成されていることが好ましい(第3発明)。
これによれば、複数の点検対象部位のそれぞれ毎に、各点検対象部位を含む画像を含む撮影映像を撮影する上で好適な点検用カメラを選定できる。
上記第1〜第3発明では、前記カメラ選定部は、前記建設機械と前記複数のカメラのそれぞれとの位置関係、又は、前記建設機械と前記複数のカメラのそれぞれの撮影可能領域との位置関係を示す第1情報と、前記建設機械における前記点検対象部位の位置を示す第2情報とを取得し、少なくとも該第1情報及び該第2情報に基づいて前記点検用カメラを選定するように構成され得る(第4発明)。
これによれば、上記第1情報及び第2情報に基づいて点検用カメラを選定することで、点検対象部位の画像を含む撮影映像を撮影し得る点検用カメラを適切に選定できる。
上記第1〜第4発明では、前記カメラ選定部は、前記複数のカメラのそれぞれの撮影映像を取得すると共に、当該それぞれの撮影映像から前記点検対象部位の画像を認識する画像認識処理を実行し、少なくとも該画像認識処理の結果に基づいて前記点検用カメラを選定するように構成され得る(第5発明)。
これによれば、上記画像認識処理の結果に基づいて点検用カメラを選定することで、複数のカメラのうち、点検対象部位の適切な画像を実際に撮影し得るカメラを点検用カメラとして選定することができる。例えば、レンズの汚れや障害物等により、点検対象部位の画像を鮮明に撮影できないカメラが点検用カメラとして選定されてしまうのを防止できる。
上記第1〜第5発明では、前記撮影映像処理部は、前記点検用カメラによる撮影映像を取得するとき、該点検用カメラの撮影方向と、該点検用カメラの撮影倍率と、前記建設機械の向きとのうちの少なくとも1つを変化させる機能をさらに有するように構成されていることが好ましい(第6発明)。
これによれば、点検用カメラの撮影映像中に、点検対象部位の状態を確認する上で好適な画像が含まれるように(例えば、点検対象部位の正面画像が撮影映像中の中央付近に写るように、あるいは、該点検対象部位の画像が見やすい大きさの画像になるように)することが可能となる。
上記第1〜第6発明では、前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像に基づいて、該点検対象部位の状態を判定する機能と、該判定の結果を示す情報を、前記建設機械の点検時に前記表示器を視認する点検作業者に報知する機能とをさらに含み得る(第7発明)。
これによれば、点検作業者は、表示器に表示される点検用カメラの撮影映像中の点検対象部位の画像から該点検対象部位の状態を確認できると共に、上記判定の結果を知ることができるので、点検作業者が点検対象部位の状態を誤って特定してしまうのを防止することが可能となる。
上記第7発明では、前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を前記表示器に表示させることと並行して、該表示器に前記判定の結果を示す情報を表示させるように構成され得る(第8発明)。
これによれば、点検作業者は、表示器に表示される点検用カメラの撮影映像中の点検対象部位の画像から点検対象部位の状態を確認しながら、上記判定の結果を認識できるので、画像に基づく点検対象部位の状態の確認を効率よく行うことが可能となる。
上記第1〜第8発明では、前記カメラ選定部及び前記撮影映像処理部は、所定の点検開始条件が成立することに応じて、それぞれの処理を開始するように構成され得る(第9発明)。これによれば、建設機械の点検を好適なタイミングで行うことができる。
本発明の一実施形態を図1〜図5を参照して以下に説明する。図1は本実施形態の点検システムとしての機能を含む建設機械の遠隔操縦システム1の全体構成を示している。この遠隔操縦システム1は、オペレータが操縦装置40を操作することで、該オペレータ又は操縦装置40に対して操縦対象の建設機械として割り当てられた建設機械10を遠隔操縦し得るように構成されたシステムである。なお、図1では、建設機械10と操縦装置40とをそれぞれ1つだけ代表的に記載しているが、遠隔操縦システム1には、複数の建設機械10と複数の操縦装置40とが含まれ得る。
遠隔操縦システム1は、操縦装置40及び建設機械10の他、遠隔操縦システム1に関する様々な運営処理、情報処理等を行うサーバ50と、各建設機械10が配置される配置環境としての作業現場に設置された複数のカメラ60(以降、現場設置カメラ60という)とを含む。
そして、各建設機械10と各操縦装置40とサーバ50とが、無線通信網を含むネットワークNWを介して相互に通信を行うことが可能である。また、各操縦装置40及びサーバ50は、適宜、ネットワークNWを介して現場設置カメラ60の撮影映像を取得することが可能である。各現場設置カメラ60は、その撮影方向(光軸の向き)や撮影倍率を操縦装置40又はサーバ50からの指令より、適宜変更し得るように構成されている。
各建設機械10としては、例えば油圧ショベルを採用し得る。この場合、建設機械10は、公知の油圧ショベルと同様に、クローラ式(又は車輪型)の走行体11と、該走行体11に旋回可能に搭載された旋回体12と、旋回体12の前部に取り付けられた作業装置13とを備える。旋回体12は、運転室12aを前部に有し、後述のエンジン22及び油圧回路装置21等が収容された機械室12bを後部に有する。また、作業装置13は、ブーム13a、アーム13b及びアタッチメント13c(例えばバケット)を有する。
また、詳細な図示は省略するが、各建設機械10は、図2に示すように、複数の油圧アクチュエータ20と、各油圧アクチュエータ20に作動油を供給するための図示しない油圧ポンプや方向切換弁等を含む油圧回路装置21と、油圧回路装置21の油圧ポンプを駆動するエンジン22と、各油圧アクチュエータ20の作動を操作するための操作装置23と、操作装置23を駆動する電動式の操作駆動装置24と、建設機械10の周囲(運転室12aの前方を含む)の状況を撮影し得るように旋回体12等に搭載された複数のカメラ25(以降、搭載カメラ25という)と、建設機械10の運転制御を行う機能を有する制御装置30(以降、機械側制御装置30という)とを備える。なお、図2では、油圧アクチュエータ20及び搭載カメラ25は、それぞれの1つを代表的に記載している。
油圧アクチュエータ20には、作業装置13のブーム13a、アーム13b及びアタッチメント13cをそれぞれ駆動する油圧シリンダ20a,20b,20c(図1に示す)が含まれると共に、走行体11の走行駆動を行う走行用油圧モータ(図示省略)と、旋回体12の旋回駆動を行う旋回用油圧モータ(図示省略)とが含まれる。
操作装置23は、運転室12aに配置される操作レバーや操作ペダル、操作スイッチ等を含む。また、操作駆動装置24は、例えば複数の電動モータを有し、操作装置23に含まれる操作レバーや操作ペダルを、適宜の動力伝達機を介して電動モータにより駆動し得るように構成されている。
機械側制御装置30は、例えばマイクロコンピュータ、メモリ(RAM、ROM等)、インターフェース回路、無線通信機等を含む1つ以上の電子回路ユニットにより構成される。そして、機械側制御装置30は、実装されたハードウェア構成及びプログラム(ソフトウェア構成)の一方又は両方により実現される機能として、搭載カメラ25の撮影映像を取得する機能と、操縦装置40の後述のマスター側制御装置47及びサーバ50のそれぞれとの通信をネットワークNWを介して行う機能と、油圧回路装置21に備えられた電動弁(電磁比例弁等)、エンジン22及び操作駆動装置24のそれぞれの作動制御を通じて建設機械10の運転制御を行う機能とを有する。
この場合、機械側制御装置30は、マスター側制御装置47又はサーバ50との通信によって、建設機械10の作動指令を受信することや、搭載カメラ25の撮影映像や建設機械10の作動状態を示す情報をマスター側制御装置47又はサーバ50に送信することが可能である。
各操縦装置40は、図3に示すように、遠隔操縦室41内に、オペレータが着座するシート42と、建設機械10の遠隔操縦のためにオペレータが操作する操作装置43と、音響情報(聴覚的情報)の出力装置としてのスピーカ44と、表示情報(視覚的情報)の出力装置としてのディスプレイ45とを備える。
操作装置43は、例えば、建設機械10の操作装置23と同様もしくは類似の構成のものを採用し得る。例えば図3に例示する操作装置43は、シート42に着座したオペレータが操作し得るようにシート42の前側に配置された操作ペダル43ap付きの操作レバー43aと、シート42の左右の両側に各々配置された操作レバー43bとを含む。ただし、操作装置43は、建設機械10の操作装置23と異なる構成のものであってもよい。例えば操作装置43は、ジョイスティック、操作ボタン等を有する携帯型の操作装置であってもよい。
スピーカ44は、遠隔操縦室41の複数個所(例えば、遠隔操縦室41の前部、後部及び左右の両側)に設置されている。ディスプレイ45は、例えば液晶ディスプレイ、ヘッドアップディスプレイ等により構成され、シート42に着座したオペレータが視認し得るように遠隔操縦室41に設置されている。なお、本実施形態では、ディスプレイ45は、本発明における表示器として機能し得るものである。
また、図2に示すように、操縦装置40は、さらに、操作装置43の操作状態を検出するための操作状態検出器46と、操縦装置40に関する制御処理を実行する機能を有するマスター側制御装置47とを備える。なお、マスター側制御装置47は、遠隔操縦室41の内部及び外部のいずれに配置されていてもよい。
操作状態検出器46は、例えば、操作装置43に組み込まれたポテンショメータ、接点スイッチ等を含み、操作装置43の各操作部(操作レバー43a,43b、操作ペダル43ap等)の操作状態を示す検出信号を出力するように構成されている。
マスター側制御装置47は、例えば、マイクロコンピュータ、メモリ(RAM、ROM等)、インターフェース回路、通信機等を含む1つ以上の電子回路ユニットにより構成される。そして、マスター側制御装置47は、実装されたハードウェア構成及びプログラム(ソフトウェア構成)の一方又は両方により実現される機能として、操作状態検出器46の検出信号を取得する機能と、操縦対象の建設機械10が配置された作業現場の現場設置カメラ60の撮影映像をネットワークNWを介して取得する機能と、操縦対象の各建設機械10の機械側制御装置30及びサーバ50のそれぞれとの通信をネットワークNWを介して行う機能と、スピーカ44の作動制御及びディスプレイ45の表示制御を行う機能とを有する。
この場合、マスター側制御装置47は、建設機械10の機械側制御装置30との通信によって、該建設機械10の搭載カメラ25の撮影映像や、該建設機械10の作動状態を示す情報を機械側制御装置30から取得し得ると共に、操作装置43の操作状態に応じて生成した建設機械10の作動指令を機械側制御装置30に送信することが可能である。また、マスター側制御装置47は、サーバ50との通信によって、建設機械10の遠隔操縦に関する様々な情報や指令をサーバ50から取得することが可能である。
サーバ50は、例えば1つ以上のコンピュータ、あるいは、マイクロコンピュータ等を含む1つ以上の電子回路ユニット、あるいは、これらの組み合わせにより構成される。そして、サーバ50は、実装されたハードウェア構成及びプログラム(ソフトウェア構成)の一方又は両方により実現される機能として、各現場設置カメラ60の撮影映像をネットワークNWを介して取得する機能と、各建設機械10の機械側制御装置30及び各操縦装置40のマスター側制御装置47のそれぞれとの通信をネットワークNWを介して行う機能とを有する。さらに、サーバ50は、操縦装置40のオペレータ等が操作可能な図示しない通信端末(例えば、スマートフォン、タブレット端末、パソコン等)と通信を行うことも可能である。
そして、サーバ50は、建設機械10の機械側制御装置30との通信によって、該建設機械10の搭載カメラ25の撮影映像や、該建設機械10の作動状態を示す情報を機械側制御装置30から取得し得る。
また、サーバ50は、操縦装置40のマスター側制御装置47との通信によって、操縦装置40の作動状態を示す情報をマスター側制御装置47から取得し得ると共に、建設機械10の遠隔操縦又は点検に関する様々な情報や指令を、該建設機械10を操縦可能な操縦装置40のマスター側制御装置47に送信することが可能である。
また、サーバ50には、建設機械10及び操縦装置40のそれぞれの稼働スケジュール及び稼働履歴を示す情報が記憶保持されていると共に、各現場設置カメラ60の位置情報(グローバル座標系で見た各現場設置カメラ60の位置を示す情報)もしくは各現場設置カメラ60の撮影可能領域の位置情報(グローバル座標系で見た各現場設置カメラ60の撮影可能範囲の位置を示す情報)が記憶保持されている。なお、各現場設置カメラ60の位置情報には、各現場設置カメラ60の光軸の向き、もしくはその可変範囲を示す情報が含まれ得る。また、各現場設置カメラ60又はその撮影可能範囲の位置情報を、各現場設置カメラ60に備えられたメモリに記憶保持しておき、それをサーバ50が各現場設置カメラ60から適宜、取得し得るようにしてもよい。
さらに、サーバ50は、各建設機械10の位置情報(グローバル座標系で見た建設機械10の位置を示す情報)を、GNSS(Global Navigation Satellite System)や、各建設機械10が配置された作業現場の現場設置カメラ60の撮影映像、もしくは、各建設機械10の周囲に存在する他の建設機械10の搭載カメラ25の撮影映像を用いて、適宜、取得することが可能である。なお、建設機械10の位置情報には、該建設機械10の走行体11又は旋回体12の向きを示す情報が含まれ得る。
また、サーバ50には、建設機械10の機種毎に、各機種の建設機械10について外観に基づく点検を適宜実施すべき部位としてあらかじめ定められた複数の点検対象部位の位置情報(建設機械10に設定されたローカル座標系で見た位置を示す情報)と、各機種の建設機械10の各搭載カメラ25の位置情報(建設機械10に設定されたローカル座標系で見た位置を示す情報)、もしくは、各搭載カメラ25の撮影可能範囲の位置情報(建設機械10に設定されたローカル座標系で見た位置を示す情報)とが保存されている。なお、各搭載カメラ25の位置情報には、カメラ25の光軸の向きを示す情報が含まれ得る。
補足すると、建設機械10の各点検対象部位の位置情報と、建設機械10の各搭載カメラ25もしくはその撮影可能範囲の位置情報とを、該建設機械10の機械側制御装置30に記憶しておき、これらの位置情報をサーバ50が適宜、機械側制御装置30から取得し得るようにしてもよい。
そして、サーバ50は、建設機械10の複数の点検対象部位の点検に関する処理として、操縦装置40のマスター側制御装置47との協働によって、操縦装置40のディスプレイ45に点検用の撮影映像等を表示させる撮影映像処理部50aとしての機能と、建設機械10の搭載カメラ25と該建設機械10が配置される作業現場の現場設置カメラ60とから点検用の撮影映像を撮影するための点検用カメラを選定するカメラ選定部50bとしての機能とを含む。この場合、撮影映像処理部50aは、現場設置カメラ60又は搭載カメラ25の撮影映像に建設機械10が写っている場合に、該撮影映像に写っている該建設機械10の各点検対象部位の画像部分を特定する機能と、点検用カメラの撮影映像から点検対象部位の状態を判定する(正常な状態であるか、何らかの異常があるかの判定を行う)機能とを含む。補足すると、本実施形態では、操縦装置40のマスター側制御装置47は、本発明における撮影映像処理部の一部の機能を含む。
次に、各建設機械10の点検作業に関して説明する。各建設機械10の点検(外観に基づく点検)を行う点検作業者は、該点検を実施しようとするとき、その旨を、操縦装置40の所定の操作によって、あるいは、該点検作業者が操作可能な通信端末の所定の操作によって、サーバ50に通知する。これに応じて、サーバ50は、該建設機械10の点検に関する処理を開始する。
あるいは、サーバ50は、各建設機械10の稼働スケジュールもしくは稼働履歴に基づく、所定の点検開始条件が成立したタイミング(例えば、該建設機械10による作業開始前のタイミング、あるいは、作業終了後のタイミング、あるいは、建設機械10の累積の稼働時間が所定時間に達した時点の近辺のタイミング等)において、点検作業者が点検対象の建設機械10を操縦可能な操縦装置40を起動した状態で、該建設機械10の点検に関する処理を開始する。なお、上記点検作業者は、建設機械10を操縦するオペレータに限らず、該オペレータ以外の作業者であってもよい。
このとき、サーバ50は、点検対象の建設機械10の複数の点検対象部位のそれぞれを、点検作業者による操縦装置40の操作(もしくは通信端末の操作)に応じて順次選択する。あるいは、サーバ50は、建設機械10の複数の点検対象部位のそれぞれを、所定の順番で順次選択する。そして、サーバ50は、点検対象の建設機械10が配置された作業現場の複数の現場設置カメラ60と、点検対象の建設機械10の複数の搭載カメラ25と、点検対象の建設機械10の周囲に存在する他の建設機械10の搭載カメラ25とのうちのいずれかのカメラを、点検対象の建設機械10について選択した点検対象部位(以降、単に選択点検対象部位という)を撮影するための点検用カメラとして選定する処理をカメラ選定部50bにより実行する。なお、本実施形態では、点検対象の建設機械10が配置された作業現場(配置環境)の複数の現場設置カメラ60と、該建設機械10の周囲に存在する他の建設機械10の搭載カメラ25とが本発明における外部カメラに相当する。
カメラ選定部50bの処理は、具体的には以下のように実行される。すなわち、カメラ選定部50bは、点検対象の建設機械10が配置された作業現場の各現場設置カメラ60もしくはその撮影可能範囲の位置情報と、点検対象の建設機械10の位置情報と、該建設機械10での選択点検対象部位の位置情報とに基づいて、あるいは、これらの位置情報と、点検対象の建設機械10の旋回体12及び作業装置13の両方もしくは一方の姿勢に関する検出情報とに基づいて、各現場設置カメラ60と、選択点検対象部位との位置関係を特定する。
この場合、特定する位置関係には、例えば、各現場設置カメラ60と選択点検対象部位との距離と、各現場設置カメラ60に対する選択点検対象部位の方位と、各現場設置カメラ60の撮影可能な範囲内に選択点検対象部位が存在するか否かの情報とが含まれる。
また、建設機械10の旋回体12の姿勢に関する検出情報としては、例えば旋回体12の旋回角度の検出値及び旋回体12の傾斜角度の検出値が用いられ、作業装置13の姿勢に関する検出情報としては、例えばブーム13a、アーム13b及びアタッチメント13cの揺動角度の検出値が用いられる。そして、サーバ50は、これらの検出情報を、点検対象の建設機械10の機械側制御装置30を介して取得する。
また、カメラ選定部50bは、点検対象の建設機械10での各搭載カメラ25もしくはその撮影可能範囲の位置情報と、該建設機械10での選択点検対象部位の位置情報とに基づいて、あるいは、これらの位置情報と、点検対象の建設機械10の旋回体12及び作業装置13の両方もしくは一方の姿勢に関する検出情報とに基づいて、点検対象の建設機械10の各搭載カメラ25と、選択点検対象部位との位置関係を特定する。
この場合、特定する位置関係には、例えば、点検対象の建設機械10の各搭載カメラ25と選択点検対象部位との距離と、各搭載カメラ25に対する選択点検対象部位の方位と、各搭載カメラ25の撮影可能な範囲内に選択点検対象部位が存在するか否かの情報とが含まれる。なお、点検対象の建設機械10の旋回体12及び作業装置13のそれぞれの姿勢に関する検出情報は、各現場設置カメラ60と、選択点検対象部位との位置関係を特定する場合と同様に取得し得る。
また、カメラ選定部50bは、点検対象の建設機械10の周囲に存在する他の建設機械10の位置情報と、該他の建設機械10での各搭載カメラ25もしくはその撮影可能範囲の位置情報と、点検対象の建設機械10の位置情報と、該点検対象の建設機械10での選択点検対象部位の位置情報とに基づいて、あるいは、これらの位置情報と、上記他の建設機械10の旋回体12及び作業装置13の両方もしくは一方の姿勢に関する検出情報と、点検対象の建設機械10の旋回体12及び作業装置13の両方もしくは一方の姿勢に関する検出情報とに基づいて、上記他の建設機械10の各搭載カメラ25と、点検対象の建設機械10の選択点検対象部位との位置関係を特定する。
この場合、特定する位置関係には、例えば、上記他の建設機械10の各搭載カメラ25と点検対象の建設機械10の選択点検対象部位との距離と、上記他の建設機械10の各搭載カメラ25に対する点検対象の建設機械10の選択点検対象部位の方位と、上記他の建設機械10の各搭載カメラ25の撮影可能な範囲内に選択点検対象部位が存在するか否かの情報が含まれる。なお、点検対象の建設機械10の旋回体12及び作業装置13のそれぞれの姿勢に関する検出情報は、各現場設置カメラ60と、選択点検対象部位との位置関係を特定する場合と同様に取得し得る。このことは、点検対象の建設機械10の周囲に存在する他の建設機械10の旋回体12及び作業装置13のそれぞれの姿勢に関する検出情報についても同様である。
上記の如くカメラ選定部50bは、点検対象の建設機械10が配置された作業現場の各現場設置カメラ60と、該建設機械10の各搭載カメラ25と、該建設機械10の周囲に存在する他の建設機械10の各搭載カメラ25とのそれぞれと、点検対象の建設機械10の選択点検対象部位との位置関係を特定する。
そして、カメラ選定部50bは、当該位置関係の特定結果に基づいて、選択点検対象部位を撮影し得るカメラ(撮影可能範囲に選択点検対象部位を含むカメラ)を点検用カメラの候補(以降、点検用カメラ候補という)として抽出する。さらに、カメラ選定部50bは、当該点検用カメラ候補のそれぞれの撮影画像(選択点検対象部位を撮影範囲内に含む撮影画像)を取得する。この場合、カメラ選定部50bは、点検用カメラ候補がその光軸の向きを変更し得るものである場合には、該光軸の可変範囲内で、該光軸の向きを選択点検対象部位に極力近づけるように該点検用カメラ候補の向きを調整した上で、該点検用カメラ候補の撮影映像を取得する。
そして、カメラ選定部50bは、各点検用カメラ候補の撮影画像に対する画像認識処理によって、該撮影画像から選択点検対象部位の画像を認識し得るか否かを判定し、その判定結果が肯定的となった点検用カメラ候補を、選択点検対象部位に対する点検用カメラとして決定する。この場合、選択点検対象部位の画像をサーバ50が認識し得る撮影映像を取得可能な点検用カメラ候補が複数ある場合には、それらの複数の点検用カメラ候補が点検用カメラとして決定される。
例えば、図4に示す状況において、点検対象の建設機械10のブーム13aとアーム13bとの連結部分が選択点検対象部位10xである場合を想定する。ここでは、点検対象の建設機械10の作業現場に、3つの現場設置カメラ60(60a,60b,60c)が設置されており、また、点検対象の建設機械10の周囲には、他の建設機械10が存在しないものとする。また、図4では、建設機械10の搭載カメラ25として、例えば運転室12aの天井部に前方を撮影し得るように搭載された搭載カメラ25aだけを代表的に図示している。
この場合、建設機械10の作業現場の現場設置カメラ60(60a,60b,60c)のうち、現場設置カメラ60a,60bのそれぞれの撮影可能範囲に、選択点検対象部位10xが含まれる一方、現場設置カメラ60cの撮影可能範囲には、選択点検対象部位10xが含まれない。また、現場設置カメラ60aの撮影画像には、選択点検対象部位10xの画像が写るものの、現場設置カメラ60bと、選択点検対象部位10xとの間には、障害物が存在するために、現場設置カメラ60bの撮影映像には、選択点検対象部位10xの画像が写らない。
また、建設機械10の搭載カメラ25のうち、搭載カメラ25aの撮影可能範囲に選択点検対象部位10xが存在し、他の搭載カメラ25(図示せず)の撮影可能範囲には、選択点検対象部位10xは含まれない。そして、搭載カメラ25aの撮影映像には、選択点検対象部位10xの画像が写る。
このような状況では、現場設置カメラ60a,60bと搭載カメラ25aとが点検用カメラ候補として抽出され、さらに、現場設置カメラ60aと搭載カメラ25aとが点検用カメラとして選定される。
上記の如くカメラ選定部50bにより点検用カメラを決定することで、点検対象の建設機械10が配置された作業現場の現場設置カメラ60と、該建設機械10の搭載カメラ25と、該建設機械10の周囲に存在する他の建設機械10の搭載カメラ25とのうち、選択点検対象部位の適正な(明瞭な)画像を適切に撮影し得る1つ又は複数のカメラが点検用カメラとして選定される。このため、選択点検対象部位が撮影可能範囲に含まれないカメラはもちろん、障害物やカメラのレンズの汚れ等に起因して、選択点検対象部位の画像を適正に撮影できないカメラが、点検用カメラとして選定されるのを防止できる。
補足すると、選択点検対象部位の適正な(明瞭な)画像を撮影し得る点検用カメラ候補が複数ある場合において、それらの複数の点検用カメラ候補のうち、例えば選択点検対象部位との距離が最も近いか、もしくは、該距離が所定距離内となる点検用カメラ候補を点検用カメラとして選定してもよい。例えば、図4に示す状況で、搭載カメラ25aだけを点検用カメラとして選定してもよい。
あるいは、選択点検対象部位の適正な(明瞭な)画像を撮影し得る複数の点検用カメラ候補のうち、例えば選択点検対象部位の正面方向に対する光軸方向の偏差が最小もしくは所定範囲内になる点検用カメラ候補を点検用カメラとして決定してもよい。例えば、図4に示す状況で、現場設置カメラ60aだけを点検用カメラとして選定してもよい。
サーバ50は上記の如くカメラ選定部50bにより点検用カメラを選定した後、撮影映像処理部50aの処理を実行する。該撮影映像処理部50aは、点検用カメラの撮影映像を、点検対象の建設機械10のマスター側制御装置47に送信すると共に、該撮影映像をディスプレイ45に表示させるようにマスター側制御装置47に指令する。
これに応じて、マスター側制御装置47は、点検用カメラの撮影映像をディスプレイ45に表示させる。この場合、点検用カメラが複数である場合には、点検作業者による操縦装置40の所定の操作に応じて、各点検用カメラの撮影映像を選択的にディスプレイ45に表示させることもできる。例えば、図4に示す状況において、点検用カメラとしての現場設置カメラ60の撮影画像が、図5に例示する如く、ディスプレイ45に表示される。
また、点検用カメラが撮影倍率や、撮影方向(光軸方向)を調整し得るものである場合には、点検作業者は、操縦装置40の所定の操作、あるいは、通信端末(図示しない)の操作によって、点検用カメラの撮影倍率や、撮影方向の調整をサーバ50に指令することもできる。このとき、サーバ50は点検用カメラの撮影倍率や撮影方向を、点検作業者による指令に応じて制御する。
補足すると、例えばサーバ50が点検対象の建設機械10の自動操縦を行い得るように構成されている場合には、サーバ50の撮影映像処理部50aは、点検作業者からの要求(操縦装置40又は通信端末の操作による要求)に応じて、点検用カメラに対する建設機械10の向きを調整するように、該建設機械10の走行体11の走行動作や旋回体12の旋回動作を行わせるようにしてもよい。あるいは、操縦装置40のマスター側制御装置47が、点検作業者からの要求(操縦装置40又は通信端末の操作による要求)に応じて、点検用カメラに対する建設機械10の向きを調整するように、該建設機械10の走行体11の走行動作や旋回体12の旋回動作を行わせるようにしてもよい。
また、サーバ50の撮影映像処理部50aは、点検用カメラの撮影映像から、事前学習に基づいて、選択点検対象部位が、正常な状態であるか否かを判定する。例えば、正常な状態であるときの建設機械10の各点検対象部位の画像を事前学習させることにより学習済みモデルを作成し、この学習済みモデルに基づいて、選択点検対象部位が、正常な状態であるか否かが判定される。そして、その判定結果を示す情報をマスター側制御装置47に送信する。このとき、マスター側制御装置47は、判定結果を示す情報を、点検用カメラの撮影映像と共に、ディスプレイ45に表示し、あるいは、音声によりスピーカ44から出力させる。
点検作業者は、上記の如くディスプレイ45に表示される点検用カメラの撮影映像に基づいて、選択点検対象部位に亀裂や油漏れ等の異常があるか否かを確認する。この時、点検作業者は、サーバ50の撮影映像処理部50aによる判定結果を、ディスプレイ45の表示、あるいはスピーカ44から出力される音声により認識し、その判定結果と自身の判定結果とを照合することができる。
このため、点検作業者は、選択点検対象部位の異常の有無を慎重に判定することができ、ひいては、信頼性の高い判定を行うことができる。特に、サーバ50による判定結果が、点検用カメラの撮影映像と共に、ディスプレイ45に表示される場合には、点検作業者は、サーバ50による判定結果を視覚的に認識しながら、選択点検対象部位の画像を注意深く視認することができるため、該点検作業者による異常の有無の判定結果の信頼性を効果的に高めることができる。
そして、点検作業者による選択点検対象部位の異常の有無の判定結果は、該点検作業者による操縦装置40の操作、あるいは通信端末の操作によって、サーバ50に送信され、該サーバ50で保存される。本実施形態では、点検対象の建設機械10の複数の点検対象部位のそれぞれについて、順次、上記の如く外観に基づく点検が実施される。なお、建設機械10の複数の点検対象部位のそれぞれについての異常の有無の判定結果は、サーバ50から建設機械10の管理者等に通知される。あるいは、該判定結果は、点検作業者が通信端末等を介して建設機械10の管理者等に通知する。
以上説明した実施形態によれば、点検対象の建設機械10の作業現場の現場設置カメラ60、あるいは、該点検対象の建設機械10の周囲に存在する他の建設機械10の搭載カメラ25、あるいは、該点検対象の建設機械10の搭載カメラ25を点検用カメラとして利用することができる。このため、点検作業者は、建設機械10に点検用のカメラを装着する作業を行ったりすることを必要とせずに、該建設機械10から離れた場所で、該建設機械10の複数の点検対象部位のそれぞれの適正な撮影映像を見ることができる。ひいてては、該建設機械10の複数の点検対象部位のそれぞれの外観に基づく点検を、該建設機械10から離れた場所で効率よく実施することができる。
また、点検作業者は、点検用カメラの撮影映像の倍率や撮影方向を調整することもできるので、点検対象部位の異常の有無を確認しやすい撮影映像を見ることができる。このため、点検作業者による異常の有無の判定結果の信頼性を高めることができる。加えて、点検作業者は、サーバ50による判定結果を知ることがもできるので、点検対象部位の異常の有無を慎重に判定することができ、ひいては、点検作業者による判定結果の信頼性をより一層高めることができる。
なお、本発明は、以上説明した実施形態に限定されるものではなく、他の実施形態を採用することもできる。以下に他の実施形態をいくつか説明する。前記実施形態では、サーバ50に撮影映像処理部50a及びカメラ選定部50bとしての機能を持たせたが、撮影映像処理部50a及びカメラ選定部50bの機能の全体又は一部を操縦装置40のマスター側制御装置47、あるいは、点検作業者が操作可能な通信端末に持たせてもよい。
また、前記実施液体では、点検用カメラの撮影映像を表示する表示器として、操縦装置40のディスプレイ45を使用したが、該表示器は、例えば、点検作業者が操作可能な通信端末の表示器であってもよい。
また、前記実施形態では、本発明における外部カメラとして、現場設置カメラ60と、点検対象の建設機械10の周囲に存在する他の建設機械10の搭載カメラ25を使用したが、該外部カメラは、例えば、作業現場で飛行させるドローン等の飛行体に搭載されるカメラを含んでいてもよい。
また、前記実施形態では、点検対象の建設機械10が配置された作業現場の各現場設置カメラ60、該建設機械10の各搭載カメラ25、及び、該建設機械10の周囲に存在する他の建設機械10の各搭載カメラ25のそれぞれと、点検対象の建設機械10の選択点検対象部位との位置関係に基づいて抽出した点検用カメラ候補うち、選択点検対象部位の画像を撮影し得るカメラを点検用カメラとして選定した。
ただし、例えば、上記位置関係に基づいて、撮影可能範囲内に選択点検対象部位が含まれると判断し得る各カメラを点検用カメラとして選定してもよい。あるいは、例えば、点検対象の建設機械10が配置された作業現場の各現場設置カメラ60、該建設機械10の各搭載カメラ25、及び、該建設機械10の周囲に存在する他の建設機械10の各搭載カメラ25のそれぞれの撮影映像を取得すると共に、それぞれの撮影映像に対して選択点検対象部位の画像を認識する画像認識処理を実行し、選択点検対象部位の画像が写っているカメラを点検用カメラとして選定してもよい。
また、前記実施形態では、建設機械10として、油圧ショベルを例示したが、本発明における建設機秋は、油圧ショベルに限らず、例えば、クレーン等の建設機械であってもよい。
1…遠隔操縦システム(点検システム)、10…建設機械、10x…点検対象部位、25…搭載カメラ、60…現場設置カメラ(外部カメラ)、50a…撮影映像処理部、50b…カメラ選定部。
Claims (9)
- 建設機械の配置環境に該建設機械の外観を撮影し得るように配置された複数のカメラと、
該複数のカメラのそれぞれの撮影映像を受信可能に前記建設機械の外部に配置され、受信した撮影映像を表示可能な表示器を備える撮影映像処理部と、
前記建設機械の点検時に、前記複数のカメラから、該建設機械の点検対象部位を撮影するためのカメラである点検用カメラを選定するカメラ選定部とを備え、
前記撮影映像処理部は、前記選定された点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を前記表示器に表示させ得るように構成されていることを特徴とする建設機械の点検システム。 - 請求項1記載の建設機械の点検システムにおいて、
前記複数のカメラは、前記建設機械の外部に配置されたカメラである外部カメラと、前記建設機械にあらかじめ搭載されているカメラである搭載カメラとを含むことを特徴とする建設機械の点検システム。 - 請求項1又は2記載の建設機械の点検システムにおいて、
前記建設機械の点検対象部位は複数の部位であり、前記カメラ選定部は、当該複数の点検対象部位のそれぞれ毎に、前記点検用カメラを選定するように構成されていることを特徴とする建設機械の点検システム。 - 請求項1〜3のいずれか1項に記載の建設機械の点検システムにおいて、
前記カメラ選定部は、前記建設機械と前記複数のカメラのそれぞれとの位置関係、又は、前記建設機械と前記複数のカメラのそれぞれの撮影可能領域との位置関係を示す第1情報と、前記建設機械における前記点検対象部位の位置を示す第2情報とを取得し、少なくとも該第1情報及び該第2情報に基づいて前記点検用カメラを選定するように構成されていることを特徴とする建設機械の点検システム。 - 請求項1〜4のいずれか1項に記載の建設機械の点検システムにおいて、
前記カメラ選定部は、前記複数のカメラのそれぞれの撮影映像を取得すると共に、当該それぞれの撮影映像から前記点検対象部位の画像を認識する画像認識処理を実行し、少なくとも該画像認識処理の結果に基づいて前記点検用カメラを選定するように構成されていることを特徴とする建設機械の点検システム。 - 請求項1〜5のいずれか1項に記載の建設機械の点検システムにおいて、
前記撮影映像処理部は、前記点検用カメラによる撮影映像を取得するとき、該点検用カメラの撮影方向と、該点検用カメラの撮影倍率と、前記建設機械の向きとのうちの少なくとも1つを変化させる機能をさらに有するように構成されていることを特徴とする建設機械の点検システム。 - 請求項1〜6のいずれか1項に記載の建設機械の点検システムにおいて、
前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像に基づいて、該点検対象部位の状態を判定する機能と、該判定の結果を示す情報を、前記建設機械の点検時に前記表示器を視認する点検作業者に報知する機能とをさらに含むことを特徴とする建設機械の点検システム。 - 請求項7記載の建設機械の点検システムにおいて、
前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を前記表示器に表示させることと並行して、該表示器に前記判定の結果を示す情報を表示させるように構成されていることを特徴とする建設機械の点検システム。 - 請求項1〜8のいずれか1項に記載の建設機械の点検システムにおいて、
前記カメラ選定部及び前記撮影映像処理部は、所定の点検開始条件が成立することに応じて、それぞれの処理を開始するように構成されていることを特徴とする建設機械の点検システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020002727A JP2021111875A (ja) | 2020-01-10 | 2020-01-10 | 建設機械の点検システム |
US17/784,255 US20230043651A1 (en) | 2020-01-10 | 2021-01-07 | Inspection system for construction machine |
EP21738498.1A EP4057624A4 (en) | 2020-01-10 | 2021-01-07 | INSPECTION SYSTEM FOR A CONSTRUCTION MACHINE |
CN202180008444.8A CN114930809A (zh) | 2020-01-10 | 2021-01-07 | 工程机械的检测系统 |
PCT/JP2021/000300 WO2021141077A1 (ja) | 2020-01-10 | 2021-01-07 | 建設機械の点検システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020002727A JP2021111875A (ja) | 2020-01-10 | 2020-01-10 | 建設機械の点検システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021111875A true JP2021111875A (ja) | 2021-08-02 |
Family
ID=76788066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020002727A Pending JP2021111875A (ja) | 2020-01-10 | 2020-01-10 | 建設機械の点検システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230043651A1 (ja) |
EP (1) | EP4057624A4 (ja) |
JP (1) | JP2021111875A (ja) |
CN (1) | CN114930809A (ja) |
WO (1) | WO2021141077A1 (ja) |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05143714A (ja) * | 1991-07-04 | 1993-06-11 | Nishi Nippon Riyokaku Tetsudo Kk | 画像処理を利用した走行車両の異常監視方法及び異常監視システム |
JP3364419B2 (ja) * | 1997-10-29 | 2003-01-08 | 新キャタピラー三菱株式会社 | 遠隔無線操縦システム並びに遠隔操縦装置,移動式中継局及び無線移動式作業機械 |
US6697103B1 (en) * | 1998-03-19 | 2004-02-24 | Dennis Sunga Fernandez | Integrated network for monitoring remote objects |
JPH11298887A (ja) * | 1998-04-14 | 1999-10-29 | Matsushita Electric Ind Co Ltd | 着脱式車載カメラ |
US6359647B1 (en) * | 1998-08-07 | 2002-03-19 | Philips Electronics North America Corporation | Automated camera handoff system for figure tracking in a multiple camera system |
JP2004343322A (ja) * | 2003-05-14 | 2004-12-02 | Nanno Construction Co Ltd | 車両の調査方法と装置 |
JP4332027B2 (ja) * | 2003-12-25 | 2009-09-16 | キャタピラージャパン株式会社 | 表示器制御システム |
JP2005273470A (ja) * | 2004-03-23 | 2005-10-06 | Clarion Co Ltd | 車両点検システム |
JP2006221311A (ja) * | 2005-02-09 | 2006-08-24 | Hisao Doi | 自動車用業務見積り査定方法 |
JP2009068920A (ja) * | 2007-09-11 | 2009-04-02 | Nissan Motor Co Ltd | カメラ調整方法およびカメラ調整システム |
JP2009105564A (ja) * | 2007-10-22 | 2009-05-14 | Toshiba Denpa Products Kk | 航空機エンジン監視システム |
JP5758342B2 (ja) | 2012-04-16 | 2015-08-05 | 日立建機株式会社 | 建設機械の点検装置及びそれを用いた点検方法 |
JP6444101B2 (ja) * | 2014-09-04 | 2018-12-26 | 東日本旅客鉄道株式会社 | 車両検査システム |
US10262411B2 (en) * | 2017-09-01 | 2019-04-16 | Deere & Company | Site scanning using a work machine with a camera |
KR20190045160A (ko) * | 2017-09-29 | 2019-05-02 | 히다찌 겐끼 가부시키가이샤 | 건설 기계의 점검 지원 시스템, 관리 서버 및 점검 리포트 작성 시스템 |
US10623703B2 (en) * | 2018-02-28 | 2020-04-14 | Schlumberger Technology Corporation | CCTV system |
CN111902830A (zh) * | 2018-03-23 | 2020-11-06 | 住友重机械工业株式会社 | 施工机械的支援装置 |
-
2020
- 2020-01-10 JP JP2020002727A patent/JP2021111875A/ja active Pending
-
2021
- 2021-01-07 US US17/784,255 patent/US20230043651A1/en active Pending
- 2021-01-07 EP EP21738498.1A patent/EP4057624A4/en active Pending
- 2021-01-07 CN CN202180008444.8A patent/CN114930809A/zh active Pending
- 2021-01-07 WO PCT/JP2021/000300 patent/WO2021141077A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
EP4057624A4 (en) | 2023-01-04 |
CN114930809A (zh) | 2022-08-19 |
WO2021141077A1 (ja) | 2021-07-15 |
US20230043651A1 (en) | 2023-02-09 |
EP4057624A1 (en) | 2022-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11873620B2 (en) | Turning control apparatus for turning-type working machine | |
US11732439B2 (en) | Remote control system and main control device | |
WO2019181923A1 (ja) | 建設機械の支援装置 | |
WO2021054417A1 (ja) | ショベル、ショベルの管理装置、ショベルの管理システム、ショベルの支援装置 | |
US20210395981A1 (en) | Surrounding monitoring apparatus for work machine | |
WO2021141077A1 (ja) | 建設機械の点検システム | |
CN115210434A (zh) | 作业辅助服务器、作业辅助方法 | |
US20220205224A1 (en) | Excavator and management apparatus for excavator | |
US20230023778A1 (en) | Work assisting server and work assisting system | |
CN114867921B (zh) | 工程机械的远程操纵系统 | |
JP2007016403A (ja) | 作業機械のカメラ制御装置 | |
JPH1028265A (ja) | 遠隔操縦作業機械の作業現場モニタ装置 | |
US20230092296A1 (en) | Work assistance server and work assistance method | |
WO2021054415A1 (ja) | ショベル | |
WO2021106280A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
US20240141616A1 (en) | Remote operation assistance server and remote operation asistance system | |
JPH09218713A (ja) | 遠隔操縦機械のカメラ方向制御装置 | |
US20230056724A1 (en) | Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method | |
WO2022070567A1 (ja) | 遠隔操作支援装置及び遠隔操作支援システム | |
WO2023026568A1 (ja) | 遠隔操作システムおよび遠隔操作複合システム | |
JP2024051364A (ja) | 作業機械の遠隔情報取得システム、及び遠隔情報取得システム | |
JP2023093109A (ja) | 建設機械、及び情報処理装置 | |
JP2001039695A (ja) | フォークローダのフォーク水平確認装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |