JP2020035380A - 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット - Google Patents
画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット Download PDFInfo
- Publication number
- JP2020035380A JP2020035380A JP2018163670A JP2018163670A JP2020035380A JP 2020035380 A JP2020035380 A JP 2020035380A JP 2018163670 A JP2018163670 A JP 2018163670A JP 2018163670 A JP2018163670 A JP 2018163670A JP 2020035380 A JP2020035380 A JP 2020035380A
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- unit
- feature point
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
- E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/08—Superstructures; Supports for superstructures
- E02F9/10—Supports for movable superstructures mounted on travelling or walking gears or on other superstructures
- E02F9/12—Slewing or traversing gears
- E02F9/121—Turntables, i.e. structure rotatable about 360°
- E02F9/123—Drives or control devices specially adapted therefor
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Component Parts Of Construction Machinery (AREA)
Abstract
Description
本発明は、運搬物の投下対象の位置を、ロバストに特定することができる画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセットを提供することを目的とする。
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、一実施形態に係る積込場の構成を示す図である。
施工現場には、積込機械である油圧ショベル100と運搬車両であるダンプトラック200とが配備される。油圧ショベル100は、施工現場から土砂等の運搬物Lをすくい、ダンプトラック200に積み込む。ダンプトラック200は、油圧ショベル100によって積み込まれた運搬物Lを所定の排土場に運搬する。ダンプトラック200は、運搬物Lを収容する容器であるベッセル210を備える。ベッセル210は、運搬物Lの投下対象の一例である。施工現場は、現場の一例である。現場とは、積込機械による作業が行われる土地である。
図2は、一実施形態に係る油圧ショベルの外観図である。
油圧ショベル100は、油圧により作動する作業機110と、作業機110を支持する旋回体120と、旋回体120を支持する走行体130とを備える。
アーム112は、ブーム111とバケット113とを連結する。アーム112の基端部は、ブーム111の先端部にアームピンP2を介して取り付けられる。
バケット113は、土砂などを掘削するための刃を有する容器である。バケット113の基端部は、アーム112の先端部にバケットピンP3を介して取り付けられる。
アームシリンダ115は、アーム112を駆動するための油圧シリンダである。アームシリンダ115の基端部は、ブーム111に取り付けられる。アームシリンダ115の先端部は、アーム112に取り付けられる。
バケットシリンダ116は、バケット113を駆動するための油圧シリンダである。バケットシリンダ116の基端部は、アーム112に取り付けられる。バケットシリンダ116の先端部は、バケット113に取り付けられる。
油圧ショベル100は、作業機位置検出器122、位置方位演算器123、傾斜検出器124、ステレオカメラ125、操作装置126、制御装置127、表示装置128を備える。
位置方位演算器123は、第1受信器1231が受信した測位信号と、第2受信器1232が受信した測位信号とを用いて、検出された第1受信器1231の設置位置に対する第2受信器1232の設置位置の関係として、旋回体120の方位を演算する。なお、他の実施形態に係る位置方位演算器123は、第1受信器1231および第2受信器1232に代えて、ロータリーエンコーダやIMUなどの他の装置を備えることで旋回体120の方位を計測してもよい。
なお、実施形態によっては、油圧ショベル100は、作業機位置検出器122、位置方位演算器123、傾斜検出器124、ステレオカメラ125、および表示装置128を備えないものであってもよい。
第1の実施形態においては、ステレオカメラ125は、右側カメラ1251および左側カメラ1252を備える。各カメラの例としては、例えばCCD(Charge Coupled Device)センサ、およびCMOS(Complementary Metal Oxide Semiconductor)センサを用いたカメラが挙げられる。
図3は、第1の実施形態に係る制御装置の構成を示す概略ブロック図である。
制御装置127は、プロセッサ91、メインメモリ92、ストレージ93、インタフェース94を備える。
なお、プログラムは、制御装置127に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ93に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置127は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
特徴点特定部1702は、データ取得部1701が取得したステレオ画像の右目画像を、ストレージ93に記憶された特徴点特定モデルM1に入力することで、右目画像に写るベッセル210の複数の特徴点の位置を特定する。特徴点特定部1702は、第1位置特定部の一例である。右目画像は、第1画像の一例である。ベッセル210の特徴点の例としては、ベッセル210のフロントパネルの左上端p1、フロントパネルの右上端p2、フロントパネルの左ガードフレームと左サイドゲートとの交点p3、フロントパネルの右ガードフレームと右サイドゲートとの交点p4、テールゲートの左固定柱の上端p5、テールゲートの右固定柱の上端p6、テールゲートの左固定柱の下端p7、テールゲートの右固定柱の下端p8、フロントパネルの左固定柱の下端p9、およびフロントパネルの右固定柱の下端p10などが挙げられる。つまり、特徴点は、投下対象の所定の部分の位置の一例である。なお、他の実施形態においては、上記の特徴点p1〜p10の一部、例えば、ベッセルの四隅の特徴点である特徴点p7、p8、p9、p10のみを特定してもよい。また、高さが異なる特徴点を含めて特定(例えば、p7、p8、p9、p10と、p1またはp2)することで、ベッセル210の傾きを特定することができる。
図5に示すようにニューラルネットワーク140は、入力層141、1つまたは複数の中間層142(隠れ層)、及び出力層143を含む。各層141,142,143は、1又は複数のニューロンを備えている。中間層142のニューロンの数は、適宜設定することができる。出力層143は、特徴点の数に応じて適宜設定することができる。
出力層143には、画像の各画素について特徴点である確率を示す出力値が出力される。つまり、特徴点特定モデルM1は、ベッセル210が写る画像が入力されると、当該画像におけるベッセル210の特徴点の位置を出力するように訓練された学習済みモデルである。特徴点特定モデルM1は、例えば、ダンプトラック200のベッセル210が写る画像を学習データとし、ベッセル210の特徴点ごとに当該特徴点の位置をプロットした画像を教師データとする学習用データセットを用いて訓練される。教師データは、プロットに係る画素は特徴点である確率が1であることを示す値を有し、他の画素は特徴点である確率が0であることを示す値を有する画像である。なお、プロットに係る画素は特徴点である確率が1であることを示し、他の画素は特徴点である確率が0であることを示す情報であればよく、画像でなくてもよい。なお、本実施形態において「学習データ」とは、学習モデルの訓練時に入力層に入力されるデータをいう。本実施形態において「教師データ」とは、ニューラルネットワーク140の出力層の値と比較するための正解となるデータである。本実施形態において「学習用データセット」とは、学習データと教師データの組み合わせをいう。学習によって得られた特徴点特定モデルM1の学習済みパラメータは、ストレージ93に記憶されている。学習済みパラメータは、例えば、ニューラルネットワーク140の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。
特徴点特定モデルM1のニューラルネットワーク140の構成としては、例えば、顔器官検出に用いられるDNN構成や、人物の姿勢推定に用いられるDNN構成を用いることができる。特徴点特定モデルM1は、位置特定モデルの一例である。なお、他の実施形態に係る特徴点特定モデルM1は、教師なし学習または強化学習によって訓練されたものであってもよい。
なお、類似度特定モデルM2の訓練には、必ずしもベッセル210が写る画像を用いなくてもよい。類似度特定モデルM2は、対応位置特定モデルの一例である。また、他の実施形態においては、対応点特定部1703は、ORB(Oriented FAST and Rotated BRIEF)およびSIFT(Scale Invariant Feature Transform)等の画像特徴量、またはSAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、およびNCC(Normalized Cross Correlation)等のテンプレートマッチング手法を用いて、左目画像に写るベッセル210の複数の特徴点の位置を特定してもよい。
なお、他の実施形態に係るベッセル位置特定部1704は、車体座標系またはカメラ座標系における特徴点の位置を特定してもよい。ベッセル位置特定部1704は、位置特定部の一例である。
図7は、ガイダンス情報の一例である。ガイダンス情報生成部1706は、例えば図7に示すように、作業機位置特定部1705が特定したブーム111、アーム112、およびバケット113の位置と、旋回体120の姿勢情報とに基づいて、仮想空間上に油圧ショベル100の三次元モデルを配置する。またガイダンス情報生成部1706は、ダンプトラック200の三次元モデルの特徴点に相当する部分を、ベッセル位置特定部1704が特定したベッセル210の少なくとも3つの特徴点の位置に合わせるように、三次元モデルを配置する。ガイダンス情報生成部1706は、仮想空間上に配置された油圧ショベル100およびダンプトラック200を任意の視点からレンダリングすることで、油圧ショベル100のバケット113とダンプトラック200のベッセル210との位置関係を表すガイダンス情報を生成する。ガイダンス情報生成部1706は、少なくとも3つの特徴点を用いて三次元モデルを配置することで、撮像画像において一部の特徴点が写っていなくても、三次元モデルを適切に配置することができる。またガイダンス情報生成部1706は、検出された他の特徴点に基づいて、三次元モデルの配置の良否を判定することで、ノイズによって誤った点を特徴点として抽出した場合にも、当該ノイズを除去することができる。なお、他の実施形態においては、2つの特徴点に基づいて三次元モデルを配置してもよい。また、他の実施形態に係るガイダンス情報は、バケット113とベッセル210との位置関係をグラフィカルに描くものでなくてもよい。例えば、他の実施形態に係るガイダンス情報は、上方からの平面視においてバケット113がベッセル210の外枠内に位置するか否かを示す情報であってもよい。また、他の実施形態に係るガイダンス情報は、バケット113の目標の掘削位置の表示、またはバケット113の掘削位置に対するガイダンス情報(例えば、現状のバケット113の位置と目標の掘削位置との差分を示す情報、または表示)であってもよい。また、目標の掘削位置までどれくらいの操作が必要であるかを示す情報、または表示であってもよい。また、少なくともベッセル210とバケット113のみを表示するものであってもよい。
学習部1801は、特徴点特定モデルM1および類似度特定モデルM2の学習処理を行う。なお、学習部1801は、制御装置127と別個の装置に設けられてもよい。この場合、別個の装置において学習された学習済みモデルが、ストレージ93に記録されることとなる。
図8は、第1の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
まず、データ取得部1701は、インタフェース94を介して作業機位置検出器122から作業機110の姿勢角を取得し、位置方位演算器123から、旋回体120の位置および方位を取得し、傾斜検出器124から旋回体120の傾きを取得し、ステレオカメラ125からステレオ画像を取得する(ステップS1)。次に、特徴点特定部1702は、データ取得部1701が取得したステレオ画像の右目画像を、ストレージ93に記憶された特徴点特定モデルM1に入力することで、右目画像に写るベッセル210の複数の特徴点の位置を特定する(ステップS2)。
《学習方法》
特徴点特定モデルM1からの出力値が、教師データと一致する場合(ステップS103:YES)、学習部1801は、学習によって最適化されたパラメータを含む学習済みモデルである特徴点特定モデルM1を、ストレージ93に記録する(ステップS104)。
類似度特定モデルM2からの出力値が、教師データと一致する場合(ステップS113:YES)、学習部1801は、学習によって最適化されたパラメータを含む学習済みモデルである類似度特定モデルM2を、ストレージ93に記録する(ステップS114)。
このように、第1の実施形態によれば、制御装置127は、運搬物の投下対象が写る撮像画像を学習済みモデルである位置特定モデルに入力することで、撮像画像に写る投下対象の特徴点の現場における位置を特定する。このように、第1の実施形態に係る制御装置127は、投下対象の位置を、画像に含まれるエッジによらずに特定することができる。これにより、第1の実施形態に係る制御装置127は、撮像画像に轍などの直線部分が写っていたとしても、運搬物の投下対象の位置を、ロバストに特定することができる。また、ステレオカメラを用いて投下対象の位置を特定する場合、投下対象の三次元位置を特定することができる。なお、実施形態によっては、図8に示す制御装置127による処理のうち、ステップS2〜ステップS7、ステップS9〜S12の処理が実施されなくてもよい。
また、第1の実施形態に係る制御装置127は、ガイダンス情報を表示する。これにより、作業機械と運搬物の投下対象との相対位置によっては、オペレータは、投下対象を視認しづらい場合であっても、投下対象を認識することができる。また、ガイダンス情報として表示される投下対象を目安に作業機110を操作することによって、作業効率を高めることができる。
以下、図面を参照しながら第2の実施形態について説明する。第1の実施形態に係る制御装置127は、特徴点特定モデルM1と類似度特定モデルM2を用いて、それぞれ右目画像上の特徴点の位置および左目画像上の特徴点の位置を特定する。これに対し、第2の実施形態に係る制御装置127は、1つの学習済みモデルを用いて、右目画像上の特徴点の位置および左目画像上の特徴点の位置を特定する。
図11は、第2の実施形態に係る制御装置の構成を示す概略ブロック図である。
第2の実施形態に係るプロセッサ91は、第1の実施形態に係る特徴点特定部1702および対応点特定部1703に代えて、ステレオ特徴点特定部1708を備える。また、ストレージ93には、第1の実施形態に係る特徴点特定モデルM1および類似度特定モデルM2に代えて、ステレオ特徴点特定モデルM3が記憶される。
ステレオ特徴点特定モデルM3は、例えば、DNN(Deep Neural Network)の学習済みモデルによって実現される。つまり、ステレオ特徴点特定モデルM3は、図5に示すニューラルネットワーク140を備える。ステレオ特徴点特定モデルM3は、ダンプトラック200のベッセル210が写るステレオ画像が入力された場合に、当該ステレオ画像の右目画像および左目画像におけるベッセル210の特徴点の位置をそれぞれ出力するように訓練された学習済みモデルである。ステレオ特徴点特定モデルM3は、例えば、ステレオマッチングモデルの転移学習により生成することができる。ステレオマッチングモデルとは、ステレオマッチング用に訓練された学習済みモデルであって、例えば、ステレオ画像が入力された場合に、深度を示す深度画像を出力するモデルである。ステレオマッチングモデルは、必ずしもダンプトラックが写るステレオによって学習されたものでなくてよい。具体的には、ステレオ特徴点特定モデルM3は、ステレオマッチングモデルの出力層を、当該ステレオ画像の右目画像および左目画像におけるベッセル210の特徴点の位置を出力するように置換したモデルに対し、入力層および入力層側の一部の中間層の値を固定し、ダンプトラック200のベッセル210が写るステレオ画像と、右目画像および左目画像における複数の特徴点の位置との組み合わせを教師データとして用いて訓練される。ステレオ特徴点特定モデルM3は、位置特定モデルの一例である。
図12は、第2の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
まず、データ取得部1701は、インタフェース94を介して作業機位置検出器122から作業機110の姿勢角を取得し、位置方位演算器123から、旋回体120の位置および方位を取得し、傾斜検出器124から旋回体120の傾きを取得し、ステレオカメラ125からステレオ画像を取得する(ステップS21)。次に、ステレオ特徴点特定部1708は、データ取得部1701が取得したステレオ画像を、ストレージ93に記憶されたステレオ特徴点特定モデルM3に入力することで、右目画像および左目画像に写るベッセル210の複数の特徴点の位置を特定する(ステップS22)。
《学習方法》
ステレオ特徴点特定モデルM3からの出力値が、教師データと一致する場合(ステップS123:YES)、制御装置127は、学習によって最適化されたパラメータを学習済みパラメータとする学習済みモデルであるステレオ特徴点特定モデルM3をストレージ93に保存する(ステップS124)。
このように、第2の実施形態によれば、制御装置127は、ステレオ画像から特徴点を抽出するステレオ特徴点特定モデルM3を用いて右目画像における特徴点および左目画像における特徴点を特定する。ステレオ特徴点特定モデルM3は、ステレオマッチングモデルの強化学習により得ることができるため、少ない学習コストで、ステレオ特徴点特定モデルM3を生成することができる。
以下、図面を参照しながら第3の実施形態について説明する。第1の実施形態および第2の実施形態に係る制御装置127は、学習済みモデルを用いて、画像上の特徴点の位置を特定し、これに基づく三角測量により、特徴点の三次元位置を特定する。これに対し、第3の実施形態に係る制御装置127は、学習済みモデルを用いて、特徴点の三次元位置を特定する。
図14は、第3の実施形態に係る制御装置の構成を示す概略ブロック図である。
第3の実施形態に係るプロセッサ91は、第1の実施形態に係る特徴点特定部1702および対応点特定部1703に代えて、三次元特徴点特定部1709を備える。また、ストレージ93には、第1の実施形態に係る特徴点特定モデルM1および類似度特定モデルM2に代えて、三次元特徴点特定モデルM4が記憶される。また第3の実施形態に係るストレージ93は、カメラパラメータを記憶しなくてもよい。
三次元特徴点特定モデルM4は、例えば、DNNの学習済みモデルによって実現される。三次元特徴点特定モデルM4は、ダンプトラック200のベッセル210が写るステレオ画像が入力された場合に、特徴点の車体座標系における位置を出力するように訓練された学習済みモデルである。例えば、ステレオ特徴点特定モデルM3は、ダンプトラック200のベッセル210が写るステレオ画像と、車体座標系における複数の特徴点の位置との組み合わせを教師データとして用いて訓練される。
図15は、第3の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
まず、データ取得部1701は、インタフェース94を介して作業機位置検出器122から作業機110の姿勢角を取得し、位置方位演算器123から、旋回体120の位置および方位を取得し、傾斜検出器124から旋回体120の傾きを取得し、ステレオカメラ125からステレオ画像を取得する(ステップS41)。次に、三次元特徴点特定部1709は、データ取得部1701が取得したステレオ画像を、ストレージ93に記憶された三次元特徴点特定モデルM4に入力することで、車体座標系におけるベッセル210の複数の特徴点の位置を特定する(ステップS42)。ベッセル位置特定部1704は、ステップS41で取得した旋回体120の姿勢情報に基づいて、車体座標系における各特徴点の位置を、現場座標系における各特徴点の位置に変換する(ステップS43)。
図16は、第3の実施形態に係る三次元特徴点特定モデルM4の学習方法を示すフローチャートである。データ取得部1701は、学習データを取得する(ステップS141)。例えば、学習データは、ベッセル210が写るステレオ画像である。学習データは、ステレオカメラ125が撮像する画像から取得してもよい。また、他の作業機械が撮像した画像から取得してもよい。
三次元特徴点特定モデルM4からの出力値が、教師データと一致する場合(ステップS143:YES)、学習部1801は、学習によって最適化されたパラメータを学習済みパラメータとする学習済みモデルである三次元特徴点特定モデルM4をストレージ93に保存する(ステップS144)。
《作用・効果》
このように、第3の実施形態によれば、制御装置127は、ステレオ画像から特徴点の三次元位置を抽出する三次元特徴点特定モデルM4を用いて車体座標系における特徴点の位置を特定する。これにより、制御装置127は、少ない構成でダンプトラック200の位置を特定することができる。
以下、図面を参照しながら第4の実施形態について説明する。第1の実施形態に係る制御装置127は、特徴点特定モデルM1と類似度特定モデルM2を用いて、それぞれ右目画像上の特徴点の位置および左目画像上の特徴点の位置を特定する。これに対し、第4の実施形態に係る制御装置127は、特徴点特定モデルM1と、ステレオ画像から深度画像を生成するステレオマッチングモデルM5とを用いて、特徴点の三次元位置を特定する。
図17は、第4の実施形態に係る制御装置の構成を示す概略ブロック図である。
第4の実施形態に係るプロセッサ91は、第1の実施形態に係る対応点特定部1703に代えて、深度画像生成部1710を備える。また、ストレージ93には、第1の実施形態に係る類似度特定モデルM2に代えて、ステレオマッチングモデルM5が記憶される。また第3の実施形態に係るストレージ93は、カメラパラメータを記憶しなくてもよい。
図18は、第4の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
まず、データ取得部1701は、インタフェース94を介して作業機位置検出器122から作業機110の姿勢角を取得し、位置方位演算器123から、旋回体120の位置および方位を取得し、傾斜検出器124から旋回体120の傾きを取得し、ステレオカメラ125からステレオ画像を取得する(ステップS61)。次に、特徴点特定部1702は、データ取得部1701が取得したステレオ画像の右目画像を、ストレージ93に記憶された特徴点特定モデルM1に入力することで、右目画像に写るベッセル210の複数の特徴点の位置を特定する(ステップS62)。
図19は、第4の実施形態に係るステレオマッチングモデルM5の学習方法を示すフローチャートである。データ取得部1701は、学習データを取得する(ステップS161)。例えば、学習データは、ステレオ画像である。学習データは、ステレオカメラ125が撮像する画像から取得してもよい。また、他の作業機械が撮像した画像から取得してもよい。なお、学習データは、必ずしもベッセル210が写る画像でなくてよい。
他方、ステレオマッチングモデルM5からの出力値が教師データと一致する場合(ステップS163:YES)、制御装置127は、学習によって最適化されたパラメータを学習済みパラメータとする学習済みモデルであるステレオマッチングモデルM5をしてストレージ93に保存する(ステップS164)。
このように、第4の実施形態によれば、制御装置127は、ステレオ画像から深度画像を生成するステレオマッチングモデルM5を用いて車体座標系における特徴点の位置を特定する。これにより、制御装置127は、既知のステレオマッチングモデルM5を利用してダンプトラック200の位置を特定することができる。
なお、第4の実施形態に係る制御装置127は、特徴点特定モデルM1を用いて右目画像から特徴点を抽出するが、これに限られない。例えば、他の実施形態においては、制御装置127は、特徴点特定モデルM1を用いて左目画像から特徴点を抽出してもよい。
以下、図面を参照しながら第5の実施形態について説明する。第1から第4の実施形態に係る制御装置127は、特定したベッセル210の特徴点の位置に基づいてガイダンス情報を生成し、これをオペレータに提示する。これに対し、第5の実施形態に係る制御装置127は、特定したベッセル210の特徴点の位置に基づいて作業機の積込作業を制御する。
図20は、第5の実施形態に係る制御装置の構成を示す概略ブロック図である。
第5の実施形態に係るプロセッサ91は、第1の実施形態に係るガイダンス情報生成部1706および表示制御部1707に代えて、作業機械制御部1711を備える。
図21は、第5の実施形態に係る油圧ショベルの制御方法を示すフローチャートである。
自動積込ボタンが押下されると、制御装置127は、第1の実施形態のステップS1からステップS10までと同様の処理により、ベッセル210の特徴点および作業機110の現場座標系における位置を特定する。そして、作業機械制御部1711は、ベッセル210の特徴点および作業機110の現場座標系における位置に基づいて、旋回体120および作業機110の制御信号を生成し、出力する(ステップS81)。
このように、第5の実施形態によれば、制御装置127は、撮像画像に基づいて油圧ショベル100を自動制御することができる。制御装置127は、学習済みモデルを用いてベッセル210の位置を特定するため、撮像画像に轍などの直線部分が写っていたとしても、運搬物の投下対象の位置を、ロバストに特定することができる。
また、第5の実施形態に係る制御装置127は、特徴点特定モデルM1を用いて右目画像から特徴点を抽出し、類似度特定モデルM2を用いて左目画像における特徴点を特定するが、これに限られない。例えば、他の実施形態においては、制御装置127は、特徴点特定モデルM1を用いて左目画像から特徴点を抽出し、類似度特定モデルM2を用いて右目画像における特徴点を特定してもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述の実施形態に係る制御装置127は、油圧ショベル100に搭載されるが、これに限られない。例えば、他の実施形態に係る制御装置127は、遠隔のサーバ装置に設けられてもよい。また、制御装置127は、複数のコンピュータから実現されるものであってもよい。この場合、制御装置127の一部の構成が遠隔のサーバ装置に設けられるものであってもよい。すなわち、制御装置127は、複数の装置からなる画像処理システムとして実装されてもよい。また、油圧ショベル100は、完全自律型、一部自律型の油圧ショベルであってもよい。また、ガイダンス情報を表示する表示信号を作業機械を遠隔操作するための遠隔運転室に送信するものであってもよい。
Claims (12)
- 作業機械の運搬物の投下対象が写る撮像画像を取得するデータ取得部と、
画像を入力することで前記画像に写る投下対象の所定の部分の位置を出力する学習済みモデルである位置特定モデルと前記撮像画像とに基づいて、前記撮像画像に写る前記投下対象の所定の部分の位置を特定する位置特定部と
を備える画像処理システム。 - 前記位置特定モデルは、前記画像における前記部分の位置を示す情報を出力し、
前記位置特定部は、前記撮像画像を前記位置特定モデルに入力することで出力される前記画像における前記部分の位置を示す情報に基づいて、前記部分の三次元位置を特定する
請求項1に記載の画像処理システム。 - 前記撮像画像は、ステレオカメラによって撮像された、少なくとも第1画像と第2画像を含むステレオ画像である
請求項2に記載の画像処理システム。 - 前記第1画像を前記位置特定モデルに入力することで、前記第1画像における前記部分の位置を特定する第1位置特定部と、
特定された前記第1画像における前記部分の位置に基づいて、前記第2画像における前記部分の位置を特定する第2位置特定部と、
を備え、
前記位置特定部は、前記第1画像における前記部分の位置と、前記第2画像における前記部分の位置とに基づいて、前記部分の三次元位置を特定する
請求項3に記載の画像処理システム。 - 前記第2位置特定部は、前記第1画像と、前記第2画像と、前記第1画像における投下対象の所定の部分の位置とを入力することで、前記第2画像における投下対象の所定の部分の位置を出力する学習済みモデルである対応位置特定モデルに基づいて、前記第2画像における前記部分の位置を特定する
請求項4に記載の画像処理システム。 - 前記位置特定モデルに前記第1画像と前記第2画像とを入力することで、前記第1画像における前記部分の位置および前記第2画像における前記部分の位置を特定するステレオ位置特定部を備え、
前記位置特定部は、前記第1画像における前記部分の位置と、前記第2画像における前記部分の位置とに基づいて、前記部分の三次元位置を特定する
請求項3に記載の画像処理システム。 - 前記データ取得部は、前記撮像画像を撮像する撮像装置の撮像姿勢を取得し、
前記位置特定部は、特定された前記部分の位置と、前記撮像姿勢とに基づいて、前記部分の現場における三次元位置を特定する
請求項2から請求項6のいずれか1項に記載の画像処理システム。 - 前記データ取得部は、前記撮像画像の撮像位置を取得し、
前記撮像画像は、ステレオカメラによって撮像された、少なくとも第1画像と第2画像を含むステレオ画像であって、
前記位置特定モデルは、前記第1画像および前記第2画像を入力することで、前記ステレオカメラを基準とした前記部分の三次元位置を示す情報を出力し、
前記位置特定部は、前記第1画像および前記第2画像を前記位置特定モデルに入力することで出力される前記ステレオカメラを基準とした前記三次元位置を示す情報と、前記撮像位置とに基づいて、前記部分の現場における三次元位置を特定する
請求項1に記載の画像処理システム。 - 請求項1から請求項8のいずれか1項に記載の画像処理システムが特定した前記運搬物の投下対象の所定の部分の位置に関する情報を表示する表示装置。
- 撮像装置から、作業機械の運搬物の投下対象が写る撮像画像を取得するステップと、
画像を入力することで前記画像に写る投下対象の所定の部分の位置を出力する学習済みモデルである位置特定モデルと前記撮像画像とに基づいて、前記撮像画像に写る前記投下対象の所定の部分の位置を特定するステップと
を備える画像処理方法。 - 作業機械の運搬物の投下対象が写る撮像画像を入力することで、前記投下対象の所定の部分の位置を出力する位置特定モデルの学習済みモデルを生成する方法であって、
作業機械の運搬物の投下対象が写る撮像画像を取得するステップと、
前記投下対象が写る撮像画像と、前記撮像画像に写る投下対象の所定の部分の位置を示す情報とを学習用データセットとして、前記位置特定モデルを学習することで、学習済みモデルを生成するステップと
を備える学習済みモデルの生成方法。 - 学習部及び記憶部を備えるコンピュータに用いられ、前記記憶部に記憶される位置特定モデルを学習させるための学習用データセットであって、
作業機械の運搬物の投下対象を示す情報と、前記投下対象の所定の部分の位置を示す情報と、
を含み、
前記学習部によって、前記位置特定モデルを学習させる処理に用いられる
学習用データセット。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163670A JP7166108B2 (ja) | 2018-08-31 | 2018-08-31 | 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット |
DE112019003159.7T DE112019003159T5 (de) | 2018-08-31 | 2019-07-19 | Bildverarbeitungssystem, anzeigevorrichtung, bildverarbeitungsverfahren, verfahren zur erzeugung eines trainierten modells und datensatz zum lernen |
PCT/JP2019/028510 WO2020044852A1 (ja) | 2018-08-31 | 2019-07-19 | 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット |
US17/261,701 US11414837B2 (en) | 2018-08-31 | 2019-07-19 | Image processing system, display device, image processing method, method for generating trained model, and dataset for learning |
CN201980048815.8A CN112469869A (zh) | 2018-08-31 | 2019-07-19 | 图像处理系统、显示装置、图像处理方法、学习完毕模型的生成方法以及学习用数据集 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163670A JP7166108B2 (ja) | 2018-08-31 | 2018-08-31 | 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020035380A true JP2020035380A (ja) | 2020-03-05 |
JP7166108B2 JP7166108B2 (ja) | 2022-11-07 |
Family
ID=69645168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018163670A Active JP7166108B2 (ja) | 2018-08-31 | 2018-08-31 | 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット |
Country Status (5)
Country | Link |
---|---|
US (1) | US11414837B2 (ja) |
JP (1) | JP7166108B2 (ja) |
CN (1) | CN112469869A (ja) |
DE (1) | DE112019003159T5 (ja) |
WO (1) | WO2020044852A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111861952A (zh) * | 2020-06-05 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种图像生成模型、卡号识别模型的训练方法及装置 |
WO2021059823A1 (ja) * | 2019-09-26 | 2021-04-01 | コベルコ建機株式会社 | 容器計測システム |
JP2021188258A (ja) * | 2020-05-25 | 2021-12-13 | 住友建機株式会社 | ショベル用のシステム |
WO2022044114A1 (ja) * | 2020-08-24 | 2022-03-03 | 卓也 生駒 | システム及び記録媒体 |
WO2022065117A1 (ja) | 2020-09-25 | 2022-03-31 | コベルコ建機株式会社 | 位置検出システム |
WO2022190484A1 (ja) * | 2021-03-08 | 2022-09-15 | コベルコ建機株式会社 | 容器計測システム |
WO2023195436A1 (ja) * | 2022-04-04 | 2023-10-12 | 日立建機株式会社 | 作業機械 |
EP4194615A4 (en) * | 2020-09-29 | 2024-03-06 | Kobelco Construction Machinery Co., Ltd. | AUTOMATIC LEVELING SYSTEM |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11348269B1 (en) * | 2017-07-27 | 2022-05-31 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
JP7088691B2 (ja) * | 2018-02-28 | 2022-06-21 | 株式会社小松製作所 | 積込機械の制御装置、制御方法および遠隔操作システム |
CN109816778B (zh) * | 2019-01-25 | 2023-04-07 | 北京百度网讯科技有限公司 | 物料堆三维重建方法、装置、电子设备和计算机可读介质 |
WO2021054436A1 (ja) * | 2019-09-18 | 2021-03-25 | 住友重機械工業株式会社 | ショベル |
CN111895931B (zh) * | 2020-07-17 | 2021-11-26 | 嘉兴泊令科技有限公司 | 一种基于计算机视觉的煤矿作业区标定方法 |
US12071746B2 (en) * | 2021-05-12 | 2024-08-27 | Deere & Company | System and method for assisted positioning of transport vehicles relative to a work machine during material loading |
US20240131705A1 (en) * | 2022-10-10 | 2024-04-25 | Baidu Usa Llc | Imitation learning and model integrated trajectory planning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016089559A (ja) * | 2014-11-10 | 2016-05-23 | 日立建機株式会社 | 建設機械 |
JP2016153984A (ja) * | 2015-02-20 | 2016-08-25 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両 |
JP2018077829A (ja) * | 2016-11-09 | 2018-05-17 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置およびプログラム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5142658A (en) * | 1991-10-18 | 1992-08-25 | Daniel H. Wagner Associates, Inc. | Container chassis positioning system |
JP2000192514A (ja) | 1998-12-28 | 2000-07-11 | Hitachi Constr Mach Co Ltd | 自動運転建設機械およびその運転方法 |
JP5135380B2 (ja) | 2010-04-12 | 2013-02-06 | 住友重機械工業株式会社 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
JP5597596B2 (ja) * | 2011-06-07 | 2014-10-01 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
US20140118533A1 (en) | 2012-01-27 | 2014-05-01 | Doosan Infracore Co., Ltd. | Operational stability enhancing device for construction machinery |
JP6243926B2 (ja) * | 2013-12-12 | 2017-12-06 | 日立建機株式会社 | 車両走行システム、搬送車の停車姿勢設定装置が実行する方法、及び搬送車の停車姿勢設定装置 |
CN103900497B (zh) | 2014-03-06 | 2016-06-15 | 西南交通大学 | 基于视觉测量的非接触式挖掘机工作装置姿态测量方法 |
JP5999127B2 (ja) | 2014-03-12 | 2016-09-28 | トヨタ自動車株式会社 | 画像処理装置 |
US9975485B2 (en) * | 2014-04-25 | 2018-05-22 | Komatsu Ltd. | Surroundings monitoring system, work vehicle, and surroundings monitoring method |
WO2016022952A1 (en) * | 2014-08-08 | 2016-02-11 | Applied Research Associates, Inc. | Systems, methods, and apparatuses for measuring deformation of a surface |
JP6916415B2 (ja) * | 2016-07-04 | 2021-08-11 | 株式会社ニコン | 画像処理装置、撮像装置 |
JP2018134712A (ja) | 2017-02-22 | 2018-08-30 | 富士フイルム株式会社 | ロボットシステム及びロボットシステムの制御方法 |
CN107506711B (zh) | 2017-08-15 | 2020-06-30 | 江苏科技大学 | 基于卷积神经网络的双目视觉障碍物检测系统及方法 |
DE102017124788A1 (de) * | 2017-10-24 | 2019-04-25 | Jungheinrich Ag | Verfahren zur Fahrunterstützung bei einem Flurförderzeug und Flurförderzeug |
CN108007345A (zh) | 2017-12-01 | 2018-05-08 | 南京工业大学 | 一种基于单目相机的挖掘机工作装置测量方法 |
JP7383599B2 (ja) * | 2018-03-26 | 2023-11-20 | 住友建機株式会社 | ショベル |
JP7166088B2 (ja) * | 2018-06-28 | 2022-11-07 | 株式会社小松製作所 | 作業車両による作業を判定するためのシステム、方法、及び学習済みモデルの製造方法 |
US10630944B2 (en) * | 2018-07-09 | 2020-04-21 | Zebra Technologies Corporation | Method and system for door status detection and alert generation |
DE102018120333A1 (de) * | 2018-08-21 | 2020-02-27 | Wabco Europe Bvba | Verfahren zur Überwachung des Laderaums in einem Fahrzeug |
JP7311250B2 (ja) * | 2018-08-31 | 2023-07-19 | 株式会社小松製作所 | 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット |
WO2020065738A1 (ja) * | 2018-09-25 | 2020-04-02 | 日立建機株式会社 | 作業機の外形形状測定システム,作業機の外形形状表示システム,作業機の制御システム及び作業機械 |
US11615707B2 (en) * | 2019-05-29 | 2023-03-28 | Deere & Company | Guidance display system for work vehicles and work implements |
US11436835B2 (en) * | 2020-02-12 | 2022-09-06 | Zebra Technologies Corporation | Method for detecting trailer status using combined 3D algorithms and 2D machine learning models |
-
2018
- 2018-08-31 JP JP2018163670A patent/JP7166108B2/ja active Active
-
2019
- 2019-07-19 WO PCT/JP2019/028510 patent/WO2020044852A1/ja active Application Filing
- 2019-07-19 US US17/261,701 patent/US11414837B2/en active Active
- 2019-07-19 CN CN201980048815.8A patent/CN112469869A/zh active Pending
- 2019-07-19 DE DE112019003159.7T patent/DE112019003159T5/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016089559A (ja) * | 2014-11-10 | 2016-05-23 | 日立建機株式会社 | 建設機械 |
JP2016153984A (ja) * | 2015-02-20 | 2016-08-25 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両 |
JP2018077829A (ja) * | 2016-11-09 | 2018-05-17 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置およびプログラム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021059823A1 (ja) * | 2019-09-26 | 2021-04-01 | コベルコ建機株式会社 | 容器計測システム |
JP2021056543A (ja) * | 2019-09-26 | 2021-04-08 | コベルコ建機株式会社 | 容器計測システム |
JP2021188258A (ja) * | 2020-05-25 | 2021-12-13 | 住友建機株式会社 | ショベル用のシステム |
CN111861952B (zh) * | 2020-06-05 | 2023-11-24 | 北京嘀嘀无限科技发展有限公司 | 一种图像生成模型、卡号识别模型的训练方法及装置 |
CN111861952A (zh) * | 2020-06-05 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种图像生成模型、卡号识别模型的训练方法及装置 |
WO2022044114A1 (ja) * | 2020-08-24 | 2022-03-03 | 卓也 生駒 | システム及び記録媒体 |
JP2022036858A (ja) * | 2020-08-24 | 2022-03-08 | 卓也 生駒 | システム及びプログラム |
JP7076509B2 (ja) | 2020-08-24 | 2022-05-27 | 卓也 生駒 | システム及びプログラム |
WO2022065117A1 (ja) | 2020-09-25 | 2022-03-31 | コベルコ建機株式会社 | 位置検出システム |
EP4194615A4 (en) * | 2020-09-29 | 2024-03-06 | Kobelco Construction Machinery Co., Ltd. | AUTOMATIC LEVELING SYSTEM |
WO2022190484A1 (ja) * | 2021-03-08 | 2022-09-15 | コベルコ建機株式会社 | 容器計測システム |
JP7452473B2 (ja) | 2021-03-08 | 2024-03-19 | コベルコ建機株式会社 | 容器計測システム |
WO2023195436A1 (ja) * | 2022-04-04 | 2023-10-12 | 日立建機株式会社 | 作業機械 |
Also Published As
Publication number | Publication date |
---|---|
WO2020044852A1 (ja) | 2020-03-05 |
JP7166108B2 (ja) | 2022-11-07 |
US11414837B2 (en) | 2022-08-16 |
US20210292998A1 (en) | 2021-09-23 |
DE112019003159T5 (de) | 2021-04-15 |
CN112469869A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020044852A1 (ja) | 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット | |
JP7365122B2 (ja) | 画像処理システムおよび画像処理方法 | |
US9990543B2 (en) | Vehicle exterior moving object detection system | |
JP7285051B2 (ja) | 表示制御装置、および表示制御方法 | |
CN113167054B (zh) | 包括作业机械的系统、由计算机执行的方法及学习用数据 | |
WO2020044848A1 (ja) | 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット | |
CN104302848A (zh) | 用于挖掘机的俯视图系统 | |
JP7420733B2 (ja) | 表示制御システムおよび表示制御方法 | |
JP7376264B2 (ja) | 作業機械を含むシステム、および作業機械 | |
US20180088591A1 (en) | Systems, methods, and apparatus for dynamically planning machine dumping operations | |
WO2021002249A1 (ja) | 学習済みの作業分類推定モデルの製造方法、学習用データ、コンピュータによって実行される方法、および作業機械を含むシステム | |
CN114521228A (zh) | 容器测量系统 | |
US20220316188A1 (en) | Display system, remote operation system, and display method | |
US20230291989A1 (en) | Display control device and display method | |
JP2020072401A (ja) | 表示制御システム、表示制御方法および遠隔操作システム | |
WO2023190843A1 (ja) | 支援装置、作業機械、プログラム | |
WO2024135603A1 (ja) | ショベルの施工支援システム | |
US20240233142A9 (en) | Visual localization and feature detection for an implement tracking system | |
CN118556150A (zh) | 支援装置、施工机械及程序 | |
JP2024076741A (ja) | 作業機械、情報処理装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7166108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |