JP2020118016A - 掘削機の掘削を制御するための方法及び装置 - Google Patents

Abstract

【課題】掘削機の自主掘削を実現し、労働力のコストを低減すると共に、経済効率も高めることができる掘削機の掘削を制御するための方法及び装置を提供する。【解決手段】掘削機の掘削を制御するための方法は、材料スタックの二次元画像を取得するステップと、二次元画像に基づいて材料スタックの三次元モデルを生成するステップと、三次元モデルに対して分析を行い、材料スタックの目標掘削点及び目標掘削軌跡を決定するステップと、目標掘削軌跡に沿って目標掘削点における材料を掘削するように掘削機を制御するステップとを含む。掘削機の掘削を制御するための方法及び装置は、目標掘削点及び目標掘削軌跡に基づいて掘削機の掘削プロセスを制御する。【選択図】図２

Description

本願の実施形態は、掘削の技術分野に関し、特には、掘削機の掘削を制御するための方法及び装置に関する。

掘削機は、ショベルとも言われ、通常、バケットを用いて支持面より高い又は低い材料を掘削して搬送車両に入れる又は材料の放置場所に降ろす土木機械である。現在の掘削機は、主に操縦者による手動的な操縦に頼っている。掘削機による経済効率を高めるために、操縦者、機械、持ち場を固定して責務を明確にする必要がある。

しかしながら、掘削機の操縦は特殊の作業に属し、特殊の作業の免許を有する操縦者のみは、掘削機を操縦することができる。掘削機を操縦する作業能力を有する操縦者の数に限りがあるので、掘削機を遊ばせておかなければならないことを回避できず、経済効率が大幅に下がってしまう。

本願の実施形態は、掘削機の掘削を制御するための方法及び装置を提供する。
第一態様において、掘削機の掘削を制御するための方法であって、材料スタックの二次元画像を取得するステップと、前記二次元画像に基づいて前記材料スタックの三次元モデルを生成するステップと、前記三次元モデルに対して分析を行い、前記材料スタックの目標掘削点及び目標掘削軌跡を決定するステップと、前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように掘削機を制御するステップと、を含むことを特徴とする方法を提供する。

幾つかの実施例において、前記掘削機の車体の側面には、カメラが取り付けられており、前記カメラは、前記車体が回転してバケットの中の材料を降ろす過程中において前記二次元画像を撮影する。

幾つかの実施例において、前記カメラは、両眼カメラであり、前記二次元画像は、両眼画像であり、前記二次元画像に基づいて前記材料スタックの三次元モデルを生成するステップは、前記両眼画像に対して画像のマッチングを行い、前記両眼画像の視差画像を取得するステップと、前記視差画像に基づいて前記材料スタックの奥行画像を生成するステップと、前記奥行画像に対して三次元再構成をし、前記材料スタックの三次元モデルを得るステップと、を含む。

幾つかの実施例において、前記三次元モデルに対して分析を行い、前記材料スタックの目標掘削点及び目標掘削軌跡を決定するステップは、前記三次元モデルを離散化し、掘削点集合を得るステップと、前記掘削点集合における掘削点の掘削軌跡集合を取得するステップと、前記掘削点集合における掘削点の掘削軌跡集合に基づいて候補掘削点集合を選出するステップと、前記候補掘削点集合における候補掘削点の材料体積を取得するステップと、前記候補掘削点集合における候補掘削点の材料体積に基づいて目標掘削点及び目標掘削軌跡を選出するステップと、を含む。

幾つかの実施例において、前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように掘削機を制御するステップは、前記掘削機の基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削する際の目標角度シーケンスを決定するステップと、前記目標角度シーケンスに基づき、前記基台及び掘削アームの回転角度及び変位を制御し、前記掘削機の基台角度センサ及び掘削アームセンサから前記基台及び掘削アームの現在角度をリアルタイムで取得し、前記目標角度シーケンスの中の現在の目標角度と前記現在角度の差の値の大きさ及び正負に基づいて、前記基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように、閉ループ制御を行うステップと、を含む。

第二態様において、掘削機の掘削を制御するための装置であって、材料スタックの二次元画像を取得するように構成されている取得ユニットと、前記二次元画像に基づいて前記材料スタックの三次元モデルを生成するように構成されている生成ユニットと、前記三次元モデルに対して分析を行い、前記材料スタックの目標掘削点及び目標掘削軌跡を決定するように構成されている決定ユニットと、前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように掘削機を制御するように構成されている制御ユニットと、を含むことを特徴とする装置を提供する。

幾つかの実施例において、前記掘削機の車体の側面には、カメラが取り付けられており、前記カメラは、前記車体が回転してバケットの中の材料を降ろすプロセスにおいて前記二次元画像を撮影する。

幾つかの実施例において、前記カメラは、両眼カメラであり、前記二次元画像は、両眼画像であり、前記生成ユニットは、前記両眼画像に対して画像のマッチングを行い、前記両眼画像の視差画像を取得するように構成されているマッチングサブユニットと、前記視差画像に基づいて前記材料スタックの奥行画像を生成するように構成されている生成サブユニットと、前記奥行画像に対して三次元再構成をして、前記材料スタックの三次元モデルを得るように配置されている再構成サブユニットとを含む。

幾つかの実施例において、前記決定ユニットは、前記三次元モデルを離散化し、掘削点集合を得るように構成されている離散化サブユニットと、前記掘削点集合における掘削点の掘削軌跡集合を取得するように構成されている第一の取得サブユニットと、前記掘削点集合における掘削点の掘削軌跡集合に基づいて候補掘削点集合を選出するように構成されている第一の選出サブユニットと、前記候補掘削点集合における候補掘削点の材料体積を取得するように構成されている第二の取得サブユニットと、前記候補掘削点集合における候補掘削点の材料体積に基づいて目標掘削点及び目標掘削軌跡を選出するように構成されている第二の選出サブユニットと、を含む。

幾つかの実施例において、前記掘削機の基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削する際の目標角度シーケンスを決定するように構成されている決定サブユニットと、前記目標角度シーケンスに基づき、前記基台及び掘削アームの回転角度及び変位を制御し、前記掘削機の基台角度センサ及び掘削アームセンサから前記基台及び掘削アームの現在角度をリアルタイムで取得し、前記目標角度シーケンスの中の現在の目標角度と前記現在角度の差の値の大きさ及び正負に基づいて、前記基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように閉ループ制御を行うように配置されている制御サブユニットと、を含む。

第三態様において、一つ又は複数のプロセッサーと、一つ又は複数のプログラムを記憶している記憶装置とを備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサーにより実行されるとき、前記一つ又は複数のプロセッサーは、第一態様の何れか１つに記載の方法を実現することを特徴とする電子デバイスを提供する。

第四態様において、コンピュータープログラムを記憶しているコンピューター可読メディアであって、前記コンピュータープログラムがプロセッサーによって実行されると、第一態様の何れか１つに記載の方法を実現させることを特徴とするコンピューター可読メディアを提供する。

本願の実施形態による掘削機の掘削を制御するための方法及び装置は、まず、取得した材料スタックの両眼画像に基づいて材料スタックの三次元モデルを生成し、その後、材料スタックの三次元モデルに対して分析を行い、材料スタックの目標掘削点と目標掘削軌跡を決定し、最後に、目標掘削軌跡に沿って目標掘削点における材料を掘削するように掘削機を制御する。目標掘削点と目標掘削軌跡に基づいて掘削機を制御するので、掘削機の自主掘削を実現し、労働力のコストを低減すると共に、経済効率も高めることができる。

以下の図面による非限定的な実施形態についての詳細な説明を読み、参照することにより、本願の他の特徴、目的及び利点がより明らかになる。

本願が用いられることが可能な例示的なシステム構成図である。 本願による掘削機の掘削を制御するための方法の１つの実施形態のフローチャート図である。 離散化後の三次元モデルの模式図である。 掘削軌跡の模式図である。 本願による掘削機の掘削を制御するための方法のもう１つの実施形態のフローチャート図である。 図５による掘削機の掘削を制御するための方法の１つの応用シナリオの模式図である。 本願による掘削機の掘削を制御するための装置の１つの実施形態の構成模式図である。 本願の実施形態の電子デバイスを実現するのに適するコンピューターシステムの構造模式図である。

以下、図面及び実施形態を参照しながら、本願を更に詳しく説明する。ここで記載された具体的な実施形態は、関連発明を解釈するために用いられ、本発明を限定しないことが理解されたい。なお、説明の便宜上、図面は、発明と関係する部分しか示されていない。

なお、衝突しない限り、本願の実施形態及び実施形態の特徴は、互いに組合せても良い。以下、図面を参照しながら、実施形態を用いて本願を説明する。

図１は、本願の掘削機の掘削を制御するための方法又は掘削機の掘削を制御するための装置を応用できる実施形態の例示的なシステム構成１００を示している。

図１に示すように、システム構成１００は、カメラ１０１、ネットワーク１０２及びサーバー１０３を含んでも良い。ネットワーク１０２は、カメラ１０１とサーバー１０３の間において通信リンクのメディアを提供するための媒介である。ネットワーク１０２は、有線、無線通信リンク又は光ファイバーケーブル等のような様々な接続タイプを含んでも良い。

カメラ１０１は、無人自主掘削機に取り付けられているカメラであっても良く、無人自主掘削機が掘削しようとする材料スタックの二次元画像を撮影することができる。通常、カメラ１０１は、無人自主掘削機の車体の側面に取り付けられている両眼カメラであっても良い。両眼カメラは、車体が回転してバケットの中の材料を降ろすプロセスにおいて材料スタックの両眼画像を撮影することができる。

サーバー１０３は、様々なサービスを提供するサーバーであっても良く、例えば、無人自主掘削機のバックエンドサーバーである。無人自主掘削機のバックエンドサーバーは、カメラ１０１から取得した材料スタックの二次元画像等のデータに対して分析等の処理を行い、処理結果（例えば、目標掘削点及び目標掘削軌跡）に基づいて掘削機が掘削するように制御することができる。

なお、サーバー１０３は、ハードウェアであっても良く、ソフトウェアであっても良い。サーバー１０３がハードウェアである場合、複数のサーバーからなる分布式サーバークラスタとして実現しても良く、単独のサーバーとして実現しても良い。サーバー１０３がソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分布式サービスを提供するための）として実現しても良く、単独のソフトウェア又はソフトウェアモジュールとして実現しても良い。ここでは、具体的に限定されない。

なお、本願の実施形態による掘削機の掘削を制御するための方法は、一般的に、サーバー１０３により実行される。相応するように、掘削機の掘削を制御するための装置は、一般的に、サーバー１０３に取り付けられている。

図１におけるカメラ、ネットワーク及びサーバーの数は、例示するものに過ぎないことが理解されたい。実際の必要に応じて任意の数のカメラ、ネットワーク及びサーバーを有しても良い。

図２は、本願による掘削機の掘削を制御するための方法の１つの実施形態のフロー２００を示している。当該掘削機の掘削を制御するための方法は、ステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４を含む。

ステップ２０１においては、材料スタックの二次元画像を取得する。

本実施形態においては、掘削機の掘削を制御するための方法の実行主体（例えば、図１に示すサーバー１０３）は、有線接続方法又は無線接続方法により無人自主掘削機に取り付けられているカメラ（例えば、図１に示すカメラ１０１）から材料スタックの二次元画像を取得することができる。なお、材料スタックは、材料が同じところに置かれてなったものであっても良い。材料は、主に土壌、石炭、泥砂及び予め土かきされた土壌及び岩石等である。

通常、無人自主掘削機には、カメラが取り付けられており、材料スタックの二次元画像を採集するための。無人自主掘削機の掘削アームが、カメラが材料スタックを撮影することを妨げることを回避するために、カメラは、無人自主掘削機の車体の側面に取り付けても良い。車体が回転してバケットの中の材料を降ろすプロセスにおいては、車体の側面に取り付けられているカメラは、材料スタックに向かい合う。この時、カメラをオンして材料スタックを撮影することができる。

ステップ２０２においては、二次元画像に基づいて材料スタックの三次元モデルを生成する。

本実施形態においては、前記実行主体は、二次元画像に対して分析を行い、分析結果に 基づいて材料スタックの三次元モデルを生成することができる。
本実施形態の幾つかの選択可能な実現方法においては、車体が回転してバケットの中の材料を降ろすプロセスにおいては、カメラは、材料スタックの複数の角度の二次元画像を撮影することができる。これにより、前記実行主体は、複数の角度の二次元画像を用いて三次元再構成をすることによって、材料スタックの三次元モデルを得ることができる。

本実施形態の幾つかの選択可能な実現方法においては、掘削機の車体の側面に取り付けられているカメラは、両眼カメラであっても良い。この時、両眼カメラは、車体が回転してバケットの中の材料を降ろすプロセスにおいて撮影した材料スタックの二次元画像が両眼画像であっても良い。両眼画像は、両眼カメラが動物の両眼の働きのメカニズムをまねして撮影したものであるので、各組の両眼画像間は、ある程度の水平視差が存在する。よって、前記実行主体は、水平視差に基づいて材料スタックから両眼カメラまでの距離を確定することができ、即ち、材料スタックの奥行き画像を取得することができる。その後、前記実行主体は、三次元再構成アルゴリズムを用いて材料スタックの奥行き画像に対して三次元再構成をすることによって、材料スタックの三次元モデルを得ることができる。例えば、前記実行主体は、まず、両眼画像に対して画像のマッチングを行い、両眼画像の視差画像を取得し、その後、視差画像に基づいて材料スタックの奥行き画像を生成し、最後に、Kinect Fusionアルゴリズムを用いて奥行き画像に対して三次元再構成し、材料スタックの三次元モデルを得ることができる。

ステップ２０３においては、三次元モデルに対して分析を行い、材料スタックの目標掘削点及び目標掘削軌跡を決定する。

本実施形態においては、前記実行主体は、材料スタックの三次元モデルに対して分析を行い、分析結果に基づいて材料スタックの目標掘削点及び目標掘削軌跡を決定することができる。

通常、前記実行主体は、材料スタックの三次元モデルを離散化することで、掘削点集合を得ることができる。例えば、前記実行主体は、材料スタックの三次元モデルに対して高さにおいてグリッド離散化を行い、複数のグリッドを取得することができる。なお、１つのグリッドは、１つの掘削点に対応する。高さ図を離散化する方法は、等高線離散化であっても良い。図３は、離散化後の三次元モデルの模式図を示す。図３においては、等高線離散化の方法を用いて材料スタックの三次元モデルを２８個のグリッドに離散化し、下から上へ、左から右への順序に従って当該２８個のグリッドに対して順にラべリングする。

実践中、掘削軌跡は、挿し、引きずり、回転、引き上げという４つの部分に分解することができる。相応するように、掘削軌跡の全体は、４つのパラメータによって描きだすことができ、即ち、ｄ_１（挿入深さ）、ｄ_２（ドラッグ長さ）、ｒ（回転半径）及びｄ_３（持ち上げ高さ）である。図４は、掘削軌跡の模式図である。図４においては、掘削軌跡が分解された４つの部分及び４つのパラメータは、掘削軌跡においてラべリングされている。

４つのパラメータは、それぞれの値の範囲を有するので、値の範囲内に属する値の４つのパラメータに対して任意の組み合わせを行うことによって、複数の掘削軌跡を取得することができ、即ち、掘削軌跡集合である。

ここで、前記実行主体は、掘削点集合におけるそれぞれの掘削点の掘削軌跡集合に対して分析を行い、分析結果に基づいて目標掘削点を選出することができる。通常、障害物の存在又は無人自主掘削機の機械構造の制限により、全ての掘削軌跡を実行することができるとは限らない。よって、掘削軌跡集合における実行可能な掘削軌跡が存在する掘削点は、目標掘削点であり、実行可能な掘削軌跡は、目標掘削軌跡であっても良い。

ステップ２０４においては、目標掘削軌跡に沿って目標掘削点における材料を掘削するように掘削機を制御する。

本実施形態においては、前記実行主体は、無人自主掘削機が目標掘削軌跡に沿って目標掘削点における材料に対して自主掘削するように、目標掘削点及び目標掘削軌跡に基づいて無人自主掘削機の複数のデバイス（例えば、基台及び掘削アーム）に制御命令を送ることができる。

本願の実施形態による掘削機の掘削を制御するための方法は、まず、取得した材料スタックの二次元画像に基づいて材料スタックの三次元モデルを生成し、その後、材料スタックの三次元モデルに対して分析を行い、材料スタックの目標掘削点及び目標掘削軌跡を決定し、最後に、目標掘削軌跡に沿って目標掘削点における材料を掘削するように掘削機を制御する。目標掘削点及び目標掘削軌跡に基づいて掘削機の掘削プロセスを制御するので、掘削機の自主掘削を実現し、労働力のコストを低減すると共に、経済効率も高めることができる。

図５は、本願の掘削機の掘削を制御するための方法によるもう１つの実施形態のフロー５００を示している。当該掘削機の掘削を制御するための方法は、ステップ５０１、ステップ５０２、ステップ５０３、ステップ５０４、ステップ５０５、ステップ５０６、ステップ５０７、ステップ５０８及びステップ５０９を含む。

ステップ５０１においては、材料スタックの二次元画像を取得する。

ステップ５０２においては、二次元画像に基づいて材料スタックの三次元モデルを生成する。

本実施形態においては、ステップ５０１〜５０２の具体的な操作は、図２に示された実施形態のステップ２０１〜２０２において詳しく説明したので、ここでは、繰り返して説明しない。

ステップ５０３においては、三次元モデルを離散化することによって、掘削点集合を得る。

本実施形態においては、掘削機の掘削を制御するための方法の実行主体（例えば、図１に示すサーバー１０３）は、材料スタックの三次元モデルを離散化することによって、掘削点集合を得ることができる。通常、前記実行主体は、等高線離散化方法を用いて材料スタックの三次元モデルに対してグリッド離散化を行うことによって、複数のグリッドを取得することができる。なお、１つのグリッドは、１つの掘削点に対応する。

ステップ５０４においては、掘削点集合における掘削点の掘削軌跡集合を取得する。

本実施形態においては、掘削点集合の中のそれぞれの掘削点に対し、前記実行主体は、まず、当該掘削点の掘削軌跡集合を取得することができる。実践中、掘削軌跡は、挿し、引きずり、回転及び引き上げという４つの部分に分解することができる。相応するように、掘削軌跡の全体は、４つのパラメータにより描き出すことができ、即ち、ｄ_１、ｄ_２、ｒ及びｄ_３。４つのパラメータは、それぞれの値の範囲を有するので、値の範囲内に属する値の４つのパラメータに対して任意の組み合わせを行うことによって、複数の掘削軌跡を取得することができ、即ち、掘削軌跡集合である。

ステップ５０５においては、掘削点集合における掘削点の掘削軌跡集合に基づいて候補掘削点集合を選出する。

本実施形態においては、掘削点集合におけるそれぞれの掘削点に対し、前記実行主体は、当該掘削点の掘削軌跡集合に対して分析を行い、分析結果に基づいて当該掘削点が候補掘削点であるか否かを決定する。通常、障害物の存在又は無人自主掘削機の機械構造の制限により、全ての掘削軌跡を実行することができるとは限らない。よって、掘削軌跡集合における実行可能な掘削軌跡が存在する掘削点は、候補掘削点であり、掘削軌跡集合における実行可能な掘削軌跡が存在しない掘削点は、候補掘削点ではない。

本実施形態の幾つかの選択可能な実現方法においては、前記実行主体は、当該掘削点の掘削軌跡集合において掘削機のバケットが移動過程において障害物と衝突せず、且つ掘削抵抗力が掘削機の掘削動力以下である掘削軌跡が存在するか否かを決定し、存在すれば、当該掘削点を候補掘削点として候補掘削点集合に加え、決定された掘削軌跡を候補掘削軌跡として当該候補掘削点の候補掘削軌跡集合に加えることができる。通常、掘削機のバケットが移動過程において障害物と衝突せず、且つ掘削抵抗力が掘削機の掘削動力以下である掘削軌跡は、実行可能な掘削軌跡である。掘削機のバケットが移動過程において障害物と衝突し、又は、掘削抵抗力が掘削機の掘削動力を超える掘削軌跡は、実行不可能な掘削軌跡である。この時、候補掘削点の候補掘削軌跡集合の中の候補掘削軌跡は、全て実行可能な掘削軌跡である。

ステップ５０６においては、候補掘削点集合における候補掘削点の材料体積を取得する。

本実施形態においては、候補掘削点集合の中のそれぞれの候補掘削点に対し、前記実行主体は、当該候補掘削点における材料を分析することによって、当該候補掘削点の材料体積を取得することができる。具体的には、候補掘削点集合の中のそれぞれの候補掘削点に対し、前記実行主体は、当該候補掘削点の候補掘削軌跡集合の中の候補掘削軌跡のパラメータに基づき、当該候補掘削点の材料体積を計算することができる。

なお、掘削軌跡のパラメータは、ｄ_１、ｄ_２、ｒ及びｄ_３を含んでも良い。それぞれの候補掘削軌跡は、１組のパラメータを有するので、それぞれの候補掘削軌跡のパラメータに基づいて１つの材料体積を計算することができる。即ち、それぞれの候補掘削軌跡は、１つの材料体積に対応する。この時、当該候補掘削点の候補掘削軌跡集合の中のそれぞれの候補掘削軌跡に対し、前記実行主体は、まず、候補機のバケットの幅、当該候補掘削軌跡のパラメータのうちのｄ_１及びｄ_２に基づき、当該候補掘削軌跡に対応する材料体積を計算し、その後、当該候補掘削点の候補掘削軌跡集合の中の候補掘削軌跡に対応する材料体積に基づき、当該候補掘削点の材料体積を決定することができる。例えば、前記実行主体は、バケットの幅、当該候補掘削軌跡のパラメータの中のｄ_１とｄ_２の三者の積を当該候補掘削軌跡に対応する材料体積とすることができる。次に、前記実行主体は、候補掘削軌跡集合におけるそれぞれの候補掘削軌跡に対応する材料体積から最も大きい材料体積を選出し、当該候補掘削点の材料体積とすることができる。

ステップ５０７においては、候補掘削点集合の中の候補掘削点の材料体積に基づき、目標掘削点及び目標掘削点軌跡を選出する。

本実施形態においては、候補掘削点集合の中のそれぞれの候補掘削点に対し、前記実行主体は、当該候補掘削点の材料体積を分析することによって、当該候補掘削点が目標掘削点であるか否かを決定することができる。当該候補掘削点が目標掘削点であれば、当該候補掘削点の候補掘削軌跡集合の中の最も大きい材料体積に対応する候補掘削軌跡は、目標掘削軌跡である。例えば、前記実行主体は、当該候補掘削点の材料体積を所定の体積閾値と比較し、所定の体積閾値より大きければ、当該候補掘削点を目標掘削点とすることができる。また、例えば、前記実行主体は、候補掘削点集合から材料体積の最も大きい候補掘削点を選出し、目標掘削点とすることができる。

ステップ５０８においては、掘削機の基台及び掘削アームが目標掘削軌跡に基づいて目標掘削点における材料を掘削する際の目標角度シーケンスを決定する。

本実施形態においては、前記実行主体は、目標掘削軌跡に対して分析を行うことによって、掘削機の基台及び掘削アームが目標掘削軌跡に基づいて目標掘削点における材料を掘削する際の目標角度シーケンスを決定することができる。なお、目標角度シーケンスは、基台及び掘削アームが目標掘削軌跡の各サンプリングポイントにおける目標角度を含んでも良い。通常、前記実行主体は、目標掘削軌跡のパラメータの中のｄ_１、ｄ_２、ｒ及びｄ_３に基づき、末端の位置と姿勢を計算することができる。次に、逆運動学を用いて基台及び掘削アームが目標掘削軌跡の各サンプリングポイントにおける目標角度を求め、目標角度シーケンスを生成する。

ステップ５０９においては、目標角度シーケンスに基づき、基台及び掘削アームの回転角度及び変位を制御し、掘削機の基台角度センサ及び掘削アームセンサから基台及び掘削アームの現在角度をリアルタイムで取得し、目標角度シーケンスの中の現在の目標角度と現在角度の差の値の大きさ及び正負に基づいて閉ループ制御を行うことによって、基台及び掘削アームが目標掘削軌跡に沿って目標掘削点における材料を掘削する。

本実施形態においては、目標角度シーケンスの中の現在の目標角度に対し、前記実行主体は、現在の目標角度に基づいて基台及び掘削アームの回転角度及び変位を制御することができる。また、前記実行主体は、掘削機の基台角度センサ及び掘削アームセンサから基台及び掘削アームの現在角度をリアルタイムで取得することができる。通常、基台及び掘削アームの現在角度が現在の目標角度と同じであれば、基台及び掘削アームは、目標掘削軌跡からずれていないことを意味する。しかしながら、実際の操縦においては、抵抗力の影響により、基台及び掘削アームは、目標掘削軌跡からずれることを回避することができない。この時、前記実行主体は、現在の目標角度と現在角度の差の値の大きさ及び正負に基づいて閉ループ制御を行うことによって、基台及び掘削アームが目標掘削軌跡に沿って目標掘削点における材料を掘削するようにさせることができる。その後、現在の目標角度の次の目標角度が現在の目標角度になり、上述したステップを実行し続ける。前記実行主体は、目標角度シーケンスの中の最後の目標角度に従って閉ループ制御を完成させるまで、このように繰り返して実行する。この時、基台及び掘削アームは、目標掘削軌跡に沿って目標掘削点における材料を掘削することを完成させる。

ここでは、無人自主掘削機は、ホストコンピュータ及びスレーブコンピュータを設置することによって、掘削プロセスに対する閉ループ制御を実現することができる。ホストコンピュータの中で、コントローラとして２値制御アルゴリズムを設計する。２値コントローラは、２値の機能を有するコントローラであり、現在の目標角度と現在角度との差の値の大小と正負に基づいて０または１を出力することができる。ここで、０は、電磁バルブオフを表し、１は、電磁バルブオンを表す。同時に、システムの振動を抑えるために、それぞれの自由度は、ともに対応する閾値を設けている。スレーブコンピュータは、ＰＣＩ（Peripheral Component Interconnect、ペリフェラル コンポーネント インターコネク）カードを採用し、センサデータの収集及び掘削制御命令の送信に用いられる。なお、センサシステムは、プルライン変位センサ及びロータリーポテンショメーターを使用し、各自由度の変位と回転角度をフィードバックするのに用いられる。

なお、基台及び掘削アームは、目標掘削軌跡に沿って目標掘削点における材料を掘削することを完成させた後、車体を回転させてバケットの中の材料をダンプカーに降ろすことができる。この時、車体の側面に取り付けられている両眼カメラを再びオンして材料スタックを撮影し、本願の実施形態による掘削機の掘削を制御するための方法を実行し続ける。材料スタックが全部掘削されるまで、このように繰り返す。

図６は、図５による掘削機の掘削を制御するための方法の１つの応用シナリオの模式図である。図６に示す応用シナリオにおいては、無人自主掘削機の車体が回転してベケットの中の土を降ろすプロセスにおいて、車体の側面に取り付けられている両眼カメラは、土の山の両眼画像を撮影し、無人自主掘削機のバックエンドサーバーに送信することができる。まず、バックエンドサーバーは、三次元再構成アルゴリズムを用いて両眼画像に対して三次元再構成をすることによって、土の山の三次元モデルを得ることができる。その後、バックエンドサーバーは、掘削ポリシー計画アルゴリズムを用いて三次元モデルに対して分析を行い、土の山の目標掘削点を決定することができる。次に、バックエンドサーバーは、掘削軌跡計画アルゴリズムを用いて目標掘削点に対して分析を行い、基台及び掘削アームの目標角度シーケンスを決定することができる。最後に、バックエンドサーバーは、基台及び掘削アームの目標角度シーケンスに基づいて基台及び掘削アームの角度及び変位を制御することによって、無人自主掘削機が自主掘削するようにさせることができる。また、自主掘削プロセスにおいては、掘削アームセンサは、掘削アームの角度をリアルタイムで採集し、基台センサは、基台の角度をリアルタイムで採集し、バックエンドサーバーにリアルタイムで送信する。バックエンドサーバーは、目標角度シーケンス、掘削アームの角度及び基台の角度に基づき、閉ループ制御アルゴリズムを用いて閉ループ制御を行うことによって、基台及び掘削アームが目標掘削軌跡に沿って目標掘削点における土の山を掘削するようにさせることができる。今回の掘削が完成すると、掘削機は、車体を回転させてバケットの中の土をダンプカーに降ろす。この時、両眼カメラを再びオンして土の山を撮影し、上述したステップを実行し続ける。土の山が全部掘削されるまで、このように繰り返す。

図５から分かるように、図２に対応する実施形態に比べ、本実施形態による掘削機の掘削を制御するための方法のフロー５００は、材料スタックの目標掘削点及び目標掘削軌跡を決定すること、及び、掘削機の掘削を制御することを主に強調した。これにより、掘削軌跡及び材料体積を合わせて目標掘削点及び目標掘削軌跡を選出し、実行可能な掘削軌跡に沿って目標掘削点における材料を掘削できるだけではなく、掘削された目標掘削点における材料の体積も比較的大きいので、掘削の効率を高めることができる。また、掘削機の掘削プロセスに対して閉ループ制御を行うので、掘削機の自主掘削プロセスに対する正確的な制御を実現することができる。

図７に示すように、上述したそれぞれの図面に示す方法の実現として、本願は、掘削機の掘削を制御するための装置の１つの実施形態を提供する。当該装置の実施形態は、図２に示す方法の実施形態に対応し、当該装置は、具体的には、様々な電子デバイスに適用することができる。

図７に示すように、本実施形態の掘削機の掘削を制御するための装置７００は、取得ユニット７０１、生成ユニット７０２、決定ユニット７０３及び制御ユニット７０４を含んでも良い。なお、取得ユニット７０１は、材料スタックの二次元画像を取得するように配置されている。生成ユニット７０２は、二次元画像に基づいて材料スタックの三次元モデルを生成するように配置されている。決定ユニット７０３は、三次元モデルに対して分析を行い、材料スタックの目標掘削点及び目標掘削軌跡を決定するように配置されている。制御ユニット７０４は、掘目標掘削軌跡に沿って目標掘削点における材料を掘削するように削機を制御するように配置されている。

本実施形態においては、掘削機の掘削を制御するための装置７００における取得ユニット７０１、生成ユニット７０２、決定ユニット７０３及び制御ユニット７０４の具体的な処理及びもたらす技術効果は、それぞれ図２に対応する実施形態のステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４の関連説明を参照することができ、ここでは、繰り返して説明しない。

本実施形態の幾つかの選択可能な実現方法においては、掘削機の車体の側面には、カメラが取り付けられており、カメラは、車体が回転してバケットの中の材料を降ろすプロセスにおいて二次元画像を撮影する。

本実施形態の幾つかの選択可能な実現方法においては、カメラは、両眼カメラであり、二次元画像は、両眼画像である。生成ユニット７０２は、両眼画像に対して画像のマッチングをし、両眼画像の視差画像を取得するように配置されているマッチングサブユニット（図示せず）と、視差画像に基づいて材料スタックの奥行画像を生成するように配置されている生成サブユニット（図示せず）と、奥行画像に対して三次元再構成をし、材料スタックの三次元モデルを得るように配置されている再構成サブユニット（図示せず）とを含む。

本実施形態の幾つかの選択可能な実現方法においては、決定ユニット７０３は、三次元モデルを離散化し、掘削点集合を得るように配置されている離散化サブユニット（図示せず）と、掘削点集合の中の掘削点の掘削軌跡集合を取得するように配置されている第一の取得サブユニット（図示せず）と、掘削点集合の中の掘削点の掘削軌跡集合に基づいて候補掘削点集合を選出するように配置されている第一の選出サブユニット（図示せず）と、掘削点集合の中の候補掘削点の材料体積を取得するように配置されている第二の取得サブユニット（図示せず）と、掘削点集合の中の候補掘削点の材料体積に基づいて目標掘削点及び目標掘削軌跡を選出するように配置されている第二の選出サブユニット（図示せず）とを含む。

本実施形態の幾つかの選択可能な実現方法においては、制御ユニット７０４は、掘削機の基台及び掘削アームが目標掘削軌跡に沿って目標掘削点における材料を掘削する際の目標角度シーケンスを決定するように配置されている決定サブユニット（図示せず）と、目標角度シーケンスに基づき、基台及び掘削アームの回転角度及び変位を制御し、掘削機の基台角度センサ及び掘削アームセンサから基台及び掘削アームの現在角度をリアルタイムで取得し、目標角度シーケンスの中の現在の目標角度と現在角度の差の値の大きさ及び正負に基づいて閉ループ制御を行うことによって、基台及び掘削アームが目標掘削軌跡に沿って目標掘削点における材料を掘削するように配置されている制御サブユニット（図示せず）とを含む。

図８は、本願の実施形態の電子デバイス（例えば、図１に示すサーバー１０３）を実現するのに適するコンピューターシステム８００の構造模式図である。図８に示す電子デバイスは、１つの例示に過ぎず、本願の実施形態の機能及び使用範囲に如何なる制限をしない。

図８に示すように、コンピューターシステム８００は、リードオンリーメモリ（ＲＯＭ）８０２に記憶されているプログラム又は記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたプログラムに基づいて様々な適切な動作及び処理を実行することが可能な中央処理ユニット（ＣＰＵ）８０１を含む。ＲＡＭ８０３の中には、システム８００を操作するために必要な様々プログラム及びデータを更に記憶している。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４により互いに接続する。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。

キーボード、マウス等を含む入力部８０６、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等及びスピーカー等を含む出力部８０７、ハードディスク等を含む記憶部８０８、及びＬＡＮカード、モデム等のネットワークインターフェースカードを含む通信部８０９は、Ｉ／Ｏインターフェース８０５に接続される。通信部８０９は、インターネットのようなネットワークを通じて通信処理を行う。ドライバ８１０も、必要に応じてＩ／Ｏインターフェース８０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のような取り外し可能なメディア８１１は、必要に応じてドライバ８１０に取り付けされることによって、そこから読み出されたコンピュータープログラムは、必要に応じて記憶部８０８にインストールされる。

特に、本願の実施形態により、上述した内容においてフローチャート図を参照して記載したプロセスは、コンピューターのソフトウェアのプログラムとして実現することができる。例えば、本願に開示する実施形態は、コンピューターのプログラムの製品を含み、当該コンピューターのプログラムの製品は、コンピューター可読メディアにインストールされている、フローチャート図に示す方法を実行するためのプログラムコードを含むコンピューターのプログラムを含む。このような実施形態においては、当該コンピューターのプログラムは、通信部８０９によりネットワークからダウンロード及びインストールし、及び/又は、取り外し可能なメディア８１１からインストールする。当該コンピューターのプログラムが中央処理ユニット（ＣＰＵ）８０１に実行されると、本願の実施形態の方法に限定される上述した機能を実行する。なお、本願の実施形態に記載のコンピューター可読メディアは、コンピューター可読な信号メディア又はコンピューター可読な記憶メディア又は上述した２つの任意の組合せであっても良い。コンピューター可読な記憶メディアは、電気、磁気、光、電磁気、赤外線、半導体のシステム、装置、デバイス又は前記ものの任意の組合せであっても良いが、これらに限定しない。コンピューター可読な記憶メディアのより具体的な例としては、１つ又は複数のリード線を有する、電気的に接続するボータブルコンピューターディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、書き込み・消去可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置又は上述したものの任意の適切な組合せが挙げられる。本願の実施形態においては、コンピューター可読な記憶メディアは、プログラムを含む又は記憶する任意の有形メディアであっても良く、当該プログラムは、命令実行システム、装置又はデバイスに用いられ、又は、組合せて用いられても良い。本願においては、コンピューター可読な信号メディアは、ベースバンドの中にある又は搬送波の一部として伝播するデータ信号には、コンピューター可読なプログラムコードが積載されている。このような伝播するデータ信号は、様々な形を用いることができ、電磁気信号、光信号又は上述したもの任意の適切な組合せを含むが、これらに限定されない。コンピューター可読な信号メディアは、コンピューター可読な記憶メディア以外の如何なるコンピューター可読なメディアであっても良く、当該コンピューター可読なメディアは、命令実行システム、装置又はデバイスに用いられ、又は、その組合せに用いられるためのプログラムを送信、伝播又は伝送することができる。コンピューター可読なメディアに含まれるプログラムコードは、如何なる適切なメディアを用いて伝送しても良く、無線、電線、光ケーブル、ＲＦ等又は上述したものの任意の適切な組合せを含むが、これらに限定されない。

１つ又は複数のプログラム設計言語又はその組合せで本願の実施形態の操作を実行するコンピューターのプログラムコードをプログラミングすることができ、前記プログラム設計言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト向けのプログラム設計言語を含み、「Ｃ」言語又は類似するプログラム設計言語のような通常の過程式プログラム設計言語も含む。プログラムコードは、完全にユーザーのコンピューターにより実行されても良く、部分的にユーザーのコンピューターにより実行されても良く、一つの独立したパッケージソフトとして実行されても良く、一部がユーザーのコンピューターにより実行され、一部が遠隔コンピューターにより実行されても良く、完全に遠隔コンピューター又はサーバーにより実行されても良い。遠隔コンピューターにより実行される場合、遠隔コンピューターは、ローカルエリヤネットワーク（ＬＡＮ）又はワイドエリヤネットワーク（ＷＡＮ）を含む任意の種類のネットワークによりユーザーのコンピューター又は外部コンピューター（例えば、インターネットサービスプロバイダを用いてインターネットにより接続する）に接続されることができる。

図面におけるフローチャート図及びブロック図は、本願のそれぞれの実施形態によるシステム、方法及びコンピュータープログラム製品の実現可能な体系アーキテクチャ、機能及び操作を示している。ここでは、フローチャート図又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又はコードの一部を表すことができ、当該モジュール、プログラムセグメント又はコードの一部は、定められたロジック機能を実現するための１つ又は複数の実行可能な命令を含む。幾つかの代替できる実現としては、ブロックの中に示されている機能は、図面に示されている順番と違う順番で行われても良い。例えば、２つの連続して示されているブロックは、実は、ほぼ平行して行われても良く、逆の順序で行われる場合もあり、これは、係る機能によって決められることに注意すべきである。ブロック図及び／又はフローチャート図におけるそれぞれのブロック、及び、ブロック図及び／又はフローチャート図におけるブロックの組合せは、定めされた機能又は操作を実行するための専用のハードウェアを元にするシステムにより実行しても良く、又は、専用のハードウェアとコンピューター命令の組合せにより実行しても良いことにも注意すべきである。

記載の本願の実施形態に係るユニットは、ソフトウェアの形で実現しても良く、ハードウェアの形で実現しても良い。記載のユニットは、プロセッサーの中に設置されても良く、例えば、取得ユニット、生成ユニット、決定ユニット及び制御ユニットを含むプロセッサーであるというように記載しても良い。なお、これらのユニットの名称は、当該ユニット自身を限定しない場合があり、例えば、取得ユニットは、「材料スタックの両眼画像を取得するユニット」とも記載されても良い。

もう１つの側面として、本願は、コンピューター可読メディアを更に提供する。当該コンピューター可読メディアは、上述した実施形態に記載の電子デバイスに含まれても良く、当該電子デバイスに設置せず、単独として存在しても良い。前記コンピューター可読メディアには、１つ又は複数のプログラムが記憶されており、前記１つ又は複数のプログラムが当該電子デバイスに実行される際、当該電子デバイスに次のことを行わせる：材料スタックの二次元画像を取得し、二次元画像に基づいて材料スタックの三次元モデルを生成し、三次元モデルを分析し、材料スタックの目標掘削点及び目標掘削軌跡を決定し、目標掘削軌跡に沿って目標掘削点における材料を掘削するように掘削機を制御する。

上述した記載は、本願の比較的好ましい実施形態及び応用される技術原理に対する説明に過ぎない。当業者は、本願に係る発明の範囲が上述した技術特徴の特定の組合せからなる技術案に限らず、上述した発明の精神から逸脱しないかぎり、上述した技術特徴又は等価特徴から行われる任意の組合せによる他の技術案も含まれていることに理解すべきである。例えば、上述した特徴と本願の実施形態に開示されている特徴と類似する機能を有する技術特徴（しかし、限定しない）に対して置換えることで形成した技術案も含まれている。

１００ システム構成
１０１ カメラ
１０２ ネットワーク
１０３ サーバー
７００ 装置
７０１ 取得ユニット
７０２ 生成ユニット
７０３ 決定ユニット
７０４ 制御ユニット
８００ コンピューターシステム
８０１ ＣＰＵ
８０２ ＲＯＭ
８０３ ＲＡＭ
８０４ バス
８０５ Ｉ／Ｏインターフェース
８０６ 入力部
８０７ 出力部
８０８ 記憶部
８０９ 通信部
８１０ ドライバ
８１１ リムーバブルメディア

Claims (12)

1. 掘削機の掘削を制御するための方法であって、
   材料スタックの二次元画像を取得するステップと、
   前記二次元画像に基づいて前記材料スタックの三次元モデルを生成するステップと、
   前記三次元モデルに対して分析を行い、前記材料スタックの目標掘削点及び目標掘削軌跡を決定するステップと、
   前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように掘削機を制御するステップと、
   を含むことを特徴とする方法。
2. 前記掘削機の車体の側面には、カメラが取り付けられており、前記カメラは、前記車体が回転してバケットの中の材料を降ろす過程中において前記二次元画像を撮影することを特徴とする請求項１に記載の方法。
3. 前記カメラは、両眼カメラであり、前記二次元画像は、両眼画像であり、
   前記二次元画像に基づいて前記材料スタックの三次元モデルを生成するステップは、
   前記両眼画像に対して画像のマッチングを行い、前記両眼画像の視差画像を取得するステップと、
   前記視差画像に基づいて前記材料スタックの奥行画像を生成するステップと、
   前記奥行画像に対して三次元再構成をし、前記材料スタックの三次元モデルを得るステップと、
   を含むことを特徴とする請求項２に記載の方法。
4. 前記三次元モデルに対して分析を行い、前記材料スタックの目標掘削点及び目標掘削軌跡を決定するステップは、
   前記三次元モデルを離散化し、掘削点集合を得るステップと、
   前記掘削点集合における掘削点の掘削軌跡集合を取得するステップと、
   前記掘削点集合における掘削点の掘削軌跡集合に基づいて候補掘削点集合を選出するステップと、
   前記候補掘削点集合における候補掘削点の材料体積を取得するステップと、
   前記候補掘削点集合における候補掘削点の材料体積に基づいて目標掘削点及び目標掘削軌跡を選出するステップと、
   を含むことを特徴とする請求項１に記載の方法。
5. 前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように掘削機を制御するステップは、
   前記掘削機の基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削する際の目標角度シーケンスを決定するステップと、
   前記目標角度シーケンスに基づき、前記基台及び掘削アームの回転角度及び変位を制御し、前記掘削機の基台角度センサ及び掘削アームセンサから前記基台及び掘削アームの現在角度をリアルタイムで取得し、前記目標角度シーケンスの中の現在の目標角度と前記現在角度の差の値の大きさ及び正負に基づいて、前記基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように、閉ループ制御を行うステップと、
   を含むことを特徴とする請求項１に記載の方法。
6. 掘削機の掘削を制御するための装置であって、
   材料スタックの二次元画像を取得するように構成されている取得ユニットと、
   前記二次元画像に基づいて前記材料スタックの三次元モデルを生成するように構成されている生成ユニットと、
   前記三次元モデルに対して分析を行い、前記材料スタックの目標掘削点及び目標掘削軌跡を決定するように構成されている決定ユニットと、
   前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように掘削機を制御するように構成されている制御ユニットと、
   を含むことを特徴とする装置。
7. 前記掘削機の車体の側面には、カメラが取り付けられており、前記カメラは、前記車体が回転してバケットの中の材料を降ろすプロセスにおいて前記二次元画像を撮影することを特徴とする請求項６に記載の装置。
8. 前記カメラは、両眼カメラであり、前記二次元画像は、両眼画像であり、
   前記生成ユニットは、
   前記両眼画像に対して画像のマッチングを行い、前記両眼画像の視差画像を取得するように構成されているマッチングサブユニットと、
   前記視差画像に基づいて前記材料スタックの奥行画像を生成するように構成されている生成サブユニットと、
   前記奥行画像に対して三次元再構成をして、前記材料スタックの三次元モデルを得るように配置されている再構成サブユニットとを含むことを特徴とする請求項７に記載の装置。
9. 前記決定ユニットは、
   前記三次元モデルを離散化し、掘削点集合を得るように構成されている離散化サブユニットと、
   前記掘削点集合における掘削点の掘削軌跡集合を取得するように構成されている第一の取得サブユニットと、
   前記掘削点集合における掘削点の掘削軌跡集合に基づいて候補掘削点集合を選出するように構成されている第一の選出サブユニットと、
   前記候補掘削点集合における候補掘削点の材料体積を取得するように構成されている第二の取得サブユニットと、
   前記候補掘削点集合における候補掘削点の材料体積に基づいて目標掘削点及び目標掘削軌跡を選出するように構成されている第二の選出サブユニットと、
   を含むことを特徴とする請求項６に記載の装置。
10. 前記掘削機の基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削する際の目標角度シーケンスを決定するように構成されている決定サブユニットと、
    前記目標角度シーケンスに基づき、前記基台及び掘削アームの回転角度及び変位を制御し、前記掘削機の基台角度センサ及び掘削アームセンサから前記基台及び掘削アームの現在角度をリアルタイムで取得し、前記目標角度シーケンスの中の現在の目標角度と前記現在角度の差の値の大きさ及び正負に基づいて、前記基台及び掘削アームが前記目標掘削軌跡に沿って前記目標掘削点における材料を掘削するように閉ループ制御を行うように配置されている制御サブユニットと、
    を含むことを特徴とする請求項６に記載の装置。
11. 一つ又は複数のプロセッサーと、
    一つ又は複数のプログラムを記憶している記憶装置とを備え、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサーにより実行されるとき、前記一つ又は複数のプロセッサーは、請求項１〜５の何れか１つに記載の方法を実現することを特徴とする電子デバイス。
12. コンピュータープログラムを記憶しているコンピューター可読メディアであって、
    前記コンピュータープログラムがプロセッサーによって実行されると、請求項１〜５の何れか１つに記載の方法を実現させることを特徴とするコンピューター可読メディア。