JP2020125668A - 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体 - Google Patents

材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体 Download PDF

Info

Publication number
JP2020125668A
JP2020125668A JP2019202060A JP2019202060A JP2020125668A JP 2020125668 A JP2020125668 A JP 2020125668A JP 2019202060 A JP2019202060 A JP 2019202060A JP 2019202060 A JP2019202060 A JP 2019202060A JP 2020125668 A JP2020125668 A JP 2020125668A
Authority
JP
Japan
Prior art keywords
material stack
excavator
binocular camera
depth image
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019202060A
Other languages
English (en)
Other versions
JP7137548B2 (ja
Inventor
チェン，シンジン
Xinjing Cheng
ヤン，ルイガン
Ruigang Yang
ルー，フェイシァン
Feixiang Lu
ヤン，ヤージュエ
シュ，ハオ
Hao Xu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2020125668A publication Critical patent/JP2020125668A/ja
Application granted granted Critical
Publication of JP7137548B2 publication Critical patent/JP7137548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Operation Control Of Excavators (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】本願の実施例は、材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体を開示する。【解決手段】該方法の具体的な一実施形態は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することと、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することとを含む。該実施形態によれば、材料スタックの３次元再構成の正確性を向上させることともに、コストを節約することができる。【選択図】図２

Description

本願の実施例は、コンピュータ技術分野に関し、具体的には３次元モデリング分野に関し、特に材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体に関する。
無人掘削機は、各種のセンサによって掘削操作の対象を感知し、操作動作を計画して操作命令を実行するインテリジェント掘削機器である。無人掘削機は、掘削過程において、掘削対象（例えば土スタック）の関連情報、例えば掘削対象の位置、体積、形態などの情報を把握する必要がある。無人掘削機にレーザレーダを設置して、レーザレーダの走査により土スタックなどの掘削対象の３次元情報を取得してもよく、又は掘削対象の上方に携帯単眼カメラをホバリングして携帯し、収集された画像に基づいて土スタックなどの掘削対象の情報の抽出を行ってもよい。
本願の実施例は、材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体を提案する。
第１態様では、本願の実施例は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することと、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することとを含む材料スタックの３次元再構成方法を提供する。
いくつかの実施例では、上記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することは、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることと、材料を搬送するように掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削された材料スタックの深度画像シーケンスを取得することを含む。
いくつかの実施例では、上記掘削機の２つの側面に前記両眼カメラが設けられており、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることは、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信することを含む。
いくつかの実施例では、上記方法は、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにすることをさらに含む。
いくつかの実施例では、上記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することは、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換することと、深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得することと、材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成することを含む。
いくつかの実施例では、上記方法は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成することをさらに含む。
第２態様では、本願の実施例は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される取得手段と、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成される生成手段とを備える材料スタックの３次元再構成装置を提供する。
いくつかの実施例では、上記取得手段は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される。
いくつかの実施例では、上記掘削機の２つの側面に前記両眼カメラが設けられており、取得手段は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信することにより、掘削機の側面に設けられる両眼カメラをオンにするようにさらに構成される。
いくつかの実施例では、上記装置は、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにするように構成されるターンオフ手段をさらに備える。
いくつかの実施例では、上記生成手段は、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成するにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成される。
いくつかの実施例では、上記装置は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成するように構成される計画手段をさらに備える。
第３態様では、本願の実施例は、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶する記憶装置と、を備える電子デバイスであって、１つまたは複数のプログラムを１つまたは複数のプロセッサに実行させることにより、第１態様で提供される材料スタックの３次元再構成方法を１つまたは複数のプロセッサに実現させる電子デバイスを提供する。
第４態様では、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読媒体であって、コンピュータプログラムが実行される場合、第１態様で提供される材料スタックの３次元再構成方法を実現させる、コンピュータ可読媒体を提供する。
本願の上記実施例にかかる材料スタックの３次元再構成方法及び装置は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得し、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することにより、掘削機の回転操作特性を利用してアームなどの部材に遮蔽されにくい両眼カメラを設けて、材料スタックの深度画像の収集及び３次元モデリングを行うので、遮蔽による材料スタックの画像情報の欠落を避け、材料スタックの３次元再構築の正確性を向上させるとともに、コストを節約することができる。
本願の他の特徴、目的および利点は、以下の図面を参照して説明される非限定的な実施例を読むことによって、より明らかになる。
本願の実施例を適用可能なシステム構成の一例を示す図である。 本願の材料スタックの３次元再構成方法による一実施例のフローチャートである。 図２に示す実施例の一適用シーンの概略図である。 本願の材料スタックの３次元再構成方法による別の実施例のフローチャートである。 本願の材料スタックの３次元再構成装置の一実施例の構造概略図である。 本願の実施例の電子デバイスを実現するのに適したコンピュータシステムの構成概略図である。
以下、図面及び実施例を参照しながら本願をさらに詳細に説明する。本明細書に記載された具体的な実施例は、単に本発明を説明するためのものであり、本発明を限定するものではないことが理解されるべきである。なお、説明の便宜上、図面には、かかる発明に関連する部分のみが示されている。
なお、矛盾しない場合に、本願における実施例及び実施例における特徴は互いに組み合わせることができる。以下、図面及び実施例を参照しながら本願を詳細に説明する。
図１は、本願の材料スタックの３次元再構成方法または材料スタックの３次元再構成装置を適用可能なシステム構成の一例を示す。
図１に示すように、システム構成１００には、掘削機１０１と、掘削機に設けられる両眼カメラ１０２と、ネットワーク１０３と、サーバ１０４とが含まれることができる。ネットワーク１０３は、掘削機１０１と、両眼カメラ１０２と、サーバ１０４との間で通信リンクの媒体を提供するために使用される。ネットワーク１０３は、例えば、有線や無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含むことができる。
掘削機１０１は、無人自律掘削機であってもよく、無人自律掘削機に角度センサ、機械センサ、画像センサなどの各種センサが設けられることができる。掘削機１０１上の各種センサは、掘削対象、道路環境などを含む環境情報を感知することができる。いくつかのシーンでは、無人自律掘削機１０１に、データ処理部材、例えばＣＰＵ、ＧＰＵなどのプロセッサ、及び記憶部材が設けられることができる。データ処理部材は、センサが感知したデータを取得して処理することができ、記憶部材は、センサが感知したデータ、及びデータ処理部材がデータ処理タスクを実行するために呼び出す必要があるデータを記憶することができる。
両眼カメラ１０２は、無人自律掘削機１０１に設けられる画像センサであってもよく、無人自律掘削機が掘削すべき材料スタックの画像を撮影することができる。両眼カメラ１０２は、無人自律掘削機の本体の側面に設けられることができる。両眼カメラは、掘削機本体が回転してバケット内の材料をアンロードする過程において材料スタックの深度画像を撮影することができる。
サーバ１０４は、様々なサービスを提供するサーバ、例えば、無人自律掘削機のバックグラウンドサーバであってもよい。無人自動掘削機のバックグラウンドサーバは、両眼カメラ１０２から取得された材料スタックの２次元画像などのデータの分析などの処理を行い、処理結果（例えば目標掘削点と目標掘削軌跡）に基づいて掘削機１０１の掘削を制御する。
なお、サーバ１０４は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０４はハードウェアである場合、複数のサーバから構成される分散型サーバクラスタとして実現されてもよく、単一のサーバとして実現されてもよい。サーバ１０４はソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュール（例えば分散型サービスを提供するために使用される複数のソフトウェアまたはソフトウェアモジュール）として実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここでは具体的に限定されるものではない。
なお、本願の実施例が提供する材料スタックの３次元再構成方法は、掘削機１０１に設けられるデータ処理部材又はサーバ１０４によって実行されることができ、それに応じて、材料スタックの３次元再構成装置は、掘削機１０１のデータ処理部材又はサーバ１０４に設けられることができる。
図１のカメラ、ネットワークおよびサーバの数は、単に例示的なものであることが理解されるべきである。必要に応じて、任意の数のカメラ、ネットワークおよびサーバを有することができる。
次に、図２を参照すると、本願の材料スタックの３次元再構成方法による一実施例のフロー２００が示されている。該材料スタックの３次元再構成方法は、ステップ２０１〜ステップ２０２を含む。
ステップ２０１において、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得する。
本実施例では、材料スタックの３次元再構成方法の実行主体（例えば、図１に示すサーバ１０４又は掘削機１０１の処理部材）は、掘削機の制御命令をリアルタイムに検出することができ、バケット内の材料を搬送するように掘削機本体の回転を制御する命令を検出すると、掘削機の側面にある両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することができる。そのうち、材料スタックは、土スタック、土砂スタック、岩石スタック、建築材料スタックなどの掘削機の作業対象であってもよい。
前記掘削機は、無人自律掘削機であってもよく、掘削機の側面に両眼カメラが設けられることができる。ここで、掘削機の正面とは、掘削機のタイヤまたはクローラの進行方向に向かう面をいい、掘削機の側面は掘削機の正面に垂直な面である。掘削機は、掘削される材料スタックから材料を掘り出すようにバケットを制御した後、通常に、材料を他の場所に搬送するために地面に垂直な縦線を軸として本体を回転させる必要がある。掘削材料スタックから離れるように本体の正面が回転するとともに、掘削される材料スタックに向かうように本体の側面が回転することに伴って、本体の側面に設けられる両眼カメラは、材料スタックに正対する側に回転し、この時、両眼カメラは、材料スタックの深度画像シーケンスを収集して上記実行本体に伝送することができる。
通常、掘削機のアームが本体の正面に位置するため、本体の正面が回転して、掘削される材料スタックから離れる時に、それに伴って、アームも回転して、掘削される材料スタックから離れる。このように、掘削機の側面にある両眼カメラが収集した画像には、アームによる材料スタックへの遮蔽が存在しない。
両眼カメラは、深度情報を含む画像、すなわち深度画像を収集することができる。上記両眼カメラは、相対位置関係が校正された２つのカメラで構成されることができる。いくつかの実施例では、上述両眼カメラは、２つのカメラによって収集された平面画像を融合させることにより深度画像を形成するための処理部材をさらに備えることができる。
実際には、リモートサーバ又は掘削機に設けられる処理部材は、掘削機の掘削操作を制御することができる。バケットが材料を掘り出して搬送しよとする際に、リモートサーバ又は掘削機に設けられる処理部材は、材料を搬送するように掘削機本体の回転を制御する命令を発行することができる。この場合、上記実行主体は、該命令を検出したことに応じて、該命令が発行された後に両眼カメラが収集した画像シーケンスを取得することができ、即ち、両眼カメラが掘削機本体回転中に収集した材料スタックの深度画像シーケンスを取得する。
ステップ２０２において、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成する。
本実施例では、ステップ２０１で取得された材料スタックの深度画像シーケンスに基づいて３次元再構成を行うことができる。具体的には、深度画像シーケンスにおける深度画像について、両眼カメラの外部パラメータ行列（例えば回転行列、平行移動行列など）に基づいて深度画像における画像情報点を３次元空間にマッピングし、その後、３次元空間におけるマッピングにより得られた点を連結して該深度画像に対応する３次元モデルを形成することができる。そして、深度画像シーケンスにおける異なる深度画像によって形成された３次元モデルを融合して深度画像シーケンスに対応する３次元モデルを得る。
本実施例のいくつかの選択可能な実施形態では、まず、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、次に深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、最後に材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成することにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するようにしてもよい。
具体的には、上記実現形態において、画像座標系と世界座標系との間の変換行列により、深度画像における深度情報を利用して２次元画像を３次元ポイントクラウドに変換することができ、即ち２次元画像における各点を３次元空間にマッピングし、深度画像系列における深度画像に１対１で対応する３次元ポイントクラウドを得る。その後、深度画像シーケンスにおける隣接の画像の重複部分に対して、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）などの方法に基づいて特徴点の抽出及びマッチングを行い、隣接画像間のマッチングされた特徴点に基づいて各隣接画像に対応する３次元ポイントクラウドを順次融合して、完全な材料スタックの３次元ポイントクラウドを得ることができる。その後、３次元ポイントクラウドに対して前処理を行い、ノイズ点を除去し、データ補間を行うことができる。そして、ポイントクラウドを三角格子化し、最後に三角格子をレンダリングして、材料スタックの３次元モデルを得る。
ここで、材料スタックの３次元モデルは、３次元頂点と３次元空間内の面との組み合わせからなるモデルとすることができる。該３次元モデルは、３次元頂点の座標及び面の数式で表現されることができる。
図３を参照すると、図２に示す材料スタックの３次元再構成方法の一適用シーンの概略図を示す。図３に示すように、掘削機のバケットが材料を掘り出し、材料を搬送するように図の矢印方向に沿って掘削機本体を回転させると、掘削機の側面に設けられる両眼カメラは、その結像領域（図３に示す破線領域）内の深度画像を収集することができ、この場合、掘削された材料スタックは、該ｖの結像領域内に位置するため、材料スタックの深度画像を取得することができる。その後、掘削機を制御するためのサーバは、該深度画像に基づいて３次元再構成を行い、材料スタックの３次元モデルを得ることができる。このように、次の掘削操作を実行する際に、材料スタックの３次元モデルに基づいて決定を行うことができる。
本願の上記実施例にかかる材料スタックの３次元再構成方法は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得し、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することにより、掘削機の回転操作特性を利用してアームなどの部材に遮蔽されにくい両眼カメラを設けて、材料スタックの深度画像の収集及び３次元モデリングを行うので、遮蔽による材料スタックの画像情報の欠落を避け、詳細が完全であり、材料スタックの３次元再構築の正確性を向上させる。レーザレーダに比べて、無人航空機の航空撮影により材料スタックの３次元情報を取得する方法は、両眼カメラのコストが低く、且つ３次元モデルの生成速度が速い。
上記実施例のいくつかの代替的な実施形態において、上記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するステップ２０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、材料を搬送するように掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削された材料スタックの深度画像シーケンスを取得することに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより実行されることができる。
具体的には、掘削機に送信された制御命令をリアルタイムに検出することができ、材料を搬送するように掘削機本体の回転を制御する命令を検出した場合に、掘削機の側面に設けられる両眼カメラにオン命令を送信することができ、両眼カメラはオン命令を受信した後に動作を開始し、その撮像範囲内の画像を収集する。材料を搬送するように車体が回転している過程において、両眼カメラは継続的に動作し、一定の頻度で材料スタックの画像を収集して画像シーケンスを形成する。
さらに、上記実施例のいくつかの代替的な実施形態において、上記掘削機の２つの側面に上記両眼カメラが設けられており、この場合、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信し、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することができる。
材料を搬送するように掘削機本体の回転を制御する命令を検出すると、該命令によって指示された掘削機本体の回転方向を取得し、該回転方向に基づいて材料スタックに向かう側に回転されるようになる両眼カメラを特定し、即ち掘削機本体が回転した後に撮像範囲が掘削される材料スタックをカバーする側にある両眼カメラを特定し、該両眼カメラをオンにして材料スタックの深度画像シーケンスを収集することができる。
次に、図４を参照すると、本願の材料スタックの３次元再構成方法による別の実施例のフローチャートが示されている。図４に示すように、本実施例にかかる材料スタックの３次元再構成方法のフロー４００は、ステップ４０１〜ステップ４０３を含む。
ステップ４０１において、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信し、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得する。
本実施例では、掘削機の２つの側面に両眼カメラが設けられている。材料を搬送するように掘削機本体の回転を制御する命令を検出した場合に、該命令によって指示された掘削機本体の回転方向を取得し、該回転方向に基づいて材料スタックに向かう側に回転されるようになる両眼カメラを特定し、この材料スタックに向かう側に回転されるようになる両眼カメラに対してオン命令を送信することができる。又は、この材料スタックに向かう側に回転されるようになる両眼カメラにより、掘削機本体が回転している過程において収集された材料スタックの深度画像シーケンスを取得する。
実際には、掘削過程において材料スタックの位置が一般的に変化することがなく、掘削機が右へ回転すると、掘削機の左側面に設けられる両眼カメラが材料スタックに向う側に回転される一方、掘削機の右側面に設けられる両眼カメラが材料スタックから離れる側に回転される。この場合、バケット内の材料を搬送するように掘削機が右へ回転している過程において、左側面に設けられる両眼カメラで材料スタックの画像を収集するとともに、右側面に設けられる両眼カメラをオフ状態に維持することができる。逆に、掘削機が左へ回転すると、掘削機の右側面に設けられる両眼カメラが材料スタックに向かう側に回転される一方、掘削機の左側面に設けられる両眼カメラが材料スタックから離れる側に回転される。この場合、バケット内の材料を搬送するように掘削機が左へ回転している過程において、右側面に設けられる両眼カメラで材料スタックの画像を収集するとともに、左側面に設けられる両眼カメラをオフ状態に維持することができる。このように、掘削機がいずれの方向へ回転しても、両眼カメラで材料スタックの画像を収集することができる。
ステップ４０２において、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成する。
本実施例では、ステップ４０１で取得された材料スタックの深度画像シーケンスに基づいて３次元再構成を行うことができる。具体的には、深度画像シーケンスにおける深度画像について、両眼カメラの外部パラメータ行列（例えば回転行列、平行移動行列など）に基づいて深度画像における画像情報点を３次元空間にマッピングし、その後、３次元空間におけるマッピングにより得られた点を連結して該深度画像に対応する３次元モデルを形成することができる。そして、深度画像シーケンスにおける異なる深度画像によって形成された３次元モデルを融合して深度画像シーケンスに対応する３次元モデルを得る。
本実施例のいくつかの選択可能な実施形態では、まず、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、次に深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、最後に材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成することにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するようにしてもよい。
具体的には、上記実現形態において、画像座標系と世界座標系との間の変換行列により、深度画像における深度情報を利用して２次元画像を３次元ポイントクラウドに変換することができ、即ち２次元画像における各点を３次元空間にマッピングし、深度画像系列における深度画像に１対１で対応する３次元ポイントクラウドを得る。その後、深度画像シーケンスにおける隣接の画像の重複部分に対して、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）などの方法に基づいて特徴点の抽出及びマッチングを行い、隣接画像間のマッチングされた特徴点に基づいて各隣接画像に対応する３次元ポイントクラウドを順次融合して、完全な材料スタックの３次元ポイントクラウドを得ることができる。その後、３次元ポイントクラウドに対して前処理を行い、ノイズ点を除去し、データ補間を行うことができる。そして、ポイントクラウドを三角格子化し、最後に三角格子をレンダリングして、材料スタックの３次元モデルを得る。
ステップ４０３において、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにする。
本実施例において、材料スタックの３次元再構成方法の実行主体は、材料をアンロードするように掘削機のバケットを制御する命令を検出した場合に、オンにされた両眼カメラをオフにして、材料スタックの収集を停止することができる。両眼カメラのオンからオフまでの期間にわたって収集された全ての画像を収集された材料スタックの画像シーケンスとすることができる。
一般的に、材料をアンロードするように掘削機のバケットを制御する命令を生成した時に、掘削機のバケットが既にアンロード領域に移動してアンロード操作を準備し、この時、次の掘削操作を実行しようとするため、次の掘削操作の決定を行うように現在の材料スタックの３次元情報を把握する必要があり、材料スタックの画像の収集を停止することができ、すなわち、現在の材料スタックの深度画像シーケンスの収集が完了する。ステップ４０１でオンにされた両眼カメラをオフにすることによって、画像の収集を完了させることができ、具体的には、オンにされた両眼カメラにオフ命令を送信することができる。
このように、バケットが材料を掘り出し、掘削機が回転して材料をアンロード領域に搬送してアンロードする過程において、両眼カメラのオン操作とオフ操作をそれぞれ１回ずつ実行することにより、異なる時点での掘削操作の対象である材料スタックの画像収集タイミングの切断を実現するとともに、両眼カメラをその結像範囲が材料スタックをカバーする時のみにオンにし、他の時間帯でオフにすることを保証するため、エネルギー消費の節約に有利である。
上記図２及び図４を参照して説明した実施例のいくつかの代選択可能な実施形態において、材料スタックの３次元再構成方法は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成することをさらに含む。材料スタックの３次元再構成を完了した後、材料スタックの表面特性、体積などの情報に基づいて次の掘削動作の掘削点及び掘削角度を決定し、そして、対応する掘削点位置に移動するように掘削機とバケットを制御するとともに、対応する掘削角度で掘削するようにバケットを制御するための掘削操作命令を生成することができる。掘削機は、該命令を受信した後に、対応する掘削動作を実行することができる。このように、掘削される材料スタックの３次元再構成の結果に基づく掘削動作の決定を実現し、無人自律掘削機の自律掘削機能を実現する。
更に図５を参照すると、上記各図に示される方法の実施として、本願は材料スタックの３次元再構成装置の一実施例を提供して、この装置の実施例は図２及び図４に示される方法の実施例に対応して、この装置は具体的に様々な電子デバイスに適用されることができる。
図５に示すように、本実施例の材料スタックの３次元再構成装置５００は、取得手段５０１と生成手段５０２とを備える。そのうち、取得手段５０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成され、生成手段５０２は、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成される。
いくつかの実施例では、上記取得手段５０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成されてもよい。
いくつかの実施例では、上記掘削機の２つの側面に前記両眼カメラが設けられており、上記取得手段５０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信することにより、掘削機の側面に設けられる両眼カメラをオンにするようにさらに構成されてもよい。
いくつかの実施例では、上記装置５００は、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにするように構成されるターンオフ手段をさらに備えてもよい。
いくつかの実施例では、上記生成手段５０２は、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成するにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成されてもよい。
いくつかの実施例では、上記装置５００は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成するように構成される計画手段をさらに備えてもよい。
装置５００に記載された各手段は、図２及び図４を参照して説明された方法の各ステップに対応することが理解されるべきである。したがって、方法について説明された操作および特徴は、同様に装置５００およびそれに含まれる手段に適用可能であるので、ここでは説明を省略する。
本願の上記実施例にかかる材料スタックの３次元再構成装置５００は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得し、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することにより、掘削機の回転操作特性を利用してアームなどの部材に遮蔽されにくい両眼カメラを設けて、材料スタックの深度画像の収集及び３次元モデリングを行うので、遮蔽による材料スタックの画像情報の欠落を避け、詳細が完全であり、材料スタックの３次元再構築の正確性を向上させる。レーザレーダに比べて、無人航空機の航空撮影により材料スタックの３次元情報を取得する方法は、両眼カメラのコストが低く、且つ３次元モデルの生成速度が速い。
図６を参照すると、本開示の実施例を実施することに適した電子デバイス（例えば、図１のサーバ）６００の構造概略図が示されている。図６に示すサーバは一例であり、本開示の実施例の機能及び使用範囲を限定するものではない。
図６に示すように、電子デバイス６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されるプログラム、または記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って、種々の適切な動作および処理を実行することができる処理装置（例えば中央処理装置、グラフィックスプロセッサなど）６０１を含むことができる。ＲＡＭ６０３には、電子デバイス６００が操作するために必要な各種プログラムやデータも格納されている。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続されている。また、バス６０４には、入出力（Ｉ／Ｏ）インタフェース６０５も接続されている。
一般的に、Ｉ／Ｏインタフェース６０５には、タッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどの入力装置６０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、振動器などの出力装置６０７、ハードディスクなどの記憶装置６０８、通信装置６０９などが接続されている。通信装置６０９は、データを交換するように、電子デバイス６００が他のデバイスと無線または有線で通信することを許容することができる。図６は、様々な装置を有する電子デバイス６００を示すが、示されたすべての装置を実施または備える必要はないことが理解されるべきである。より少ない、またはより多い装置を実施または備えてもよい。図６に示す各ブロックは、１つの装置を表してもよいし、また必要に応じて複数の装置を表してもよい。
特に、本開示の実施形態によれば、上記したフローチャートを参照して説明された手順がコンピュータソフトウェアプログラムとして実施されることができる。例えば、本開示の実施例は、フローチャートに示される方法を実行するためのプログラムコードを含むコンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含む。このような実施例では、コンピュータプログラムは、通信デバイス６０９を介してネットワークからダウンロードされインストールされてもよく、または記憶デバイス６０８からインストールされてもよいし、ＲＯＭ６０２からインストールされてもよい。このコンピュータプログラムが処理装置６０１によって実行されると、本開示の実施例の方法で限定された機能は実行される。なお、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体やコンピュータ可読記憶媒体、又は上記両方の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、特に限定されないが、例えば、電気や磁気、光、電磁気、赤外線または半導体のシステム、装置またはデバイスであってもよく、またはこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例には、１つまたは複数のリードを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上述の任意の適切な組合せが含まれるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、プログラムを含むかまたは格納する任意の有形媒体であってもよく、そのプログラムは、命令を実行するシステム、装置またはデバイスによって使用されてもよく、またはそれらとともに使用されてもよい。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンドでまたはキャリアの一部として伝搬される、コンピュータ読み取り可能なプログラムコードを担持するデータ信号を含むことができる。このように伝搬されるデータ信号は、電磁信号、光信号、または上述の任意の適切な組み合わせを含む様々な形態とことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらに、命令を実行するシステム、装置またはデバイスによって使用され、またはそれらとともに使用されるプログラムを送信、伝播または伝搬することが可能なコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体とすることができる。コンピュータ可読媒体に含まれるプログラムコードは、電線や光ケーブル、ＲＦなど、またはそれらの任意の適切な組合せを含む任意の適切な媒体を介して伝送されることができるが、これらに限定されない。
上記コンピュータ可読媒体は、上記電子デバイスに含まれてもよいし、該電子デバイスに組み込まれなくて、個別に存在してもよい。上記コンピュータ可読媒体は、１つ又は複数のプログラムを担持し、上記１つ又は複数のプログラムが該電子デバイスによって実行されると、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された掘削される材料スタックの深度画像シーケンスを取得することと、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することを該電子デバイスに実行させる。
本開示の実施例の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語、並びに「Ｃ」言語または同様のプログラミング言語などの一般的な手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語またはそれらの組合せにより記述されることができる。プログラムコードは、全部がパーソナルコンピュータ上でに実行されてもよく、一部がパーソナルコンピュータ上で実行されてもよく、別個のソフトウェアパッケージとして実行されてもよく、一部がパーソナルコンピュータ上で実行され残りの一部がリモートコンピュータ上で実行されてもよく、または全部がリモートコンピュータまたはサーバ上で実行されてもよい。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してパーソナルコンピュータに接続されてもよく、または外部のコンピュータに接続されてもよい（例えば、インターネットサービスプロバイダによりインターネットを介して接続される）。
図面におけるフローチャートおよびブロック図は、本願の様々な実施例によるシステム、方法およびコンピュータプログラム製品の実施可能な構成、機能および操作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、所定の論理機能を実施するための１つまたは複数の実行可能な命令を含むモジュール、ブロックまたはコードの一部を示すことができる。なお、いくつかの置換例としての実施例では、ブロックに示す機能は、図面に示す順序とは異なる順序で実行されてもよい。例えば、接続して示される２つのブロックは、実際に、実質的に並行して実行されてもよく、かかる機能によっては、相互に逆の順序で実行されてもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、ならびにブロック図および／またはフローチャートにおけるブロックの組合せは、所定の機能または操作を実行する専用のハードウェアによるシステムによって実施されてもよく、または専用ハードウェアとコンピュータ命令との組合せによって実施されてもよい。
本願の実施例にかかる手段は、ソフトウェアによって実現されてもよく、ハードウェアによって実現されてもよい。説明された手段は、プロセッサに配置されてもよく、例えば、プロセッサは取得手段と、生成手段とを含むようにとして記載されてもよい。ここで、これらの手段の名称は、この手段自体を限定するように構成されない場合があり、例えば、取得手段は、さらに「材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得する手段」として説明されることができる。
以上の説明は、本願の好適な実施例及び適用される技術原理の説明に過ぎない。当業者であれば、本願に係る発明の範囲は、上記技術的特徴の特定の組み合わせからなる技術的手段に限定されるものではなく、同時に上記発明の主旨から逸脱しない範囲で上記技術的特徴又はその等価な特徴によって任意に組み合わせて形成される他の技術的手段を含むことが理解されるべきである。例えば、上記特徴が本願に開示された（これに限定されない）同様な機能を有する技術的特徴と相互に置換されて形成される技術的手段である。

Claims (14)

  1. 材料スタックの３次元再構成方法であって、
    材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することと、
    前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成することと
    を含む材料スタックの３次元再構成方法。
  2. 前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することは、
    材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることと、
    材料を搬送するように前記掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することを含む請求項１に記載の方法。
  3. 前記掘削機の２つの側面に前記両眼カメラが設けられており、
    前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることは、
    材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、前記掘削機本体の回転方向に基づいて前記材料スタックに向かう側に設けられる両眼カメラを特定して、前記材料スタックに向かう側に設けられる前記両眼カメラに対してオン命令を送信することを含む請求項２に記載の方法。
  4. 材料をアンロードするように前記掘削機のバケットを制御する命令を検出したことに応じて、前記掘削機の側面に設けられる両眼カメラをオフにすることをさらに含む請求項２に記載の方法。
  5. 前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成することは、
    前記材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換することと、
    前記深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された前記材料スタックの３次元ポイントクラウドを取得することと、
    前記材料スタックの３次元ポイントクラウドに基づいて前記材料スタックの３次元モデルを生成することを含む請求項１に記載の方法。
  6. 前記材料スタックの３次元モデルに基づいて前記材料スタックを掘削する掘削動作を計画して、前記掘削動作を実行する命令を生成することをさらに含む請求項１〜５のいずれか１項に記載の方法。
  7. 材料スタックの３次元再構成装置であって、
    材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される取得手段と、
    前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成するように構成される生成手段と
    を備える材料スタックの３次元再構成装置。
  8. 前記取得手段は、
    材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、
    材料を搬送するように前記掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、
    前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される請求項７に記載の装置。
  9. 前記掘削機の２つの側面に前記両眼カメラが設けられており、
    前記取得手段は、
    材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、前記掘削機本体の回転方向に基づいて前記材料スタックに向かう側に設けられる両眼カメラを特定して、前記材料スタックに向かう側に設けられる前記両眼カメラに対してオン命令を送信することにより、掘削機の側面に設けられる両眼カメラをオンにするようにさらに構成される請求項８に記載の装置。
  10. 材料をアンロードするように前記掘削機のバケットを制御する命令を検出したことに応じて、前記掘削機の側面に設けられる両眼カメラをオフにするように構成されるターンオフ手段をさらに備える請求項８に記載の装置。
  11. 前記生成手段は、
    前記材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、
    前記深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された前記材料スタックの３次元ポイントクラウドを取得し、
    前記材料スタックの３次元ポイントクラウドに基づいて前記材料スタックの３次元モデルを生成するにより、
    前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成するように構成される請求項７に記載の装置。
  12. 前記材料スタックの３次元モデルに基づいて前記材料スタックを掘削する掘削動作を計画して、前記掘削動作を実行する命令を生成するように構成される計画手段をさらに備える請求項７〜１１のいずれか１項に記載の装置。
  13. １つ又は複数のプロセッサと、
    １つまたは複数のプログラムを記憶する記憶装置と、を備える電子デバイスであって、
    前記１つまたは複数のプログラムを前記１つまたは複数のプロセッサに実行させることにより、請求項１〜６のいずれか１項に記載の方法を１つまたは複数のプロセッサに実現させる、電子デバイス。
  14. コンピュータプログラムが記憶されているコンピュータ可読媒体であって、前記コンピュータプログラムが実行される場合、請求項１〜６のいずれか１項に記載の方法を実現させる、コンピュータ可読媒体。
JP2019202060A 2019-01-25 2019-11-07 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体 Active JP7137548B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910075865.7 2019-01-25
CN201910075865.7A CN109816778B (zh) 2019-01-25 2019-01-25 物料堆三维重建方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
JP2020125668A true JP2020125668A (ja) 2020-08-20
JP7137548B2 JP7137548B2 (ja) 2022-09-14

Family

ID=66605367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019202060A Active JP7137548B2 (ja) 2019-01-25 2019-11-07 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体

Country Status (4)

Country Link
US (1) US11568593B2 (ja)
JP (1) JP7137548B2 (ja)
KR (1) KR102202558B1 (ja)
CN (1) CN109816778B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017170900A1 (ja) * 2016-03-31 2017-10-05 住友建機株式会社 ショベル
CN110321836B (zh) * 2019-07-01 2023-07-21 芜湖启迪睿视信息技术有限公司 一种基于图像和激光点云图的输送物料检测方法
CN110458938B (zh) * 2019-07-22 2021-11-12 武汉理工大学 一种散货料堆实时三维重建方法及系统
CN110779989B (zh) * 2019-11-04 2020-11-06 北京理工大学 一种超声波三维重建的物料监测系统及方法
EP4130395A4 (en) * 2020-03-27 2023-03-15 Sumitomo Heavy Industries, Ltd. IMAGE CAPTURE DEVICE FOR WORK MACHINE, INFORMATION MANAGEMENT SYSTEM, INFORMATION TERMINAL AND IMAGE CAPTURE PROGRAM FOR WORK MACHINE
US11595618B2 (en) * 2020-04-07 2023-02-28 Caterpillar Inc. Enhanced visibility system for work machines
CN111815703B (zh) * 2020-07-16 2024-05-03 中国农业机械化科学研究院 基于双目相机的手持式谷堆测方装置和谷堆测方方法
CN111986219B (zh) * 2020-08-10 2023-09-19 中国科学院光电技术研究所 一种三维点云与自由曲面模型的匹配方法
CN114592559A (zh) * 2020-12-04 2022-06-07 长安大学 一种特殊环境下的液压挖掘机远程自动控制系统
KR20220140297A (ko) * 2021-04-09 2022-10-18 현대두산인프라코어(주) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
US11734883B2 (en) * 2021-04-14 2023-08-22 Lineage Logistics, LLC Generating mappings of physical spaces from point cloud data
CN113379894B (zh) * 2021-06-10 2023-08-01 西安亚思工业自动化控制有限公司 一种棒材的三维数据模型重构方法
CN113463720B (zh) * 2021-06-30 2023-02-17 广西柳工机械股份有限公司 装载机铲斗接触物料的辨识系统和方法
CN116450018B (zh) * 2023-06-16 2023-08-15 西安交通大学城市学院 面向虚拟现实应用的文物修复数据处理方法
CN116665139B (zh) * 2023-08-02 2023-12-22 中建八局第一数字科技有限公司 堆状物料体积识别方法、装置、电子设备及存储介质
CN117437291B (zh) * 2023-12-21 2024-05-17 河南卫华重型机械股份有限公司 一种基于双目视觉的数字化料堆可视方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1088625A (ja) * 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
JP2000192514A (ja) * 1998-12-28 2000-07-11 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその運転方法
US20030226290A1 (en) * 2000-05-05 2003-12-11 Savard Hassel J Laser-guided construction equipment
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2016065422A (ja) * 2014-09-26 2016-04-28 株式会社日立製作所 外界認識装置および外界認識装置を用いた掘削機械
JP2017025503A (ja) * 2015-07-17 2017-02-02 清水建設株式会社 建設機器操作アシスト表示システム
WO2017033991A1 (ja) * 2015-08-26 2017-03-02 住友建機株式会社 ショベルの計測装置
US20170089041A1 (en) * 2015-09-30 2017-03-30 Komatsu Ltd. Calibration system, work machine, and calibration method
JPWO2015198410A1 (ja) * 2014-06-25 2017-04-20 株式会社日立製作所 外界認識装置
WO2018079789A1 (ja) * 2016-10-31 2018-05-03 株式会社小松製作所 計測システム、作業機械及び計測方法
JP2018181271A (ja) * 2017-04-21 2018-11-15 佐藤工業株式会社 三次元立体の表現方法及び評価方法
JP2019002242A (ja) * 2017-06-19 2019-01-10 株式会社神戸製鋼所 転倒防止装置及び作業機械
JP2019007348A (ja) * 2018-10-09 2019-01-17 住友建機株式会社 ショベル

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1008448A1 (ru) * 1981-11-06 1983-03-30 Brekhov Ivan T Способ реконструкции карьера
US6108949A (en) * 1997-12-19 2000-08-29 Carnegie Mellon University Method and apparatus for determining an excavation strategy
KR100928836B1 (ko) 2007-08-08 2009-11-27 성균관대학교산학협력단 굴삭기용 굴삭시스템 및 이에 의한 굴삭기의 굴삭방법
KR100952482B1 (ko) 2008-06-30 2010-04-13 인하대학교 산학협력단 회전식 다중 배율 렌즈를 이용한 3차원 지반형상 이미지구현 시스템 및 이를 이용한 토공량 산출방법
EP2602588A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
EP3235773B8 (en) * 2012-09-21 2023-09-20 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP6361239B2 (ja) 2014-04-03 2018-07-25 日本精機株式会社 車両用表示装置
US20160312432A1 (en) * 2015-04-23 2016-10-27 Caterpillar Inc. Computer Vision Assisted Work Tool Recognition and Installation
CN108335353B (zh) * 2018-02-23 2020-12-22 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质
US10689830B2 (en) * 2018-08-06 2020-06-23 Deere & Company Container angle sensing using vision sensor for feedback loop control
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1088625A (ja) * 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
JP2000192514A (ja) * 1998-12-28 2000-07-11 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその運転方法
US20030226290A1 (en) * 2000-05-05 2003-12-11 Savard Hassel J Laser-guided construction equipment
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JPWO2015198410A1 (ja) * 2014-06-25 2017-04-20 株式会社日立製作所 外界認識装置
JP2016065422A (ja) * 2014-09-26 2016-04-28 株式会社日立製作所 外界認識装置および外界認識装置を用いた掘削機械
JP2017025503A (ja) * 2015-07-17 2017-02-02 清水建設株式会社 建設機器操作アシスト表示システム
WO2017033991A1 (ja) * 2015-08-26 2017-03-02 住友建機株式会社 ショベルの計測装置
US20170089041A1 (en) * 2015-09-30 2017-03-30 Komatsu Ltd. Calibration system, work machine, and calibration method
WO2018079789A1 (ja) * 2016-10-31 2018-05-03 株式会社小松製作所 計測システム、作業機械及び計測方法
JP2018181271A (ja) * 2017-04-21 2018-11-15 佐藤工業株式会社 三次元立体の表現方法及び評価方法
JP2019002242A (ja) * 2017-06-19 2019-01-10 株式会社神戸製鋼所 転倒防止装置及び作業機械
JP2019007348A (ja) * 2018-10-09 2019-01-17 住友建機株式会社 ショベル

Also Published As

Publication number Publication date
KR20200093414A (ko) 2020-08-05
KR102202558B1 (ko) 2021-01-14
JP7137548B2 (ja) 2022-09-14
CN109816778A (zh) 2019-05-28
US11568593B2 (en) 2023-01-31
US20200242829A1 (en) 2020-07-30
CN109816778B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP7137548B2 (ja) 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体
CN109903337B (zh) 用于确定挖掘机的铲斗的位姿的方法和装置
KR102343989B1 (ko) 주행 경로 생성 방법 및 장치
JP6906587B2 (ja) 建設機械設備の回転角度を確定するための方法および装置
US9183638B2 (en) Image based position determination
KR20200092854A (ko) 굴착기의 굴착 제어 방법 및 장치
CN104180814A (zh) 移动终端上实景功能中的导航方法和电子地图客户端
JP6300485B2 (ja) 無線ネットワーク置局設計装置及び無線ネットワーク置局設計システム
US11131084B2 (en) Method and apparatus for selecting target excavating point
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN116050277A (zh) 一种煤矿井下场景现实捕捉感知及仿真方法及设备
Tang et al. IMU-based full-body pose estimation for construction machines using kinematics modeling
Scheuermann et al. Mobile augmented reality based annotation system: A cyber-physical human system
CN116901097A (zh) 探测机器人系统
Rossi et al. Real-time vision systems for underwater robotics
Khan et al. A Review on Data Acquisition Devices and Algorithms for 3D Mapping
JP2022174248A (ja) 作業地形検出方法、装置及び作業地形を検出するための工事機器
CN116295401A (zh) 一种室内纯视觉机器人障碍物感知方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R150 Certificate of patent or registration of utility model

Ref document number: 7137548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150