JP2022547608A - 画像ベースの生産性追跡システム - Google Patents
画像ベースの生産性追跡システム Download PDFInfo
- Publication number
- JP2022547608A JP2022547608A JP2022516281A JP2022516281A JP2022547608A JP 2022547608 A JP2022547608 A JP 2022547608A JP 2022516281 A JP2022516281 A JP 2022516281A JP 2022516281 A JP2022516281 A JP 2022516281A JP 2022547608 A JP2022547608 A JP 2022547608A
- Authority
- JP
- Japan
- Prior art keywords
- image
- layer
- productivity
- data
- worksite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 claims abstract description 54
- 239000002131 composite material Substances 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012907 on board imaging Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000002826 coolant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2322—Optimistic concurrency control using timestamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Remote Sensing (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- General Factory Administration (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
感知装置、ユーザインターフェース、および制御ユニットを含む作業機械が開示される。制御ユニットは、生産性データに基づいて生産性層を生成し、画像データに基づいて画像層を生成するように構成されうる。画像データは、作業現場に関連付けられた工事の状態に対応する画像、および画像に関連付けられた地理空間参照に関連する情報を含みうる。制御ユニットは、マップ層、画像層、および生産性層に基づいて、作業現場の複合画像を生成し、複合画像がユーザインターフェースを介して表示されるようにさせるように構成されうる。複合画像は、地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付けうる。
【選択図】図1
Description
本開示は、一般に、作業現場を調査することに関し、例えば、作業現場のための画像ベースの生産性追跡システムに関する。
作業現場は、作業を実施するためにそれぞれ個別に運営され、現場計画に従って工事を完了するように集合的に管理される、一つ以上の作業機械を含みうる。工事は、建設、舗装、解体、鉱業、造園、林業、パイプライン、および/または他の産業用途に関連しうる。現場計画には、作業現場の初期または以前の調査に基づいて設計される、作業現場で行われる工事の仕様を含めることができる。一部の事例では、追跡ツールを使用して、現場計画に対する工事の進捗を追跡しうる。追跡ツールは、調査データの変化(例えば、作業現場内の構造および/または地理的変化に関連する)、生産性データ(例えば、作業現場内の作業機械の位置および/または動作状態に関連する)、および/または進捗を追跡するために使用できるその他の情報に基づいて更新されうる。一部の事例では、追跡ツールは、作業機械のオペレータを誘導するために使用できる、作業現場のデジタルマップおよび/またはモデルを提供しうる。例えば、追跡ツールは、携帯機器、制御ステーション、作業機械内のディスプレイ、および/または別のユーザインターフェースを介して、遠隔オペレータおよび/またはローカルオペレータがアクセスできるようにしてもよい。
一部の事例では、追跡ツールは、作業機械、備蓄品、および/または作業現場に関連付けられた別の資産もしくは属性のそれぞれの位置を示す、作業現場の画像を有するマップビューを提供しうる。作業現場内の資産および/または属性のそれぞれの位置は、作業機械によって提供される情報から取得および/または導出される生産性データに基づいて更新されうる。しかしながら、作業現場を描写するために使用される画像は、時代遅れである場合があり(例えば、時代遅れの衛星画像に基いて)、追跡ツールに依存するオペレータにとって、これは不正確であり、および/または誤解を招く場合がある。一部の事例では、オペレータは、作業現場を調査するために、撮像装置を有するドローンを使用してもよい。例えば、ドローンは、作業現場に対する視覚的な変化を評価するためにオペレータが使用できる、作業現場の更新された画像を捕捉するために使用することができる。しかしながら、ドローンを介して提供される情報は、追跡ツールによって提供される情報(例えば、作業機械からの生産性データ)と併せては使用できない。したがって、オペレータは、作業現場の状態を評価するために、追跡ツールを介して提供される情報およびドローンを介して提供される情報を別々に分析する必要がある場合がある。個別のシステムを使用して単一の工事を分析すると、エラー、遅延、および作業機械、計算リソース、ならびに/またはネットワークリソースの非効率的な使用が生じる場合がある。
メタデータで符号化された空中画像を生成する試みの一つは、2013年12月4日に出願されたBeckettらによる米国特許第9,684,673号(「’673特許」)に開示されている。’673特許は、観測データ、ならびに衛星または航空機を含む地球観測プラットフォームから取得される画像およびメタデータを処理するためのシステムおよび方法を開示している。’673特許は、画像および画像に関連付けられたメタデータの取得、符号化タイルの生成のための画像およびメタデータの符号化、符号化タイルのデータベースへの符号化タイルの格納、マップタイルの要求の受信、要求に関連する符号化タイルの取得、符号化タイルからのデータのマップタイルへのマージ、およびマップタイルの出力を開示する。しかしながら、’673特許は、作業現場の一つ以上の作業機械に関連する生産性データの取得、こうした生産性データを画像層およびマップ層に組み入れた複合画像の生成、またはこうした複合画像に基づく作業現場の工事の進捗の判定を開示しない。
本開示の画像ベースの生産性追跡システムは、上述の問題および/または当技術分野における他の問題のうちの一つ以上を解決する。
一部の実施形態によれば、方法は、装置によって、作業現場に関連付けられたマップデータであって、作業現場に関連付けられた地理的属性、および地理的属性に関連付けられた地理的座標に関連する情報を含む、マップデータを受信することと、装置によって、作業現場に関連付けられた生産性データであって、作業現場に関連付けられた工事の状態に関連する情報を含む生産性データを受信することと、装置によって、作業現場に関連付けられた画像データであって、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関連する情報を含む画像データを受信することと、装置によって、マップデータに基づくマップ層を生成することと、装置によって、画像データに基づく画像層を生成することと、装置によって、生産性データに基づく生産性層を生成することと、装置によって、マップ層に基づいて、作業現場の複合画像、画像層、および生産性層を生成することであって、複合画像は地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける、生成することと、装置によって、複合画像に基づいてアクションが実行されるようにさせることと、を含むことができる。
一部の実施実施形態によれば、装置は、一つ以上のメモリと、作業現場に関連付けられた工事の状態に関連する情報を含む、作業現場に関連付けられた生産性データを受信するように構成された一つ以上のメモリに通信可能に結合された一つ以上のプロセッサと、を含むことと、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関連する情報を含む、作業現場に関連付けられた画像データを受信することと、画像データに基づいて画像層を生成し、生産性データに基づいて生産性層を生成することと、作業現場に関連付けられた地理的属性、および地理的属性に関連付けられた地理的座標に関連する情報を含む、マップ層、画像層、及び生産性層に基づいて作業現場の複合画像を生成することであって、地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける、複合画像を生成することと、複合画像に基づいて、アクションが実行されるようにさせることと、を実行することができる。
一部の実施形態によれば、作業機械は、作業現場に関連付けられた工事の状態に関連する情報を含む、作業機械の生産性データを提供するように構成された感知装置と、工事の状態に関する情報を作業機械のオペレータに表示するよう構成されたユーザインターフェースと、感知装置およびユーザインターフェースと通信する制御ユニットであって、制御ユニットが、生産性データに基づいて生産性層を生成することと、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関する情報を含む画像データに基づいて画像層を生成することと、マップ層、画像層、および生産性層に基づいて作業現場の複合画像を生成することであって、マップ層が、作業現場に関連付けられた地理的属性、および地理的属性に関連付けられた地理的座標に関連する情報を含み、複合層が地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける、複合画像を生成することと、複合画像がユーザインターフェースを介して表示されるようにさせることと、を実行するように構成される制御ユニットと、を含むことができる。
図1は、本明細書に記載の例示的な画像ベースの生産性追跡システム100の図である。図1に示すように、生産性追跡システム100は、撮像装置102、作業機械104、管理プラットフォーム106、制御ステーション108、ネットワーク記憶装置110、および/または作業現場で実行される工事を促進するように構成された別の装置を含みうる。生産性追跡システム100は、現場計画に対する工事の進捗を追跡するために使用されうる。作業機械104は、ドーザ、トラクタ、ローダ、トラック、モータグレーダ、ショベル、舗装機械、および/または工事に関連付けられた作業を実行するように構成された別の作業機械104を含みうる。工事は、建設、舗装、解体、鉱業、造園、林業、パイプライン、および/または他の産業用途に関連しうる。現場計画は、作業現場の初期または以前の調査に基づいて設計されてもよく、実行される工事の仕様(例えば、目標作業経路、目標切断深度、目標グレード、目標マットの厚さ、取り出され、配置され、および/または輸送される資材の目標体積、および/または様々な粒度で提供され得る工事の別の仕様)を含みうる。
一部の実施形態では、生産性追跡システム100は、作業現場で工事に関連する情報を受信し、工事の状態を判定し、作業現場に関連付けられたオペレータに工事の進捗を提供する、生産性追跡サービスを提供および/またはサポートしうる。一部の実施例では、生産性追跡システム100は、作業現場のデジタルモデル(例えば、二次元デジタルモデルおよび/または三次元デジタルモデル)の形態で、工事の進行に関連する情報を提供しうる。デジタルモデルは、断続的に、定期的に、および/または連続的にリアルタイムで更新される画像データ(例えば、撮像装置102によって提供される)と、生産性データ(例えば、作業機械104、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110によって提供される)の組み合わせを使用して生成されうる。生産性追跡サービスおよび/または生産性追跡サービスによって提供される情報は、作業機械104のユーザインターフェースを介してローカルオペレータ、および/または生産性追跡サービスの加入者(例えば、遠隔オペレータ、現場監督、監督者、および/または同種のもの)が、制御ステーション108(例えば、携帯機器、コンピュータ、および/または同種のもの)を介して、アクセス可能とすることができる。
一部の実施形態では、生産性追跡システム100は、管理プラットフォーム106および/またはネットワーク記憶装置110と相互作用する、複数の撮像装置102、複数の作業機械104、および/または複数の制御ステーション108を含みうる。一部の実施例では、生産性追跡システム100は、一つ以上の撮像装置102、一つ以上の作業機械104、および/または一つ以上の制御ステーション108と相互作用する、複数の管理プラットフォーム106および/または複数のネットワーク記憶装置110を含みうる。生産性追跡システム100は、手動で操作された作業機械104および/または自律的にまたは半自律的に操作された作業機械104と共に使用されうる。例えば、生産性追跡システム100は、作業機械104の位置データ、作業機械104に関連付けられた作業現場に関連付けられた座標データ、現場計画に関連付けられた座標データおよび/または同種のものに基づいて自律的または半自律的な作業機械104を誘導、ナビゲート、および/または制御するために使用されうる。一部の実施例では、作業機械104は、ローカルオペレータから、制御ステーション108を介して遠隔オペレータから、および/または生産性追跡システム100の別の装置から、誘導、ナビゲーション、および/または制御情報を受信してもよい。
図1にさらに示すように、撮像装置102は、作業現場の画像(例えば、デジタル画像および/またはデジタルビデオ)を捕捉するように構成されたデジタルカメラおよび/または同種のものを含む。図1の実施例に示されるように、撮像装置102は、作業現場に関連付けられた画像データ(例えば、撮像装置102によって捕捉されたデジタル画像および/またはデジタルビデオに関連するデータ)を生成する間に、一つ以上の方向に作業現場を横断することができる無人航空機(例えば、ドローンおよび/または同種のもの)上に配置されうる。撮像装置102および/または無人航空機は、オペレータによって遠隔制御されてもよく、および/または自律的もしくは半自律的に操作されてもよい(例えば、作業機械104、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110を介して提供される指令および/または命令に基づいて)。一部の実施例では、撮像装置102は、無人地上車両、無人水上艇、および/または別のタイプの無人車両上に配置されてもよい。一部の実施例では、撮像装置102は、手持ち式デジタルカメラ、携帯機器(例えば、スマートフォン、タブレット、ラップトップ、および/または同種のもの)のデジタルカメラ、および/または作業現場の画像を捕捉するための十分な画素密度および/または解像度を有する別のタイプのデジタルカメラに対応し得る。
一部の実施形態では、撮像装置102は、捕捉された画像と関連付けられる地理空間参照を決定するように構成されうる。例えば、撮像装置102および/または無人航空機は、作業現場に対する撮像装置102の位置(例えば、地理的座標および/または同種のもの)を決定するように構成された、全地球測位システム(GPS)装置、全地球航法衛星システム(GNSS)装置、および/または別の位置感知装置を含みうる。撮像装置102は、画像が捕捉された時に、撮像装置102の位置に基づいて、捕捉された画像の地理空間参照を決定しうる。撮像装置102は、撮像された画像に基づいて画像データを生成し、地理空間参照を画像データに埋め込むか、またはそうでなければ関連付けることができる。撮像装置102は、地理空間タグ付き画像ファイル形式(GeoTIFF)、LASer(LAS)ファイル形式、ならびに/あるいは作業機械104、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110が画像データおよび画像データから地理空間参照を取り出し、地理空間参照に基づいて作業現場に対する位置と画像を関連付けることを可能にする、別の適切なファイル形式を使用して画像データを生成しうる。
図1にさらに示すように、作業機械104は、フレーム112、牽引要素114、オペレータキャブ116、エンジン118、一つ以上の感知装置120、および制御ユニット122を含む。牽引要素114は、フレーム112に可動可能に結合され、作業機械104を推進するためにエンジン118によって駆動されるホイール、トラック、および/または同種のものを含みうる。オペレータキャブ116は、フレーム112に結合され、作業機械104のオペレータおよび制御ユニット122の一つ以上構成要素を支持するように構成されうる。エンジン118は、ディーゼルエンジン、ガソリンエンジン、天然ガスエンジン、ハイブリッドエンジン、電気モータ、および/または作業機械104を推進するために牽引要素114を駆動するように構成された別の電源を含みうる。一部の実施例では、作業機械104は、フレーム112に可動可能に結合され、作業機械104に関連付けられた作業を行うように構成された、器具124(例えば、ブレード、リッパ、ウィンチ、バケツ、シアー、ハンマ、および/または同種のもの)を含みうる。一部の実施例では、作業機械104は、作業機械104に固定され、作業現場に関連付けられた画像を捕捉し、画像に関連付けられた地理空間参照を決定し、画像に基づいて画像データを生成し、地理空間参照を画像データに埋め込むか、またはそうでなければ地理空間参照を画像データと関連付けるように構成される、オンボード撮像装置126(例えば、デジタルカメラおよび/または撮像装置102に類似のもの)を含み得る。
感知装置120は、センサ、スイッチ、エンコーダ、および/または生産性データ(例えば、作業機械104の生産性に関連する情報)を提供するように構成された別の装置の組み合わせを含む。例えば、感知装置120は、作業機械104のエンジン速度、トラックまたはホイール速度、移動速度、トリップ長さ、トリップ持続時間、ランタイム、燃料消費率、エンジン温度、冷却液温度、および/または別の動作状態に関連する情報を提供するように構成されうる。一部の実施例では、感知装置120は、作業現場に対する作業機械104の位置を提供するように構成されたGPS装置、GNSS装置、および/または別の位置感知装置を含みうる。感知装置120が位置感知装置を含む場合、感知装置120によって決定される作業機械104の位置は、オンボード撮像装置126によって生成される画像データに埋め込まれるか、またはそうでなければ関連付けられる、地理空間参照として使用されうる。作業機械104が器具124を含む場合、感知装置120は、センサ、スイッチ、エンコーダ、および/または器具124の動作状態(例えば、切断深度、切断長さ、切断体積、積載または降ろされる資材の体積、および/または作業機械104の生産性を決定するために使用できる別の動作状態)に関連する情報を提供するように構成された別の装置を含みうる。
制御ユニット122は、プロセッサ128、メモリ130、ユーザインターフェース132、および通信装置134を含む。プロセッサ128は、作業機械104および/または生産性追跡システム100に関連付けられた機能を実行するようにプログラム可能なハードウェア、ファームウェア、および/またはハードウェアとソフトウェアの組み合わせで実装される。メモリ130は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、および/またはプロセッサ128によって実行される情報および/または命令を格納する別のタイプの動的または静的記憶装置を含む。ユーザインターフェース132は、入力装置および出力装置を含む。入力装置は、作業機械104のオペレータが、作業機械104を操作するための命令、コマンド、および/または別の動作パラメータを指定することを可能にしうる。出力装置は、作業機械104のオペレータが、作業現場の画像にアクセスし、現場計画にアクセスし、作業機械104に関連付けられた工事に関連する生産性データを監視し、作業機械104に関連付けられた工事の状態および/または進捗を監視し、作業現場に対する作業機械104の位置および/または別の作業機械104に対する位置を追跡し、作業機械104に関連付けられた履歴記録にアクセスすることなどを可能にし得る。
通信装置134は、無線ローカルエリアネットワーク(WLAN)コンポーネント(例えば、Wi-Fiコンポーネント)、無線周波数(RF)通信コンポーネント(例えば、Bluetoothコンポーネント)、および/または同種のものを含む。通信装置134は、作業機械104と撮像装置102、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110との間の通信を可能にしうる。例えば、通信装置134は、プロセッサ128が、作業現場に関連付けられたマップデータ、作業機械104に関連付けられた工事に関連する生産性データ、および/または撮像装置102、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110から作業現場に関連付けられた画像データを受信することを可能にしうる。一部の実施例では、通信装置134は、プロセッサ128が、作業機械104に関連付けられた生産性データ(例えば、感知装置120を介して決定される)および/または作業現場に関連付けられた画像データ(例えば、オンボード撮像装置126によって生成される)を管理プラットフォーム、制御ステーション108、および/またはネットワーク記憶装置110に送信することを可能にしうる。一部の実施例では、制御ユニット122は、管理プラットフォーム106を介して直接的および/または間接的に、撮像装置102、制御ステーション108、および/またはネットワーク記憶装置110と通信してもよい。
図1にさらに示すように、管理プラットフォーム106は、プロセッサ136、メモリ138、および通信装置140を含む。プロセッサ136は、作業機械104および/または生産性追跡システム100に関連付けられた機能を実行するようにプログラム可能なハードウェア、ファームウェア、および/またはハードウェアとソフトウェアの組み合わせで実装される。メモリ138は、プロセッサ136によって実行される情報および/または命令を格納するRAM、ROM、および/または別のタイプの動的または静的記憶装置を含む。通信装置140は、WLANコンポーネント(例えば、Wi-Fiコンポーネント)、RF通信コンポーネント(例えば、Bluetoothコンポーネント)、位置決めコンポーネント(例えば、GPSコンポーネント、GNSSコンポーネント)、および/または同種のものを含む。通信装置140は、プロセッサ136が、作業現場に関連付けられたマップデータ、作業機械104に関連付けられた工事に関連する生産性データ、および/または撮像装置102、作業機械104、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110を持つ作業現場に関連付けられた画像データを交換することを可能にしうる。一部の実施例では、通信装置140は、撮像装置102、作業機械104、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110の間で、マップデータ、生産性データ、および/または画像データの交換を可能にしうる。
図1にさらに示すように、制御ステーション108は、プロセッサ142、メモリ144、ユーザインターフェース146、および通信装置148を含む。プロセッサ142は、作業機械104および/または生産性追跡システム100に関連付けられた機能を実行するようにプログラム可能なハードウェア、ファームウェア、および/またはハードウェアとソフトウェアの組み合わせで実装される。メモリ144は、プロセッサ142によって実行される情報および/または命令を格納するRAM、ROM、および/または別のタイプの動的もしくは静的記憶装置を含む。ユーザインターフェース146は、入力装置および出力装置を含む。入力装置は、作業機械104の遠隔オペレータが、作業機械104を操作するための命令、コマンド、および/または別の動作パラメータを指定することを可能にしうる。出力装置は、作業機械104の遠隔オペレータが作業現場の画像にアクセスすること、現場計画にアクセスすること、作業機械104に関連付けられた工事に関連する生産性データを監視すること、作業機械104に関連付けられた工事の状態および/または進捗を監視すること、作業現場および/または別の作業機械104に対する作業機械104の位置を追跡すること、作業機械104に関連付けられた履歴記録にアクセスすること、および/または類似のものを可能にしうる。
通信装置148は、無線ローカルエリアネットワーク(WLAN)コンポーネント(例えば、Wi-Fiコンポーネント)、無線周波数(RF)通信コンポーネント(例えば、Bluetoothコンポーネント)、および/または同種のものを含む。通信装置148は、制御ステーション108と撮像装置102、作業機械104、管理プラットフォーム106、および/またはネットワーク記憶装置110との間の通信を可能にしうる。例えば、通信装置148は、プロセッサ142が、作業現場に関連付けられたマップデータ、作業機械104に関連付けられた工事に関連する生産性データ、および/または撮像装置102、作業機械104、管理プラットフォーム106、および/またはネットワーク記憶装置110を持つ作業現場に関連付けられた画像データを交換することを可能にしうる。一部の実施例では、通信装置148は、マップデータ、生産性データ、および/または画像データを、撮像装置102、作業機械104、管理プラットフォーム106、および/またはネットワーク記憶装置110の間で交換することを可能にしうる。一部の実施例では、制御ステーション108は、管理プラットフォーム106を介して、直接的および/または間接的に、作業機械104および/またはネットワーク記憶装置110と通信してもよい。追加的に、または代替的に、制御ステーション108は、管理プラットフォーム106のユーザインターフェースとして機能しうる。
図1にさらに示すように、ネットワーク記憶装置110は、情報を記憶、処理、および/またはルーティングすることができる一つ以上の装置を含む。ネットワーク記憶装置110は、例えば、サーバ装置、データ構造を格納する装置、クラウドコンピューティング環境またはデータセンタ内の装置、および/または同種のものを含みうる。いくつかの実施例では、ネットワーク記憶装置110は、ネットワーク記憶装置110が、作業機械104、管理プラットフォーム106、制御ステーション108、および/または生産性追跡システム100に関連付けられた別の装置から情報を受信し、および/またはそれらに情報を送信することを可能にする通信インターフェースを含み得る。いくつかの実施例では、ネットワーク記憶装置110は、作業機械104および/または生産性追跡システム100に関連する情報を格納しうる。例えば、ネットワーク記憶装置110は、作業現場に関連付けられたマップデータ、作業機械104に関連付けられた工事に関連する生産性データ、および/または作業現場に関連付けられた画像データを格納するために使用されてもよく、撮像装置102、作業機械104、管理プラットフォーム106、および/または制御ステーション108が、マップデータ、生産性データ、および/または画像データにアクセスできるようにしてもよい。
上述のように、図1は、一実施例として提供されている。他の例は、図1に関連して記載されたものと異なる場合がある。
図2A~2Dは、本明細書に記載の生産性追跡システム100の例示的な実施形態200の図である。図2Aに示すように、生産性追跡システム100(例えば、制御ユニット122、管理プラットフォーム106、および/または制御ステーション108を介する)は、作業現場204に関連付けられたマップデータに基づいて、マップ層202を生成するように構成されうる。マップデータは、作業現場204に関連付けられた地理的属性および地理的属性に関連付けられた地理的座標に関連する情報を含みうる。例えば、マップデータは、作業現場204に続く道、作業現場204の境界、作業現場204に関連付けられた目印、作業現場204に関連付けられた固定構造、作業現場204に関連付けられた基準点、および/または作業現場204の位置の特定および/または画定を支援する別の地理的基準に対応する地理的座標を含みうる。一部の実施例では、マップ層202は、マップデータに基づいて取得される、マップタイル206のグリッドを使用して生成されうる。マップタイル206は、対応する地理的座標に従って配置される、作業現場204に関連付けられた異なる地理的領域の視覚的表現を提供しうる。
一部の実施形態では、生産性追跡システム100は、示されるものとは異なる配置のマップタイル206を使用して、マップ層202を生成するように構成されうる。例えば、マップ層202は、示されるよりも多いより小さいマップタイル206、または示されるよりも少ないより大きいマップタイル206を使用して形成されてもよい。一部の実施例では、生産性追跡システム100は、個々のマップタイル206の寸法を調整して、マップ層202のズームレベルを変えても、および/またはマップ層202の解像度を変えてもよい。追加的に、または代替的に、生産性追跡システム100は、個々のマップタイル206の画素解像度を調整して、マップ層202の解像度を変えてもよい。一部の実施例では、マップ層202は、グリッド配置とは異なる形式で配置されるマップタイル206を使用して形成されうる。マップデータおよび/または対応するマップタイル206は、ネットワーク記憶装置110および/または生産性追跡システム100にアクセス可能な別のリソースから取得されうる。一部の実施例では、生産性追跡システム100は、(例えば、作業機械104のユーザインターフェース132および/または制御ステーション108のユーザインターフェース146を介して)オペレータから受信した入力に従って、マップ層202を介して描写される、作業現場204の視界(例えば、ズームレベル、パン方向、および/または同種のもの)を調整するように構成されうる。
図2Bに示すように、生産性追跡システム100は、作業現場204に関連付けられた画像データに基づいて、画像層208を生成するように構成されうる。画像データは、作業現場204で作業機械104によって実行される工事の状態に対応する画像、および画像に関連付けられた地理空間参照に関連する情報を含みうる。例えば、画像は、閾値時間内(例えば、秒、分、時間、日、週、および/または同種のものの範囲)に捕捉される作業現場204の状態を、作業現場204の解像度の閾値の程度、および/または作業現場204の別の属性に対応させうる。画像データは、画像を捕捉し、画像に関連付けられた地理空間参照を決定し、画像に基づいて画像データを生成し、地理空間参照を画像データに埋め込むように構成された撮像装置102から受信されてもよい。一部の実施例では、画像データは、画像に対応する画像タイル210のグリッドに変換されてもよい。画像タイル210は、それぞれの地理空間参照に従って配置される、作業現場204に関連付けられた異なる地理的領域の断面画像を描写しうる。画像タイル210のグリッドは、マップタイル206のグリッドに対応するようにサイズ設定され、空間的に配置されてもよい。作業現場204の空中図で示されているが、画像層208は、作業現場204の異なる図(例えば、作業機械104のオンボード撮像装置126を介して提供される画像データを使用する、作業現場204の表面レベル図)を提供してもよい。
一部の実施形態では、生産性追跡システム100は、示されるものとは異なる画像タイル210の配置を使用して、画像層208を生成するように構成されうる。生産性追跡システム100は、個々の画像タイル210の寸法を調整して、画像層208のズームレベルを変え、および/または画像層208の解像度を変えてもよい。追加的に、または代替的に、生産性追跡システム100は、個々の画像タイル210のピクセル解像度を調整して、画像層208の解像度を変えてもよい。一部の実施例では、画像層208は、グリッド配置とは異なる形式で配置される画像タイル210を使用して形成されてもよい。画像層208は、断続的に、定期的に、および/または連続的にリアルタイムで更新されうる。例えば、生産性追跡システム100(例えば、制御ユニット122、管理プラットフォーム106、および/または制御ステーション108を介する)は、作業現場204に関連付けられた更新された画像を捕捉するために、コマンド信号を撮像装置102および/またはオンボード撮像装置126に送信して、更新された画像に基づいて更新された画像データを生成するように構成されてもよい。一部の実施例では、生産性追跡システム100は、オペレータから受信した入力に従って、画像層208を介して描写される作業現場204の図を調整するように構成されうる。
図2Cに示すように、生産性追跡システム100は、作業現場204に関連付けられた生産性データに基づいて生産性層212を生成するように構成されうる。生産性データは、作業現場204に関連付けられた工事の状態に関連する情報を含みうる。生産性データは、作業機械104(例えば、感知装置120)、管理プラットフォーム106、制御ステーション108、および/またはネットワーク記憶装置110を介して提供される情報を介して取得されうる。一部の実施例では、生産性データは、オペレータによって手動で入力されてもよく、および/または作業機械104の性能、作業現場204の調査、および/または同種のものに関連する情報の評価に基づいて導き出されてもよい。例えば、生産性データが、作業機械104の位置と、作業機械104の作業と、作業機械104の動作パラメータと、作業機械104の動作状態と、作業現場204に関連付けられた測定値と、作業現場204に関連付けられた目標作業経路の位置と、作業現場204に関連付けられた備蓄品の位置と、備蓄品の測定値と、関連付けられた現場計画に対する工事の進捗と、および/または工事の進捗を追跡するために使用できるその他の情報に関する情報を含んでもよい。一部の実施例では、生産性データは、生産性指数(例えば、評価、スコア、および/または生産性データを定量化するための別の指標)を含みうる。
一部の実施形態では、生産性追跡システム100は、生産性データに関連付けられた視覚的表示(例えば、記号、アノテーション、および/または同種のもの)を生成し、視覚的表示を含む生産性層212を生成するように構成されうる。図2Cの実施例に示されるように、生産性層212は、作業現場204に対する作業機械104の位置および/または見出しを表す第一の記号214、作業現場204内の備蓄品の位置を表す第二の記号216、および/または同種のものを含みうる。いくつかの実施例では、生産性層212は、作業機械104に関連する情報(例えば、位置、現在の作業、動作状態、作業機械104の生産性指数、および/または同種のもの)、備蓄品に関連する情報(例えば、備蓄品の残量、移動された備蓄品の量、および/または同種のもの)、および/または工事の全体的な進捗に関連する情報(例えば、一般的な生産性指数、現場計画に対して完了した工事の割合、現場計画に対する残りの工事の割合、工事開始から経過した日数、完了までの残りの日数、および/または同種のもの)を提供するアノテーション218を含みうる。
一部の実施では、生産性追跡システム100は、生産性層212を断続的に、定期的に、および/または連続的にリアルタイムで更新するよう構成されてもよい。生産性追跡システム100は、(例えば、制御ユニット122、管理プラットフォーム106、および/または制御ステーション108を介して)更新された生産性データを取得し、更新された生産性データに従って生産性層212の視覚的表示を調整するように構成されうる。例えば、第一の記号214の位置および/または配向は、作業機械104の位置および/または見出しの変化に応じて調整されてもよく、アノテーション218のコンテンツは、工事の状態または進捗の変化に応じて変更されてもよい。一部の実施例では、生産性追跡システム100は、生産性データが画像データと一致するように、同期間隔に従って生産性層212および画像層208を更新しうる。いくつかの実施例では、生産性追跡システム100は、生産性層212で検出された変化に基づいて画像層208を更新してもよく、および/または画像層208で検出された変化に基づいて、生産性層212を更新してもよい。追加的に、または代替的に、生産性追跡システム100は、オペレータ入力に従って、生産性層212を介して提供される図および/またはコンテンツを調整するように構成されうる。
図2Dに示すように、生産性追跡システム100は、マップ層202、画像層208、および/または生産性層212に基づいて、作業現場204の複合画像220を生成するように構成されうる。例えば、生産性追跡システム100は、画像層208に関連付けられた地理空間参照が、マップ層202に関連付けられた地理的座標に対応するように、マップ層202に対して、画像層208をマージ、オーバーレイ、スーパーインポーズ、および/またはそうでなければ位置付けしてもよい。マップタイル206および画像タイル210が使用されている場合、画像タイルのグリッド210は、マップタイルのグリッド206に対応するようにサイズ設定され、空間的に配置されてもよい。いくつかの実施例では、生産性追跡システム100は、画像層208および/またはマップ層202に対して、生産性層212をマージ、オーバーレイ、スーパーインポーズ、および/またはそうでなければ位置決定してもよい。生産性層212が、位置情報に関連する視覚的表示(例えば、第一の記号214は、作業機械104の位置を示し、第二の記号216は、備蓄品の位置を示すなどの)を含む場合、視覚的表示が、複合画像220が、作業現場204に関連付けられたマップデータ、画像データ、および/または生産性データに関連する情報の組み合わせを描写するように画像層208の対応する地理空間参照、および/またはマップ層202の対応する地理的座標に位置付けられてもよい。
一部の実施形態では、生産性追跡システム100は、複合画像220を断続的に、定期的に、および/または連続的にリアルタイムで更新するよう構成されてもよい。例えば、生産性追跡システム100は、更新された画像データに基づいて画像層208を修正し、更新された生産性データに基づいて生産性層212を修正し、修正された画像層208および/または修正された生産性層212で更新された複合画像220を生成しうる。追加的に、または代替的に、生産性追跡システム100は、更新された画像データおよび/または更新された生産性データに基づく新しい生産性層212に基づいて新しい画像層208を生成し、新しい画像層208および/または新しい生産性層212に基づいて新しい複合画像220を生成しうる。いくつかの実施例では、生産性追跡システム100によって、オペレータが複合画像220と相互作用して、複合画像220を介して提供される図および/またはコンテンツを調整することを可能にしうる。例えば、オペレータは、ズームレベルを調整し、パン方向を調整し、視覚的表示を修正し、異なる層の組み合わせを表示するなどのことができる可能性がある。
一部の実施形態では、生産性追跡システム100は、複合画像220に基づいてアクションが実行されるようにさせるように構成されうる。例えば、生産性追跡システム100は、作業現場204の連続複合画像220および連続複合画像220が生成された時のそれぞれのタイムスタンプの記録を生成しうる。いくつかの実施例では、生産性追跡システム100は、それぞれのタイムスタンプを介してインデックス付けされる連続複合画像220のカタログを生成し、カタログを、ネットワーク記憶装置110および/またはオペレータがアクセス可能な別のデータ構造に格納しうる。例えば、オペレータは、カタログを使用して、作業現場204での工事の前の状態を見てもよい。追加的に、または代替的に、オペレータは、カタログを使用して、連続複合画像220を比較し、連続複合画像220間の状態の変化に基づいて、作業現場204での工事の進捗を観察することができる。いくつかの実施例では、生産性追跡システム100は、変化検出モデルおよび/または別のコンピュータビジョンモデルを使用して、連続複合画像220を比較し、連続複合画像220間の視覚的差異を識別し、視覚的差異に基づいて、作業現場204に関連付けられた工事の状態および/または進捗を判定しうる。
一部の実施形態では、生産性追跡システム100は、作業現場204に関連付けられた更新された画像を捕捉するために、コマンド信号を撮像装置102に送信し、更新された画像に基づいて更新された画像データを生成するように構成されうる。撮像装置102が無人航空機である場合、生産性追跡システム100は、撮像装置102を所望の有利な地点に展開させ、および/または作業現場204に対して所望の経路を横断させ、作業現場204の更新された画像を捕捉させるコマンド信号を送信しうる。生産性追跡システム100は、断続的におよび/または周期的に、撮像装置102を自動的に展開しうる。追加的に、または代替的に、生産性追跡システム100は、撮像装置102に、固定位置でホバリングし、閾値持続時間の間、作業現場204の更新画像を連続的に捕捉するよう指示しうる。一部の実施例では、生産性追跡システム100は、作業現場204に関連付けられた現場計画に関連する調査データを受信するように構成されうる。生産性追跡システム100は、調査データに基づいて調査層を生成し、調査層に基づいて作業現場204の複合画像220を生成しうる。例えば、調査層は、作業現場204の工事の進捗を現場計画に対してオペレータが視覚的に観察することを可能にする方法で、マップ層202、画像層208、および/または生産性層212に対して位置付けられうる。
上記のように、図2A~2Dを実施例として提供する。他の実施例は、図2A~2Dに関連して記載されたものとは異なる場合がある。
図3は、作業現場における工事の生産性を追跡するための例示的なプロセス300のフローチャートである。図3の一つ以上のプロセスブロックは、管理プラットフォーム(例えば、生産性追跡システム100の管理プラットフォーム106)によって、および/または管理プラットフォームとは別個のまたは管理プラットフォームを含む別のコンポーネントもしくはコンポーネントの群(例えば、作業機械104の撮像装置102、制御ユニット122、生産性追跡システム100の制御ステーション108、ネットワーク記憶装置110、および/または別の装置)によって実行されてもよい。
図3に示すように、プロセス300は、作業現場に関連付けられたマップデータを受信することを含んでもよく、マップデータは、作業現場に関連付けられた地理的属性および地理的属性に関連付けられた地理的座標に関連する情報を含む(ブロック302)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、作業現場に関連付けられたマップデータを受信しうる。マップデータは、作業現場に関連付けられた地理的属性および地理的属性に関連付けられた地理的座標に関連する情報を含みうる。
図3にさらに示すように、プロセス300は、作業現場に関連付けられた生産性データを受信することを含んでもよく、生産性データは、作業現場に関連付けられた工事の状態に関連する情報を含む(ブロック304)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、作業現場に関連付けられた生産性データを受信しうる。生産性データは、作業現場に関連付けられた工事の状態に関連する情報を含みうる。
図3にさらに示すように、プロセス300は、作業現場に関連付けられた画像データを受信することを含んでもよく、画像データは、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関連する情報を含む(ブロック306)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、作業現場に関連付けられた画像データを受信しうる。画像データは、工事の状態に対応する画像、および画像に関連付けられた地理空間参照に関連する情報を含みうる。
図3にさらに示すように、プロセス300は、マップデータに基づいて、マップ層を生成することを含みうる(ブロック308)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、マップデータに基づいてマップ層を生成しうる。
図3にさらに示すように、プロセス300は、画像データに基づいて画像層を生成することを含みうる(ブロック310)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、画像データに基づいて画像層を生成しうる。
図3にさらに示すように、プロセス300は、生産性データに基づいて生産性層を生成することを含みうる(ブロック312)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、生産性データに基づいて生産性層を生成しうる。
図3にさらに示すように、プロセス300は、マップ層、画像層、および生産性層に基づいて、作業現場の複合画像を生成することを含んでもよく、複合層は、地理空間参照および地理空間参照に対応する地理的座標に基づいてマップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける(ブロック314)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、マップ層、画像層、および生産性層に基づいて、作業現場の複合画像を生成しうる。複合画像は、地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付けうる。
図3にさらに示すように、プロセス300は、複合画像に基づいて、アクションが実行されるようにさせることを含み得る(ブロック316)。例えば、管理プラットフォーム(例えば、プロセッサ136、メモリ138、通信装置140、および/または同種のものを使用する)は、上述のように、複合画像に基づいてアクションが実行されるようにさせうる。
プロセス300は、本明細書の他の箇所に記載される任意の単一の実施形態、または実施形態の任意の組み合わせなど、図3に関連して記載されるものに対する変形および/または追加の実施形態を含みうる。図3は、プロセス300の例示的なブロックを示すが、一部の実施例では、プロセス300は、図3に描写したものよりも、追加のブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含みうる。追加的に、または代替的に、プロセス300のブロックのうちの二つ以上が並列に実行されてもよい。
作業現場は、作業を実施するために個別に操作され、現場計画に従って工事を完了するように集合的に管理される、一つ以上の作業機械を含みうる。工事は、建設、舗装、解体、鉱業、造園、林業、パイプライン、および/または他の産業用途に関連しうる。現場計画には、作業現場の初期または以前の調査に基づいて設計される、作業現場で行われる工事の仕様を含めることができる。一部の事例では、追跡ツールを使用して、現場計画に対する工事の進捗を追跡しうる。追跡ツールは、更新された調査データ(例えば、作業現場内の構造的および/または地理的な変化に関連する)、生産性データ(例えば、作業現場内の作業機械の位置および/または動作状態に関連する)、および/または進捗を追跡するために使用できるその他の情報に基づいて、断続的に、定期的に、および/または連続的にリアルタイムで更新されうる。一部の事例では、追跡ツールは、作業機械のオペレータを誘導するために使用できる、作業現場の二次元デジタルモデルおよび/または三次元デジタルモデルを提供しうる。例えば、追跡ツールは、携帯機器、制御ステーション、作業機械内のディスプレイ、および/または別のユーザインターフェースを介して、遠隔オペレータおよび/またはローカルオペレータがアクセスできるようにしてもよい。
一部の事例では、追跡ツールは、作業機械、備蓄品、および/または作業現場に関連付けられた別の資産もしくは属性のそれぞれの位置を示す、作業現場の画像を有するマップビューを提供しうる。作業現場内の資産および/または属性のそれぞれの位置は、作業機械によって提供される情報から取得および/または導出される生産性データに基づいて更新されうる。しかしながら、作業現場を描写するために使用される画像は、時代遅れである場合があり(例えば、時代遅れの衛星画像に基づいて)、追跡ツールに依存するオペレータにとってこれは不正確であり、および/または誤解を招く場合がある。一部の事例では、オペレータは、作業現場を調査するために、撮像装置を有するドローンを使用してもよい。例えば、ドローンは、作業現場の状態を視覚的に評価するためにオペレータが使用できる、作業現場の更新された画像を捕捉するために使用されうる。しかしながら、ドローンは、作業現場内の作業の進捗を追跡するために使用できる情報(例えば、作業機械からの生産性データ)を提供しない。したがって、オペレータは、作業現場の状態を評価するために、追跡ツールを介して提供される情報およびドローンを介して提供される情報を別々に分析する必要がある場合がある。単一の工事を分析するために別個のシステムを使用することで、エラー、遅延、作業機械の非効率的な使用、および計算および/またはネットワークリソースの非効率的な使用が生じる場合がある。
本明細書に記載される画像ベースの生産性追跡システムは、更新された画像データおよび更新された生産性データの両方を利用して、工事の進捗を追跡する単一のリソースを提供する。例えば、画像ベースの生産性追跡システムは、撮像装置から受信した更新された画像データを使用して画像層を生成し、作業機械から受信した更新された生産性データを使用して生産性層を生成し、画像層および生産性層に基づいて作業現場の複合画像を生成しうる。複合画像は、画像データに関連付けられた地理空間参照およびマップ層に関連付けられた地理的座標に基づいて、マップ層に対して画像層を位置付けうる。生産性層は、画像層内の資産および/または属性にインデックス付けする視覚的表示および/またはアノテーションを提供しうる。一部の実施例では、画像ベースの生産性追跡システムは、連続複合画像間の手動および/または機械ベースの視覚的比較を可能にして、工事の進捗を判定しうる。いくつかの実施例では、画像ベースの生産性追跡システムは、撮像装置を、断続的に、定期的に、および/または連続的に、更新された画像を取得するように制御しうる。
したがって、本明細書に記載の画像ベースの生産性追跡システムは、画像ベースおよびデータベースの両方の作業現場における工事の進捗の追跡を可能にしうる。工事の進捗に関連する画像データおよび生産性データを取得するために、複数の異なるシステムを参照する必要性を克服することによって、画像ベースの生産性追跡システムは、こうした画像データおよび生産性データを取得するためにそうでなければ必要とされうる計算リソースおよび/またはネットワークリソースを節約する。追加的に、画像データおよび生産性データの両方が単一のリソースによって処理されるため、画像ベースの生産性追跡システムは、別個のシステムからの分析を裏付けているときに、そうでなければ起こりうる曖昧さおよび誤差の機会を低減する。それによって、画像ベースの生産性追跡システムによって、オペレータは工事の進捗をより正確に、より少ない時間で追跡することが可能となる。画像ベースの生産性追跡システムにより、オペレータは、現場計画からの誤差または逸脱を速やかに特定および修正することができる。さらに、画像ベースの生産性追跡システムは、より効率的に工事を完了させ、それによってエネルギー(例えば、燃料、ガス、電気、および/または同種のもの)を節約し、作業機械の不必要な摩耗を低減することを可能にする。
Claims (10)
- 装置(122、106、108)であって、
一つ以上のメモリ(130、138、144)と、
前記一つ以上のメモリ(130、138、144)に通信可能に結合された一つ以上のプロセッサ(128、136、142)であって、
作業現場(204)に関連付けられた生産性データを受信することであって、
前記生産性データが、前記作業現場(204)に関連付けられた工事の状態に関連する情報を含む、生産性データを受信することと、
前記作業現場(204)に関連付けられた画像データを受信することであって、
前記画像データが、前記工事の状態に対応する画像および前記画像に関連付けられた地理空間参照に関連する情報を含む、画像データを受信することと、
前記画像データに基づいて画像層(208)を生成することと、
前記生産性データに基づいて生産性層(212)を生成することと、
マップ層(202)、前記画像層(208)、および前記生産性層(212)に基づいて、前記作業現場(204)の複合画像(220)を生成することであって、
前記マップ層(202)が、前記作業現場(204)に関連付けられた地理的属性、および前記地理的属性に関連付けられた地理的座標に関連する情報を含み、
前記複合画像(220)が、前記地理空間参照および前記地理空間参照に対応する地理的座標に基づいて、前記マップ層(202)に対して前記画像層(208)を位置付けし、前記画像層(208)に対して前記生産性層(212)を位置付けする、生成することと、
前記複合画像(220)に基づいて、アクションが実行されるようにさせることと、を実行するように構成された一つ以上のプロセッサと、を備える、装置。 - 前記一つ以上のプロセッサ(128、136、142)が、前記画像データを受信するとき、
前記画像データを無人車両の撮像装置(102)から受信するように構成され、
前記撮像装置(102)が、前記画像を捕捉し、前記画像に関連付けられた前記地理空間参照を決定し、前記画像に基づいて前記画像データを生成し、前記地理空間参照を前記画像データに埋め込むように構成される、請求項1に記載の装置(122、106、108)。 - 前記一つ以上のプロセッサ(128、136、142)が、前記画像層(208)を生成するとき、
前記画像データを、前記画像に対応する一つ以上の画像タイル(210)のグリッドに変換することであって、
前記一つ以上の画像タイル(210)が、それぞれの地理空間参照を有し、前記それぞれの地理空間参照に従って配置され、
前記一つ以上の画像タイル(210)が、前記マップ層(202)の一つ以上のマップタイル(206)に対応する、変換することと、
前記一つ以上の画像タイル(210)の前記グリッドに基づいて、前記画像層(208)を生成することと、を実行するように構成される、請求項1~2のいずれか一項に記載の装置(122、106、108)。 - 前記一つ以上のプロセッサ(128、136、142)が、前記複合画像(220)を生成するとき、
前記マップ層(202)上に、前記地理空間参照に対応する地理的座標で前記画像層(208)を重ね合わせることと、
前記生産性層(212)を前記画像層(208)上に重ね合わせることであって、
前記生産性層(212)が、前記生産性データに関連付けられた位置情報を含み、
前記生産性層(212)が、前記位置情報に基づいて、前記画像層(208)に対して位置付けられる、重ね合わせることと、を実行するように構成される、請求項1~3のいずれか一項に記載の装置(122、106、108)。 - 前記一つ以上のプロセッサ(128、136、142)が、前記アクションが実行されるようにさせるとき、
コマンド信号を撮像装置(102)に送信して、前記作業現場(204)に関連付けられた更新された画像を捕捉し、前記更新された画像に基づいて更新された画像データを生成することと、
前記更新された画像データを受信することと、
前記更新された画像データに基づいて、前記作業現場(204)の更新された複合画像(220)を生成することと、を実行するように構成される、請求項1~4のいずれか一項に記載の装置(122、106、108)。 - 作業機械(104)であって、
前記作業機械(104)の生産性データを提供するように構成された感知装置(120)であって、前記生産性データが、作業現場(204)に関連付けられた工事の状態に関連する情報を含む、感知装置と、
前記工事の状態に関連する情報を前記作業機械(104)のオペレータに表示するように構成されたユーザインターフェース(132、146)と、
前記感知装置(120)および前記ユーザインターフェース(132、146)と通信する制御ユニット(122)であって、前記制御ユニット(122)が、
前記生産性データに基づいて生産性層(212)を生成することと、
画像データに基づいて画像層(208)を生成することであって、
前記画像データが、前記工事の状態に対応する画像および前記画像に関連付けられた地理空間参照に関連する情報を含む、生成することと、
マップ層(202)、前記画像層(208)、および前記生産性層(212)に基づいて、前記作業現場(204)の複合画像(220)を生成することであって、
前記マップ層(202)が、前記作業現場(204)に関連付けられた地理的属性、および前記地理的属性に関連付けられた地理的座標に関連する情報を含み、
前記複合画像(220)が、前記地理空間参照および前記地理空間参照に対応する地理的座標に基づいて、前記マップ層(202)に対して前記画像層(208)を位置付け、前記画像層(208)に対して前記生産性層(212)を位置付ける、生成することと、
前記複合画像(220)が前記ユーザインターフェース(132、146)を介して表示されるようにさせることと、を実行するように構成される、制御ユニットと、を備える、作業機械(104)。 - 前記制御ユニット(122)は、前記生産性層(212)を生成するとき、
前記生産性データに関連付けられた視覚的表示を生成するように構成され、
前記視覚的表示が、前記作業機械(104)の位置、前記作業現場(204)に関連付けられた備蓄品の位置、または前記作業現場(204)に関連付けられた目標作業経路の位置のうちの一つ以上に関連する情報を含み、
前記視覚的表示に基づいて前記生産性層(212)を生成する、請求項6に記載の作業機械(104)。 - 前記制御ユニット(122)は、前記複合画像(220)を生成するとき、
前記マップ層(202)上に、前記地理空間参照に対応する地理的座標で、前記画像層(208)を重ね合わせることと、
前記生産性層(212)を前記画像層(208)上に重ね合わせることであって、
前記生産性層(212)が、前記生産性データに関連付けられた位置情報を含み、
前記生産性層(212)が、前記位置情報に基づいて、前記画像層(208)に対して位置付けられる、重ね合わせることと、を実行するように構成される、請求項6~7のいずれか一項に記載の作業機械(104)。 - 前記制御ユニット(122)は、
更新された画像データおよび更新された生産性データに基づいて、更新された複合画像(220)を生成することと、
前記複合画像(220)を、前記更新された複合画像(220)と比較することと、
前記複合画像(220)と前記更新された複合画像(220)との間の視覚的差異を識別することと、
前記視覚的差異に基づいて、前記作業現場(204)に関連付けられた前記工事の状態を判定することと、を実行するようにさらに構成される、請求項6~8のいずれか一項に記載の作業機械(104)。 - 前記画像を捕捉し、前記画像に関連付けられた前記地理空間参照を決定し、前記画像に基づいて前記画像データを生成し、前記地理空間参照を前記画像データ内に地理空間タグ付き画像ファイル形式(GeoTIFF)で埋め込むように構成された撮像装置(126)、をさらに備える、請求項6~9のいずれか一項に記載の作業機械(104)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/571,996 | 2019-09-16 | ||
US16/571,996 US11525243B2 (en) | 2019-09-16 | 2019-09-16 | Image-based productivity tracking system |
PCT/US2020/050791 WO2021055301A1 (en) | 2019-09-16 | 2020-09-15 | Image-based productivity tracking system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022547608A true JP2022547608A (ja) | 2022-11-14 |
Family
ID=72659370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022516281A Pending JP2022547608A (ja) | 2019-09-16 | 2020-09-15 | 画像ベースの生産性追跡システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11525243B2 (ja) |
EP (1) | EP4032046A1 (ja) |
JP (1) | JP2022547608A (ja) |
CN (1) | CN114365117A (ja) |
AU (1) | AU2020348670A1 (ja) |
CA (1) | CA3149739A1 (ja) |
WO (1) | WO2021055301A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220132722A1 (en) * | 2020-11-02 | 2022-05-05 | Deere & Company | Topographic confidence and control |
US20220147933A1 (en) * | 2020-11-06 | 2022-05-12 | Moovila, Inc. | Systems and methods for characterizing work by working eqiupment based on proximity to a worker's computing device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9235334B2 (en) | 2008-05-09 | 2016-01-12 | Genesis Industries, Llc | Managing landbases and machine operations performed thereon |
WO2010114619A1 (en) * | 2009-04-03 | 2010-10-07 | Certusview Technologies, Llc | Methods, apparatus, and systems for acquiring and analyzing vehicle data and generating an electronic representation of vehicle operations |
US20100332552A1 (en) * | 2009-06-29 | 2010-12-30 | Raytheon Company | Method and System for Generating Fused and Exploited Image Products |
CA2942634C (en) | 2013-03-14 | 2020-08-25 | Trifecta Global Infrastructure Solutions, Ltd. | Systems and methods for advanced sanitary sewer infrastructure management |
US9684673B2 (en) | 2013-12-04 | 2017-06-20 | Urthecast Corp. | Systems and methods for processing and distributing earth observation images |
KR102547626B1 (ko) * | 2015-09-16 | 2023-06-23 | 스미도모쥬기가이고교 가부시키가이샤 | 쇼벨 |
US10775796B2 (en) | 2017-01-10 | 2020-09-15 | Cnh Industrial America Llc | Aerial vehicle systems and methods |
US10569875B2 (en) | 2017-09-29 | 2020-02-25 | Deere & Company | Using unmanned aerial vehicles (UAVs or drones) in forestry imaging and assessment applications |
US10684137B2 (en) * | 2017-11-29 | 2020-06-16 | Deere & Company | Work site monitoring system and method |
-
2019
- 2019-09-16 US US16/571,996 patent/US11525243B2/en active Active
-
2020
- 2020-09-15 WO PCT/US2020/050791 patent/WO2021055301A1/en unknown
- 2020-09-15 CN CN202080063798.8A patent/CN114365117A/zh active Pending
- 2020-09-15 AU AU2020348670A patent/AU2020348670A1/en active Pending
- 2020-09-15 JP JP2022516281A patent/JP2022547608A/ja active Pending
- 2020-09-15 CA CA3149739A patent/CA3149739A1/en active Pending
- 2020-09-15 EP EP20780868.4A patent/EP4032046A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US11525243B2 (en) | 2022-12-13 |
EP4032046A1 (en) | 2022-07-27 |
CN114365117A (zh) | 2022-04-15 |
WO2021055301A1 (en) | 2021-03-25 |
CA3149739A1 (en) | 2021-03-25 |
US20210079627A1 (en) | 2021-03-18 |
AU2020348670A1 (en) | 2022-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230205221A1 (en) | Worksite plan execution | |
EP3186685B1 (en) | Three-dimensional elevation modeling for use in operating agricultural vehicles | |
AU2021258061A1 (en) | Construction management system and construction management method | |
US20170146990A1 (en) | Augmented communication and positioning using unmanned aerial vehicles | |
WO2017061516A1 (ja) | 施工管理システム及び施工管理方法 | |
US11402849B2 (en) | Automated material spreading system | |
US20190285412A1 (en) | System and method for automatically acquiring two-dimensional images and three-dimensional point cloud data of a field to be surveyed | |
AU2014274647A1 (en) | Determining terrain model error | |
US20170109577A1 (en) | 3d terrain mapping system and method | |
CN115597659B (zh) | 一种变电站智能安全管控方法 | |
CN112862965B (zh) | 一种边坡开挖智能监控方法及系统 | |
US10527414B2 (en) | Monitoring an environment | |
AU2014274650A1 (en) | Processing of terrain data | |
US11543080B2 (en) | Automated pipeline construction modelling | |
JP2022547608A (ja) | 画像ベースの生産性追跡システム | |
US20230290055A1 (en) | Surveying assistance system, information display terminal, surveying assistance method, and storage medium storing surveying assistance program | |
AU2014274649A1 (en) | System and method for modelling worksite terrain | |
CN110644563A (zh) | 用于构建衬垫的系统和方法 | |
JP2021174549A (ja) | 情報処理装置、測量システム、および複合測量装置 | |
Chonpatathip et al. | Utilizing Unmanned Aerial Vehicles (UAVs) for Earthwork Fill Height Determination in Road Construction. | |
WO2024083297A1 (en) | Terrain modification tracking | |
Fong et al. | Unleashing the Sky Potential: Revolutionizing Construction with Drones | |
JP2024070131A (ja) | 作業認識方法、プログラム及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220316 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220712 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230829 |