JP2023000736A - 計測システム、計測方法および計測用プログラム - Google Patents
計測システム、計測方法および計測用プログラム Download PDFInfo
- Publication number
- JP2023000736A JP2023000736A JP2021101725A JP2021101725A JP2023000736A JP 2023000736 A JP2023000736 A JP 2023000736A JP 2021101725 A JP2021101725 A JP 2021101725A JP 2021101725 A JP2021101725 A JP 2021101725A JP 2023000736 A JP2023000736 A JP 2023000736A
- Authority
- JP
- Japan
- Prior art keywords
- positioning
- site
- image
- resource
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 18
- 238000000691 measurement method Methods 0.000 title claims description 3
- 238000010276 construction Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 30
- 230000003287 optical effect Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2054—Fleet management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Mining & Mineral Resources (AREA)
- Entrepreneurship & Innovation (AREA)
- Structural Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Civil Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】工事現場における現場資源の稼働状況の調査を効率よく行う。【解決手段】カメラと、レーザー光を用いた測位機能を備えた測量装置100を用いた計測システムであって、前記カメラにより工事現場において作業を行う現場資源である重機201~204を連続して撮影する撮影手段と、前記撮影により得た撮影画像の中から前記現場資源を認識する認識手段と、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡手段と、前記追跡の対象となる前記現場資源への視準を行い、該現場資源の測位を前記測位機能を用いて行う測位手段とを有し、前記測位が時間をおいて複数回行われる計測システム。【選択図】図1
Description
本発明は、工事現場における重機等の現場資源の稼働状態を把握する技術に関する。
工事現場における重機等の現場資源の稼働効率の向上が求められている。そのためには、現場資源の稼働状況を調べる必用がある。例えば、特許文献1には、飛行するUAVから撮影した画像を用いて重機を識別し、重機の移動を追跡する技術が記載されている。
工事現場における重機等の現場資源の稼働状況の調査では、極力人出を必要とせず、また自動化されていることが望まれる。このような背景において、本発明は、工事現場における現場資源の稼働状況の調査を効率よく行う技術の提供を目的とする。
本発明は、工事現場において作業を行う現場資源を連続して撮影するカメラと、前記撮影により得た撮影画像の中から前記現場資源を認識する認識手段と、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡手段と、前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位手段とを有し、前記測位が時間をおいて複数回行われる計測システムである。
本発明において、前記現場資源の移動の推移を表示したマップ作成手段を有する態様は好ましい。本発明において、前記現場資源の認識は、前記カメラにより撮影された画像と、予め用意された認識の対象となる現場資源の三次元モデルを異なる複数の視点から見た画像との比較により行われる態様は好ましい。
本発明において、前記現場資源が重機である態様が挙げられる。ここで、前記重機は、走行のためのベース部と該ベース部上において動く可動部とを備え、前記測位の結果に基づき、前記測位された点ではなく、前記ベース部に固定された点を移動中心として算出する移動中心算出手段を備える態様が挙げられる。
本発明において、前記カメラの外部標定要素と前記測位手段の外部標定要素との関係は既知であり、前記関係に基づき、前記カメラにより撮影された前記重機の画像における前記レーザー光の反射点の位置が第1の関係として求められ、前記比較により、前記カメラにより撮影された前記重機の画像に対応する三次元モデルが第2の関係として求められ、前記第1の関係および前記第2の関係に基づき、前記重機の三次元モデルにおける前記レーザー光の反射点の位置が求められ、前記重機の三次元モデルにおける前記レーザー光の反射点の位置に基づき、前記移動中心が算出される態様が挙げられる。
本発明において、前記現場資源は複数であり、前記複数の現場資源のそれぞれに対して前記追跡が行われ、前記視準が行われている間も前記連続した撮影は継続され、前記視準が行われている間に前記視準の対象でない現場資源への前記追跡が行われる態様が挙げられる。
本発明は、工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップとを有し、前記測位が時間をおいて複数回行われる計測方法として把握することもできる。
本発明は、コンピュータに実行させる計測用プログラムであって、コンピュータに工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップとを実行させ、前記測位が時間をおいて複数回行われる計測用プログラムとして把握することもできる。
本発明によれば、工事現場における現場資源の稼働状況の調査を効率よく行える。
1.第1の実施形態
(概要)
図1に本発明を利用した計測システムの一例が示されている。図1には、測量装置100が示されている。測量装置100は、カメラ、レーザー測位機能、測量対象の自動追尾機能を有するトータルステーションである。測量装置100は、自身が備えたカメラが撮影した画像中からの追跡対象物の識別、この識別した対象物の撮影画像中での追跡、当該対象物のレーザー光を用いた測位を行う。測量装置100の詳細については後述する。
(概要)
図1に本発明を利用した計測システムの一例が示されている。図1には、測量装置100が示されている。測量装置100は、カメラ、レーザー測位機能、測量対象の自動追尾機能を有するトータルステーションである。測量装置100は、自身が備えたカメラが撮影した画像中からの追跡対象物の識別、この識別した対象物の撮影画像中での追跡、当該対象物のレーザー光を用いた測位を行う。測量装置100の詳細については後述する。
図1には、重機201~204、土木作業を行う作業員301~304が示されている。この例では、重機201~204および作業員301~304が現場資源である。これら現場資源の稼働状況が測量装置100により計測される。現場資源は、工事現場で工事に携わる機械や人であり、移動するものが対象となる。現場資源として扱う機械としては、移動が可能な各種の重機、電源、コンクリートミキサー、コンプレッサー等が挙げられる。
測量装置100は、カメラによる作業現場の撮影を行う。この撮影画像中から追跡の対象となる現場資源(重機111~114および作業員121~124)が認識され、また認識された各現場資源の識別が行われる。
上記識別された現場資源のぞれぞれは、測量装置100により追跡され、また測位される。測量装置100により測位された各現場資源の位置情報は地図上にプロットされる(例えば図9)。時間経過に従う各重機の位置の変化を見ることで。現場資源の稼働状況の推移を知ることが出来る。
上記の処理は、自動で行われる。そのため、工事現場における現場資源の稼働状況の調査が効率よく行われる。
(測量装置)
図2は、測量装置100の斜視図(A)および(B)である。(A)は正面の側から見た斜視図であり、(B)は背面の側から見た斜視図である。測量装置100は、三脚101上に固定されたベース部102、ベース部102上で水平回転が可能な水平回転部103、水平回転部103に鉛直回転(仰角制御および俯角制御)が可能な状態で保持された鉛直回転部104を備えている。
図2は、測量装置100の斜視図(A)および(B)である。(A)は正面の側から見た斜視図であり、(B)は背面の側から見た斜視図である。測量装置100は、三脚101上に固定されたベース部102、ベース部102上で水平回転が可能な水平回転部103、水平回転部103に鉛直回転(仰角制御および俯角制御)が可能な状態で保持された鉛直回転部104を備えている。
水平回転と鉛直回転は、モータにより行われる。水平回転部103の水平角(望遠鏡105の光軸の水平方向における指向方向)と鉛直回転部104の鉛直角(望遠鏡105の光軸の仰角または俯角)は、エンコーダにより精密に計測されている。
鉛直回転部104の前面には、望遠鏡105、広角カメラ106が配置され、背面には、望遠鏡105の接岸部107とタッチパネルディスプレイ108が配置されている。望遠鏡105は、図3に示す狭角(望遠)カメラ111の光学系を兼ねている。また、望遠鏡105の対物レンズを介して、測距を行うための測距用のレーザー光が外部に向けて照射され、またその反射光が受光される。
タッチパネルディスプレイ108は、測量装置100の操作パネル兼ディスプレイである。タッチパネルディスプレイ108には、測量装置100の操作に係る各種の情報や測量結果に係る情報が表示される。
図3は、測量装置100のブロック図である。測量装置100は、狭角カメラ111、広角カメラ106、撮影範囲設定部112、カメラ制御部113、画像取得部114、追跡対象物認識部115、追跡部116、測位対象物選択部117、測位部118、移動中心算出部119、マッピング部120、駆動制御部121、データ記憶部122、通信装置123を備える。
撮影範囲設定部112、カメラ制御部113、画像取得部114、追跡対象物認識部115、追跡部116、測位対象物選択部117、移動中心算出部119、マッピング部120、データ記憶部122の各機能部は、測量装置100が備えるコンピュータにより実現される。
当該コンピュータは、CPU、記憶装置、インターフェースを備える。上記機能部の機能を実行するための動作プログラムが上記コンピュータにより読み取られ、実行されることで、上記の各機能部が実現される。一部または全部の機能部を専用のハードウェアで実現する形態も可能である。また、一部または全部の機能部をFPGA等により実現する形態も可能である。
狭角カメラ111は、望遠鏡105を介して相対的に狭い範囲の撮影を行う。この撮影では、望遠での拡大画像の撮影可能であり、広角カメラ106よりも精細な画像が撮影できる。広角カメラ106は、相対的に広い範囲(広角)の撮影を行う。
狭角カメラ111、広角カメラ106および後述する測位部118の光学系の測量装置100における外部標定要素(位置と姿勢)の関係は既知である。また、狭角カメラ111と測位部118の光学系の光軸は、同じ軸線上(望遠鏡105の光軸上)にある。広角カメラ106の光軸は、狭角カメラ111と測位部118の光学系の光軸(望遠鏡105の光軸)と平行な位置関係にある。
撮影範囲設定部112は、後述するステップS101の処理に係り、広角カメラ106の撮影の範囲を設定する。カメラ制御部113は、広角カメラ106および狭角カメラ111の撮影動作の制御を行う。画像取得部114は、広角カメラ106および狭角カメラ111が撮影した画像の画像データを取得する。
追跡対象物認識部115は、後述するステップS104の処理を行う。追跡部116は、後述するステップS105の処理を行う。測位対象物選択部117は、後述するステップS106の処理を行う。
測位部118は、後述するステップS107の処理を行う。測位部118は、測距光(測距用のレーザー光)の発光部およびその照射光学系、対象物から反射して戻ってきた測距光の受光光学系と受光素子、測距光の反射点までの測距の算出部、光軸の方向と測距値に基づく測距光の反射点の位置の算出部を備える。
反射点までの距離は、光波測距の原理を用いて算出される。距離の算出には、受光した測距光の位相差を用いる方法と伝搬時間を用いる方法がある。この例では、位相差を用いる方法で測距が行われる。
位相差を用いる方法では、測量装置100内に基準光路が設けられ、この基準光路を伝搬した測距光の受光タイミングと、対象物から反射した測距光の受光タイミングとの差(位相差)から、対象物までの距離を算出する。伝搬時間を用いる方法では、測距光が対象物に当たり、反射して戻ってくるまでの時間から、対象物までの距離を算出する。
測距光の反射点までの距離とその方向により、測量装置100を原点とした反射点の位置の算出が行われる。絶対座標系における測量装置100の外部標定要素が既知であれば、絶対座標系における反射点の位置が求まる。絶対座標系は、GNSSや地図で用いられる座標系である。例えば、緯度、経度、標高により絶対座標系における位置の記述が行われる。
移動中心算出部119は、後述するステップS108の処理を行う。例えば、図6に示すような油圧シャベル600を考える。油圧シャベル600は、無限軌道601aを備え、無限軌道601aにより地上を移動する移動ベース601を有する。移動ベース601の上には、運転席を備え、アーム603の根元を支える回転部604が配置されている。また、アーム603の先端には、バケット602が連結されている。
移動せずに油圧シャベル600が稼働する場合、回転部604、アーム603、バケット602の位置は動くが、当該油圧シャベル600は車両としては移動しない。この場合、アーム603やバケット602を測位の対象としたのでは、油圧シャベル600の移動の状態を適切に把握できない。この場合、油圧シャベル600の移動ベース601を測位の対象とすることで油圧シャベル600の移動を適切に把握できる。
マッピング部120は、地図上に追跡対象物の位置、およびその推移を記述する。位置と同時に時刻を記述することもできる。マッピング部120の機能により、例えば図8や図9の稼働マップが得られる。
駆動制御部121は、測量装置100の光軸の方向制御を行う。具体的には、水平回転部103の水平回転の駆動制御および鉛直回転部104の鉛直回転の駆動制御を行う。データ記憶部122は、測量装置100の動作に必要なデータや動作プログラム、測量データ、各種の処理の結果得られたデータを記憶する。
通信装置123は、外部の機器との通信を行う。通信は、無線LANや携帯電話の通信回線を用いて行われる。通信装置123を用いて、図8や図9に例示する稼動マップのデータが外部の機器に送信される。
(処理の一例)
図4に測量装置100が行う動作の手順の一例を示す。図4に示すフローチャートを実行するためのプログラムは、適当な記憶媒体や記憶領域に記憶され、測量装置100が備えるコンピュータにより実行される。図4の処理の少なくとも一部を外部の制御コンピュータや処理サーバで行う形態も可能である。これは、図5や図7のフローチャートについても同じである。
図4に測量装置100が行う動作の手順の一例を示す。図4に示すフローチャートを実行するためのプログラムは、適当な記憶媒体や記憶領域に記憶され、測量装置100が備えるコンピュータにより実行される。図4の処理の少なくとも一部を外部の制御コンピュータや処理サーバで行う形態も可能である。これは、図5や図7のフローチャートについても同じである。
まず、処理に先立ち、稼動マップで用いる座標系における測量装置100の外部標定要素を求めておく。例えば、絶対座標系における測量装置100の外部標定要素を求めておく。また、現場資源の追跡および測位を行う範囲(計測範囲)を予め定めておく。
また、上記の計測範囲に対する撮影範囲を定めておく。例えば、計測は水平方向で行われるとし、計測範囲の角度範囲が90°であり、撮影は広角カメラ106で行い、広角カメラ106の撮影範囲が25°であるとする。この場合、90°の範囲を4分割して撮影範囲を設定する。この場合、中心の方向がそれぞれ90°/4ずれた第1の撮影範囲、第2の撮影範囲、第3の撮影範囲、第4の撮影範囲が設定される。勿論、撮影範囲は一部が重複していてもよい。また、撮影範囲の撮影の順番を決めておく。なお、撮影に狭角カメラ111を用いる形態も可能である。
また、以下の処理において、現場資源は、図1に示すような重機201~204および作業員(人物)301~304とする。
処理が開始されると、上述した予め設定された撮影範囲の中の最初の撮影範囲に測量装置100の光軸を指向させる(ステップS101)。次に、広角カメラ106を用いた連続撮影を開始する(ステップS102)。この撮影は、特定の間隔で繰り返し行われる。例えば、0.5秒間隔や1秒間隔で撮影が行われる。動画を撮影し、動画を構成するフレーム画像を繰り返し行われる撮影の画像として利用してもよい。
連続撮影を開始したら。その中の1枚の画像を基準画像として取得する(ステップS103)。次に、ステップS103で取得した基準画像の中から現場資源を画像認識する。例えば、ステップS103で取得した基準画像に図1の重機201、作業員301,302,303が写っているとする。この場合、画像解析技術を利用して重機201、作業員301,302,303の画像を認識する。
以下、ステップS104の処理の詳細を説明する。図5は、ステップS104の処理の詳細を示すフローチャートである。図5の処理は、ステップS103で取得した基準画像を対象に行われる。
まず、撮影画像中から人物を認識する画像処理アルゴリズムを用いて、対象とする画像の中から人物を認識する(ステップS201)。撮影画像の中から人物を認識する画像処理技術は、セキュリティー分野や車の自動運転技術分野で開発されている技術を利用する。
次に、ステップS103で取得した基準画像の中から、重機の画像を認識する(ステップS202)。以下、重機の画像の認識について説明する。ここでは、三次元モデルを利用して撮影画像の中から重機の画像を認識する方法を説明する。この例では、対象となる重機が予め候補としてリストアップされており、それら各重機の三次元モデルが予め取得されている。重機の三次元モデルを得る方法としては、設計データから得る方法、三次元写真計測から得る方法、レーザースキャンにより得る方法が挙げられる。
重機の画像の認識は、以下のようにして段階的に行われる。まず、「無限軌道あり」、「車輪あり」、「クレーンのアームあり」、「バケットのアームあり」といった重機の属性に係る要素を認識し、重機の候補の画像を第1候補群画像として認識する。次に、第1候補群画像と、予め用意された上記三次元モデルとの比較が行われる。
この比較は、以下のようにして行われる。まず、(1)予め用意された重機の三次元モデルの一つが選択される。次に、(2)選択した三次元モデルを特定の視点から見た画像を比較画像として取得する。
例えば、三次元モデルから得られる比較画像は図6のような特定の視点から当該三次元モデルを見た図となる。
次に、(3)取得した比較画像と上記第1候補群を比較する。ここで、(2)の視点の位置を変えつつ、(2)→(3)の処理繰り返し行い、第1の候補群の中から、比較画像に一致あるいは近似するものを探索する。またこの探索は、縮尺を変えて繰り返し行われる。
(1)で選択した三次元モデルに関して、(2)→(3)の処理を行った結果、第1の候補群の中から一致あるいは近似した比較画像が見つかった場合、その比較画像の基となる三次元モデルの重機を認識された対象として確定する。他方において、第1の候補群の中から一致あるいは近似した比較画像が見つからなかった場合、次の別の三次元モデルを選択し、同様の処理を繰り返す。
こうして、ステップS103で得た撮影画像の中から、予め用意した三次元モデルに対応する画像を探索する。そして、予め用意した三次元モデルに対応する画像が見つかったら、それを重機の画像として認識する。図5の処理がステップS104において行われ、ステップS103で得た基準画像の中から、作業員と重機の画像が認識される。
図4に戻り、ステップS104の後、ステップS105を実行する。ステップS105では、ステップS104で画像認識された追跡対象物(現場資源)のそれぞれ(一つの場合もあるが、ここでは複数ある場合の想定する)の追跡を開始する。
以下、ステップS105について詳述する。まず、ステップS103で取得した基準画像の中から、当該基準画像の次(またはそれ以後の極力近い時刻)に撮影された撮影画像(次の撮影画像)を取得し、その画像の中から既に認識されている現場資源を認識する。
例えば、基準画像の中で図6の重機が画像認識されていたとする。この場合、当該重機が稼動していても、基準画像の次の撮影画像において、当該重機の画面中での見た目は、大きく違わない。よって、当該次の撮影画像において、図6の重機の画像は容易に特定できる。
撮影が連続して行われるに従って、当該重機の撮影画面中での位置およびその見た目は徐々に変化する場合もある。しかしながら、n枚目とn+1枚目の撮影画像を比較した場合、上述した理由により、n枚目の撮影画像で認識されている重機の画像を、n+1枚目の撮影画像において認識することは容易である。この原理により、ステップS104で認識した重機の画像を連続撮影される画像中で認識し続ける。
また同様の原理により、基準画像で認識された作業員の追跡も行われる。こうして、連続撮影される画像中での追跡対象物(この場合は重機と作業員)の追跡が行われる。すなわち、連続撮影することで得られる時間軸上において離散して分布する複数の画像において、同一の追跡対象物が時間軸に沿って順次認識されてゆく。
図10には、光軸を固定した状態で連続撮影された3枚の撮影画像のモデル図の例が示されている。ここで、(A)が最初に撮影され、その後に(B)が撮影され、更にその後に(C)が撮影された場合が示されている。つまり時間軸上において、(A)⇒(B)⇒(C)の順で撮影された場合が示されている。ここで、重機204は撮影画面上において、右から左に向かって移動している。よって、(A)⇒(B)⇒(C)と経過するのに従って、重機204は徐々に左の方向に移動する。
ここで、図10(A)において重機204と画像認識されたものが、図10(B)において少し左に移動した画面位置において同じ重機204として画像認識され、更に図10(C)において更に少し左に移動した画面位置において同じ重機204として画像認識される。これが、上述した連続撮影される画像中での追跡対象物の追跡となる。
また、後述するステップS107の測位において、測量装置100の光軸は、各測位対象に向けられる。この際、広角カメラ106の光軸の方向が変化し、撮影画面内における追跡対象物の位置が変化する。しかしながら、上述したように、n枚目とn+1枚目の撮影画像を比較した場合、n枚目の撮影画像に写っている識別対象物の画像と、n+1枚目の撮影画像に写っている識別対象物の画像には近似性がある。
このことを利用して、広角カメラ106の光軸の方向が変化した際における追跡対象物の追尾が行われる。すなわち、広角カメラ106の光軸の方向が変化している状況におけるn枚目の撮影画像における追跡対象物と、n+1枚目の撮影画像における追跡対象物との対応関係の特定が行われ、着目している追跡対象物が追跡される。以上の処理がステップS105において開始される。
以上述べた連続画像における追跡対象物に対する追跡は、複数の現場資源のそれぞれに対して行われる。また、後述する測位の際、測量装置100の光軸を測位点に向ける視準(測位を行う点に測量装置100の狙いを付ける動作)が行われるが、その際、視準の対象でない他の追跡対象物に対する追跡は、継続して行われる。すなわち、次々と行われる追跡対象物に対する視準および測位を行いつつ、認識した他の複数の追跡対処物の追跡が途切れず行われる。
次に、その時点で測位を行っていない追跡対象物の選択が行われる(ステップS106)。例えば、この時点で着目している基準画像において、図1の作業員301~303および重機201が追跡対象物として認識され、それらがその後の連続撮影において追跡されているとする。そして、作業員301と302が測位されているとする。
この場合、作業員303と重機201が測位を行っていない追跡対象物となる。そして、この場合、ステップS106において、業員303または重機201が選択される。
次に、ステップS106で選択された未測位の追跡対象物の測位が行われる(ステップS107)。測位は、測量装置100が備えるレーザー測位の機能を利用して行われる。
追跡対象物における測位点は、以下のようにして決定される。追跡対象物が人物の場合、腰周の部分が測位点として選択される。追跡対象物が重機の場合、画像の重心の位置あるいは本体部分の最も面積が大きい部分が測位点として選択される。
次に、ステップS107で測位した追跡対象物の移動中心の位置を算出する(ステップS108)。追跡対象物の測位は、その表面の部分に対して行われるが、必ずしも追跡対象物の移動を反映したものとはならない。そのため、重機600の地上での移動(走行)を把握したい場合、重機600の移動を適切に評価できるパラメータの取得が望まれる。このパラメータとして、移動中心を採用する。
追跡対象物が人物の場合、予め用意した骨格モデルを参照し、移動中心を算出する。例えば、骨格モデルの重心の位置を移動中心として算出する。追跡対象物が重機の場合、以下の方法により、移動中心を算出する。
図7は、重機の移動中心を算出する処理の詳細を示すフローチャートである。図7の処理では、まず追跡対象物の認識に利用したここで追跡している重機の三次元モデルを取得する(ステップS301)。次にステップS107で得た測位データと上記三次元モデルの位置関係を取得する(ステップS302)。
ここでは、ステップS107におけるレーザー測位を行った際、狭角カメラ111による撮影を行う。測位部118の光軸と狭角カメラの光軸は同一軸線上にあるので、上記狭角カメラ111の撮影画像の中心が測位された点となる。よって、追跡対象物上の測位点の位置が判る。
ここで、狭角カメラ111と広角カメラ106の外部標定要素の関係は既知である。よって、狭角カメラ111が撮影した画像と広角カメラ106が撮影した画像の対応関係を求めることができる。また、広角カメラ106により撮影された追跡対象物の画像とその三次元モデルの関係は、ステップS104において判明している。よって、ステップS107で測位された点と当該三次元モデルの関係が判る。つまり、ステップS107で測位された点が、当該三次元モデル上のどの部分に対応するのかが判る。この測位点と三次元モデルの位置関係の取得がステップ302で行われる。
すなわち、狭角カメラ111および広角カメラ106の外部標定要素と測位部118の光学系の外部標定要素との関係は既知であり、故に、広角カメラ106により撮影された重機の画像(要素1)における測位光の反射点の位置(要素2)が第1の関係として求まる。他方で、上記外部標定要素の関係から、広角カメラ106により撮影された重機の画像(要素1)に対応する三次元モデル(要素3)が第2の関係として求められる。
すなわち、要素1と要素2の関係が判明し、要素1と要素3の関係が判明する。これにより、要素2と要素3の関係が判明する。すなわち、着目している重機における測位光の反射点の位置(要素2)と、三次元モデル(要素3)の関係が得られる。すなわち、ステップS107で測位された点(要素2)が、当該三次元モデル(要素3)上のどの部分に対応するのかが判る。
次に、ステップS302で得た測位点と三次元モデルの位置関係に基づき、ここで着目している追跡対応物の三次元モデルの移動中心の位置を算出する(ステップS303)。
図6を見れば明らかなように、三次元モデルでは、重機の移動ベースとなる部分を把握できる。図6の場合、無限軌道を備えた部分が移動ベース601となる。移動中心は、重機の移動ベースに固定された点であれば、どこでもよいが、例えば、移動ベースの重心の位置が移動中心として算出される。
ステップS108によれば、無限軌道で移動するベースの部分(例えば、重機600の移動ベース601)の位置情報が得られ、当該重機の移動(走行)の情報を正確に評価できようになる。この移動中心の位置が、追跡対象物の位置データとして取り扱われる。
追跡対象物の移動中心の位置を求めたら、その位置を求めた時刻を取得する(ステップS109)。ここでは、ステップS107の測位処理を行った時刻を取得する。
次に、ステップS103で取得した基準画像の中において、未測位の追跡対象物の有無を判定する(ステップS110)。未測位の追跡対象物がある場合、その時点で最新の撮影画像を取得し(ステップS111)、ステップS106以下の処理を繰り返す。
ステップS110において、未測位の追跡対象物がない場合、次の撮影範囲に測量装置100を向け、次の撮影範囲の基準画像の取得を行い(ステップS103)、ステップS103以下の処理を繰り返す。
例えば、撮影範囲として、第1の撮影範囲、第2の撮影範囲、第3の撮影範囲が設定されているとする。この場合、図4のステップ103以下の処理が、第1の撮影範囲⇒第2の撮影範囲⇒第3の撮影範囲⇒第1の撮影範囲⇒第2の撮影範囲⇒第3の撮影範囲⇒・・・と繰り返し行われる。
この結果、第1の撮影範囲~第3の撮影範囲にある追跡対象物のそれぞれについて、第1の時刻における移動中心の位置、第2の時刻における移動中心の位置、第3の時刻における移動中心の位置・・・というように、途切れ途切れではあるが、時間軸上における位置情報が得られる。
図8(A)には、1周目(一巡目)の処理によって得られた各追跡対象物の位置を地図上にプロットした図が示され、図8(B)には、2周目の処理によって得られた各追跡対象物の位置を地図上にプロットした図が示され、図8(C)には、3周目の処理によって得られた各追跡対象物の位置を地図上にプロットした図が示されている。
図8(A)~(C)には、重機□、重機△、重機○、重機▽、重機◇の位置が地図上にプロットされている。図8(A)~(C)におけるプロット点のズレは、重機が移動したことを示している。
図8(A)における重機□と重機△の位置を取得した時刻は異なる。これは、追跡対象物に対して順に測位が行われ、移動中心の算出が行われるからである。これは、他の重機の関係においても同じである。
図9は、図8(A)~(C)を重ねたものである。図9のマップには、時系列に従う各重機の動きが判るように矢印が表示されている。図9から、各重機の動きが判る。すなわち、図9には、各追跡対象物の移動推移、つまり稼動の状況が示されている。
2.第2の実施形態
コード表示を用いて現場資源の識別を行ってもよい。例えば、作業員は安全確保のためにヘルメットと反射チョッキ(反射材を取り付けたベスト)を着け、作業を行う。このヘルメットまたは反射チョッキに識別表示を付け、それを画像認識し、作業員の識別を行う。識別表示としては、文字、バーコード、図形、色彩による形態が挙げられる。
コード表示を用いて現場資源の識別を行ってもよい。例えば、作業員は安全確保のためにヘルメットと反射チョッキ(反射材を取り付けたベスト)を着け、作業を行う。このヘルメットまたは反射チョッキに識別表示を付け、それを画像認識し、作業員の識別を行う。識別表示としては、文字、バーコード、図形、色彩による形態が挙げられる。
重機の場合、重機の見やすい部分に識別表示を表示させる。識別表示の形態については、反射チョッキの場合と同じである。また、重機の上部に識別表示を備えたポール等を設置し、どの方向から見ても識別が可能なようにしてもよい。
3.第3の実施形態
2周目以降の計測において、1周目で得た画像イメージを利用して追跡対象物の識別を行ってもよい。
2周目以降の計測において、1周目で得た画像イメージを利用して追跡対象物の識別を行ってもよい。
4.その他
図1には、工事現場の例として、土木作業の現場が示されているが、本発明は、建物、工場、各種の施設等の建設現場における現場資源の稼働状況の取得に適当できる。
図1には、工事現場の例として、土木作業の現場が示されているが、本発明は、建物、工場、各種の施設等の建設現場における現場資源の稼働状況の取得に適当できる。
100…測量装置、101…三脚、102…ベース部、103…水平回転部、104…鉛直回転部、105…望遠鏡、106…広角カメラ、107…接岸部。108…タッチパネルディスプレイ。
Claims (9)
- 工事現場において作業を行う現場資源を連続して撮影するカメラと、
前記撮影により得た撮影画像の中から前記現場資源を認識する認識手段と、
前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡手段と、
前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位手段と
を有し、
前記測位が時間をおいて複数回行われる計測システム。 - 前記現場資源の移動の推移を表示したマップ作成手段を有する請求項1に記載の計測システム。
- 前記現場資源の認識は、
前記カメラにより撮影された画像と、
予め用意された認識の対象となる現場資源の三次元モデルを異なる複数の視点から見た画像と
の比較により行われる請求項1または2に記載の計測システム。 - 前記現場資源が重機である請求項3に記載の計測システム。
- 前記重機は、走行のためのベース部と該ベース部上において動く可動部とを備え、
前記測位の結果に基づき、前記測位された点ではなく、前記ベース部に固定された点を移動中心として算出する移動中心算出手段を備える請求項4に記載の計測システム。 - 前記カメラの外部標定要素と前記測位手段の外部標定要素との関係は既知であり、
前記関係に基づき、前記カメラにより撮影された前記重機の画像における前記レーザー光の反射点の位置が第1の関係として求められ、
前記比較により、前記カメラにより撮影された前記重機の画像に対応する三次元モデルが第2の関係として求められ、
前記第1の関係および前記第2の関係に基づき、前記重機の三次元モデルにおける前記レーザー光の反射点の位置が求められ、
前記重機の三次元モデルにおける前記レーザー光の反射点の位置に基づき、前記移動中心が算出される請求項5に記載の計測システム。 - 前記現場資源は複数であり、
前記複数の現場資源のそれぞれに対して前記追跡が行われ、
前記視準が行われている間も前記連続した撮影は継続され、
前記視準が行われている間に前記視準の対象でない現場資源への前記追跡が行われる請求項1~6のいずれか一項に記載の計測システム。 - 工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、
前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、
前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、
前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップと
を有し、
前記測位が時間をおいて複数回行われる計測方法。 - コンピュータに実行させる計測用プログラムであって、
コンピュータに
工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、
前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、
前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、
前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップと
を実行させ、
前記測位が時間をおいて複数回行われる計測用プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021101725A JP2023000736A (ja) | 2021-06-18 | 2021-06-18 | 計測システム、計測方法および計測用プログラム |
EP22178580.1A EP4112824A1 (en) | 2021-06-18 | 2022-06-13 | Measuring system, measuring method, and measuring program for determining the positions of the site resources at a construction site |
US17/807,294 US20220404147A1 (en) | 2021-06-18 | 2022-06-16 | Measuring system, measuring method, and measuring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021101725A JP2023000736A (ja) | 2021-06-18 | 2021-06-18 | 計測システム、計測方法および計測用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023000736A true JP2023000736A (ja) | 2023-01-04 |
Family
ID=82399340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021101725A Pending JP2023000736A (ja) | 2021-06-18 | 2021-06-18 | 計測システム、計測方法および計測用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220404147A1 (ja) |
EP (1) | EP4112824A1 (ja) |
JP (1) | JP2023000736A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116880351A (zh) * | 2023-09-06 | 2023-10-13 | 国网江苏省电力有限公司无锡供电分公司 | 一种用于变电站基建的安全围栏装置及其控制方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8942483B2 (en) * | 2009-09-14 | 2015-01-27 | Trimble Navigation Limited | Image-based georeferencing |
US11367153B2 (en) * | 2016-03-02 | 2022-06-21 | Husqvarna Ab | Device for scouting a construction site for construction device deployment |
JP6854164B2 (ja) | 2017-03-22 | 2021-04-07 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法、測量データ処理システムおよび測量データ処理用プログラム |
US10489928B2 (en) * | 2018-02-23 | 2019-11-26 | Librestream Technologies Inc. | Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser |
JP7263127B2 (ja) * | 2019-05-31 | 2023-04-24 | 株式会社小松製作所 | マップ生成システム及びマップ生成方法 |
US11650595B2 (en) * | 2019-07-30 | 2023-05-16 | Caterpillar Inc. | Worksite plan execution |
-
2021
- 2021-06-18 JP JP2021101725A patent/JP2023000736A/ja active Pending
-
2022
- 2022-06-13 EP EP22178580.1A patent/EP4112824A1/en active Pending
- 2022-06-16 US US17/807,294 patent/US20220404147A1/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116880351A (zh) * | 2023-09-06 | 2023-10-13 | 国网江苏省电力有限公司无锡供电分公司 | 一种用于变电站基建的安全围栏装置及其控制方法 |
CN116880351B (zh) * | 2023-09-06 | 2023-12-05 | 国网江苏省电力有限公司无锡供电分公司 | 一种用于变电站基建的安全围栏装置及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220404147A1 (en) | 2022-12-22 |
EP4112824A1 (en) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106066645B (zh) | 操作推土机时生成缩放地形信息的方法和推土机的控制系统 | |
CN109556580B (zh) | 测绘仪器、ar系统和相对于参照系定位ar装置的方法 | |
US10876307B2 (en) | Construction management system and method | |
US11822351B2 (en) | Three-dimensional information processing unit, apparatus having three-dimensional information processing unit, unmanned aerial vehicle, informing device, method and program for controlling mobile body using three-dimensional information processing unit | |
US9222771B2 (en) | Acquisition of information for a construction site | |
EP2869024B1 (en) | Three-dimensional measuring method and surveying system | |
CA2539903C (en) | Method and system for determining the spatial position of a hand-held measuring appliance | |
US10310054B2 (en) | Relative object localization process for local positioning system | |
WO2000025089A1 (en) | Apparatus and method for obtaining 3d images | |
EP2135039A2 (en) | A system and method capable of navigating and/or mapping any multi-dimensional space | |
JP2019148946A (ja) | 施工工程管理システム及び施工工程管理方法 | |
JP2015534055A (ja) | レーザトラッカを用いて再帰反射器を選択、ロックオン、追跡するために手持器具を使用する方法 | |
US10891769B2 (en) | System and method of scanning two dimensional floorplans using multiple scanners concurrently | |
JPWO2019103154A1 (ja) | 測量装置、測量システム、測量方法および測量用プログラム | |
JP6001914B2 (ja) | 目標位置特定装置、目標位置特定システム、および目標位置特定方法 | |
US11953891B2 (en) | Work management system and work management method | |
CN109029389A (zh) | 用于显示测量间隙的装置、系统和方法 | |
JP2006031642A (ja) | 移動体の自己位置特定方法 | |
JP2023000736A (ja) | 計測システム、計測方法および計測用プログラム | |
US10819883B2 (en) | Wearable scanning device for generating floorplan | |
CN110081861A (zh) | 一种基于图像识别的激光快速测绘系统及测绘方法 | |
Sheh et al. | On building 3d maps using a range camera: Applications to rescue robotics | |
CN208314856U (zh) | 一种用于单目机载目标检测的系统 | |
JP2022132751A (ja) | 測量情報管理システム | |
JP2023017199A (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240528 |