JP2022103189A - Work site monitoring device, work site monitoring system, work site monitoring method, and program - Google Patents

Work site monitoring device, work site monitoring system, work site monitoring method, and program Download PDF

Info

Publication number
JP2022103189A
JP2022103189A JP2022068547A JP2022068547A JP2022103189A JP 2022103189 A JP2022103189 A JP 2022103189A JP 2022068547 A JP2022068547 A JP 2022068547A JP 2022068547 A JP2022068547 A JP 2022068547A JP 2022103189 A JP2022103189 A JP 2022103189A
Authority
JP
Japan
Prior art keywords
work
movement
work process
work site
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022068547A
Other languages
Japanese (ja)
Inventor
孝宏 前
Takahiro Mae
孝弘 渡辺
Takahiro Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2022068547A priority Critical patent/JP2022103189A/en
Publication of JP2022103189A publication Critical patent/JP2022103189A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a technique that allows more useful data to be generated for efficiency of a work step.
SOLUTION: A work site monitoring device is provided having a control unit that sorts movement of a moving body by non-contact detection at a work site into movement of a first object and movement of a second object other than the first object in response to work step information related to the work site to determine a risk to the first object by the second object based on at least either the movement of the first object or that of the second object.
SELECTED DRAWING: Figure 1
COPYRIGHT: (C)2022,JPO&INPIT

Description

本発明は、作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラムに関する。 The present invention relates to a work site monitoring device, a work site monitoring system, a work site monitoring method and a program.

近年、作業現場において実行される作業を支援するための様々な技術が開示されている。例えば、あらかじめ作成された作業工程情報と作業現場において撮像された映像とを表示する技術が開示されている(例えば、特許文献1参照)。かかる技術によれば、作業現場における作業が作業工程情報の通りに実行されているかを映像によって確認することが可能である。 In recent years, various techniques for supporting the work performed at the work site have been disclosed. For example, a technique for displaying work process information created in advance and an image captured at a work site is disclosed (see, for example, Patent Document 1). According to such a technique, it is possible to confirm by video whether the work at the work site is executed according to the work process information.

また、作業者などにタグを付し、作業現場に設けられたタグリーダによってタグから読み取られた時刻に基づいて、作業の実行状況を管理する技術が開示されている(特許文献2参照)。さらに、作業工程情報のうち、過去に作業者の生体情報が異常状態となった作業工程を表示する技術が開示されている(特許文献3参照)。かかる技術によれば、作業工程情報のうち、過去の経験から危険と推測される作業工程を現場作業の前に把握することが可能となる。 Further, a technique for attaching a tag to an operator or the like and managing the execution status of the work based on the time read from the tag by a tag reader provided at the work site is disclosed (see Patent Document 2). Further, among the work process information, a technique for displaying a work process in which the biological information of the worker has been in an abnormal state in the past is disclosed (see Patent Document 3). According to such a technique, it is possible to grasp the work process which is presumed to be dangerous from the past experience among the work process information before the on-site work.

特開2002-175349号公報Japanese Unexamined Patent Publication No. 2002-175349 特開2005-326965号公報Japanese Unexamined Patent Publication No. 2005-326965 特開2013-80305号公報Japanese Unexamined Patent Publication No. 2013-80305

しかし、作業工程の危険性は、作業現場において作業者の動きおよび作業者以外(例えば、作業者によって利用される物体など)の動きによって変化し得ることが想定される。そのため、作業工程と作業者の動きおよび作業者以外の動きとの対応関係は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程と作業者の動きおよび作業者以外の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。 However, it is assumed that the danger of the work process can be changed by the movement of the worker and the movement of a non-worker (for example, an object used by the worker) at the work site. Therefore, the correspondence between the work process and the movement of the worker and the movement of the non-worker can be used for grasping the danger of the work process, reviewing the work process, and the like. For example, the correspondence between the work process and the movement of the worker and the movement of the non-worker can also be used to improve the dangerous work process.

そこで、作業工程の効率化のためにより有用なデータを生成することを可能とする技術が提供されることが望まれる。 Therefore, it is desired to provide a technique capable of generating more useful data for improving the efficiency of the work process.

上記問題を解決するために、本発明のある観点によれば、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する制御部を備える作業現場監視装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, the movement of the moving body based on the non-contact detection at the work site corresponds to the work process information related to the work site, and the movement of the first object. And the movement of the second object other than the first object, and based on at least one of the movement of the first object and the movement of the second object, the said by the second object. A work site monitoring device including a control unit for determining a danger to a first object is provided.

前記制御部は、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方と前記業工程情報とに基づいて、前記第2の物体による前記第1の物体に対する前記危険性を判定してもよい。 The control unit has the risk of the second object to the first object based on at least one of the movement of the first object and the movement of the second object and the business process information. May be determined.

前記第1の物体は、作業者であってもよい。 The first object may be a worker.

前記第2の物体は、作業者以外であってもよい。 The second object may be a person other than the operator.

前記制御部は、前記作業者以外の動きが有るか否かに基づいて、前記危険性を判定してもよい。 The control unit may determine the danger based on whether or not there is a movement other than the operator.

前記制御部は、前記作業者と前記作業者以外との距離が閾値を下回るか否かに基づいて、前記危険性を判定してもよい。 The control unit may determine the risk based on whether or not the distance between the worker and a non-worker is below the threshold value.

前記制御部は、前記作業者以外の動きが有る場合、かつ、前記作業者と前記作業者以外との距離が閾値を下回る場合に、前記危険性が有ると判定してもよい。 The control unit may determine that there is a risk when there is a movement other than the worker and when the distance between the worker and the non-worker is less than the threshold value.

また、本発明の別の観点によれば、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別する動体分別部と、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する危険性判定部と、を備える作業現場監視システムが提供される。 Further, according to another aspect of the present invention, the movement of the moving body based on the non-contact detection at the work site is the movement of the first object and the first object in response to the work process information related to the work site. The second object by the second object is based on at least one of a moving body sorting unit that separates the movement of a second object other than the object, and at least one of the movement of the first object and the movement of the second object. A work site monitoring system including a danger determination unit for determining the danger to one object is provided.

また、本発明の別の観点によれば、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する作業現場監視方法が提供される。 Further, according to another aspect of the present invention, the movement of the moving body based on the non-contact detection at the work site is the movement of the first object and the first object in response to the work process information related to the work site. Separated from the movement of a second object other than the object, and based on at least one of the movement of the first object and the movement of the second object, the second object with respect to the first object. A work site monitoring method for determining the danger is provided.

また、本発明の別の観点によれば、コンピュータを、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する制御部を備える作業現場監視装置として機能させるためのプログラムが提供される。 Further, according to another aspect of the present invention, the computer corresponds to the work process information related to the work site, and the movement of the moving body based on the non-contact detection at the work site is the movement of the first object and the above-mentioned. The first object by the second object is separated from the movement of the second object other than the first object, and is based on at least one of the movement of the first object and the movement of the second object. A program for functioning as a work site monitoring device including a control unit for determining a danger to an object is provided.

以上説明したように本発明によれば、作業工程の効率化のためにより有用なデータを生成することを可能とする技術が提供される。 As described above, the present invention provides a technique capable of generating more useful data for improving the efficiency of a work process.

本発明の実施形態に係る作業現場監視システムの構成例を示す図である。It is a figure which shows the structural example of the work site monitoring system which concerns on embodiment of this invention. 上方から見た作業現場の例を示す図である。It is a figure which shows the example of the work site seen from above. 本発明の実施形態に係る作業現場監視装置の機能構成例を示すブロック図である。It is a block diagram which shows the functional composition example of the work site monitoring apparatus which concerns on embodiment of this invention. センサ対応情報記憶部によって記憶されているセンサ対応情報の例を示す図である。It is a figure which shows the example of the sensor correspondence information stored by the sensor correspondence information storage part. 物体情報記憶部によって記憶されている物体情報の例を示す図である。It is a figure which shows the example of the object information stored by the object information storage unit. 作業工程情報記憶部によって記憶されている作業工程情報の例を示す図である。It is a figure which shows the example of the work process information stored by the work process information storage unit. 作業工程表示画面の例を示す図である。It is a figure which shows the example of the work process display screen. カメラによる作業現場の撮像結果に基づく物体の検出について説明するための図である。It is a figure for demonstrating the detection of the object based on the image | image | image | image | image | image of the work site by a camera. LiDARセンサによる作業現場の計測結果に基づく物体の検出について説明するための図である。It is a figure for demonstrating the detection of the object based on the measurement result of the work site by a LiDAR sensor. 作業者の動きと重機の動きとの対応関係の例を示す図である。It is a figure which shows the example of the correspondence relation with the movement of a worker, and the movement of a heavy machine. センシング結果に基づいて認識された作業工程情報(第2の作業工程情報)の例を示す図である。It is a figure which shows the example of the work process information (second work process information) recognized based on the sensing result. 結果データ表示画面の例を示す図である。It is a figure which shows the example of the result data display screen. 画像表示画面の例を示す図である。It is a figure which shows the example of the image display screen. 本発明の実施形態に係る作業現場監視装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the work site monitoring apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る作業現場監視装置の例としての情報処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware composition of the information processing apparatus as an example of the work site monitoring apparatus which concerns on embodiment of this invention.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。 Further, in the present specification and the drawings, a plurality of components having substantially the same functional configuration may be distinguished by adding different numbers after the same reference numerals. However, if it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals are given. Further, similar components of different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of the similar components of different embodiments, only the same reference numerals are given.

(1-1.システムの概要)
まず、本発明の実施形態に係る作業現場監視システムの構成例について説明する。
(1-1. Overview of the system)
First, a configuration example of the work site monitoring system according to the embodiment of the present invention will be described.

図1は、本発明の実施形態に係る作業現場監視システムの構成例を示す図である。図1に示されるように、本発明の実施形態に係る作業現場監視システム1は、作業現場監視装置10と、カメラ21-1およびカメラ21-2と、LiDAR(Light Detection and Ranging)センサ22-1およびLiDARセンサ22-2とを有する。 FIG. 1 is a diagram showing a configuration example of a work site monitoring system according to an embodiment of the present invention. As shown in FIG. 1, the work site monitoring system 1 according to the embodiment of the present invention includes a work site monitoring device 10, a camera 21-1 and a camera 21-2, and a LiDAR (Light Detection and Ranking) sensor 22-. It has 1 and a LiDAR sensor 22-2.

なお、以下では、カメラ21-1とカメラ21-2とを区別せずに、カメラ21と言う場合がある。また、LiDARセンサ22-1とLiDARセンサ22-2とを区別せずに、LiDARセンサ22とも言う。図1に示された例では、カメラ21およびLiDARセンサは、2台ずつ設置されているが、カメラ21およびLiDARセンサ22それぞれの数は限定されない。カメラ21は、1台であってもよいし、3台以上であってもよい。LiDARセンサ22も、1台であってもよいし、3台以上であってもよい。 In the following, the camera 21 may be referred to without distinguishing between the camera 21-1 and the camera 21-2. Further, the LiDAR sensor 22-1 and the LiDAR sensor 22-2 are not distinguished from each other, and are also referred to as a LiDAR sensor 22. In the example shown in FIG. 1, two cameras 21 and two LiDAR sensors are installed, but the number of each of the camera 21 and the LiDAR sensor 22 is not limited. The number of cameras 21 may be one or three or more. The number of LiDAR sensors 22 may be one or three or more.

図1に示されるように、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、通信を行うことが可能である。例えば、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、直接接続されていてもよいし、ネットワークを介して接続されていてもよい。本発明の実施形態においては、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、有線による通信を行う場合を主に想定する。しかし、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、無線による通信を行ってもよい。 As shown in FIG. 1, the work site monitoring device 10, the camera 21, and the LiDAR sensor 22 can communicate with each other. For example, the work site monitoring device 10, the camera 21, and the LiDAR sensor 22 may be directly connected or may be connected via a network. In the embodiment of the present invention, it is mainly assumed that the work site monitoring device 10, the camera 21, and the LiDAR sensor 22 communicate with each other by wire. However, the work site monitoring device 10 and the camera 21 and the LiDAR sensor 22 may perform wireless communication.

図1を参照すると、所定の領域(以下、「作業現場」とも言う)80が示されている。作業現場80においては、作業者60によって作業工程が実行される(または、作業者60によって複数の作業工程が順次に実行される)。図1に示された例では、作業現場80に作業者60が1人存在しており、1人の作業者60によって作業工程が実行されている。しかし、作業現場80には作業者60が複数存在し、複数の作業者60によって作業工程が実行されてもよい。図2は、上方から見た作業現場80の例を示す図である。 Referring to FIG. 1, a predetermined area (hereinafter, also referred to as “work site”) 80 is shown. At the work site 80, the work process is executed by the worker 60 (or a plurality of work processes are sequentially executed by the worker 60). In the example shown in FIG. 1, one worker 60 exists at the work site 80, and the work process is executed by one worker 60. However, there may be a plurality of workers 60 at the work site 80, and the work process may be executed by the plurality of workers 60. FIG. 2 is a diagram showing an example of a work site 80 seen from above.

なお、本発明の実施形態においては、作業工程の例として、工事(例えば、建設および土木などの工事)が作業者60によって実行される場合を主に想定する。しかし、後にも説明するように、作業者60によって実行される作業工程は、工事に限定されない。すなわち、作業現場80においては、作業者60によって何らかの作業工程が実行されればよい。また、作業工程が実行される場所も特に限定されない。 In the embodiment of the present invention, as an example of the work process, it is mainly assumed that the work (for example, the work such as construction and civil engineering) is executed by the worker 60. However, as will be described later, the work process executed by the worker 60 is not limited to the construction work. That is, at the work site 80, some work process may be executed by the worker 60. Further, the place where the work process is executed is not particularly limited.

作業者60によって作業工程が実行されている間、作業現場80には作業者以外の物体も存在し得る。図1に示された例では、作業者以外の物体の例として、重機70が作業現場80に存在している。しかし、作業者以外の物体は、重機70に限定されない。例えば、作業者以外の物体は、作業工程に利用される他の物体(例えば、工具など)であってもよい。また、重機70の例としては、後にも説明するように、ミキサー車、トラック、ショベルカーなどが想定される。しかし、重機70の種類は特に限定されない。 While the work process is being performed by the worker 60, objects other than the worker may also be present at the work site 80. In the example shown in FIG. 1, the heavy machine 70 exists at the work site 80 as an example of an object other than the worker. However, the object other than the worker is not limited to the heavy machine 70. For example, the object other than the worker may be another object (for example, a tool) used in the work process. Further, as an example of the heavy machine 70, a mixer truck, a truck, an excavator car, or the like is assumed, as will be described later. However, the type of the heavy machine 70 is not particularly limited.

図1に示された例では、作業現場80に重機70が1台存在しており、1台の重機70が作業工程に利用されている。しかし、作業現場80には重機70が複数存在し、複数の重機70が作業工程に利用されてもよい。作業工程に利用される1または複数の重機70は、作業工程ごとに異なる場合が想定される。一例として、ある作業工程においては、トラックが利用されるが、他の作業工程においては、ミキサー車が利用される場合などが想定される。 In the example shown in FIG. 1, one heavy machine 70 exists at the work site 80, and one heavy machine 70 is used in the work process. However, there are a plurality of heavy machines 70 at the work site 80, and the plurality of heavy machines 70 may be used in the work process. It is assumed that the one or more heavy machines 70 used in the work process may be different for each work process. As an example, it is assumed that a truck is used in a certain work process, but a mixer truck is used in another work process.

なお、図1に示された例では、現在の作業工程に利用される重機70が作業現場80に存在する場合を主に想定する。しかし、現在の作業工程に利用されない重機70が、作業現場80に存在してしまう可能性もあり得る。例えば、現在の作業工程とは異なる作業工程に利用されるべき重機70が誤って作業現場80に存在してしまう可能性もあり得る。あるいは、どの作業工程にも利用されない重機70が誤って作業現場80に存在してしまう可能性もあり得る。 In the example shown in FIG. 1, it is mainly assumed that the heavy machine 70 used in the current work process exists at the work site 80. However, there is a possibility that heavy machinery 70, which is not used in the current work process, may exist at the work site 80. For example, there is a possibility that a heavy machine 70 to be used in a work process different from the current work process may be mistakenly present at the work site 80. Alternatively, there is a possibility that a heavy machine 70 that is not used in any work process may be mistakenly present at the work site 80.

カメラ21は、作業現場80を含んだ撮像範囲を連続的に撮像することによって、撮像結果として動画像を得る。ここで、カメラ21が設置される位置は限定されない。また、作業現場80は、カメラ21の撮像範囲の全体であってもよいし、一部であってもよい。なお、本明細書においては、カメラ21が固定カメラである場合を主に想定する。しかし、カメラ21は可動カメラであってもよい。例えば、カメラ21は、PTZ(パン・チルト・ズーム)カメラであってもよい。カメラ21による撮像によって得られた動画像は、作業現場監視装置10に提供される。 The camera 21 continuously captures an imaging range including the work site 80 to obtain a moving image as an imaging result. Here, the position where the camera 21 is installed is not limited. Further, the work site 80 may be the entire imaging range of the camera 21 or may be a part of the imaging range. In this specification, it is mainly assumed that the camera 21 is a fixed camera. However, the camera 21 may be a movable camera. For example, the camera 21 may be a PTZ (pan / tilt / zoom) camera. The moving image obtained by the image taken by the camera 21 is provided to the work site monitoring device 10.

LiDARセンサ22は、作業現場80を含んだ計測範囲を連続的に計測することによって計測結果を得る。ここで、LiDARセンサ22が設置される位置は限定されない。また、作業現場80は、LiDARセンサ22の計測範囲の全体であってもよいし、一部であってもよい。LiDARセンサ22による計測によって得られた計測結果は、作業現場監視装置10に提供される。 The LiDAR sensor 22 obtains a measurement result by continuously measuring a measurement range including the work site 80. Here, the position where the LiDAR sensor 22 is installed is not limited. Further, the work site 80 may be the entire measurement range of the LiDAR sensor 22 or may be a part of the measurement range. The measurement result obtained by the measurement by the LiDAR sensor 22 is provided to the work site monitoring device 10.

本発明の実施形態においては、カメラ21とLiDARセンサ22との組み合わせをセンサの例として用いる場合を主に説明する。しかし、カメラ21とLiDARセンサ22との組み合わせの代わりに、他のセンサが用いられてもよい。すなわち、本発明の実施形態においては、作業現場80に存在する物体(例えば、作業者60および重機70など)の動き(すなわち、動体の動き)を非接触により検知可能な各種のセンサが、カメラ21とLiDARセンサ22との組み合わせの代わりに用いられてもよい。 In the embodiment of the present invention, the case where the combination of the camera 21 and the LiDAR sensor 22 is used as an example of the sensor will be mainly described. However, instead of the combination of the camera 21 and the LiDAR sensor 22, another sensor may be used. That is, in the embodiment of the present invention, various sensors capable of non-contactly detecting the movement (that is, the movement of a moving object) of an object (for example, a worker 60 and a heavy machine 70) existing in the work site 80 are cameras. It may be used instead of the combination of 21 and the LiDAR sensor 22.

例えば、LiDARセンサ22の代わりに、デプスセンサが用いられてもよい。あるいは、LiDARセンサ22の代わりに、レーダ測距センサが用いられてもよい。あるいは、センサとして、カメラ21が単独で用いられてもよい。 For example, a depth sensor may be used instead of the LiDAR sensor 22. Alternatively, a radar ranging sensor may be used instead of the LiDAR sensor 22. Alternatively, the camera 21 may be used alone as the sensor.

ここで、作業工程の危険性は、作業現場80において作業者60の動きおよび重機70の動きによって変化し得ることが想定される。そのため、作業工程と作業者60の動きおよび重機70の動きとの対応関係は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程と作業者60の動きおよび重機70の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。 Here, it is assumed that the danger of the work process can be changed by the movement of the worker 60 and the movement of the heavy machine 70 at the work site 80. Therefore, the correspondence between the work process and the movement of the worker 60 and the movement of the heavy machine 70 can be used for grasping the danger of the work process, reviewing the work process, and the like. For example, the correspondence between the work process and the movement of the worker 60 and the movement of the heavy machine 70 can also be used to improve the dangerous work process.

そこで、本発明の実施形態においては、作業工程の効率化のためにより有用なデータを生成することを可能とする技術について主に提案する。 Therefore, in the embodiment of the present invention, we mainly propose a technique capable of generating more useful data for improving the efficiency of the work process.

以上、本発明の実施形態に係る作業現場監視システム1の構成例について説明した。 The configuration example of the work site monitoring system 1 according to the embodiment of the present invention has been described above.

(1-2.作業現場監視装置の機能構成例)
続いて、本発明の実施形態に係る作業現場監視装置10の機能構成例について説明する。図3は、本発明の実施形態に係る作業現場監視装置10の機能構成例を示すブロック図である。図3に示されるように、本発明の実施形態に係る作業現場監視装置10は、操作部110、センサ対応情報記憶部121、物体情報記憶部122、作業工程情報記憶部123、計測結果記憶部124、制御部130および表示部140を備える。
(1-2. Example of functional configuration of work site monitoring device)
Subsequently, a functional configuration example of the work site monitoring device 10 according to the embodiment of the present invention will be described. FIG. 3 is a block diagram showing a functional configuration example of the work site monitoring device 10 according to the embodiment of the present invention. As shown in FIG. 3, the work site monitoring device 10 according to the embodiment of the present invention includes an operation unit 110, a sensor-compatible information storage unit 121, an object information storage unit 122, a work process information storage unit 123, and a measurement result storage unit. It includes 124, a control unit 130, and a display unit 140.

操作部110は、作業現場監視装置10の操作者から入力される操作を受け付ける。また、操作部110は、作業現場監視装置10の操作者から受け付けた操作を制御部130に提供することが可能である。本明細書においては、操作部110がマウスおよびキーボードである場合を主に想定する。しかし、操作部110は、マウスおよびキーボード以外の入力装置(例えば、タッチパネル、ボタンなど)であってもよい。 The operation unit 110 receives an operation input from the operator of the work site monitoring device 10. Further, the operation unit 110 can provide the control unit 130 with the operation received from the operator of the work site monitoring device 10. In the present specification, it is mainly assumed that the operation unit 110 is a mouse and a keyboard. However, the operation unit 110 may be an input device (for example, a touch panel, a button, etc.) other than the mouse and the keyboard.

制御部130は、CPU(Central Processing Unit)などを含み、図示しない記憶部により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部130は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。 The control unit 130 includes a CPU (Central Processing Unit) and the like, and its function can be realized by a program stored in a storage unit (not shown) expanded by the CPU into a RAM (Random Access Memory) and executed. .. At this time, a computer-readable recording medium on which the program is recorded may also be provided. Alternatively, the control unit 130 may be configured by dedicated hardware or may be configured by a combination of a plurality of hardware.

ここで、図3に示されるように、制御部130は、情報取得部131、動体分別部132、記憶制御部133、危険性判定部134、誤差判定部135、および、表示制御部136を備える。制御部130が備える、これらの各機能部の詳細については、後に説明する。 Here, as shown in FIG. 3, the control unit 130 includes an information acquisition unit 131, a moving body sorting unit 132, a memory control unit 133, a risk determination unit 134, an error determination unit 135, and a display control unit 136. .. Details of each of these functional units included in the control unit 130 will be described later.

なお、かかる図示しない記憶部は、制御部130を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、かかる図示しない記憶部は、制御部130の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。 The storage unit (not shown) is a storage device capable of storing programs and data for operating the control unit 130. Further, the storage unit (not shown) can temporarily store various data required in the process of operation of the control unit 130. For example, the storage device may be a non-volatile storage device.

また、図3に示されるように、計測結果記憶部124は、作業者計測結果記憶部125および重機計測結果記憶部126を有している。ここで、作業者計測結果記憶部125および重機計測結果記憶部126の他、センサ対応情報記憶部121、物体情報記憶部122および作業工程情報記憶部123の詳細については、後に説明する。 Further, as shown in FIG. 3, the measurement result storage unit 124 has an operator measurement result storage unit 125 and a heavy equipment measurement result storage unit 126. Here, in addition to the worker measurement result storage unit 125 and the heavy machine measurement result storage unit 126, the details of the sensor-compatible information storage unit 121, the object information storage unit 122, and the work process information storage unit 123 will be described later.

表示部140は、制御部130による制御に従って出力を行う機能を有する。例えば、表示部140は、制御部130によって生成された画面を出力することが可能である。ここで、表示部140の形態は特に限定されない。例えば、表示部140は、CRT(Cathode Ray Tube)ディスプレイ装置であってもよいし、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。 The display unit 140 has a function of outputting according to the control of the control unit 130. For example, the display unit 140 can output the screen generated by the control unit 130. Here, the form of the display unit 140 is not particularly limited. For example, the display unit 140 may be a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a CRT (Cathode Ray Tube) device. It may be a display device such as a lamp.

その他、作業現場監視装置10は、図示しない通信部を備える。かかる図示しない通信部は、カメラ21-1、カメラ21-2、LiDARセンサ22-1、および、LiDARセンサ22-2との間で通信を行う通信インタフェースであってよい。本発明の実施形態においては、図示しない通信部が有線による通信を行う場合を主に想定するが、図示しない通信部は、無線による通信を行ってもよい。 In addition, the work site monitoring device 10 includes a communication unit (not shown). The communication unit (not shown) may be a communication interface for communicating with the camera 21-1, the camera 21-2, the LiDAR sensor 22-1, and the LiDAR sensor 22-2. In the embodiment of the present invention, it is mainly assumed that a communication unit (not shown) performs wired communication, but the communication unit (not shown) may perform wireless communication.

なお、図3に示した例では、操作部110、センサ対応情報記憶部121、物体情報記憶部122、作業工程情報記憶部123、計測結果記憶部124、制御部130および表示部140が、作業現場監視装置10の内部に設けられている。しかし、これらの機能部の一部または全部は、作業現場監視装置10の外部に設けられていてもよい。 In the example shown in FIG. 3, the operation unit 110, the sensor-compatible information storage unit 121, the object information storage unit 122, the work process information storage unit 123, the measurement result storage unit 124, the control unit 130, and the display unit 140 work. It is provided inside the site monitoring device 10. However, some or all of these functional units may be provided outside the work site monitoring device 10.

以上、本発明の実施形態に係る作業現場監視装置10の機能構成例について説明した。 The functional configuration example of the work site monitoring apparatus 10 according to the embodiment of the present invention has been described above.

(1-3.作業現場監視装置の機能詳細例)
続いて、本発明の実施形態に係る作業現場監視装置10の機能詳細について説明する。まず、センサ対応情報記憶部121によって記憶されているセンサ対応情報、物体情報記憶部122によって記憶されている物体情報、および、作業工程情報記憶部123によって記憶されている作業工程情報の例について説明する。
(1-3. Detailed functional example of work site monitoring device)
Subsequently, the functional details of the work site monitoring device 10 according to the embodiment of the present invention will be described. First, an example of sensor correspondence information stored by the sensor correspondence information storage unit 121, object information stored by the object information storage unit 122, and work process information stored by the work process information storage unit 123 will be described. do.

(センサ対応情報)
図4は、センサ対応情報記憶部121によって記憶されているセンサ対応情報の例を示す図である。図4に示されるように、センサ対応情報記憶部121は、LiDAR座標とカメラ座標とが対応付けられてなるセンサ対応情報をあらかじめ記憶している。このようなセンサ対応情報は、どのようにして生成されてもよい。
(Sensor support information)
FIG. 4 is a diagram showing an example of sensor correspondence information stored by the sensor correspondence information storage unit 121. As shown in FIG. 4, the sensor correspondence information storage unit 121 stores in advance the sensor correspondence information in which the LiDAR coordinates and the camera coordinates are associated with each other. Such sensor correspondence information may be generated in any way.

例えば、実空間に対象物体が配置され、対象物体の座標がそれぞれの座標系(すなわち、実空間座標系、LiDAR座標系およびカメラ座標系)で計測された場合、実空間座標系、LiDAR座標系およびカメラ座標系が対応付けられる。かかる対応関係に基づいて、LiDAR座標系から実空間座標系への変換行列、カメラ座標系から実空間座標系への変換行列があらかじめ算出されて保存される。そうすれば、これらの変換行列を用いて、LiDAR座標系における物体の位置から実空間における物体の位置が特定され、カメラ座標系における物体の位置から実空間における物体の位置を特定され得る。 For example, when the target object is placed in the real space and the coordinates of the target object are measured in the respective coordinate systems (that is, the real space coordinate system, the LiDAR coordinate system, and the camera coordinate system), the real space coordinate system and the LiDAR coordinate system. And the camera coordinate system are associated. Based on this correspondence, the transformation matrix from the LiDAR coordinate system to the real space coordinate system and the transformation matrix from the camera coordinate system to the real space coordinate system are calculated and stored in advance. Then, using these transformation matrices, the position of the object in the real space can be specified from the position of the object in the LiDAR coordinate system, and the position of the object in the real space can be specified from the position of the object in the camera coordinate system.

同様にして、LiDAR座標系からカメラ座標系への変換行列があらかじめ算出されて保存されていれば、かかる変換行列を用いて、LiDAR座標系における物体領域に対応する、カメラ座標系における物体領域が特定され得る。 Similarly, if the transformation matrix from the LiDAR coordinate system to the camera coordinate system is calculated and stored in advance, the object region in the camera coordinate system corresponding to the object region in the LiDAR coordinate system can be obtained by using the transformation matrix. Can be identified.

(物体情報)
図5は、物体情報記憶部122によって記憶されている物体情報の例を示す図である。図5に示されるように、物体情報記憶部122は、物体を示す情報の例としての物体名と、その物体の特徴量とが対応付けられてなる物体情報をあらかじめ記憶している。図5に示された例では、重機70の特徴量の例として、トラック、ショベルカー、ミキサー車それぞれの特徴量があらかじめ登録され、作業者60の特徴量があらかじめ登録されている。しかし、以下においても説明するように、物体の特徴量が利用されない場合には、物体情報記憶部122は存在しなくてもよい。
(Object information)
FIG. 5 is a diagram showing an example of object information stored by the object information storage unit 122. As shown in FIG. 5, the object information storage unit 122 stores in advance object information in which an object name as an example of information indicating an object and a feature amount of the object are associated with each other. In the example shown in FIG. 5, as an example of the feature amount of the heavy machine 70, the feature amount of each of the truck, the excavator car, and the mixer truck is registered in advance, and the feature amount of the worker 60 is registered in advance. However, as will be described below, the object information storage unit 122 may not exist when the feature amount of the object is not used.

(作業工程情報)
図6は、作業工程情報記憶部123によって記憶されている作業工程情報の例を示す図である。図6に示されるように、作業工程情報記憶部123は、作業順序と、作業時間と、作業工程名と、動作重機名と、区画名とが対応付けられてなる作業工程情報をあらかじめ記憶している。ここで、作業工程名は、作業工程を示す情報の例である。動作重機名は、作業工程において動作する重機を示す情報の例である。区画名は、作業工程が実行される区画を示す情報の例である。
(Work process information)
FIG. 6 is a diagram showing an example of work process information stored by the work process information storage unit 123. As shown in FIG. 6, the work process information storage unit 123 stores in advance work process information in which the work order, the work time, the work process name, the operation heavy machine name, and the section name are associated with each other. ing. Here, the work process name is an example of information indicating the work process. The operating heavy machine name is an example of information indicating a heavy machine operating in a work process. The parcel name is an example of information indicating the parcel in which the work process is executed.

作業工程情報の各項目は、必要に応じて設けられればよい。例えば、作業順序が利用されない場合には、作業工程情報に作業順序が含まれていなくてもよいし、作業時間が利用されない場合には、作業工程情報に作業時間が含まれていなくてもよいし、区画名が利用されない場合には、作業工程情報に区画名が含まれていなくてもよい。また、図6に示された例では、作業工程情報に動作重機名が含まれている。しかし、作業工程ごとに作業者が決まっている場合などには、動作重機名の代わりに、または、動作重機名に追加して、作業工程情報に作業者名が含まれてもよい。 Each item of work process information may be provided as needed. For example, if the work order is not used, the work process information may not include the work order, and if the work time is not used, the work process information may not include the work time. However, when the section name is not used, the section name may not be included in the work process information. Further, in the example shown in FIG. 6, the operation heavy machine name is included in the work process information. However, when the worker is determined for each work process, the worker name may be included in the work process information instead of or in addition to the operation heavy machine name.

作業工程情報記憶部123によって記憶されている作業工程情報は、作業者60によって確認され得る。例えば、作業者60は、表示部140によって作業工程情報が表示された場合、表示された作業工程情報を閲覧することによって作業工程情報を確認してから、自身が実行すべき作業工程を実行することが可能である。なお、作業工程情報は、どのようにして作業者60によって確認されてもよい。例えば、作業工程情報が紙に印字された場合、作業者60は、紙に印字された作業工程情報を閲覧することによって作業工程情報を確認してもよい。 The work process information stored by the work process information storage unit 123 can be confirmed by the worker 60. For example, when the work process information is displayed by the display unit 140, the worker 60 confirms the work process information by browsing the displayed work process information, and then executes the work process to be executed by himself / herself. It is possible. The work process information may be confirmed by the worker 60 in any way. For example, when the work process information is printed on paper, the worker 60 may confirm the work process information by viewing the work process information printed on the paper.

図7は、作業工程表示画面の例を示す図である。作業者60によって、作業工程表示操作(例えば、図示しない作業工程表示ボタンなどを選択する操作など)がなされ、操作部110によって作業工程表示操作が受け付けられると、図7に示されるように、表示部140は、作業工程表示画面U10を表示することが可能である。作業工程表示画面U10には、作業時間とその作業時間に実行される作業工程(または、作業工程無し)との対応関係が含まれる。 FIG. 7 is a diagram showing an example of a work process display screen. When the work process display operation (for example, the operation of selecting a work process display button (not shown)) is performed by the worker 60 and the work process display operation is accepted by the operation unit 110, the work process display operation is displayed as shown in FIG. The unit 140 can display the work process display screen U10. The work process display screen U10 includes a correspondence relationship between the work time and the work process (or no work process) executed during the work time.

(情報取得部)
情報取得部131は、非接触により検知可能なセンサによって検知されたセンシング結果を取得する。より詳細には、情報取得部131は、カメラ21による作業現場80の撮像結果(動画)をカメラ21から取得するとともに、LiDARセンサ22による作業現場80の計測結果をLiDARセンサ22から取得する。
(Information acquisition department)
The information acquisition unit 131 acquires the sensing result detected by the sensor that can be detected by non-contact. More specifically, the information acquisition unit 131 acquires the image pickup result (moving image) of the work site 80 by the camera 21 from the camera 21 and the measurement result of the work site 80 by the LiDAR sensor 22 from the LiDAR sensor 22.

(動体分別部)
動体分別部132は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に対応して(例えば、作業工程情報における作業工程の作業順序に対応する順序に、または、作業工程情報における作業工程の作業時間に対応する時間に)、作業現場80において非接触による検知がなされると、非接触による検知に基づく動体の動きを作業者60の動きと重機70の動きとに分別して作業現場計測データを得る。
(Dynamic sorting part)
The moving body sorting unit 132 corresponds to the work process information (first work process information) registered in the work process information storage unit 123 in advance (for example, in the order corresponding to the work order of the work process in the work process information). Or, when the non-contact detection is performed at the work site 80 (at the time corresponding to the work time of the work process in the work process information), the movement of the moving body based on the non-contact detection is detected by the movement of the worker 60 and the movement of the heavy machine 70. Obtain work site measurement data by separating it into movements.

より詳細には、動体分別部132は、センシング結果に基づいて物体を検出し、物体の検出結果に基づいて物体の位置を特定し、物体の位置に基づいて物体の種類を識別する。これによって、動体の動きが特定される。センシング結果に基づく物体は、どのように検出されてもよい。本発明の実施形態では、動体分別部132が、カメラ21による作業現場80の撮像結果に基づく物体の検出と、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出との双方を用いる場合を主に説明する。しかし、カメラ21による作業現場80の撮像結果に基づく物体の検出が単独で行われてもよいし、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出が単独で行われてもよい。 More specifically, the moving object sorting unit 132 detects an object based on the sensing result, identifies the position of the object based on the detection result of the object, and identifies the type of the object based on the position of the object. This identifies the movement of the moving object. An object based on the sensing result may be detected in any way. In the embodiment of the present invention, the moving body sorting unit 132 uses both the detection of the object based on the image pickup result of the work site 80 by the camera 21 and the detection of the object based on the measurement result of the work site 80 by the LiDAR sensor 22. Will be mainly explained. However, the camera 21 may independently detect the object based on the image pickup result of the work site 80, or the LiDAR sensor 22 may independently detect the object based on the measurement result of the work site 80.

ここで、カメラ21による作業現場80の撮像結果に基づいて物体を検出する手法には、検出すべき物体のテンプレート画像によるテンプレートマッチング手法、HOG(Histograms of Oriented Gradients)などのエッジの特徴を利用した手法、検出すべき物体の大量の学習データを用いたCNN(Convolutional Neural Network)などの深層学習によって物体を検出する手法などがある。CNNは、近年その精度の高さからよく用いられる手法である。 Here, as a method for detecting an object based on the image pickup result of the work site 80 by the camera 21, edge features such as a template matching method using a template image of an object to be detected and HOG (Histograms of Oriented Languages) are used. There are a method, a method of detecting an object by deep learning such as CNN (Convolutional Neural Network) using a large amount of learning data of an object to be detected, and the like. CNN is a method often used in recent years due to its high accuracy.

一方、LiDARセンサ22による作業現場80の計測結果に基づいて物体を検出する手法には、LiDARセンサ22による作業現場80の計測結果から背景および地面の部分を取り除き、残った部分から、所定の大きさ以上の大きさを持つ領域を検出する手法などある。 On the other hand, in the method of detecting an object based on the measurement result of the work site 80 by the LiDAR sensor 22, the background and the ground part are removed from the measurement result of the work site 80 by the LiDAR sensor 22, and the remaining part has a predetermined size. There is a method to detect an area with a size larger than that.

さらに、カメラ21による作業現場80の撮像結果に基づく物体の検出と、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出との双方を用いる場合を説明する。作業者60と重機70とが近づいて存在する場合には、LiDARセンサ22による計測結果からは作業者60と重機70との分離が難しい場合がある。LiDARセンサ22による物体領域の検出を行い、その物体領域からカメラ21による撮像結果に基づく物体の検出を行うことによって、作業者60と重機70との分離を行うことが可能となる。 Further, a case where both the detection of the object based on the image pickup result of the work site 80 by the camera 21 and the detection of the object based on the measurement result of the work site 80 by the LiDAR sensor 22 will be described. When the worker 60 and the heavy machine 70 are close to each other, it may be difficult to separate the worker 60 and the heavy machine 70 from the measurement result by the LiDAR sensor 22. By detecting the object area by the LiDAR sensor 22 and detecting the object from the object area based on the image pickup result by the camera 21, the worker 60 and the heavy machine 70 can be separated from each other.

図8は、カメラ21による作業現場80の撮像結果に基づく物体の検出について説明するための図である。図9は、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出について説明するための図である。図9を参照すると、LiDARセンサによる計測結果K2が示されている。LiDARセンサによる計測結果K2には、作業者60および重機70が含まれている。動体分別部132は、LiDARセンサによる計測結果K2から、作業者60を含む物体領域Qaと重機70を含む物体領域Qbとを検出することが可能である。 FIG. 8 is a diagram for explaining the detection of an object based on the image pickup result of the work site 80 by the camera 21. FIG. 9 is a diagram for explaining the detection of an object based on the measurement result of the work site 80 by the LiDAR sensor 22. Referring to FIG. 9, the measurement result K2 by the LiDAR sensor is shown. The measurement result K2 by the LiDAR sensor includes the worker 60 and the heavy equipment 70. The moving body sorting unit 132 can detect the object region Qa including the worker 60 and the object region Qb including the heavy equipment 70 from the measurement result K2 by the LiDAR sensor.

続いて、図8に示されるように、動体分別部132は、このようにして検出した物体領域Qaと変換行列とに基づいて、物体領域Qaに対応する、カメラによる撮像結果K1における物体領域Raを算出することが可能である。同様にして、動体分別部132は、このようにして検出した物体領域Qbと変換行列とに基づいて、物体領域Qbに対応する、カメラによる撮像結果K1における物体領域Rbを算出することが可能である。動体分別部132は、物体領域Raから物体(作業者60に相当)を検出し、物体領域Rbから物体(重機70に相当)を検出することによって、両物体の分離を行うことが可能となる。 Subsequently, as shown in FIG. 8, the moving object sorting unit 132 corresponds to the object region Qa based on the object region Qa and the transformation matrix detected in this way, and the object region Ra in the image pickup result K1 by the camera corresponds to the object region Qa. Can be calculated. Similarly, the moving object sorting unit 132 can calculate the object region Rb in the image pickup result K1 by the camera corresponding to the object region Qb based on the object region Qb and the transformation matrix detected in this way. be. The moving body sorting unit 132 can separate both objects by detecting an object (corresponding to a worker 60) from the object region Ra and detecting an object (corresponding to a heavy machine 70) from the object region Rb. ..

続いて、動体分別部132は、物体の検出結果に基づいて物体の位置を特定する。例えば、動体分別部132は、カメラによる撮像結果K1から物体(作業者60に相当)を検出した場合、カメラによる撮像結果K1における物体(作業者60に相当)の位置と変換行列とに基づいて、実空間における物体(作業者60に相当)の位置を特定すればよい。なお、動体分別部132が、LiDARセンサによる計測結果K2から物体(作業者60に相当)を検出した場合には、LiDARセンサによる計測結果K2における物体(作業者60に相当)の位置と変換行列とに基づいて、実空間における作業者60の位置を特定すればよい。 Subsequently, the moving body sorting unit 132 identifies the position of the object based on the detection result of the object. For example, when the moving object sorting unit 132 detects an object (corresponding to the worker 60) from the image pickup result K1 by the camera, it is based on the position of the object (corresponding to the worker 60) and the transformation matrix in the image pickup result K1 by the camera. , The position of the object (corresponding to the worker 60) in the real space may be specified. When the moving body sorting unit 132 detects an object (corresponding to the worker 60) from the measurement result K2 by the LiDAR sensor, the position and conversion matrix of the object (corresponding to the worker 60) in the measurement result K2 by the LiDAR sensor. Based on the above, the position of the worker 60 in the real space may be specified.

続いて、動体分別部132は、特定した物体の位置に基づいて物体の種類を識別する。具体的には、動体分別部132は、特定した物体の種類が作業者60であるか、重機70であるかを識別することが可能である。さらに、動体分別部132は、物体の種類が重機70であると識別した場合には、重機70の種類(例えば、ミキサー車、トラック、ショベルカーなど)を識別することも可能である。 Subsequently, the moving body sorting unit 132 identifies the type of the object based on the position of the specified object. Specifically, the moving body sorting unit 132 can identify whether the type of the specified object is the worker 60 or the heavy machine 70. Further, when the moving body sorting unit 132 identifies that the type of the object is the heavy machine 70, it is also possible to identify the type of the heavy machine 70 (for example, a mixer truck, a truck, an excavator car, etc.).

物体の種類は、どのように識別されてもよい。本発明の実施形態では、動体分別部132が、カメラ21による作業現場80の撮像結果に基づく物体の種類の識別と、LiDARセンサ22による作業現場80の計測結果に基づく物体の種類の識別との双方を用いる場合を主に説明する。しかし、カメラ21による作業現場80の撮像結果に基づく物体の種類の識別が単独で行われてもよいし、LiDARセンサ22による作業現場80の計測結果に基づく物体の種類の識別が単独で行われてもよい。 The type of object may be identified in any way. In the embodiment of the present invention, the moving body sorting unit 132 identifies the type of the object based on the image pickup result of the work site 80 by the camera 21 and the type of the object based on the measurement result of the work site 80 by the LiDAR sensor 22. The case where both are used will be mainly described. However, the identification of the object type based on the image pickup result of the work site 80 by the camera 21 may be performed independently, or the identification of the object type based on the measurement result of the work site 80 by the LiDAR sensor 22 is performed independently. You may.

ここで、カメラ21による作業現場80の撮像結果に基づいて物体の種類を識別する手法には、識別すべき種類の物体のテンプレート画像によるテンプレートマッチング手法、CNNなどの深層学習によって物体の種類を識別する手法、識別すべき種類の物体の画像の特徴量(例えば、物体の大きさ、縦横比、形状など)を用いる手法などがある。かかる特徴量は、図5に示されたように、物体情報記憶部122によって記憶されている。 Here, as a method for identifying the type of an object based on the image pickup result of the work site 80 by the camera 21, a template matching method using a template image of an object of the type to be identified, and a deep learning such as CNN are used to identify the type of the object. There is a method of using an image feature amount (for example, object size, aspect ratio, shape, etc.) of an object of a type to be identified. As shown in FIG. 5, such a feature amount is stored by the object information storage unit 122.

一方、LiDARセンサ22による作業現場80の計測結果に基づいて物体の種類を識別する手法には、LiDARセンサ22による作業現場80の計測結果に写る物体のサイズから、物体の種類(例えば、作業者60および重機70など)を識別する手法がある。また、LiDARセンサ22による作業現場80の計測結果に基づいて物体の種類を識別する手法には、計測結果に写る物体の3次元形状データから、物体の種類(例えば、作業者60、重機70、重機70の種類など)を識別する手法などある。 On the other hand, in the method of identifying the type of the object based on the measurement result of the work site 80 by the LiDAR sensor 22, the type of the object (for example, the worker) is based on the size of the object reflected in the measurement result of the work site 80 by the LiDAR sensor 22. There is a method for identifying (60, heavy equipment 70, etc.). Further, in the method of identifying the type of the object based on the measurement result of the work site 80 by the LiDAR sensor 22, the type of the object (for example, the worker 60, the heavy machine 70, the worker 60, the heavy machine 70, from the three-dimensional shape data of the object reflected in the measurement result). There is a method for identifying the type of heavy machine 70, etc.).

(記憶制御部)
記憶制御部133は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に作業現場計測データを紐付けて、作業現場計測データを計測結果記憶部124に記憶させる。具体的に、記憶制御部133は、作業現場計測データが計測された順序に対応する作業順序の作業工程、または、作業現場計測データが計測された時間に対応する作業時間に、作業現場計測データを紐付ける。このとき、記憶制御部133は、作業者60の動きを作業者計測結果記憶部125に記憶させるとともに、重機70の動きを重機計測結果記憶部126に記憶させる。
(Memory control unit)
The storage control unit 133 associates the work site measurement data with the work process information (first work process information) registered in the work process information storage unit 123 in advance, and stores the work site measurement data in the measurement result storage unit 124. Let me. Specifically, the memory control unit 133 sets the work site measurement data in the work process of the work order corresponding to the order in which the work site measurement data is measured, or in the work time corresponding to the time in which the work site measurement data is measured. To link. At this time, the storage control unit 133 stores the movement of the worker 60 in the worker measurement result storage unit 125 and stores the movement of the heavy machine 70 in the heavy equipment measurement result storage unit 126.

かかる作業工程情報と作業現場計測データとの対応関係(作業工程情報と作業者60の動きおよび重機70の動きとの対応関係)は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程情報と作業者60の動きおよび重機70の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。したがって、作業工程情報と作業現場計測データとの対応関係は、作業工程の効率化のために有用なデータとなり得る。 The correspondence relationship between the work process information and the work site measurement data (the correspondence relationship between the work process information and the movement of the worker 60 and the movement of the heavy machine 70) is also used for grasping the danger of the work process and reviewing the work process. Can be used. For example, the correspondence between the work process information and the movement of the worker 60 and the movement of the heavy machine 70 can also be used to improve the dangerous work process. Therefore, the correspondence between the work process information and the work site measurement data can be useful data for improving the efficiency of the work process.

また、記憶制御部133は、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて作業工程情報(第2の作業工程情報)を認識することが可能である。本発明の実施形態においては、記憶制御部133が、センシング結果から重機70を認識すると、重機70に対応する作業工程が実行されていると認識する場合を主に想定する。図6に示された例において、記憶制御部133は、重機70として、作業工程G3に対応する重機「ミキサー車」が検出された場合、重機70に対応する作業工程G3が実行されていると認識してよい。 Further, the memory control unit 133 can recognize the work process information (second work process information) based on the sensing result detected by the sensor that can be detected by non-contact. In the embodiment of the present invention, it is mainly assumed that when the storage control unit 133 recognizes the heavy machine 70 from the sensing result, it recognizes that the work process corresponding to the heavy machine 70 is being executed. In the example shown in FIG. 6, when the storage control unit 133 detects the heavy machine "mixer truck" corresponding to the work process G3 as the heavy machine 70, the work process G3 corresponding to the heavy machine 70 is executed. You may recognize it.

しかし、記憶制御部133は、作業者60に基づいて、作業者60の動きに対応する作業工程を認識してもよい。一例として、記憶制御部133が、センシング結果から作業工程G1に対応する作業者60を認識すると、作業工程G1が実行されていると認識してもよい。なお、作業者60の種類の識別はどのようになされてもよい。例えば、作業工程によって作業者の衣服の色が異なる場合、カメラ21による撮像結果から認識される衣服の色によって、作業者60の種類が識別されてよい。 However, the memory control unit 133 may recognize the work process corresponding to the movement of the worker 60 based on the worker 60. As an example, when the memory control unit 133 recognizes the worker 60 corresponding to the work process G1 from the sensing result, it may recognize that the work process G1 is being executed. The type of the worker 60 may be identified in any way. For example, when the color of the worker's clothes differs depending on the work process, the type of the worker 60 may be identified by the color of the clothes recognized from the image pickup result by the camera 21.

記憶制御部133は、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)を、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に関連付ける。より具体的に、記憶制御部133は、作業工程情報(第1の作業工程情報)において、センシング結果から認識された作業工程と(作業順序または作業時間が)対応する作業工程に対して、当該認識した作業工程を関連付けてよい。 The storage control unit 133 stores the work process information (second work process information) recognized based on the sensing result detected by the sensor that can be detected by non-contact by the work process information storage unit 123. It is associated with process information (first work process information). More specifically, the memory control unit 133 corresponds to the work process (work order or work time) corresponding to the work process recognized from the sensing result in the work process information (first work process information). Recognized work processes may be associated.

(危険性判定部)
危険性判定部134は、作業者60の動きおよび重機70の動きの少なくともいずれか一方に基づいて、重機70による作業者60に対する危険性を判定する。このようにして、重機70による作業者60に対する危険性が自動的に判定されれば、作業工程の危険性がより容易に把握できるようになる。
(Danger judgment unit)
The danger determination unit 134 determines the danger to the worker 60 by the heavy machine 70 based on at least one of the movement of the worker 60 and the movement of the heavy machine 70. In this way, if the danger to the worker 60 by the heavy machine 70 is automatically determined, the danger of the work process can be more easily grasped.

一例として、重機70の動きが有る場合には、重機70の動きが無い場合と比較して、重機70による作業者60に対する危険性が高いことが想定される。そこで、危険性判定部134は、重機70の動きが有るか否かに基づいて、危険性(作業者60が危険な状態であるか否か)を判定してもよい。例えば、危険性判定部134は、上記のようにして得られた重機70の動きに基づいて、重機70の動きが有るか否かを認識してよい。 As an example, when the heavy machine 70 is moving, it is assumed that the risk to the worker 60 by the heavy machine 70 is higher than when the heavy machine 70 is not moving. Therefore, the danger determination unit 134 may determine the danger (whether or not the worker 60 is in a dangerous state) based on whether or not the heavy equipment 70 is moving. For example, the danger determination unit 134 may recognize whether or not there is a movement of the heavy machine 70 based on the movement of the heavy machine 70 obtained as described above.

なお、重機70の動きが有る状態には、重機70が移動している状態の他、重機70の一部が動いている状態、重機70が即座に動き始めることが可能な状態(例えば、起動中の状態、スタンバイ状態など)などが含まれてよい。重機70が即座に動き始めることが可能な状態は、どのようにして認識されてもよい。 The state in which the heavy machine 70 is moving includes a state in which the heavy machine 70 is moving, a state in which a part of the heavy machine 70 is moving, and a state in which the heavy machine 70 can start moving immediately (for example, activation). Medium state, standby state, etc.) may be included. The state in which the heavy machine 70 can start moving immediately may be recognized in any way.

例えば、危険性判定部134は、重機70が即座に動き始めることが可能な状態において、重機70に取り付けられた所定のライトが点灯する場合には、カメラ21による撮像結果、および、LiDARセンサ22による計測結果の少なくともいずれか一方に基づいて、重機70の所定のライト点灯を認識した場合に、重機70が即座に動き始めることが可能な状態であると判定してもよい。 For example, when the predetermined light attached to the heavy machine 70 is turned on in a state where the heavy machine 70 can start moving immediately, the danger determination unit 134 gives an image pickup result by the camera 21 and a LiDAR sensor 22. When the predetermined light lighting of the heavy machine 70 is recognized based on at least one of the measurement results by, it may be determined that the heavy machine 70 is in a state where it can immediately start moving.

他の一例として、作業者60と重機70との距離が閾値を下回る場合には、作業者60と重機70との距離が閾値以上である場合と比較して、重機70による作業者60に対する危険性が高いことが想定される。そこで、危険性判定部134は、作業者60と重機70との距離が閾値を下回るか否かに基づいて、危険性(作業者60が危険な状態であるか否か)を判定してもよい。例えば、危険性判定部134は、上記のようにして得られた作業者60および重機70それぞれの動きに基づいて、作業者60と重機70との距離を算出してよい。 As another example, when the distance between the worker 60 and the heavy machine 70 is less than the threshold value, the danger to the worker 60 by the heavy machine 70 is compared with the case where the distance between the worker 60 and the heavy machine 70 is equal to or more than the threshold value. It is assumed that the sex is high. Therefore, even if the danger determination unit 134 determines the danger (whether or not the worker 60 is in a dangerous state) based on whether or not the distance between the worker 60 and the heavy machine 70 is below the threshold value. good. For example, the danger determination unit 134 may calculate the distance between the worker 60 and the heavy machine 70 based on the movements of the worker 60 and the heavy machine 70 obtained as described above.

図10は、作業者60の動きと重機70の動きとの対応関係の例を示す図である。図10に示された例では、作業現場80における作業者60の上方から見た動き(作業者60のxy平面における動き)が実線によって表現されており、作業現場80における重機70の上方から見た動き(重機70のxy平面における動き)が破線によって表現されている。 FIG. 10 is a diagram showing an example of the correspondence between the movement of the worker 60 and the movement of the heavy equipment 70. In the example shown in FIG. 10, the movement of the worker 60 seen from above at the work site 80 (movement of the worker 60 in the xy plane) is represented by a solid line, and is represented by a solid line, and is seen from above the heavy machine 70 at the work site 80. The movement (movement of the heavy machine 70 in the xy plane) is represented by a broken line.

図10を参照すると、時刻T31および時刻T32においては、作業者60と重機70との距離が閾値Dth以上であるため、作業者60が危険な状態ではないと考えられる。一方、時刻T33においては、作業者60と重機70との距離が閾値Dthを下回っているため、作業者60が危険な状態であると考えられる。なお、閾値Dthは、重機70の種類に応じて不変であってもよいし、可変であってもよい。 Referring to FIG. 10, at time T31 and time T32, since the distance between the worker 60 and the heavy machine 70 is equal to or greater than the threshold value Dth, it is considered that the worker 60 is not in a dangerous state. On the other hand, at time T33, since the distance between the worker 60 and the heavy machine 70 is below the threshold value Dth, it is considered that the worker 60 is in a dangerous state. The threshold Dth may be invariant or variable depending on the type of the heavy machine 70.

また、他の一例として、重機70の動きが有る場合、かつ、作業者60と重機70との距離が閾値を下回る場合には、重機70の動きが無い場合、または、作業者60と重機70との距離が閾値以上である場合と比較して、重機70による作業者60に対する危険性が高いことが想定される。そこで、危険性判定部134は、重機70の動きが有る場合、かつ、作業者60と重機70との距離が閾値を下回る場合には、危険性が有る(作業者60が危険な状態である)と判定してよい。一方、危険性判定部134は、重機70の動きが無い場合、または、作業者60と重機70との距離が閾値以上である場合には、危険性が無い(作業者60が危険な状態ではない)と判定してよい。 Further, as another example, when there is movement of the heavy machine 70 and the distance between the worker 60 and the heavy machine 70 is below the threshold value, there is no movement of the heavy machine 70, or the worker 60 and the heavy machine 70 are not moving. It is assumed that there is a higher risk to the worker 60 due to the heavy machine 70 than when the distance to and from is greater than or equal to the threshold value. Therefore, the danger determination unit 134 has a danger when the heavy machine 70 moves and the distance between the worker 60 and the heavy machine 70 is less than the threshold value (the worker 60 is in a dangerous state). ) May be determined. On the other hand, the danger determination unit 134 has no danger when the heavy machine 70 does not move or when the distance between the worker 60 and the heavy machine 70 is equal to or larger than the threshold value (when the worker 60 is in a dangerous state). It may be determined that there is no such thing.

例えば、危険性判定部134は、作業者60の動きのうち、ある時刻において危険性が有る(作業者60が危険な状態である)と判定した場合には、作業者60の動き(または、重機70の動き)のうち、危険性が有ると判定した時刻の動きに対して、危険性が有ることを示すフラグを関連付けてもよい。 For example, when the danger determination unit 134 determines that there is a danger (the worker 60 is in a dangerous state) at a certain time among the movements of the worker 60, the movement of the worker 60 (or the movement of the worker 60). Of the movements of the heavy machine 70), a flag indicating that there is a danger may be associated with the movement at a time when it is determined that there is a danger.

(誤差判定部)
誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)とに基づいて、第1の作業工程情報と第2の作業工程情報との差分を第2の作業工程情報の誤差として判定する。かかる構成によれば、誤差を確認することによって、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)の通りに、作業現場80における作業工程が実行された度合いが把握され得る。
(Error judgment unit)
The error determination unit 135 is a work recognized based on the work process information (first work process information) stored by the work process information storage unit 123 and the sensing result detected by the sensor that can be detected by non-contact. Based on the process information (second work process information), the difference between the first work process information and the second work process information is determined as an error of the second work process information. According to this configuration, by confirming the error, the degree to which the work process at the work site 80 is executed according to the work process information (first work process information) stored by the work process information storage unit 123. Can be grasped.

例えば、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)、および、センシング結果に基づいて認識された作業工程情報(第2の作業工程情報)において、作業順序または作業時間が対応する作業工程同士が一致するか否かに基づいて、第2の作業工程情報の誤差を判定してよい。 For example, the error determination unit 135 has the work process information (first work process information) stored by the work process information storage unit 123 and the work process information recognized based on the sensing result (second work process). In the information), the error of the second work process information may be determined based on whether or not the work processes corresponding to the work order or the work time match each other.

図11は、センシング結果に基づいて認識された作業工程情報(第2の作業工程情報)の例を示す図である。図11を参照すると、作業順序「1」、作業時間「T1~T2」においては、作業現場80に重機70「トラック」が存在しており、重機70「トラック」に対応する作業工程G1が認識されている。この作業工程G1は、図6に示されるように、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)において、作業順序(または作業時間)が対応する作業工程G1と同一であるため、作業現場80において予定通りに作業工程G1が実行されたことが把握される。 FIG. 11 is a diagram showing an example of work process information (second work process information) recognized based on the sensing result. Referring to FIG. 11, in the work order “1” and the work time “T1 to T2”, the heavy machine 70 “truck” exists at the work site 80, and the work process G1 corresponding to the heavy machine 70 “truck” is recognized. Has been done. As shown in FIG. 6, the work process G1 is a work process corresponding to the work order (or work time) in the work process information (first work process information) stored by the work process information storage unit 123. Since it is the same as G1, it is understood that the work process G1 is executed as scheduled at the work site 80.

また、図11を参照すると、作業順序「2」、作業時間「T2~T3」においては、作業現場80に重機70「ショベルカー、トラック」が存在しており、重機70「ショベルカー、トラック」に対応する作業工程G2が認識されている。この作業工程G2は、図6に示されるように、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)において、作業順序(または作業時間)が対応する作業工程G2と同一であるため、作業現場80において予定通りに作業工程G2が実行されたことが把握される。 Further, referring to FIG. 11, in the work order “2” and the work time “T2 to T3”, the heavy machine 70 “excavator car, truck” exists at the work site 80, and the heavy machine 70 “excavator car, truck”. The work process G2 corresponding to the above is recognized. As shown in FIG. 6, the work process G2 is a work process corresponding to the work order (or work time) in the work process information (first work process information) stored by the work process information storage unit 123. Since it is the same as G2, it is understood that the work process G2 is executed as scheduled at the work site 80.

一方、図11を参照すると、作業順序「3」、作業時間「T3~T4」においては、作業現場80に重機70「トラック」が存在しており、重機70「トラック」に対応する作業工程G1が認識されている。この作業工程G1は、図6に示されるように、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)において、作業順序(または作業時間)が対応する作業工程G3と異なるため、作業現場80において予定通りに作業工程G3が実行されなかったことが把握される。 On the other hand, referring to FIG. 11, in the work order “3” and the work time “T3 to T4”, the heavy machine 70 “truck” exists at the work site 80, and the work process G1 corresponding to the heavy machine 70 “truck” is present. Is recognized. As shown in FIG. 6, the work process G1 is a work process corresponding to the work order (or work time) in the work process information (first work process information) stored by the work process information storage unit 123. Since it is different from G3, it is understood that the work process G3 was not executed as scheduled at the work site 80.

なお、誤差判定部135による誤差判定の手法は、上記に限定されない。例えば、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に対応してあらかじめ用意された動きテンプレートと、作業現場計測データの少なくとも一部とに基づいて、作業現場計測データの一部の誤差を判定してもよい。例えば、誤差判定部135は、動きテンプレートと作業現場計測データの少なくとも一部との差分を、作業現場計測データの一部の誤差として判定してよい。 The method of error determination by the error determination unit 135 is not limited to the above. For example, the error determination unit 135 has a motion template prepared in advance corresponding to the work process information (first work process information) stored by the work process information storage unit 123, and at least a part of the work site measurement data. Based on the above, a part of the error of the work site measurement data may be determined. For example, the error determination unit 135 may determine the difference between the motion template and at least a part of the work site measurement data as an error of a part of the work site measurement data.

例えば、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に対応してあらかじめ用意された作業者60の動きテンプレートと、作業現場計測データに含まれる作業者60の動きとに基づいて、作業現場計測データに含まれる作業者60の動きの誤差を判定してもよい。例えば、誤差判定部135は、作業者60の動きテンプレートと作業現場計測データに含まれる作業者60の動きとの差分を、作業現場計測データに含まれる作業者60の動きの誤差として判定してよい。 For example, the error determination unit 135 includes a motion template of the worker 60 prepared in advance corresponding to the work process information (first work process information) stored by the work process information storage unit 123, and work site measurement data. The error of the movement of the worker 60 included in the work site measurement data may be determined based on the movement of the worker 60 included in the work site measurement data. For example, the error determination unit 135 determines the difference between the movement template of the worker 60 and the movement of the worker 60 included in the work site measurement data as an error of the movement of the worker 60 included in the work site measurement data. good.

あるいは、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に対応してあらかじめ用意された重機70の動きテンプレートと、作業現場計測データに含まれる重機70の動きとに基づいて、作業現場計測データに含まれる重機70の動きの誤差を判定してもよい。例えば、誤差判定部135は、重機70の動きテンプレートと作業現場計測データに含まれる重機70の動きとの差分を、作業現場計測データに含まれる重機70の動きの誤差として判定してよい。 Alternatively, the error determination unit 135 uses the movement template of the heavy machine 70 prepared in advance corresponding to the work process information (first work process information) stored by the work process information storage unit 123 and the work site measurement data. An error in the movement of the heavy machine 70 included in the work site measurement data may be determined based on the movement of the heavy machine 70 included. For example, the error determination unit 135 may determine the difference between the movement template of the heavy machine 70 and the movement of the heavy machine 70 included in the work site measurement data as an error of the movement of the heavy machine 70 included in the work site measurement data.

(表示制御部)
表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、対応する一部または全部の情報が、表示部140によって同時に表示されるように表示部140を制御する。これによって、作業工程と作業者の動きおよび作業者以外の動きとの対応関係が視覚的に把握しやすくなる。ここで、作業者60の動きおよび重機70の動きの少なくとも一方は、作業者60の動きであってもよいし、重機70の動きであってもよいし、作業者60の動きおよび重機70の動きの双方であってもよい。
(Display control unit)
The display control unit 136 corresponds to at least one of the work process information (first work process information) stored by the work process information storage unit 123 and the movement of the worker 60 and the movement of the heavy machine 70. The display unit 140 is controlled so that all the information is displayed simultaneously by the display unit 140. This makes it easier to visually grasp the correspondence between the work process, the movement of the worker, and the movement of the non-worker. Here, at least one of the movement of the worker 60 and the movement of the heavy machine 70 may be the movement of the worker 60, the movement of the heavy machine 70, the movement of the worker 60, and the movement of the heavy machine 70. It may be both movements.

また、作業工程情報(第1の作業工程情報)と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、対応する情報の一部または全部は、作業工程情報(第1の作業工程情報)における作業工程と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、作業時間と計測時間とが対応する情報の一部であってもよいし、全部であってもよい。 Further, in at least one of the work process information (first work process information) and the movement of the worker 60 and the movement of the heavy machine 70, a part or all of the corresponding information is the work process information (first work process information). ), The work time and the measurement time may be a part or all of the corresponding information in at least one of the movement of the worker 60 and the movement of the heavy machine 70.

図12は、結果データ表示画面の例を示す図である。図12を参照すると、表示制御部136によって、結果データ表示画面U20の表示が制御されている。結果データ表示画面U20は、移動実績表示領域U21と動線表示領域U22とを含んでいる。移動実績表示領域U21には、重機70の動きが有った時間が、時間軸に沿って重機移動実績として示されている。同様に、移動実績表示領域U21には、作業者60の動きが有った時間が、時間軸に沿って作業者移動実績として示されている。 FIG. 12 is a diagram showing an example of a result data display screen. Referring to FIG. 12, the display of the result data display screen U20 is controlled by the display control unit 136. The result data display screen U20 includes a movement record display area U21 and a flow line display area U22. In the movement record display area U21, the time during which the heavy machine 70 has moved is shown as the heavy machine movement record along the time axis. Similarly, in the movement record display area U21, the time during which the worker 60 has moved is shown as the worker movement record along the time axis.

また、移動実績表示領域U21には、危険性が有ることを示すフラグが関連付けられた時刻を基準として前後に所定の幅を有する時間帯が、危険時間帯U211として示されている。動線表示領域U22には、危険時間帯U211に対応する、作業者60の動き(作業者の動線)が実線によって示されている。動線表示領域U22には、危険時間帯U211に対応する、重機70の動き(重機の動線)が破線によって示されている。動線表示領域U22に示される、作業者60の動き(作業者の動線)および重機70の動き(重機の動線)は、時間経過に従って徐々に表示されるようにしてもよい。 Further, in the movement record display area U21, a time zone having a predetermined width before and after the time associated with the flag indicating that there is a danger is indicated as the danger time zone U211. In the flow line display area U22, the movement of the worker 60 (the flow line of the worker) corresponding to the dangerous time zone U211 is shown by a solid line. In the flow line display area U22, the movement of the heavy machine 70 (the flow line of the heavy machine) corresponding to the dangerous time zone U211 is indicated by a broken line. The movement of the worker 60 (the flow line of the worker) and the movement of the heavy machine 70 (the flow line of the heavy machine) shown in the flow line display area U22 may be gradually displayed over time.

また、表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)とセンシング結果に基づいて認識された第2の作業工程情報とにおいて、対応する情報の一部または全部が、表示部140によって同時に表示されるように表示部140を制御する。これによって、作業工程同士の対応関係が視覚的に把握しやすくなる。当該対応する情報の一部または全部は、作業工程情報(第1の作業工程情報)における作業工程と第2の作業工程情報とにおいて、作業順序または作業時間が対応する情報の一部であってもよいし、全部であってもよい。 Further, the display control unit 136 corresponds to the work process information (first work process information) stored by the work process information storage unit 123 and the second work process information recognized based on the sensing result. The display unit 140 is controlled so that a part or all of the information is displayed simultaneously by the display unit 140. This makes it easier to visually grasp the correspondence between work processes. A part or all of the corresponding information is a part of the information corresponding to the work order or the work time in the work process and the second work process information in the work process information (first work process information). It may be all or all.

図12を参照すると、結果データ表示画面U20は、作業工程表示領域U23を含んでいる。作業工程表示領域U23には、危険時間帯U211に実際に実行された作業工程名「作業工程G1」と、危険時間帯U211に実行されるはずであった作業工程名「作業工程G3」とが含まれている。なお、危険時間帯U211に実際に実行された作業工程名「作業工程G1」は、図11に示された例では、作業順序「3」に対応する作業工程G1に該当し、危険時間帯U211に実行されるはずであった作業工程名「作業工程G3」は、図6に示された例では、作業順序「3」に対応する作業工程G3に該当する。 Referring to FIG. 12, the result data display screen U20 includes a work process display area U23. In the work process display area U23, the work process name "work process G1" actually executed in the dangerous time zone U211 and the work process name "work process G3" that should have been executed in the dangerous time zone U211 are displayed. include. The work process name "work process G1" actually executed in the dangerous time zone U211 corresponds to the work process G1 corresponding to the work order "3" in the example shown in FIG. 11, and corresponds to the dangerous time zone U211. In the example shown in FIG. 6, the work process name “work process G3” that was supposed to be executed corresponds to the work process G3 corresponding to the work order “3”.

また、表示制御部136は、カメラ21による撮像結果およびLiDARセンサ22による計測結果の少なくともいずれか一方が、表示部140によって表示されるように表示部140を制御する。これによって、作業現場における作業者60および重機70の様子が視覚的に把握しやすくなる。図12に示された例では、結果データ表示画面U20に、画像表示ボタンU24が含まれており、画像表示ボタンU24を押下する操作によって、撮像結果および計測結果が表示されるようになっている。しかし、撮像結果および計測結果は、結果データ表示画面U20に含まれてもよい。 Further, the display control unit 136 controls the display unit 140 so that at least one of the image pickup result by the camera 21 and the measurement result by the LiDAR sensor 22 is displayed by the display unit 140. This makes it easier to visually grasp the state of the worker 60 and the heavy machine 70 at the work site. In the example shown in FIG. 12, the image display button U24 is included in the result data display screen U20, and the imaging result and the measurement result are displayed by the operation of pressing the image display button U24. .. However, the imaging result and the measurement result may be included in the result data display screen U20.

図13は、画像表示画面U30の例を示す図である。例えば、画像表示画面U30は、図12に示された画像表示ボタンU24を押下する操作によって、表示部140によって表示される。図12を参照すると、画像表示画面U30は、カメラによる撮像結果K1とLiDARセンサによる計測結果K2とを含んでいる。例えば、画像表示画面U30は、所定の操作によって閉じられて、画像表示画面U30から結果データ表示画面U20に画面遷移されることが可能であってよい。 FIG. 13 is a diagram showing an example of the image display screen U30. For example, the image display screen U30 is displayed by the display unit 140 by pressing the image display button U24 shown in FIG. Referring to FIG. 12, the image display screen U30 includes an image pickup result K1 by a camera and a measurement result K2 by a LiDAR sensor. For example, the image display screen U30 may be closed by a predetermined operation, and the screen transition from the image display screen U30 to the result data display screen U20 may be possible.

以上、本発明の実施形態に係る作業現場監視装置10の機能詳細について説明した。 The functional details of the work site monitoring device 10 according to the embodiment of the present invention have been described above.

(1-4.作業現場監視装置の動作例)
続いて、本発明の実施形態に係る作業現場監視装置10の動作例について説明する。図14は、本発明の実施形態に係る作業現場監視装置10の動作例を示すフローチャートである。なお、図14に示された動作例は、本発明の実施形態に係る作業現場監視装置10の動作の一例に過ぎない。したがって、本発明の実施形態に係る作業現場監視装置10の動作は、図14に示された動作例に限定されない。
(1-4. Operation example of work site monitoring device)
Subsequently, an operation example of the work site monitoring device 10 according to the embodiment of the present invention will be described. FIG. 14 is a flowchart showing an operation example of the work site monitoring device 10 according to the embodiment of the present invention. The operation example shown in FIG. 14 is only an example of the operation of the work site monitoring device 10 according to the embodiment of the present invention. Therefore, the operation of the work site monitoring device 10 according to the embodiment of the present invention is not limited to the operation example shown in FIG.

図14に示されるように、作業現場監視装置10において、情報取得部131は、非接触により検知可能なセンサによって検知されたセンシング結果を取得する(S11)。 As shown in FIG. 14, in the work site monitoring device 10, the information acquisition unit 131 acquires the sensing result detected by the sensor that can be detected by non-contact (S11).

続いて、動体分別部132は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に対応して(例えば、作業工程情報における作業工程の作業順序に対応する順序に、または、作業工程情報における作業工程の作業時間に対応する時間に)、作業現場80において非接触による検知がなされると、非接触による検知に基づく動体の動きを作業者60の動きと重機70の動きとに分別して作業現場計測データを得る(S12)。 Subsequently, the moving body sorting unit 132 corresponds to the work process information (first work process information) registered in advance in the work process information storage unit 123 (for example, corresponds to the work order of the work process in the work process information). When the non-contact detection is made at the work site 80 in order or at the time corresponding to the work time of the work process in the work process information, the movement of the moving body based on the non-contact detection is regarded as the movement of the worker 60. Work site measurement data is obtained by separating it from the movement of the heavy machine 70 (S12).

続いて、記憶制御部133は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に作業現場計測データを紐付けて、作業現場計測データを動体ごとに(作業者60の動きと重機70の動きとは別に)計測結果記憶部124に記憶させる(S13)。具体的に、記憶制御部133は、作業現場計測データが計測された順序に対応する作業順序の作業工程、または、作業現場計測データが計測された時間に対応する作業時間に、作業現場計測データを紐付ける。 Subsequently, the memory control unit 133 associates the work site measurement data with the work process information (first work process information) registered in the work process information storage unit 123 in advance, and obtains the work site measurement data for each moving object ( (Apart from the movement of the worker 60 and the movement of the heavy machine 70), it is stored in the measurement result storage unit 124 (S13). Specifically, the memory control unit 133 sets the work site measurement data in the work process of the work order corresponding to the order in which the work site measurement data is measured, or in the work time corresponding to the time in which the work site measurement data is measured. To link.

続いて、危険性判定部134は、作業者60の動きおよび重機70の動きの少なくともいずれか一方に基づいて、重機70による作業者60に対する危険性を判定する(S14)。続いて、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)とに基づいて、第1の作業工程情報と第2の作業工程情報との差分を第2の作業工程情報の誤差として判定する(S15)。 Subsequently, the danger determination unit 134 determines the danger to the worker 60 by the heavy machine 70 based on at least one of the movement of the worker 60 and the movement of the heavy machine 70 (S14). Subsequently, the error determination unit 135 recognizes based on the work process information (first work process information) stored by the work process information storage unit 123 and the sensing result detected by the sensor that can be detected by non-contact. Based on the work process information (second work process information), the difference between the first work process information and the second work process information is determined as an error of the second work process information (S15).

続いて、表示制御部136は、各種情報が表示部140によって表示されるように表示部140を制御する(S16)。一例として、表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、対応する一部または全部の情報が、表示部140によって同時に表示されるように表示部140を制御してよい。 Subsequently, the display control unit 136 controls the display unit 140 so that various information is displayed by the display unit 140 (S16). As an example, the display control unit 136 corresponds to the work process information (first work process information) stored by the work process information storage unit 123 in at least one of the movement of the worker 60 and the movement of the heavy machine 70. The display unit 140 may be controlled so that a part or all of the information is displayed simultaneously by the display unit 140.

他の一例として、表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)とセンシング結果に基づいて認識された第2の作業工程情報とにおいて、対応する情報の一部または全部が、表示部140によって同時に表示されるように表示部140を制御してよい。他の一例として、表示制御部136は、カメラ21による撮像結果およびLiDARセンサ22による計測結果の少なくともいずれか一方が、表示部140によって表示されるように表示部140を制御してよい。 As another example, the display control unit 136 has the work process information (first work process information) stored by the work process information storage unit 123 and the second work process information recognized based on the sensing result. , The display unit 140 may be controlled so that a part or all of the corresponding information is simultaneously displayed by the display unit 140. As another example, the display control unit 136 may control the display unit 140 so that at least one of the image pickup result by the camera 21 and the measurement result by the LiDAR sensor 22 is displayed by the display unit 140.

続いて、制御部130は、動作を終了するか否かを判定する(S17)。制御部130は、動作を継続すると判定した場合には(S17において「No」)、S11に動作を移行させる。一方、制御部130は、動作を終了すると判定した場合には(S17において「Yes」)、動作を終了する。 Subsequently, the control unit 130 determines whether or not to end the operation (S17). When the control unit 130 determines that the operation is to be continued (“No” in S17), the control unit 130 shifts the operation to S11. On the other hand, when the control unit 130 determines that the operation is terminated (“Yes” in S17), the control unit 130 terminates the operation.

以上、本発明の実施形態に係る作業現場監視装置10の動作例について説明した。 The operation example of the work site monitoring apparatus 10 according to the embodiment of the present invention has been described above.

(1-5.ハードウェア構成例)
続いて、本発明の実施形態に係る作業現場監視装置10のハードウェア構成例について説明する。以下では、本発明の実施形態に係る作業現場監視装置10のハードウェア構成例として、情報処理装置900のハードウェア構成例について説明する。なお、以下に説明する情報処理装置900のハードウェア構成例は、作業現場監視装置10のハードウェア構成の一例に過ぎない。したがって、作業現場監視装置10のハードウェア構成は、以下に説明する情報処理装置900のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
(1-5. Hardware configuration example)
Subsequently, a hardware configuration example of the work site monitoring device 10 according to the embodiment of the present invention will be described. Hereinafter, as a hardware configuration example of the work site monitoring device 10 according to the embodiment of the present invention, a hardware configuration example of the information processing apparatus 900 will be described. The hardware configuration example of the information processing device 900 described below is only an example of the hardware configuration of the work site monitoring device 10. Therefore, as for the hardware configuration of the work site monitoring device 10, an unnecessary configuration may be deleted from the hardware configuration of the information processing apparatus 900 described below, or a new configuration may be added.

図15は、本発明の実施形態に係る作業現場監視装置10の例としての情報処理装置900のハードウェア構成を示す図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置910と、通信装置911と、を備える。 FIG. 15 is a diagram showing a hardware configuration of an information processing device 900 as an example of the work site monitoring device 10 according to the embodiment of the present invention. The information processing device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, a host bus 904, a bridge 905, an external bus 906, and an interface 907. , An input device 908, an output device 909, a storage device 910, and a communication device 911.

CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバス904により相互に接続されている。 The CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 900 according to various programs. Further, the CPU 901 may be a microprocessor. The ROM 902 stores programs, calculation parameters, and the like used by the CPU 901. The RAM 903 temporarily stores a program used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like. These are connected to each other by a host bus 904 composed of a CPU bus or the like.

ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。 The host bus 904 is connected to an external bus 906 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 905. It is not always necessary to separately configure the host bus 904, the bridge 905, and the external bus 906, and these functions may be implemented in one bus.

入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路等から構成されている。情報処理装置900を操作するユーザは、この入力装置908を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。 The input device 908 includes input means for the user to input information such as a mouse, keyboard, touch panel, buttons, microphones, switches and levers, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 901. It is composed of etc. By operating the input device 908, the user who operates the information processing device 900 can input various data to the information processing device 900 and instruct the processing operation.

出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。 The output device 909 includes, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a display device such as a lamp, and an audio output device such as a speaker.

ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。 The storage device 910 is a device for storing data. The storage device 910 may include a storage medium, a recording device for recording data on the storage medium, a reading device for reading data from the storage medium, a deletion device for deleting data recorded on the storage medium, and the like. The storage device 910 is composed of, for example, an HDD (Hard Disk Drive). The storage device 910 drives a hard disk and stores programs and various data executed by the CPU 901.

通信装置911は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置911は、無線通信または有線通信のどちらに対応してもよい。 The communication device 911 is a communication interface composed of, for example, a communication device for connecting to a network. Further, the communication device 911 may support either wireless communication or wired communication.

以上、本発明の実施形態に係る作業現場監視装置10のハードウェア構成例について説明した。 The hardware configuration example of the work site monitoring device 10 according to the embodiment of the present invention has been described above.

(1-6.まとめ)
以上に説明したように、本発明の実施形態によれば、あらかじめ登録された作業現場における第1の作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、作業者の動きと前記作業者以外の動きとに分別して作業現場計測データを得る動体分別部132と、前記第1の作業工程情報に前記作業現場計測データを紐付けて、前記作業現場計測データを記憶部に記憶させる記憶制御部133と、を備える、作業現場監視装置10が提供される。
(1-6. Summary)
As described above, according to the embodiment of the present invention, the movement of the moving body based on the non-contact detection at the work site corresponds to the first work process information registered in advance at the work site. The work site measurement data is obtained by associating the work site measurement data with the moving body sorting unit 132 that obtains work site measurement data by separating the movements of the person and the movements other than the worker, and the first work process information. A work site monitoring device 10 including a storage control unit 133 for storing in a storage unit is provided.

かかる作業工程情報と作業現場計測データとの対応関係(作業工程情報と作業者60の動きおよび重機70の動きとの対応関係)は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程情報と作業者60の動きおよび重機70の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。したがって、作業工程情報と作業現場計測データとの対応関係は、作業工程の効率化のために有用なデータとなり得る。 The correspondence relationship between the work process information and the work site measurement data (the correspondence relationship between the work process information and the movement of the worker 60 and the movement of the heavy machine 70) is also used for grasping the danger of the work process and reviewing the work process. Can be used. For example, the correspondence between the work process information and the movement of the worker 60 and the movement of the heavy machine 70 can also be used to improve the dangerous work process. Therefore, the correspondence between the work process information and the work site measurement data can be useful data for improving the efficiency of the work process.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It is clear that a person having ordinary knowledge in the field of the art to which the present invention belongs can come up with various modifications or modifications within the scope of the technical ideas described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.

例えば、上記では、制御部130が有する各機能ブロックの全部が、作業現場監視装置10に組み込まれる場合を主に説明した。しかし、制御部130が有する各機能ブロックは、複数の装置に分散されて存在してもよい。例えば、情報取得部131、動体分別部132、記憶制御部133、危険性判定部134および誤差判定部135は、監視装置に組み込まれ、表示制御部136は、図示しない監視装置とは異なる、図示しない表示制御装置に組み込まれてもよい。このとき、コンピュータを、図示しない監視装置として機能させるためのプログラムが提供されてもよいし、コンピュータを、図示しない表示制御装置として機能させるためのプログラムが提供されてもよい。 For example, in the above, the case where all of the functional blocks of the control unit 130 are incorporated in the work site monitoring device 10 has been mainly described. However, each functional block included in the control unit 130 may be distributed and exist in a plurality of devices. For example, the information acquisition unit 131, the moving object classification unit 132, the memory control unit 133, the danger determination unit 134, and the error determination unit 135 are incorporated in the monitoring device, and the display control unit 136 is different from the monitoring device (not shown). It may be incorporated in a display control device. At this time, a program for making the computer function as a monitoring device (not shown) may be provided, or a program for making the computer function as a display control device (not shown) may be provided.

図示しない監視装置(情報取得部131、動体分別部132、記憶制御部133、危険性判定部134および誤差判定部135)によって利用された各種情報は、図示しない監視装置から図示しない表示制御装置(表示制御部136)に対して送信されてもよいし、図示しない監視装置によって記録媒体に記録され、図示しない表示制御装置によって記録媒体から読み取られてもよい。 Various information used by monitoring devices (information acquisition unit 131, moving object classification unit 132, storage control unit 133, danger determination unit 134, and error determination unit 135) (not shown) can be displayed by a display control device (not shown). It may be transmitted to the display control unit 136), recorded on a recording medium by a monitoring device (not shown), and read from the recording medium by a display control device (not shown).

図示しない監視装置によって利用された各種情報の例としては、情報取得部131によって取得された撮像結果および計測結果、記憶制御部133によって記憶制御された作業現場計測データ、危険性判定部134によって動きに関連付けられた危険性が有ることを示すフラグ、誤差判定部135によって判定された誤差、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)、および、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)などが挙げられる。 Examples of various information used by a monitoring device (not shown) include imaging results and measurement results acquired by the information acquisition unit 131, work site measurement data stored and controlled by the storage control unit 133, and movement by the danger determination unit 134. A flag indicating that there is a danger associated with, an error determined by the error determination unit 135, work process information (first work process information) stored by the work process information storage unit 123, and non-contact. Examples thereof include work process information (second work process information) recognized based on the sensing result detected by the sensor that can be detected by.

また、上記では、作業工程の例として、工事(例えば、建設および土木などの工事)が作業者60によって実行される場合を主に説明した。しかし、作業工程は、建設および土木などといった工事に限定されない。例えば、作業工程は、医療現場において実行される手術であってもよい。そうすれば、医療現場においても同様にして、作業工程の効率化のために有用なデータが生成され得る。このとき、上記した例において、作業者は、医療従事者(例えば、医師、看護師など)などに置き換えられてよい。また、重機70は、医療従事者によって利用される器具などに置き換えられてよい。 Further, in the above, as an example of the work process, the case where the work (for example, the work such as construction and civil engineering) is executed by the worker 60 has been mainly described. However, the work process is not limited to construction and civil engineering. For example, the work process may be surgery performed in a medical setting. Then, in the medical field as well, useful data can be generated for improving the efficiency of the work process. At this time, in the above example, the worker may be replaced with a medical worker (for example, a doctor, a nurse, etc.). Further, the heavy machine 70 may be replaced with an instrument or the like used by a medical worker.

あるいは、作業工程は、工場施設における製造行為であってもよい。この場合は、作業者は、工員などに置き換えられてよい。また、重機70は、製造用の工作機械や運搬用車両(フォークリフト)などに置き換えられてよい。 Alternatively, the work process may be a manufacturing act in a factory facility. In this case, the worker may be replaced with a worker or the like. Further, the heavy machine 70 may be replaced with a machine tool for manufacturing, a transport vehicle (forklift), or the like.

また、上記した例において、物体情報記憶部122によって記憶される物体情報は、適宜に更新されてもよい。例えば、物体情報記憶部122によって記憶される物体情報は、情報取得部131によって取得された撮像結果および計測結果に基づいて更新されてもよい。すなわち、情報取得部131によって取得される大量のデータ(撮像結果および計測結果)は、動体分別部132による、物体の検出および物体種類の識別それぞれにおいて利用される学習データに追加されてよい。これによって、物体の検出および物体種類の識別の精度が向上することが期待される。 Further, in the above example, the object information stored by the object information storage unit 122 may be updated as appropriate. For example, the object information stored by the object information storage unit 122 may be updated based on the imaging result and the measurement result acquired by the information acquisition unit 131. That is, a large amount of data (imaging result and measurement result) acquired by the information acquisition unit 131 may be added to the learning data used in each of the object detection and the object type identification by the moving body sorting unit 132. This is expected to improve the accuracy of object detection and object type identification.

1 作業現場監視システム
10 作業現場監視装置
21 カメラ
22 LiDARセンサ
60 作業者
70 重機
80 作業現場
110 操作部
121 センサ対応情報記憶部
122 物体情報記憶部
123 作業工程情報記憶部
124 計測結果記憶部
125 作業者計測結果記憶部
126 重機計測結果記憶部
130 制御部
131 情報取得部
132 動体分別部
133 記憶制御部
134 危険性判定部
135 誤差判定部
136 表示制御部
140 表示部
1 Work site monitoring system 10 Work site monitoring device 21 Camera 22 LiDAR sensor 60 Worker 70 Heavy equipment 80 Work site 110 Operation unit 121 Sensor-compatible information storage unit 122 Object information storage unit 123 Work process information storage unit 124 Measurement result storage unit 125 Work Person measurement result storage unit 126 Heavy equipment measurement result storage unit 130 Control unit 131 Information acquisition unit 132 Moving object classification unit 133 Storage control unit 134 Danger judgment unit 135 Error judgment unit 136 Display control unit 140 Display unit

Claims (10)

作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する制御部を備える作業現場監視装置。 Corresponding to the work process information related to the work site, the movement of the moving body based on the non-contact detection at the work site is classified into the movement of the first object and the movement of the second object other than the first object. A work site monitoring unit comprising a control unit for determining the danger of the second object to the first object based on at least one of the movement of the first object and the movement of the second object. Device. 前記制御部は、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方と前記作業工程情報とに基づいて、前記第2の物体による前記第1の物体に対する前記危険性を判定する、
請求項1に記載の作業現場監視装置。
The control unit has the risk of the second object to the first object based on at least one of the movement of the first object and the movement of the second object and the work process information. To judge,
The work site monitoring device according to claim 1.
前記第1の物体は、作業者である、
請求項1に記載の作業現場監視装置。
The first object is a worker,
The work site monitoring device according to claim 1.
前記第2の物体は、作業者以外である、
請求項3に記載の作業現場監視装置。
The second object is a person other than the operator.
The work site monitoring device according to claim 3.
前記制御部は、前記作業者以外の動きが有るか否かに基づいて、前記危険性を判定する、
請求項4に記載の作業現場監視装置。
The control unit determines the danger based on whether or not there is a movement other than the operator.
The work site monitoring device according to claim 4.
前記制御部は、前記作業者と前記作業者以外との距離が閾値を下回るか否かに基づいて、前記危険性を判定する、
請求項4に記載の作業現場監視装置。
The control unit determines the risk based on whether or not the distance between the worker and a non-worker is below the threshold value.
The work site monitoring device according to claim 4.
前記制御部は、前記作業者以外の動きが有る場合、かつ、前記作業者と前記作業者以外との距離が閾値を下回る場合に、前記危険性が有ると判定する、
請求項4に記載の作業現場監視装置。
The control unit determines that there is a risk when there is a movement other than the worker and when the distance between the worker and the non-worker is less than the threshold value.
The work site monitoring device according to claim 4.
作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別する動体分別部と、
前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する危険性判定部と、
を備える作業現場監視システム。
Corresponding to the work process information related to the work site, the movement of the moving body based on the non-contact detection at the work site is classified into the movement of the first object and the movement of the second object other than the first object. The moving body sorting part and
A risk determination unit for determining the danger of the second object to the first object based on at least one of the movement of the first object and the movement of the second object.
Worksite monitoring system equipped with.
作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する作業現場監視方法。 Corresponding to the work process information related to the work site, the movement of the moving body based on the non-contact detection at the work site is classified into the movement of the first object and the movement of the second object other than the first object. A work site monitoring method for determining the danger of the second object to the first object based on at least one of the movement of the first object and the movement of the second object. コンピュータを、
作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する制御部を備える作業現場監視装置として機能させるためのプログラム。
Computer,
Corresponding to the work process information related to the work site, the movement of the moving body based on the non-contact detection at the work site is classified into the movement of the first object and the movement of the second object other than the first object. A work site monitoring unit comprising a control unit for determining the danger of the second object to the first object based on at least one of the movement of the first object and the movement of the second object. A program to function as a device.
JP2022068547A 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program Pending JP2022103189A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022068547A JP2022103189A (en) 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017229071A JP7114885B2 (en) 2017-11-29 2017-11-29 Worksite monitoring devices and programs
JP2022068547A JP2022103189A (en) 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017229071A Division JP7114885B2 (en) 2017-11-29 2017-11-29 Worksite monitoring devices and programs

Publications (1)

Publication Number Publication Date
JP2022103189A true JP2022103189A (en) 2022-07-07

Family

ID=66973692

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017229071A Active JP7114885B2 (en) 2017-11-29 2017-11-29 Worksite monitoring devices and programs
JP2022068547A Pending JP2022103189A (en) 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017229071A Active JP7114885B2 (en) 2017-11-29 2017-11-29 Worksite monitoring devices and programs

Country Status (1)

Country Link
JP (2) JP7114885B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597390A (en) * 2023-07-18 2023-08-15 南方电网数字电网研究院有限公司 Method and device for detecting construction hidden danger around power transmission line and computer equipment

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277256B2 (en) * 2019-05-24 2023-05-18 コニカミノルタ株式会社 Work analysis system, work analysis device, and work analysis program
JP7310408B2 (en) * 2019-07-29 2023-07-19 コベルコ建機株式会社 Work information generation system for construction machinery
JP2021093083A (en) * 2019-12-12 2021-06-17 シャープ株式会社 Display device, suppression processing method, control program, and recording medium
WO2023148971A1 (en) * 2022-02-07 2023-08-10 日本電気株式会社 Management device, management method, and computer-readable medium
WO2023152825A1 (en) * 2022-02-09 2023-08-17 日本電気株式会社 Movement evaluation system, movement evaluation method, and non-transitory computer-readable medium

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352224A (en) * 2001-05-29 2002-12-06 Topcon Corp Device and system for measuring and displaying image, construction managing method and construction state monitoring system
JP2003272061A (en) * 2002-03-13 2003-09-26 Omron Corp Monitor
JP2006285639A (en) * 2005-03-31 2006-10-19 Chugoku Electric Power Co Inc:The Presence operation support system and presence operation support vehicles
JP2007058751A (en) * 2005-08-26 2007-03-08 Fujitsu Ten Ltd Apparatus, method, and program for discriminating object
JP2008009868A (en) * 2006-06-30 2008-01-17 Saxa Inc Image processor
JP2008052623A (en) * 2006-08-28 2008-03-06 Sekisui House Ltd Dwelling house execution process plan support system
JP2010117882A (en) * 2008-11-13 2010-05-27 Hitachi Constr Mach Co Ltd On-site monitoring system
US20140244036A1 (en) * 2013-02-27 2014-08-28 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
JP2014182628A (en) * 2013-03-19 2014-09-29 Nec Corp Space importance determination device, space importance determination method and program
US20150091716A1 (en) * 2013-09-28 2015-04-02 Oldcastle Materials, Inc. Advanced warning and risk evasion system and method
JP2017033047A (en) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 Safety management support device, safety management support program, and storage medium
JP2017049762A (en) * 2015-09-01 2017-03-09 株式会社東芝 System and method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352224A (en) * 2001-05-29 2002-12-06 Topcon Corp Device and system for measuring and displaying image, construction managing method and construction state monitoring system
JP2003272061A (en) * 2002-03-13 2003-09-26 Omron Corp Monitor
JP2006285639A (en) * 2005-03-31 2006-10-19 Chugoku Electric Power Co Inc:The Presence operation support system and presence operation support vehicles
JP2007058751A (en) * 2005-08-26 2007-03-08 Fujitsu Ten Ltd Apparatus, method, and program for discriminating object
JP2008009868A (en) * 2006-06-30 2008-01-17 Saxa Inc Image processor
JP2008052623A (en) * 2006-08-28 2008-03-06 Sekisui House Ltd Dwelling house execution process plan support system
JP2010117882A (en) * 2008-11-13 2010-05-27 Hitachi Constr Mach Co Ltd On-site monitoring system
US20140244036A1 (en) * 2013-02-27 2014-08-28 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
JP2014182628A (en) * 2013-03-19 2014-09-29 Nec Corp Space importance determination device, space importance determination method and program
US20150091716A1 (en) * 2013-09-28 2015-04-02 Oldcastle Materials, Inc. Advanced warning and risk evasion system and method
JP2017033047A (en) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 Safety management support device, safety management support program, and storage medium
JP2017049762A (en) * 2015-09-01 2017-03-09 株式会社東芝 System and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
飛島建設株式会社, 映像認識による現場監視サポートシステムの開発に着手, JPN6021032125, 1 November 2017 (2017-11-01), JP, ISSN: 0005170545 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597390A (en) * 2023-07-18 2023-08-15 南方电网数字电网研究院有限公司 Method and device for detecting construction hidden danger around power transmission line and computer equipment
CN116597390B (en) * 2023-07-18 2023-12-12 南方电网数字电网研究院有限公司 Method and device for detecting construction hidden danger around power transmission line and computer equipment

Also Published As

Publication number Publication date
JP7114885B2 (en) 2022-08-09
JP2019101549A (en) 2019-06-24

Similar Documents

Publication Publication Date Title
JP2022103189A (en) Work site monitoring device, work site monitoring system, work site monitoring method, and program
JP5247854B2 (en) Collection system and collection method
JP6639091B2 (en) Display control device and display control method
JP2011146796A5 (en)
JP2005250990A (en) Operation support apparatus
JP2008108008A (en) Moving pattern specification device, moving pattern specification method, moving pattern specification program, and recording medium that recorded this
JP2018032950A (en) Information processing unit and information processing method, and computer program
JP2009003867A (en) Display device and computer program
JP2015014882A5 (en)
JPWO2018034057A1 (en) Defect inspection apparatus, defect inspection method, and program
TW201818297A (en) Work recognition device and work recognition method
JP6270488B2 (en) Operator monitoring control device and operator monitoring control method
JP2020177680A (en) Work analysis device, work analysis method, and program
JP2018153874A (en) Presentation device, presentation method, program and work system
CN115803155A (en) Programming device
CN110889317B (en) Operation assisting device
CN111402287A (en) System and method for standardized assessment of activity sequences
JP2023082923A (en) Work support system, work object identifying device, and method
JP2007219814A (en) Input position setting method, input position setting device, input position setting program and information input system
JP2020108038A (en) Control device, control method of the same, industrial automation system, program, and storage medium
JP2014174653A (en) Operation result acquisition system and operation result acquisition method
JP2012141884A (en) Evaluation support device and evaluation support system
JP7272118B2 (en) Intrusion detection devices, programs and intrusion detection systems
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
KR101669850B1 (en) Sensor Calibration Method and Electronic Device and Marker Board for the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240312