JP2022103189A - Work site monitoring device, work site monitoring system, work site monitoring method, and program - Google Patents
Work site monitoring device, work site monitoring system, work site monitoring method, and program Download PDFInfo
- Publication number
- JP2022103189A JP2022103189A JP2022068547A JP2022068547A JP2022103189A JP 2022103189 A JP2022103189 A JP 2022103189A JP 2022068547 A JP2022068547 A JP 2022068547A JP 2022068547 A JP2022068547 A JP 2022068547A JP 2022103189 A JP2022103189 A JP 2022103189A
- Authority
- JP
- Japan
- Prior art keywords
- work
- movement
- work process
- work site
- worker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 294
- 238000012806 monitoring device Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 title claims description 21
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 265
- 230000004044 response Effects 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 88
- 238000005259 measurement Methods 0.000 description 83
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Abstract
Description
本発明は、作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラムに関する。 The present invention relates to a work site monitoring device, a work site monitoring system, a work site monitoring method and a program.
近年、作業現場において実行される作業を支援するための様々な技術が開示されている。例えば、あらかじめ作成された作業工程情報と作業現場において撮像された映像とを表示する技術が開示されている(例えば、特許文献1参照)。かかる技術によれば、作業現場における作業が作業工程情報の通りに実行されているかを映像によって確認することが可能である。 In recent years, various techniques for supporting the work performed at the work site have been disclosed. For example, a technique for displaying work process information created in advance and an image captured at a work site is disclosed (see, for example, Patent Document 1). According to such a technique, it is possible to confirm by video whether the work at the work site is executed according to the work process information.
また、作業者などにタグを付し、作業現場に設けられたタグリーダによってタグから読み取られた時刻に基づいて、作業の実行状況を管理する技術が開示されている(特許文献2参照)。さらに、作業工程情報のうち、過去に作業者の生体情報が異常状態となった作業工程を表示する技術が開示されている(特許文献3参照)。かかる技術によれば、作業工程情報のうち、過去の経験から危険と推測される作業工程を現場作業の前に把握することが可能となる。 Further, a technique for attaching a tag to an operator or the like and managing the execution status of the work based on the time read from the tag by a tag reader provided at the work site is disclosed (see Patent Document 2). Further, among the work process information, a technique for displaying a work process in which the biological information of the worker has been in an abnormal state in the past is disclosed (see Patent Document 3). According to such a technique, it is possible to grasp the work process which is presumed to be dangerous from the past experience among the work process information before the on-site work.
しかし、作業工程の危険性は、作業現場において作業者の動きおよび作業者以外(例えば、作業者によって利用される物体など)の動きによって変化し得ることが想定される。そのため、作業工程と作業者の動きおよび作業者以外の動きとの対応関係は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程と作業者の動きおよび作業者以外の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。 However, it is assumed that the danger of the work process can be changed by the movement of the worker and the movement of a non-worker (for example, an object used by the worker) at the work site. Therefore, the correspondence between the work process and the movement of the worker and the movement of the non-worker can be used for grasping the danger of the work process, reviewing the work process, and the like. For example, the correspondence between the work process and the movement of the worker and the movement of the non-worker can also be used to improve the dangerous work process.
そこで、作業工程の効率化のためにより有用なデータを生成することを可能とする技術が提供されることが望まれる。 Therefore, it is desired to provide a technique capable of generating more useful data for improving the efficiency of the work process.
上記問題を解決するために、本発明のある観点によれば、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する制御部を備える作業現場監視装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, the movement of the moving body based on the non-contact detection at the work site corresponds to the work process information related to the work site, and the movement of the first object. And the movement of the second object other than the first object, and based on at least one of the movement of the first object and the movement of the second object, the said by the second object. A work site monitoring device including a control unit for determining a danger to a first object is provided.
前記制御部は、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方と前記業工程情報とに基づいて、前記第2の物体による前記第1の物体に対する前記危険性を判定してもよい。 The control unit has the risk of the second object to the first object based on at least one of the movement of the first object and the movement of the second object and the business process information. May be determined.
前記第1の物体は、作業者であってもよい。 The first object may be a worker.
前記第2の物体は、作業者以外であってもよい。 The second object may be a person other than the operator.
前記制御部は、前記作業者以外の動きが有るか否かに基づいて、前記危険性を判定してもよい。 The control unit may determine the danger based on whether or not there is a movement other than the operator.
前記制御部は、前記作業者と前記作業者以外との距離が閾値を下回るか否かに基づいて、前記危険性を判定してもよい。 The control unit may determine the risk based on whether or not the distance between the worker and a non-worker is below the threshold value.
前記制御部は、前記作業者以外の動きが有る場合、かつ、前記作業者と前記作業者以外との距離が閾値を下回る場合に、前記危険性が有ると判定してもよい。 The control unit may determine that there is a risk when there is a movement other than the worker and when the distance between the worker and the non-worker is less than the threshold value.
また、本発明の別の観点によれば、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別する動体分別部と、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する危険性判定部と、を備える作業現場監視システムが提供される。 Further, according to another aspect of the present invention, the movement of the moving body based on the non-contact detection at the work site is the movement of the first object and the first object in response to the work process information related to the work site. The second object by the second object is based on at least one of a moving body sorting unit that separates the movement of a second object other than the object, and at least one of the movement of the first object and the movement of the second object. A work site monitoring system including a danger determination unit for determining the danger to one object is provided.
また、本発明の別の観点によれば、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する作業現場監視方法が提供される。 Further, according to another aspect of the present invention, the movement of the moving body based on the non-contact detection at the work site is the movement of the first object and the first object in response to the work process information related to the work site. Separated from the movement of a second object other than the object, and based on at least one of the movement of the first object and the movement of the second object, the second object with respect to the first object. A work site monitoring method for determining the danger is provided.
また、本発明の別の観点によれば、コンピュータを、作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する制御部を備える作業現場監視装置として機能させるためのプログラムが提供される。 Further, according to another aspect of the present invention, the computer corresponds to the work process information related to the work site, and the movement of the moving body based on the non-contact detection at the work site is the movement of the first object and the above-mentioned. The first object by the second object is separated from the movement of the second object other than the first object, and is based on at least one of the movement of the first object and the movement of the second object. A program for functioning as a work site monitoring device including a control unit for determining a danger to an object is provided.
以上説明したように本発明によれば、作業工程の効率化のためにより有用なデータを生成することを可能とする技術が提供される。 As described above, the present invention provides a technique capable of generating more useful data for improving the efficiency of a work process.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。 Further, in the present specification and the drawings, a plurality of components having substantially the same functional configuration may be distinguished by adding different numbers after the same reference numerals. However, if it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals are given. Further, similar components of different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of the similar components of different embodiments, only the same reference numerals are given.
(1-1.システムの概要)
まず、本発明の実施形態に係る作業現場監視システムの構成例について説明する。
(1-1. Overview of the system)
First, a configuration example of the work site monitoring system according to the embodiment of the present invention will be described.
図1は、本発明の実施形態に係る作業現場監視システムの構成例を示す図である。図1に示されるように、本発明の実施形態に係る作業現場監視システム1は、作業現場監視装置10と、カメラ21-1およびカメラ21-2と、LiDAR(Light Detection and Ranging)センサ22-1およびLiDARセンサ22-2とを有する。
FIG. 1 is a diagram showing a configuration example of a work site monitoring system according to an embodiment of the present invention. As shown in FIG. 1, the work
なお、以下では、カメラ21-1とカメラ21-2とを区別せずに、カメラ21と言う場合がある。また、LiDARセンサ22-1とLiDARセンサ22-2とを区別せずに、LiDARセンサ22とも言う。図1に示された例では、カメラ21およびLiDARセンサは、2台ずつ設置されているが、カメラ21およびLiDARセンサ22それぞれの数は限定されない。カメラ21は、1台であってもよいし、3台以上であってもよい。LiDARセンサ22も、1台であってもよいし、3台以上であってもよい。 In the following, the camera 21 may be referred to without distinguishing between the camera 21-1 and the camera 21-2. Further, the LiDAR sensor 22-1 and the LiDAR sensor 22-2 are not distinguished from each other, and are also referred to as a LiDAR sensor 22. In the example shown in FIG. 1, two cameras 21 and two LiDAR sensors are installed, but the number of each of the camera 21 and the LiDAR sensor 22 is not limited. The number of cameras 21 may be one or three or more. The number of LiDAR sensors 22 may be one or three or more.
図1に示されるように、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、通信を行うことが可能である。例えば、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、直接接続されていてもよいし、ネットワークを介して接続されていてもよい。本発明の実施形態においては、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、有線による通信を行う場合を主に想定する。しかし、作業現場監視装置10とカメラ21およびLiDARセンサ22とは、無線による通信を行ってもよい。
As shown in FIG. 1, the work
図1を参照すると、所定の領域(以下、「作業現場」とも言う)80が示されている。作業現場80においては、作業者60によって作業工程が実行される(または、作業者60によって複数の作業工程が順次に実行される)。図1に示された例では、作業現場80に作業者60が1人存在しており、1人の作業者60によって作業工程が実行されている。しかし、作業現場80には作業者60が複数存在し、複数の作業者60によって作業工程が実行されてもよい。図2は、上方から見た作業現場80の例を示す図である。
Referring to FIG. 1, a predetermined area (hereinafter, also referred to as “work site”) 80 is shown. At the
なお、本発明の実施形態においては、作業工程の例として、工事(例えば、建設および土木などの工事)が作業者60によって実行される場合を主に想定する。しかし、後にも説明するように、作業者60によって実行される作業工程は、工事に限定されない。すなわち、作業現場80においては、作業者60によって何らかの作業工程が実行されればよい。また、作業工程が実行される場所も特に限定されない。
In the embodiment of the present invention, as an example of the work process, it is mainly assumed that the work (for example, the work such as construction and civil engineering) is executed by the
作業者60によって作業工程が実行されている間、作業現場80には作業者以外の物体も存在し得る。図1に示された例では、作業者以外の物体の例として、重機70が作業現場80に存在している。しかし、作業者以外の物体は、重機70に限定されない。例えば、作業者以外の物体は、作業工程に利用される他の物体(例えば、工具など)であってもよい。また、重機70の例としては、後にも説明するように、ミキサー車、トラック、ショベルカーなどが想定される。しかし、重機70の種類は特に限定されない。
While the work process is being performed by the
図1に示された例では、作業現場80に重機70が1台存在しており、1台の重機70が作業工程に利用されている。しかし、作業現場80には重機70が複数存在し、複数の重機70が作業工程に利用されてもよい。作業工程に利用される1または複数の重機70は、作業工程ごとに異なる場合が想定される。一例として、ある作業工程においては、トラックが利用されるが、他の作業工程においては、ミキサー車が利用される場合などが想定される。
In the example shown in FIG. 1, one
なお、図1に示された例では、現在の作業工程に利用される重機70が作業現場80に存在する場合を主に想定する。しかし、現在の作業工程に利用されない重機70が、作業現場80に存在してしまう可能性もあり得る。例えば、現在の作業工程とは異なる作業工程に利用されるべき重機70が誤って作業現場80に存在してしまう可能性もあり得る。あるいは、どの作業工程にも利用されない重機70が誤って作業現場80に存在してしまう可能性もあり得る。
In the example shown in FIG. 1, it is mainly assumed that the
カメラ21は、作業現場80を含んだ撮像範囲を連続的に撮像することによって、撮像結果として動画像を得る。ここで、カメラ21が設置される位置は限定されない。また、作業現場80は、カメラ21の撮像範囲の全体であってもよいし、一部であってもよい。なお、本明細書においては、カメラ21が固定カメラである場合を主に想定する。しかし、カメラ21は可動カメラであってもよい。例えば、カメラ21は、PTZ(パン・チルト・ズーム)カメラであってもよい。カメラ21による撮像によって得られた動画像は、作業現場監視装置10に提供される。
The camera 21 continuously captures an imaging range including the
LiDARセンサ22は、作業現場80を含んだ計測範囲を連続的に計測することによって計測結果を得る。ここで、LiDARセンサ22が設置される位置は限定されない。また、作業現場80は、LiDARセンサ22の計測範囲の全体であってもよいし、一部であってもよい。LiDARセンサ22による計測によって得られた計測結果は、作業現場監視装置10に提供される。
The LiDAR sensor 22 obtains a measurement result by continuously measuring a measurement range including the
本発明の実施形態においては、カメラ21とLiDARセンサ22との組み合わせをセンサの例として用いる場合を主に説明する。しかし、カメラ21とLiDARセンサ22との組み合わせの代わりに、他のセンサが用いられてもよい。すなわち、本発明の実施形態においては、作業現場80に存在する物体(例えば、作業者60および重機70など)の動き(すなわち、動体の動き)を非接触により検知可能な各種のセンサが、カメラ21とLiDARセンサ22との組み合わせの代わりに用いられてもよい。
In the embodiment of the present invention, the case where the combination of the camera 21 and the LiDAR sensor 22 is used as an example of the sensor will be mainly described. However, instead of the combination of the camera 21 and the LiDAR sensor 22, another sensor may be used. That is, in the embodiment of the present invention, various sensors capable of non-contactly detecting the movement (that is, the movement of a moving object) of an object (for example, a
例えば、LiDARセンサ22の代わりに、デプスセンサが用いられてもよい。あるいは、LiDARセンサ22の代わりに、レーダ測距センサが用いられてもよい。あるいは、センサとして、カメラ21が単独で用いられてもよい。 For example, a depth sensor may be used instead of the LiDAR sensor 22. Alternatively, a radar ranging sensor may be used instead of the LiDAR sensor 22. Alternatively, the camera 21 may be used alone as the sensor.
ここで、作業工程の危険性は、作業現場80において作業者60の動きおよび重機70の動きによって変化し得ることが想定される。そのため、作業工程と作業者60の動きおよび重機70の動きとの対応関係は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程と作業者60の動きおよび重機70の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。
Here, it is assumed that the danger of the work process can be changed by the movement of the
そこで、本発明の実施形態においては、作業工程の効率化のためにより有用なデータを生成することを可能とする技術について主に提案する。 Therefore, in the embodiment of the present invention, we mainly propose a technique capable of generating more useful data for improving the efficiency of the work process.
以上、本発明の実施形態に係る作業現場監視システム1の構成例について説明した。
The configuration example of the work
(1-2.作業現場監視装置の機能構成例)
続いて、本発明の実施形態に係る作業現場監視装置10の機能構成例について説明する。図3は、本発明の実施形態に係る作業現場監視装置10の機能構成例を示すブロック図である。図3に示されるように、本発明の実施形態に係る作業現場監視装置10は、操作部110、センサ対応情報記憶部121、物体情報記憶部122、作業工程情報記憶部123、計測結果記憶部124、制御部130および表示部140を備える。
(1-2. Example of functional configuration of work site monitoring device)
Subsequently, a functional configuration example of the work
操作部110は、作業現場監視装置10の操作者から入力される操作を受け付ける。また、操作部110は、作業現場監視装置10の操作者から受け付けた操作を制御部130に提供することが可能である。本明細書においては、操作部110がマウスおよびキーボードである場合を主に想定する。しかし、操作部110は、マウスおよびキーボード以外の入力装置(例えば、タッチパネル、ボタンなど)であってもよい。
The
制御部130は、CPU(Central Processing Unit)などを含み、図示しない記憶部により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部130は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
The
ここで、図3に示されるように、制御部130は、情報取得部131、動体分別部132、記憶制御部133、危険性判定部134、誤差判定部135、および、表示制御部136を備える。制御部130が備える、これらの各機能部の詳細については、後に説明する。
Here, as shown in FIG. 3, the
なお、かかる図示しない記憶部は、制御部130を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、かかる図示しない記憶部は、制御部130の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。
The storage unit (not shown) is a storage device capable of storing programs and data for operating the
また、図3に示されるように、計測結果記憶部124は、作業者計測結果記憶部125および重機計測結果記憶部126を有している。ここで、作業者計測結果記憶部125および重機計測結果記憶部126の他、センサ対応情報記憶部121、物体情報記憶部122および作業工程情報記憶部123の詳細については、後に説明する。
Further, as shown in FIG. 3, the measurement
表示部140は、制御部130による制御に従って出力を行う機能を有する。例えば、表示部140は、制御部130によって生成された画面を出力することが可能である。ここで、表示部140の形態は特に限定されない。例えば、表示部140は、CRT(Cathode Ray Tube)ディスプレイ装置であってもよいし、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。
The
その他、作業現場監視装置10は、図示しない通信部を備える。かかる図示しない通信部は、カメラ21-1、カメラ21-2、LiDARセンサ22-1、および、LiDARセンサ22-2との間で通信を行う通信インタフェースであってよい。本発明の実施形態においては、図示しない通信部が有線による通信を行う場合を主に想定するが、図示しない通信部は、無線による通信を行ってもよい。
In addition, the work
なお、図3に示した例では、操作部110、センサ対応情報記憶部121、物体情報記憶部122、作業工程情報記憶部123、計測結果記憶部124、制御部130および表示部140が、作業現場監視装置10の内部に設けられている。しかし、これらの機能部の一部または全部は、作業現場監視装置10の外部に設けられていてもよい。
In the example shown in FIG. 3, the
以上、本発明の実施形態に係る作業現場監視装置10の機能構成例について説明した。
The functional configuration example of the work
(1-3.作業現場監視装置の機能詳細例)
続いて、本発明の実施形態に係る作業現場監視装置10の機能詳細について説明する。まず、センサ対応情報記憶部121によって記憶されているセンサ対応情報、物体情報記憶部122によって記憶されている物体情報、および、作業工程情報記憶部123によって記憶されている作業工程情報の例について説明する。
(1-3. Detailed functional example of work site monitoring device)
Subsequently, the functional details of the work
(センサ対応情報)
図4は、センサ対応情報記憶部121によって記憶されているセンサ対応情報の例を示す図である。図4に示されるように、センサ対応情報記憶部121は、LiDAR座標とカメラ座標とが対応付けられてなるセンサ対応情報をあらかじめ記憶している。このようなセンサ対応情報は、どのようにして生成されてもよい。
(Sensor support information)
FIG. 4 is a diagram showing an example of sensor correspondence information stored by the sensor correspondence
例えば、実空間に対象物体が配置され、対象物体の座標がそれぞれの座標系(すなわち、実空間座標系、LiDAR座標系およびカメラ座標系)で計測された場合、実空間座標系、LiDAR座標系およびカメラ座標系が対応付けられる。かかる対応関係に基づいて、LiDAR座標系から実空間座標系への変換行列、カメラ座標系から実空間座標系への変換行列があらかじめ算出されて保存される。そうすれば、これらの変換行列を用いて、LiDAR座標系における物体の位置から実空間における物体の位置が特定され、カメラ座標系における物体の位置から実空間における物体の位置を特定され得る。 For example, when the target object is placed in the real space and the coordinates of the target object are measured in the respective coordinate systems (that is, the real space coordinate system, the LiDAR coordinate system, and the camera coordinate system), the real space coordinate system and the LiDAR coordinate system. And the camera coordinate system are associated. Based on this correspondence, the transformation matrix from the LiDAR coordinate system to the real space coordinate system and the transformation matrix from the camera coordinate system to the real space coordinate system are calculated and stored in advance. Then, using these transformation matrices, the position of the object in the real space can be specified from the position of the object in the LiDAR coordinate system, and the position of the object in the real space can be specified from the position of the object in the camera coordinate system.
同様にして、LiDAR座標系からカメラ座標系への変換行列があらかじめ算出されて保存されていれば、かかる変換行列を用いて、LiDAR座標系における物体領域に対応する、カメラ座標系における物体領域が特定され得る。 Similarly, if the transformation matrix from the LiDAR coordinate system to the camera coordinate system is calculated and stored in advance, the object region in the camera coordinate system corresponding to the object region in the LiDAR coordinate system can be obtained by using the transformation matrix. Can be identified.
(物体情報)
図5は、物体情報記憶部122によって記憶されている物体情報の例を示す図である。図5に示されるように、物体情報記憶部122は、物体を示す情報の例としての物体名と、その物体の特徴量とが対応付けられてなる物体情報をあらかじめ記憶している。図5に示された例では、重機70の特徴量の例として、トラック、ショベルカー、ミキサー車それぞれの特徴量があらかじめ登録され、作業者60の特徴量があらかじめ登録されている。しかし、以下においても説明するように、物体の特徴量が利用されない場合には、物体情報記憶部122は存在しなくてもよい。
(Object information)
FIG. 5 is a diagram showing an example of object information stored by the object
(作業工程情報)
図6は、作業工程情報記憶部123によって記憶されている作業工程情報の例を示す図である。図6に示されるように、作業工程情報記憶部123は、作業順序と、作業時間と、作業工程名と、動作重機名と、区画名とが対応付けられてなる作業工程情報をあらかじめ記憶している。ここで、作業工程名は、作業工程を示す情報の例である。動作重機名は、作業工程において動作する重機を示す情報の例である。区画名は、作業工程が実行される区画を示す情報の例である。
(Work process information)
FIG. 6 is a diagram showing an example of work process information stored by the work process
作業工程情報の各項目は、必要に応じて設けられればよい。例えば、作業順序が利用されない場合には、作業工程情報に作業順序が含まれていなくてもよいし、作業時間が利用されない場合には、作業工程情報に作業時間が含まれていなくてもよいし、区画名が利用されない場合には、作業工程情報に区画名が含まれていなくてもよい。また、図6に示された例では、作業工程情報に動作重機名が含まれている。しかし、作業工程ごとに作業者が決まっている場合などには、動作重機名の代わりに、または、動作重機名に追加して、作業工程情報に作業者名が含まれてもよい。 Each item of work process information may be provided as needed. For example, if the work order is not used, the work process information may not include the work order, and if the work time is not used, the work process information may not include the work time. However, when the section name is not used, the section name may not be included in the work process information. Further, in the example shown in FIG. 6, the operation heavy machine name is included in the work process information. However, when the worker is determined for each work process, the worker name may be included in the work process information instead of or in addition to the operation heavy machine name.
作業工程情報記憶部123によって記憶されている作業工程情報は、作業者60によって確認され得る。例えば、作業者60は、表示部140によって作業工程情報が表示された場合、表示された作業工程情報を閲覧することによって作業工程情報を確認してから、自身が実行すべき作業工程を実行することが可能である。なお、作業工程情報は、どのようにして作業者60によって確認されてもよい。例えば、作業工程情報が紙に印字された場合、作業者60は、紙に印字された作業工程情報を閲覧することによって作業工程情報を確認してもよい。
The work process information stored by the work process
図7は、作業工程表示画面の例を示す図である。作業者60によって、作業工程表示操作(例えば、図示しない作業工程表示ボタンなどを選択する操作など)がなされ、操作部110によって作業工程表示操作が受け付けられると、図7に示されるように、表示部140は、作業工程表示画面U10を表示することが可能である。作業工程表示画面U10には、作業時間とその作業時間に実行される作業工程(または、作業工程無し)との対応関係が含まれる。
FIG. 7 is a diagram showing an example of a work process display screen. When the work process display operation (for example, the operation of selecting a work process display button (not shown)) is performed by the
(情報取得部)
情報取得部131は、非接触により検知可能なセンサによって検知されたセンシング結果を取得する。より詳細には、情報取得部131は、カメラ21による作業現場80の撮像結果(動画)をカメラ21から取得するとともに、LiDARセンサ22による作業現場80の計測結果をLiDARセンサ22から取得する。
(Information acquisition department)
The
(動体分別部)
動体分別部132は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に対応して(例えば、作業工程情報における作業工程の作業順序に対応する順序に、または、作業工程情報における作業工程の作業時間に対応する時間に)、作業現場80において非接触による検知がなされると、非接触による検知に基づく動体の動きを作業者60の動きと重機70の動きとに分別して作業現場計測データを得る。
(Dynamic sorting part)
The moving
より詳細には、動体分別部132は、センシング結果に基づいて物体を検出し、物体の検出結果に基づいて物体の位置を特定し、物体の位置に基づいて物体の種類を識別する。これによって、動体の動きが特定される。センシング結果に基づく物体は、どのように検出されてもよい。本発明の実施形態では、動体分別部132が、カメラ21による作業現場80の撮像結果に基づく物体の検出と、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出との双方を用いる場合を主に説明する。しかし、カメラ21による作業現場80の撮像結果に基づく物体の検出が単独で行われてもよいし、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出が単独で行われてもよい。
More specifically, the moving
ここで、カメラ21による作業現場80の撮像結果に基づいて物体を検出する手法には、検出すべき物体のテンプレート画像によるテンプレートマッチング手法、HOG(Histograms of Oriented Gradients)などのエッジの特徴を利用した手法、検出すべき物体の大量の学習データを用いたCNN(Convolutional Neural Network)などの深層学習によって物体を検出する手法などがある。CNNは、近年その精度の高さからよく用いられる手法である。
Here, as a method for detecting an object based on the image pickup result of the
一方、LiDARセンサ22による作業現場80の計測結果に基づいて物体を検出する手法には、LiDARセンサ22による作業現場80の計測結果から背景および地面の部分を取り除き、残った部分から、所定の大きさ以上の大きさを持つ領域を検出する手法などある。
On the other hand, in the method of detecting an object based on the measurement result of the
さらに、カメラ21による作業現場80の撮像結果に基づく物体の検出と、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出との双方を用いる場合を説明する。作業者60と重機70とが近づいて存在する場合には、LiDARセンサ22による計測結果からは作業者60と重機70との分離が難しい場合がある。LiDARセンサ22による物体領域の検出を行い、その物体領域からカメラ21による撮像結果に基づく物体の検出を行うことによって、作業者60と重機70との分離を行うことが可能となる。
Further, a case where both the detection of the object based on the image pickup result of the
図8は、カメラ21による作業現場80の撮像結果に基づく物体の検出について説明するための図である。図9は、LiDARセンサ22による作業現場80の計測結果に基づく物体の検出について説明するための図である。図9を参照すると、LiDARセンサによる計測結果K2が示されている。LiDARセンサによる計測結果K2には、作業者60および重機70が含まれている。動体分別部132は、LiDARセンサによる計測結果K2から、作業者60を含む物体領域Qaと重機70を含む物体領域Qbとを検出することが可能である。
FIG. 8 is a diagram for explaining the detection of an object based on the image pickup result of the
続いて、図8に示されるように、動体分別部132は、このようにして検出した物体領域Qaと変換行列とに基づいて、物体領域Qaに対応する、カメラによる撮像結果K1における物体領域Raを算出することが可能である。同様にして、動体分別部132は、このようにして検出した物体領域Qbと変換行列とに基づいて、物体領域Qbに対応する、カメラによる撮像結果K1における物体領域Rbを算出することが可能である。動体分別部132は、物体領域Raから物体(作業者60に相当)を検出し、物体領域Rbから物体(重機70に相当)を検出することによって、両物体の分離を行うことが可能となる。
Subsequently, as shown in FIG. 8, the moving
続いて、動体分別部132は、物体の検出結果に基づいて物体の位置を特定する。例えば、動体分別部132は、カメラによる撮像結果K1から物体(作業者60に相当)を検出した場合、カメラによる撮像結果K1における物体(作業者60に相当)の位置と変換行列とに基づいて、実空間における物体(作業者60に相当)の位置を特定すればよい。なお、動体分別部132が、LiDARセンサによる計測結果K2から物体(作業者60に相当)を検出した場合には、LiDARセンサによる計測結果K2における物体(作業者60に相当)の位置と変換行列とに基づいて、実空間における作業者60の位置を特定すればよい。
Subsequently, the moving
続いて、動体分別部132は、特定した物体の位置に基づいて物体の種類を識別する。具体的には、動体分別部132は、特定した物体の種類が作業者60であるか、重機70であるかを識別することが可能である。さらに、動体分別部132は、物体の種類が重機70であると識別した場合には、重機70の種類(例えば、ミキサー車、トラック、ショベルカーなど)を識別することも可能である。
Subsequently, the moving
物体の種類は、どのように識別されてもよい。本発明の実施形態では、動体分別部132が、カメラ21による作業現場80の撮像結果に基づく物体の種類の識別と、LiDARセンサ22による作業現場80の計測結果に基づく物体の種類の識別との双方を用いる場合を主に説明する。しかし、カメラ21による作業現場80の撮像結果に基づく物体の種類の識別が単独で行われてもよいし、LiDARセンサ22による作業現場80の計測結果に基づく物体の種類の識別が単独で行われてもよい。
The type of object may be identified in any way. In the embodiment of the present invention, the moving
ここで、カメラ21による作業現場80の撮像結果に基づいて物体の種類を識別する手法には、識別すべき種類の物体のテンプレート画像によるテンプレートマッチング手法、CNNなどの深層学習によって物体の種類を識別する手法、識別すべき種類の物体の画像の特徴量(例えば、物体の大きさ、縦横比、形状など)を用いる手法などがある。かかる特徴量は、図5に示されたように、物体情報記憶部122によって記憶されている。
Here, as a method for identifying the type of an object based on the image pickup result of the
一方、LiDARセンサ22による作業現場80の計測結果に基づいて物体の種類を識別する手法には、LiDARセンサ22による作業現場80の計測結果に写る物体のサイズから、物体の種類(例えば、作業者60および重機70など)を識別する手法がある。また、LiDARセンサ22による作業現場80の計測結果に基づいて物体の種類を識別する手法には、計測結果に写る物体の3次元形状データから、物体の種類(例えば、作業者60、重機70、重機70の種類など)を識別する手法などある。
On the other hand, in the method of identifying the type of the object based on the measurement result of the
(記憶制御部)
記憶制御部133は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に作業現場計測データを紐付けて、作業現場計測データを計測結果記憶部124に記憶させる。具体的に、記憶制御部133は、作業現場計測データが計測された順序に対応する作業順序の作業工程、または、作業現場計測データが計測された時間に対応する作業時間に、作業現場計測データを紐付ける。このとき、記憶制御部133は、作業者60の動きを作業者計測結果記憶部125に記憶させるとともに、重機70の動きを重機計測結果記憶部126に記憶させる。
(Memory control unit)
The
かかる作業工程情報と作業現場計測データとの対応関係(作業工程情報と作業者60の動きおよび重機70の動きとの対応関係)は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程情報と作業者60の動きおよび重機70の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。したがって、作業工程情報と作業現場計測データとの対応関係は、作業工程の効率化のために有用なデータとなり得る。
The correspondence relationship between the work process information and the work site measurement data (the correspondence relationship between the work process information and the movement of the
また、記憶制御部133は、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて作業工程情報(第2の作業工程情報)を認識することが可能である。本発明の実施形態においては、記憶制御部133が、センシング結果から重機70を認識すると、重機70に対応する作業工程が実行されていると認識する場合を主に想定する。図6に示された例において、記憶制御部133は、重機70として、作業工程G3に対応する重機「ミキサー車」が検出された場合、重機70に対応する作業工程G3が実行されていると認識してよい。
Further, the
しかし、記憶制御部133は、作業者60に基づいて、作業者60の動きに対応する作業工程を認識してもよい。一例として、記憶制御部133が、センシング結果から作業工程G1に対応する作業者60を認識すると、作業工程G1が実行されていると認識してもよい。なお、作業者60の種類の識別はどのようになされてもよい。例えば、作業工程によって作業者の衣服の色が異なる場合、カメラ21による撮像結果から認識される衣服の色によって、作業者60の種類が識別されてよい。
However, the
記憶制御部133は、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)を、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に関連付ける。より具体的に、記憶制御部133は、作業工程情報(第1の作業工程情報)において、センシング結果から認識された作業工程と(作業順序または作業時間が)対応する作業工程に対して、当該認識した作業工程を関連付けてよい。
The
(危険性判定部)
危険性判定部134は、作業者60の動きおよび重機70の動きの少なくともいずれか一方に基づいて、重機70による作業者60に対する危険性を判定する。このようにして、重機70による作業者60に対する危険性が自動的に判定されれば、作業工程の危険性がより容易に把握できるようになる。
(Danger judgment unit)
The
一例として、重機70の動きが有る場合には、重機70の動きが無い場合と比較して、重機70による作業者60に対する危険性が高いことが想定される。そこで、危険性判定部134は、重機70の動きが有るか否かに基づいて、危険性(作業者60が危険な状態であるか否か)を判定してもよい。例えば、危険性判定部134は、上記のようにして得られた重機70の動きに基づいて、重機70の動きが有るか否かを認識してよい。
As an example, when the
なお、重機70の動きが有る状態には、重機70が移動している状態の他、重機70の一部が動いている状態、重機70が即座に動き始めることが可能な状態(例えば、起動中の状態、スタンバイ状態など)などが含まれてよい。重機70が即座に動き始めることが可能な状態は、どのようにして認識されてもよい。
The state in which the
例えば、危険性判定部134は、重機70が即座に動き始めることが可能な状態において、重機70に取り付けられた所定のライトが点灯する場合には、カメラ21による撮像結果、および、LiDARセンサ22による計測結果の少なくともいずれか一方に基づいて、重機70の所定のライト点灯を認識した場合に、重機70が即座に動き始めることが可能な状態であると判定してもよい。
For example, when the predetermined light attached to the
他の一例として、作業者60と重機70との距離が閾値を下回る場合には、作業者60と重機70との距離が閾値以上である場合と比較して、重機70による作業者60に対する危険性が高いことが想定される。そこで、危険性判定部134は、作業者60と重機70との距離が閾値を下回るか否かに基づいて、危険性(作業者60が危険な状態であるか否か)を判定してもよい。例えば、危険性判定部134は、上記のようにして得られた作業者60および重機70それぞれの動きに基づいて、作業者60と重機70との距離を算出してよい。
As another example, when the distance between the
図10は、作業者60の動きと重機70の動きとの対応関係の例を示す図である。図10に示された例では、作業現場80における作業者60の上方から見た動き(作業者60のxy平面における動き)が実線によって表現されており、作業現場80における重機70の上方から見た動き(重機70のxy平面における動き)が破線によって表現されている。
FIG. 10 is a diagram showing an example of the correspondence between the movement of the
図10を参照すると、時刻T31および時刻T32においては、作業者60と重機70との距離が閾値Dth以上であるため、作業者60が危険な状態ではないと考えられる。一方、時刻T33においては、作業者60と重機70との距離が閾値Dthを下回っているため、作業者60が危険な状態であると考えられる。なお、閾値Dthは、重機70の種類に応じて不変であってもよいし、可変であってもよい。
Referring to FIG. 10, at time T31 and time T32, since the distance between the
また、他の一例として、重機70の動きが有る場合、かつ、作業者60と重機70との距離が閾値を下回る場合には、重機70の動きが無い場合、または、作業者60と重機70との距離が閾値以上である場合と比較して、重機70による作業者60に対する危険性が高いことが想定される。そこで、危険性判定部134は、重機70の動きが有る場合、かつ、作業者60と重機70との距離が閾値を下回る場合には、危険性が有る(作業者60が危険な状態である)と判定してよい。一方、危険性判定部134は、重機70の動きが無い場合、または、作業者60と重機70との距離が閾値以上である場合には、危険性が無い(作業者60が危険な状態ではない)と判定してよい。
Further, as another example, when there is movement of the
例えば、危険性判定部134は、作業者60の動きのうち、ある時刻において危険性が有る(作業者60が危険な状態である)と判定した場合には、作業者60の動き(または、重機70の動き)のうち、危険性が有ると判定した時刻の動きに対して、危険性が有ることを示すフラグを関連付けてもよい。
For example, when the
(誤差判定部)
誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)とに基づいて、第1の作業工程情報と第2の作業工程情報との差分を第2の作業工程情報の誤差として判定する。かかる構成によれば、誤差を確認することによって、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)の通りに、作業現場80における作業工程が実行された度合いが把握され得る。
(Error judgment unit)
The
例えば、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)、および、センシング結果に基づいて認識された作業工程情報(第2の作業工程情報)において、作業順序または作業時間が対応する作業工程同士が一致するか否かに基づいて、第2の作業工程情報の誤差を判定してよい。
For example, the
図11は、センシング結果に基づいて認識された作業工程情報(第2の作業工程情報)の例を示す図である。図11を参照すると、作業順序「1」、作業時間「T1~T2」においては、作業現場80に重機70「トラック」が存在しており、重機70「トラック」に対応する作業工程G1が認識されている。この作業工程G1は、図6に示されるように、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)において、作業順序(または作業時間)が対応する作業工程G1と同一であるため、作業現場80において予定通りに作業工程G1が実行されたことが把握される。
FIG. 11 is a diagram showing an example of work process information (second work process information) recognized based on the sensing result. Referring to FIG. 11, in the work order “1” and the work time “T1 to T2”, the
また、図11を参照すると、作業順序「2」、作業時間「T2~T3」においては、作業現場80に重機70「ショベルカー、トラック」が存在しており、重機70「ショベルカー、トラック」に対応する作業工程G2が認識されている。この作業工程G2は、図6に示されるように、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)において、作業順序(または作業時間)が対応する作業工程G2と同一であるため、作業現場80において予定通りに作業工程G2が実行されたことが把握される。
Further, referring to FIG. 11, in the work order “2” and the work time “T2 to T3”, the
一方、図11を参照すると、作業順序「3」、作業時間「T3~T4」においては、作業現場80に重機70「トラック」が存在しており、重機70「トラック」に対応する作業工程G1が認識されている。この作業工程G1は、図6に示されるように、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)において、作業順序(または作業時間)が対応する作業工程G3と異なるため、作業現場80において予定通りに作業工程G3が実行されなかったことが把握される。
On the other hand, referring to FIG. 11, in the work order “3” and the work time “T3 to T4”, the
なお、誤差判定部135による誤差判定の手法は、上記に限定されない。例えば、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に対応してあらかじめ用意された動きテンプレートと、作業現場計測データの少なくとも一部とに基づいて、作業現場計測データの一部の誤差を判定してもよい。例えば、誤差判定部135は、動きテンプレートと作業現場計測データの少なくとも一部との差分を、作業現場計測データの一部の誤差として判定してよい。
The method of error determination by the
例えば、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に対応してあらかじめ用意された作業者60の動きテンプレートと、作業現場計測データに含まれる作業者60の動きとに基づいて、作業現場計測データに含まれる作業者60の動きの誤差を判定してもよい。例えば、誤差判定部135は、作業者60の動きテンプレートと作業現場計測データに含まれる作業者60の動きとの差分を、作業現場計測データに含まれる作業者60の動きの誤差として判定してよい。
For example, the
あるいは、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)に対応してあらかじめ用意された重機70の動きテンプレートと、作業現場計測データに含まれる重機70の動きとに基づいて、作業現場計測データに含まれる重機70の動きの誤差を判定してもよい。例えば、誤差判定部135は、重機70の動きテンプレートと作業現場計測データに含まれる重機70の動きとの差分を、作業現場計測データに含まれる重機70の動きの誤差として判定してよい。
Alternatively, the
(表示制御部)
表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、対応する一部または全部の情報が、表示部140によって同時に表示されるように表示部140を制御する。これによって、作業工程と作業者の動きおよび作業者以外の動きとの対応関係が視覚的に把握しやすくなる。ここで、作業者60の動きおよび重機70の動きの少なくとも一方は、作業者60の動きであってもよいし、重機70の動きであってもよいし、作業者60の動きおよび重機70の動きの双方であってもよい。
(Display control unit)
The
また、作業工程情報(第1の作業工程情報)と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、対応する情報の一部または全部は、作業工程情報(第1の作業工程情報)における作業工程と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、作業時間と計測時間とが対応する情報の一部であってもよいし、全部であってもよい。
Further, in at least one of the work process information (first work process information) and the movement of the
図12は、結果データ表示画面の例を示す図である。図12を参照すると、表示制御部136によって、結果データ表示画面U20の表示が制御されている。結果データ表示画面U20は、移動実績表示領域U21と動線表示領域U22とを含んでいる。移動実績表示領域U21には、重機70の動きが有った時間が、時間軸に沿って重機移動実績として示されている。同様に、移動実績表示領域U21には、作業者60の動きが有った時間が、時間軸に沿って作業者移動実績として示されている。
FIG. 12 is a diagram showing an example of a result data display screen. Referring to FIG. 12, the display of the result data display screen U20 is controlled by the
また、移動実績表示領域U21には、危険性が有ることを示すフラグが関連付けられた時刻を基準として前後に所定の幅を有する時間帯が、危険時間帯U211として示されている。動線表示領域U22には、危険時間帯U211に対応する、作業者60の動き(作業者の動線)が実線によって示されている。動線表示領域U22には、危険時間帯U211に対応する、重機70の動き(重機の動線)が破線によって示されている。動線表示領域U22に示される、作業者60の動き(作業者の動線)および重機70の動き(重機の動線)は、時間経過に従って徐々に表示されるようにしてもよい。 Further, in the movement record display area U21, a time zone having a predetermined width before and after the time associated with the flag indicating that there is a danger is indicated as the danger time zone U211. In the flow line display area U22, the movement of the worker 60 (the flow line of the worker) corresponding to the dangerous time zone U211 is shown by a solid line. In the flow line display area U22, the movement of the heavy machine 70 (the flow line of the heavy machine) corresponding to the dangerous time zone U211 is indicated by a broken line. The movement of the worker 60 (the flow line of the worker) and the movement of the heavy machine 70 (the flow line of the heavy machine) shown in the flow line display area U22 may be gradually displayed over time.
また、表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)とセンシング結果に基づいて認識された第2の作業工程情報とにおいて、対応する情報の一部または全部が、表示部140によって同時に表示されるように表示部140を制御する。これによって、作業工程同士の対応関係が視覚的に把握しやすくなる。当該対応する情報の一部または全部は、作業工程情報(第1の作業工程情報)における作業工程と第2の作業工程情報とにおいて、作業順序または作業時間が対応する情報の一部であってもよいし、全部であってもよい。
Further, the
図12を参照すると、結果データ表示画面U20は、作業工程表示領域U23を含んでいる。作業工程表示領域U23には、危険時間帯U211に実際に実行された作業工程名「作業工程G1」と、危険時間帯U211に実行されるはずであった作業工程名「作業工程G3」とが含まれている。なお、危険時間帯U211に実際に実行された作業工程名「作業工程G1」は、図11に示された例では、作業順序「3」に対応する作業工程G1に該当し、危険時間帯U211に実行されるはずであった作業工程名「作業工程G3」は、図6に示された例では、作業順序「3」に対応する作業工程G3に該当する。 Referring to FIG. 12, the result data display screen U20 includes a work process display area U23. In the work process display area U23, the work process name "work process G1" actually executed in the dangerous time zone U211 and the work process name "work process G3" that should have been executed in the dangerous time zone U211 are displayed. include. The work process name "work process G1" actually executed in the dangerous time zone U211 corresponds to the work process G1 corresponding to the work order "3" in the example shown in FIG. 11, and corresponds to the dangerous time zone U211. In the example shown in FIG. 6, the work process name “work process G3” that was supposed to be executed corresponds to the work process G3 corresponding to the work order “3”.
また、表示制御部136は、カメラ21による撮像結果およびLiDARセンサ22による計測結果の少なくともいずれか一方が、表示部140によって表示されるように表示部140を制御する。これによって、作業現場における作業者60および重機70の様子が視覚的に把握しやすくなる。図12に示された例では、結果データ表示画面U20に、画像表示ボタンU24が含まれており、画像表示ボタンU24を押下する操作によって、撮像結果および計測結果が表示されるようになっている。しかし、撮像結果および計測結果は、結果データ表示画面U20に含まれてもよい。
Further, the
図13は、画像表示画面U30の例を示す図である。例えば、画像表示画面U30は、図12に示された画像表示ボタンU24を押下する操作によって、表示部140によって表示される。図12を参照すると、画像表示画面U30は、カメラによる撮像結果K1とLiDARセンサによる計測結果K2とを含んでいる。例えば、画像表示画面U30は、所定の操作によって閉じられて、画像表示画面U30から結果データ表示画面U20に画面遷移されることが可能であってよい。
FIG. 13 is a diagram showing an example of the image display screen U30. For example, the image display screen U30 is displayed by the
以上、本発明の実施形態に係る作業現場監視装置10の機能詳細について説明した。
The functional details of the work
(1-4.作業現場監視装置の動作例)
続いて、本発明の実施形態に係る作業現場監視装置10の動作例について説明する。図14は、本発明の実施形態に係る作業現場監視装置10の動作例を示すフローチャートである。なお、図14に示された動作例は、本発明の実施形態に係る作業現場監視装置10の動作の一例に過ぎない。したがって、本発明の実施形態に係る作業現場監視装置10の動作は、図14に示された動作例に限定されない。
(1-4. Operation example of work site monitoring device)
Subsequently, an operation example of the work
図14に示されるように、作業現場監視装置10において、情報取得部131は、非接触により検知可能なセンサによって検知されたセンシング結果を取得する(S11)。
As shown in FIG. 14, in the work
続いて、動体分別部132は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に対応して(例えば、作業工程情報における作業工程の作業順序に対応する順序に、または、作業工程情報における作業工程の作業時間に対応する時間に)、作業現場80において非接触による検知がなされると、非接触による検知に基づく動体の動きを作業者60の動きと重機70の動きとに分別して作業現場計測データを得る(S12)。
Subsequently, the moving
続いて、記憶制御部133は、あらかじめ作業工程情報記憶部123に登録された作業工程情報(第1の作業工程情報)に作業現場計測データを紐付けて、作業現場計測データを動体ごとに(作業者60の動きと重機70の動きとは別に)計測結果記憶部124に記憶させる(S13)。具体的に、記憶制御部133は、作業現場計測データが計測された順序に対応する作業順序の作業工程、または、作業現場計測データが計測された時間に対応する作業時間に、作業現場計測データを紐付ける。
Subsequently, the
続いて、危険性判定部134は、作業者60の動きおよび重機70の動きの少なくともいずれか一方に基づいて、重機70による作業者60に対する危険性を判定する(S14)。続いて、誤差判定部135は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)とに基づいて、第1の作業工程情報と第2の作業工程情報との差分を第2の作業工程情報の誤差として判定する(S15)。
Subsequently, the
続いて、表示制御部136は、各種情報が表示部140によって表示されるように表示部140を制御する(S16)。一例として、表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)と作業者60の動きおよび重機70の動きの少なくとも一方とにおいて、対応する一部または全部の情報が、表示部140によって同時に表示されるように表示部140を制御してよい。
Subsequently, the
他の一例として、表示制御部136は、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)とセンシング結果に基づいて認識された第2の作業工程情報とにおいて、対応する情報の一部または全部が、表示部140によって同時に表示されるように表示部140を制御してよい。他の一例として、表示制御部136は、カメラ21による撮像結果およびLiDARセンサ22による計測結果の少なくともいずれか一方が、表示部140によって表示されるように表示部140を制御してよい。
As another example, the
続いて、制御部130は、動作を終了するか否かを判定する(S17)。制御部130は、動作を継続すると判定した場合には(S17において「No」)、S11に動作を移行させる。一方、制御部130は、動作を終了すると判定した場合には(S17において「Yes」)、動作を終了する。
Subsequently, the
以上、本発明の実施形態に係る作業現場監視装置10の動作例について説明した。
The operation example of the work
(1-5.ハードウェア構成例)
続いて、本発明の実施形態に係る作業現場監視装置10のハードウェア構成例について説明する。以下では、本発明の実施形態に係る作業現場監視装置10のハードウェア構成例として、情報処理装置900のハードウェア構成例について説明する。なお、以下に説明する情報処理装置900のハードウェア構成例は、作業現場監視装置10のハードウェア構成の一例に過ぎない。したがって、作業現場監視装置10のハードウェア構成は、以下に説明する情報処理装置900のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
(1-5. Hardware configuration example)
Subsequently, a hardware configuration example of the work
図15は、本発明の実施形態に係る作業現場監視装置10の例としての情報処理装置900のハードウェア構成を示す図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置910と、通信装置911と、を備える。
FIG. 15 is a diagram showing a hardware configuration of an
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバス904により相互に接続されている。
The
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
The host bus 904 is connected to an
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路等から構成されている。情報処理装置900を操作するユーザは、この入力装置908を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
The
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
The
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
The
通信装置911は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置911は、無線通信または有線通信のどちらに対応してもよい。 The communication device 911 is a communication interface composed of, for example, a communication device for connecting to a network. Further, the communication device 911 may support either wireless communication or wired communication.
以上、本発明の実施形態に係る作業現場監視装置10のハードウェア構成例について説明した。
The hardware configuration example of the work
(1-6.まとめ)
以上に説明したように、本発明の実施形態によれば、あらかじめ登録された作業現場における第1の作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、作業者の動きと前記作業者以外の動きとに分別して作業現場計測データを得る動体分別部132と、前記第1の作業工程情報に前記作業現場計測データを紐付けて、前記作業現場計測データを記憶部に記憶させる記憶制御部133と、を備える、作業現場監視装置10が提供される。
(1-6. Summary)
As described above, according to the embodiment of the present invention, the movement of the moving body based on the non-contact detection at the work site corresponds to the first work process information registered in advance at the work site. The work site measurement data is obtained by associating the work site measurement data with the moving
かかる作業工程情報と作業現場計測データとの対応関係(作業工程情報と作業者60の動きおよび重機70の動きとの対応関係)は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程情報と作業者60の動きおよび重機70の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。したがって、作業工程情報と作業現場計測データとの対応関係は、作業工程の効率化のために有用なデータとなり得る。
The correspondence relationship between the work process information and the work site measurement data (the correspondence relationship between the work process information and the movement of the
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It is clear that a person having ordinary knowledge in the field of the art to which the present invention belongs can come up with various modifications or modifications within the scope of the technical ideas described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.
例えば、上記では、制御部130が有する各機能ブロックの全部が、作業現場監視装置10に組み込まれる場合を主に説明した。しかし、制御部130が有する各機能ブロックは、複数の装置に分散されて存在してもよい。例えば、情報取得部131、動体分別部132、記憶制御部133、危険性判定部134および誤差判定部135は、監視装置に組み込まれ、表示制御部136は、図示しない監視装置とは異なる、図示しない表示制御装置に組み込まれてもよい。このとき、コンピュータを、図示しない監視装置として機能させるためのプログラムが提供されてもよいし、コンピュータを、図示しない表示制御装置として機能させるためのプログラムが提供されてもよい。
For example, in the above, the case where all of the functional blocks of the
図示しない監視装置(情報取得部131、動体分別部132、記憶制御部133、危険性判定部134および誤差判定部135)によって利用された各種情報は、図示しない監視装置から図示しない表示制御装置(表示制御部136)に対して送信されてもよいし、図示しない監視装置によって記録媒体に記録され、図示しない表示制御装置によって記録媒体から読み取られてもよい。
Various information used by monitoring devices (
図示しない監視装置によって利用された各種情報の例としては、情報取得部131によって取得された撮像結果および計測結果、記憶制御部133によって記憶制御された作業現場計測データ、危険性判定部134によって動きに関連付けられた危険性が有ることを示すフラグ、誤差判定部135によって判定された誤差、作業工程情報記憶部123によって記憶されている作業工程情報(第1の作業工程情報)、および、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報(第2の作業工程情報)などが挙げられる。
Examples of various information used by a monitoring device (not shown) include imaging results and measurement results acquired by the
また、上記では、作業工程の例として、工事(例えば、建設および土木などの工事)が作業者60によって実行される場合を主に説明した。しかし、作業工程は、建設および土木などといった工事に限定されない。例えば、作業工程は、医療現場において実行される手術であってもよい。そうすれば、医療現場においても同様にして、作業工程の効率化のために有用なデータが生成され得る。このとき、上記した例において、作業者は、医療従事者(例えば、医師、看護師など)などに置き換えられてよい。また、重機70は、医療従事者によって利用される器具などに置き換えられてよい。
Further, in the above, as an example of the work process, the case where the work (for example, the work such as construction and civil engineering) is executed by the
あるいは、作業工程は、工場施設における製造行為であってもよい。この場合は、作業者は、工員などに置き換えられてよい。また、重機70は、製造用の工作機械や運搬用車両(フォークリフト)などに置き換えられてよい。
Alternatively, the work process may be a manufacturing act in a factory facility. In this case, the worker may be replaced with a worker or the like. Further, the
また、上記した例において、物体情報記憶部122によって記憶される物体情報は、適宜に更新されてもよい。例えば、物体情報記憶部122によって記憶される物体情報は、情報取得部131によって取得された撮像結果および計測結果に基づいて更新されてもよい。すなわち、情報取得部131によって取得される大量のデータ(撮像結果および計測結果)は、動体分別部132による、物体の検出および物体種類の識別それぞれにおいて利用される学習データに追加されてよい。これによって、物体の検出および物体種類の識別の精度が向上することが期待される。
Further, in the above example, the object information stored by the object
1 作業現場監視システム
10 作業現場監視装置
21 カメラ
22 LiDARセンサ
60 作業者
70 重機
80 作業現場
110 操作部
121 センサ対応情報記憶部
122 物体情報記憶部
123 作業工程情報記憶部
124 計測結果記憶部
125 作業者計測結果記憶部
126 重機計測結果記憶部
130 制御部
131 情報取得部
132 動体分別部
133 記憶制御部
134 危険性判定部
135 誤差判定部
136 表示制御部
140 表示部
1 Work
Claims (10)
請求項1に記載の作業現場監視装置。 The control unit has the risk of the second object to the first object based on at least one of the movement of the first object and the movement of the second object and the work process information. To judge,
The work site monitoring device according to claim 1.
請求項1に記載の作業現場監視装置。 The first object is a worker,
The work site monitoring device according to claim 1.
請求項3に記載の作業現場監視装置。 The second object is a person other than the operator.
The work site monitoring device according to claim 3.
請求項4に記載の作業現場監視装置。 The control unit determines the danger based on whether or not there is a movement other than the operator.
The work site monitoring device according to claim 4.
請求項4に記載の作業現場監視装置。 The control unit determines the risk based on whether or not the distance between the worker and a non-worker is below the threshold value.
The work site monitoring device according to claim 4.
請求項4に記載の作業現場監視装置。 The control unit determines that there is a risk when there is a movement other than the worker and when the distance between the worker and the non-worker is less than the threshold value.
The work site monitoring device according to claim 4.
前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する危険性判定部と、
を備える作業現場監視システム。 Corresponding to the work process information related to the work site, the movement of the moving body based on the non-contact detection at the work site is classified into the movement of the first object and the movement of the second object other than the first object. The moving body sorting part and
A risk determination unit for determining the danger of the second object to the first object based on at least one of the movement of the first object and the movement of the second object.
Worksite monitoring system equipped with.
作業現場に係る作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、第1の物体の動きと前記第1の物体以外の第2の物体の動きとに分別し、前記第1の物体の動きおよび前記第2の物体の動きの少なくともいずれか一方に基づいて、前記第2の物体による前記第1の物体に対する危険性を判定する制御部を備える作業現場監視装置として機能させるためのプログラム。
Computer,
Corresponding to the work process information related to the work site, the movement of the moving body based on the non-contact detection at the work site is classified into the movement of the first object and the movement of the second object other than the first object. A work site monitoring unit comprising a control unit for determining the danger of the second object to the first object based on at least one of the movement of the first object and the movement of the second object. A program to function as a device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022068547A JP2022103189A (en) | 2017-11-29 | 2022-04-18 | Work site monitoring device, work site monitoring system, work site monitoring method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017229071A JP7114885B2 (en) | 2017-11-29 | 2017-11-29 | Worksite monitoring devices and programs |
JP2022068547A JP2022103189A (en) | 2017-11-29 | 2022-04-18 | Work site monitoring device, work site monitoring system, work site monitoring method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017229071A Division JP7114885B2 (en) | 2017-11-29 | 2017-11-29 | Worksite monitoring devices and programs |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022103189A true JP2022103189A (en) | 2022-07-07 |
Family
ID=66973692
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017229071A Active JP7114885B2 (en) | 2017-11-29 | 2017-11-29 | Worksite monitoring devices and programs |
JP2022068547A Pending JP2022103189A (en) | 2017-11-29 | 2022-04-18 | Work site monitoring device, work site monitoring system, work site monitoring method, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017229071A Active JP7114885B2 (en) | 2017-11-29 | 2017-11-29 | Worksite monitoring devices and programs |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7114885B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116597390A (en) * | 2023-07-18 | 2023-08-15 | 南方电网数字电网研究院有限公司 | Method and device for detecting construction hidden danger around power transmission line and computer equipment |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7277256B2 (en) * | 2019-05-24 | 2023-05-18 | コニカミノルタ株式会社 | Work analysis system, work analysis device, and work analysis program |
JP7310408B2 (en) * | 2019-07-29 | 2023-07-19 | コベルコ建機株式会社 | Work information generation system for construction machinery |
JP2021093083A (en) * | 2019-12-12 | 2021-06-17 | シャープ株式会社 | Display device, suppression processing method, control program, and recording medium |
WO2023148971A1 (en) * | 2022-02-07 | 2023-08-10 | 日本電気株式会社 | Management device, management method, and computer-readable medium |
WO2023152825A1 (en) * | 2022-02-09 | 2023-08-17 | 日本電気株式会社 | Movement evaluation system, movement evaluation method, and non-transitory computer-readable medium |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002352224A (en) * | 2001-05-29 | 2002-12-06 | Topcon Corp | Device and system for measuring and displaying image, construction managing method and construction state monitoring system |
JP2003272061A (en) * | 2002-03-13 | 2003-09-26 | Omron Corp | Monitor |
JP2006285639A (en) * | 2005-03-31 | 2006-10-19 | Chugoku Electric Power Co Inc:The | Presence operation support system and presence operation support vehicles |
JP2007058751A (en) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | Apparatus, method, and program for discriminating object |
JP2008009868A (en) * | 2006-06-30 | 2008-01-17 | Saxa Inc | Image processor |
JP2008052623A (en) * | 2006-08-28 | 2008-03-06 | Sekisui House Ltd | Dwelling house execution process plan support system |
JP2010117882A (en) * | 2008-11-13 | 2010-05-27 | Hitachi Constr Mach Co Ltd | On-site monitoring system |
US20140244036A1 (en) * | 2013-02-27 | 2014-08-28 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
JP2014182628A (en) * | 2013-03-19 | 2014-09-29 | Nec Corp | Space importance determination device, space importance determination method and program |
US20150091716A1 (en) * | 2013-09-28 | 2015-04-02 | Oldcastle Materials, Inc. | Advanced warning and risk evasion system and method |
JP2017033047A (en) * | 2015-07-28 | 2017-02-09 | 株式会社コンピュータシステム研究所 | Safety management support device, safety management support program, and storage medium |
JP2017049762A (en) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | System and method |
-
2017
- 2017-11-29 JP JP2017229071A patent/JP7114885B2/en active Active
-
2022
- 2022-04-18 JP JP2022068547A patent/JP2022103189A/en active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002352224A (en) * | 2001-05-29 | 2002-12-06 | Topcon Corp | Device and system for measuring and displaying image, construction managing method and construction state monitoring system |
JP2003272061A (en) * | 2002-03-13 | 2003-09-26 | Omron Corp | Monitor |
JP2006285639A (en) * | 2005-03-31 | 2006-10-19 | Chugoku Electric Power Co Inc:The | Presence operation support system and presence operation support vehicles |
JP2007058751A (en) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | Apparatus, method, and program for discriminating object |
JP2008009868A (en) * | 2006-06-30 | 2008-01-17 | Saxa Inc | Image processor |
JP2008052623A (en) * | 2006-08-28 | 2008-03-06 | Sekisui House Ltd | Dwelling house execution process plan support system |
JP2010117882A (en) * | 2008-11-13 | 2010-05-27 | Hitachi Constr Mach Co Ltd | On-site monitoring system |
US20140244036A1 (en) * | 2013-02-27 | 2014-08-28 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
JP2014182628A (en) * | 2013-03-19 | 2014-09-29 | Nec Corp | Space importance determination device, space importance determination method and program |
US20150091716A1 (en) * | 2013-09-28 | 2015-04-02 | Oldcastle Materials, Inc. | Advanced warning and risk evasion system and method |
JP2017033047A (en) * | 2015-07-28 | 2017-02-09 | 株式会社コンピュータシステム研究所 | Safety management support device, safety management support program, and storage medium |
JP2017049762A (en) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | System and method |
Non-Patent Citations (1)
Title |
---|
飛島建設株式会社, 映像認識による現場監視サポートシステムの開発に着手, JPN6021032125, 1 November 2017 (2017-11-01), JP, ISSN: 0005170545 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116597390A (en) * | 2023-07-18 | 2023-08-15 | 南方电网数字电网研究院有限公司 | Method and device for detecting construction hidden danger around power transmission line and computer equipment |
CN116597390B (en) * | 2023-07-18 | 2023-12-12 | 南方电网数字电网研究院有限公司 | Method and device for detecting construction hidden danger around power transmission line and computer equipment |
Also Published As
Publication number | Publication date |
---|---|
JP7114885B2 (en) | 2022-08-09 |
JP2019101549A (en) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022103189A (en) | Work site monitoring device, work site monitoring system, work site monitoring method, and program | |
JP5247854B2 (en) | Collection system and collection method | |
JP6639091B2 (en) | Display control device and display control method | |
JP2011146796A5 (en) | ||
JP2005250990A (en) | Operation support apparatus | |
JP2008108008A (en) | Moving pattern specification device, moving pattern specification method, moving pattern specification program, and recording medium that recorded this | |
JP2018032950A (en) | Information processing unit and information processing method, and computer program | |
JP2009003867A (en) | Display device and computer program | |
JP2015014882A5 (en) | ||
JPWO2018034057A1 (en) | Defect inspection apparatus, defect inspection method, and program | |
TW201818297A (en) | Work recognition device and work recognition method | |
JP6270488B2 (en) | Operator monitoring control device and operator monitoring control method | |
JP2020177680A (en) | Work analysis device, work analysis method, and program | |
JP2018153874A (en) | Presentation device, presentation method, program and work system | |
CN115803155A (en) | Programming device | |
CN110889317B (en) | Operation assisting device | |
CN111402287A (en) | System and method for standardized assessment of activity sequences | |
JP2023082923A (en) | Work support system, work object identifying device, and method | |
JP2007219814A (en) | Input position setting method, input position setting device, input position setting program and information input system | |
JP2020108038A (en) | Control device, control method of the same, industrial automation system, program, and storage medium | |
JP2014174653A (en) | Operation result acquisition system and operation result acquisition method | |
JP2012141884A (en) | Evaluation support device and evaluation support system | |
JP7272118B2 (en) | Intrusion detection devices, programs and intrusion detection systems | |
US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
KR101669850B1 (en) | Sensor Calibration Method and Electronic Device and Marker Board for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240312 |