JP2022176876A - Worksite management system, worksite management method and worksite management program - Google Patents
Worksite management system, worksite management method and worksite management program Download PDFInfo
- Publication number
- JP2022176876A JP2022176876A JP2022022606A JP2022022606A JP2022176876A JP 2022176876 A JP2022176876 A JP 2022176876A JP 2022022606 A JP2022022606 A JP 2022022606A JP 2022022606 A JP2022022606 A JP 2022022606A JP 2022176876 A JP2022176876 A JP 2022176876A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- information
- worker
- work vehicle
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims description 50
- 230000002596 correlated effect Effects 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 23
- 230000000875 corresponding effect Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract 8
- 238000012806 monitoring device Methods 0.000 description 27
- 210000003128 head Anatomy 0.000 description 16
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/40—Transportation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/20—Information sensed or collected by the things relating to the thing itself
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Operations Research (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
Description
本開示は、作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムに関する。 The present disclosure relates to a worksite management system, a worksite management method, and a worksite management program.
物流倉庫や工場等の作業現場では、作業者やフォークリフト等の作業車両が行き来をしており、作業者と作業車両との接触による事故が発生する場合がある。 At work sites such as distribution warehouses and factories, workers and work vehicles such as forklifts come and go, and accidents may occur due to contact between workers and work vehicles.
このような事故を未然に防ぐための技術が種々開発されている。例えば、特許文献1では、電子鍵を用いて作業車両(フォークリフト)の車両識別情報等と当該作業車両を運転する作業者の情報とを対応付けて記憶する等して、作業車両の稼働をリアルタイムに管理する車両運行システムが開示されている。
Various techniques have been developed to prevent such accidents. For example, in
特許文献1(特に実施の形態2)では、作業車両の位置を検出するために、工場内の各所に固有の色配置からなるカラーラベルが貼付されたバーを立設したり、作業者の上腕にもカラーラベルを含む腕章を装着したり、工場内の各所に電波を発するビーコンを立設したり、している。作業車両はビーコンからの電波を受信することで、予め記憶してあるビーコンの識別情報と位置を示す情報及び電波受信強度から作業車両の位置を検出している。また。作業車両に搭載されたカメラにより、立設されたバーのカラーラベルを認識し、カラーラベルの色の配置や画像中の大きさ等から作業車両の位置を検出している。さらに、作業車両のカメラにより作業者が装着しているカラーラベルを認識することで、作業車両に対する作業者の接近を検出している。 In Patent Document 1 (particularly, Embodiment 2), in order to detect the position of a work vehicle, a bar with a color label having a unique color arrangement is set up in various places in the factory, and a worker's upper arm is attached. They also wear armbands with color labels on them, and set up beacons that emit radio waves in various places in the factory. By receiving the radio wave from the beacon, the work vehicle detects the position of the work vehicle based on the beacon identification information and position information stored in advance and the radio wave reception intensity. Also. A camera mounted on the work vehicle recognizes the color label of the erected bar, and detects the position of the work vehicle from the color arrangement of the color label, the size in the image, and the like. Furthermore, the approach of the worker to the work vehicle is detected by recognizing the color label worn by the worker with the camera of the work vehicle.
しかしながら、特許文献1の技術では、作業車両の位置を検出するために、カラーラベルが貼付されたバーや、ビーコンを作業現場に配置したり、作業者にカラーラベルを含む腕章を装着させたりする必要があり、車両運行システムを実現させるために多くの設備投資や労力を必要とする。また、このような多くの装置の設置や人への装着等が必要な手法では人による運用上の介入が生じる。そのために、人為的ミスが発生して安全な運行が実現できなくなる場合も生じていた。
However, in the technique of
さらに、作業現場には、管理下にある自社の車両や人だけでなく、他社の車両や人が入ってくる場合もあるが、従来の手法では他社の車両や人まで管理することは困難である。 Furthermore, in addition to the company's own vehicles and people under management, vehicles and people from other companies may also enter the work site, but it is difficult to manage vehicles and people from other companies using conventional methods. be.
また、作業車両のカメラにより作業者が装着しているカラーラベルを認識する場合、作業現場には様々な障害物があり、作業車両と作業者との間を障害物により遮られたり、作業者の姿勢によってカラーラベルが隠れたりすると、接近している作業者を正確に認識することができないおそれがある。一方で、作業車両の運転者が作業者を目視で認識しているにも関わらずアラート等が行われると運転者に煩わしさを与えたり、運転者がアラートを信用しなくなったりするおそれがある。 In addition, when recognizing the color label worn by the worker with the camera of the work vehicle, there are various obstacles in the work site, and the work vehicle and the worker are obstructed by obstacles, and the worker If the color label is hidden by the posture, there is a possibility that the approaching worker cannot be recognized accurately. On the other hand, if an alert or the like is issued even though the driver of the work vehicle is visually recognizing the worker, there is a risk that the driver will be annoyed or distrust the alert. .
本開示は、このような問題点を解決するためになされたもので、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムを提供することを目的とする。 The present disclosure has been made to solve such problems, and includes a work site management system, a work site management method, and a work site management method that can more appropriately reduce the risk of contact between a worker and a work vehicle at a work site. and to provide a workplace management program.
上記した目的を達成するために、本開示に係る作業現場管理システムは、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得可能な作業現場撮像部と、前記画像情報撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、前記視線情報取得部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、を備え、前記危険判定部は、前記視線方向認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する。 In order to achieve the above-described object, the work site management system according to the present disclosure includes a work site imaging unit capable of acquiring image information including an image of a work site and depth information in the image, and the image information an object recognition unit that recognizes a work vehicle and a worker appearing in an image from image information acquired by an imaging unit and generates position information of the work vehicle and the worker; A driver imaging unit that acquires line-of-sight information of a driver, a line-of-sight recognition unit that recognizes a line-of-sight direction of the driver from the line-of-sight information acquired by the line-of-sight information acquisition unit, and the work generated by the object recognition unit. a risk determination unit that calculates a safety level correlated with the relative positional relationship between the work vehicle and the worker from position information of the vehicle and the worker, and generates warning information when the safety level falls below a predetermined alarm threshold; , wherein the danger determination unit adjusts the predetermined warning threshold in accordance with the line-of-sight direction of the driver recognized by the line-of-sight direction recognition unit.
上記作業現場管理システムにおいて、さらに、前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、を備え、前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整してもよい。 The work site management system further includes a driver recognition unit that recognizes a driver of the work vehicle and generates driver recognition information, and a driver information storage that stores driver information including the driving history of the driver. and a driving tendency analysis unit that extracts driver information corresponding to the driver recognition information from the driver information storage unit and analyzes the driving tendency of the driver based on the extracted driver information. The risk determination section may adjust the warning threshold according to the driving tendency of the driver analyzed by the driving tendency analysis section.
上記作業現場管理システムにおいて、前記作業現場撮像部は前記作業車両の高さよりも高い位置から前記作業現場を撮像してもよい。 In the above work site management system, the work site imaging unit may capture an image of the work site from a position higher than the height of the work vehicle.
上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から、前記作業車両と前記作業者との相対距離に応じた第1安全度を算出し、当該第1安全度が第1警報閾値を下回ると第1警報を行わせる警報情報を生成してもよい。 In the work site management system described above, the risk determination unit uses the position information of the work vehicle and the worker generated by the object recognition unit to determine the first safety level according to the relative distance between the work vehicle and the worker. and generate alarm information that causes a first alarm to be issued when the first degree of safety falls below a first alarm threshold.
上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者の移動方向に応じた第2安全度を算出し、当該第2安全度が第2警報閾値を下回ると第2警報を行わせる警報情報を生成してもよい。 In the work site management system, the risk determination unit determines a second degree of safety according to the moving direction of the work vehicle and the worker from the position information of the work vehicle and the worker generated by the object recognition unit. and generate alarm information that causes a second alarm to be issued when the second degree of safety falls below a second alarm threshold.
上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者とが接触するまでにかかる時間に応じた第3安全度を算出し、当該第3安全度が第3警報閾値を下回ると第3警報を行わせる警報情報を生成してもよい。 In the work site management system, the risk determination unit determines the time required for the work vehicle and the worker to come into contact with each other based on the positional information of the work vehicle and the worker generated by the object recognition unit. A third degree of safety may be calculated, and warning information may be generated to issue a third warning when the third degree of safety falls below a third warning threshold.
上記した目的を達成するために、本開示に係る作業現場管理方法は、コンピュータが、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップを実行する。 In order to achieve the above object, a work site management method according to the present disclosure includes a work site imaging step in which a computer acquires image information including an image of a work site and depth information in the image; an object recognition step of recognizing a work vehicle and a worker appearing in the image from the image information acquired by the work site imaging step and generating position information of the work vehicle and the worker; a driver imaging step of acquiring line-of-sight information of the driver by using the driver imaging step; a line-of-sight direction recognition step of recognizing the line-of-sight direction of the driver of the work vehicle from the line-of-sight information acquired by the driver imaging step; and the object recognition step. calculating a degree of safety correlated with the relative positional relationship between the work vehicle and the worker from the positional information of the work vehicle and the worker generated by, and issuing warning information when the degree of safety falls below a predetermined warning threshold A risk determination step to be generated, and a threshold adjustment step of adjusting the predetermined alarm threshold in accordance with the line-of-sight direction of the driver recognized by the line-of-sight direction recognition step before the risk determination step.
上記した目的を達成するために、本開示に係る作業現場管理プログラムは、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、を備え、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、をコンピュータに実行させるためのプログラムである。 In order to achieve the above-described object, a work site management program according to the present disclosure includes a work site imaging step of acquiring image information including an image of a work site and depth information in the image; an object recognition step of recognizing the work vehicle and the worker appearing in the image from the image information acquired by the step and generating position information of the work vehicle and the worker; a driver imaging step of acquiring line-of-sight information of a person; a line-of-sight direction recognition step of recognizing the line-of-sight direction of the driver of the work vehicle from the line-of-sight information acquired by the driver imaging step; A safety level correlated with the relative positional relationship between the work vehicle and the worker is calculated from the positional information of the work vehicle and the worker, and warning information is generated when the safety level falls below a predetermined warning threshold. and a threshold adjustment step of adjusting the predetermined warning threshold in accordance with the line-of-sight direction of the driver recognized by the line-of-sight direction recognition step prior to the risk determination step. It is a program for
上記手段を用いる本開示によれば、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。 According to the present disclosure using the above means, it is possible to more appropriately reduce the risk of contact between the worker and the work vehicle at the work site.
以下、本開示の実施形態を図面に基づき説明する。 Hereinafter, embodiments of the present disclosure will be described based on the drawings.
<構成>
図1は本開示の一実施形態に係る作業現場管理システム1の概要を示す概略構成図であり、図2は作業現場管理システム1のシステム構成図である。なお、本実施形態は、作業現場として物流倉庫を例として説明を行うが、本実施形態は工場等の他の作業現場にも適用可能である。
<Configuration>
FIG. 1 is a schematic configuration diagram showing an overview of a work
図1に示すように、作業現場管理システム1は、倉庫建物内の天井部分に設けられた倉庫監視装置10とフォークリフトFに設けられた運転監視装置20が、例えば倉庫建物内の管理室に設けられた作業現場管理装置30に、インターネット、LAN、VPN(Virtual Private Network)等のネットワークを介して通信可能に接続されている。なお、本実施形態の物流倉庫では、倉庫建物内に作業車両としてフォークリフトFが走行し、作業者Wが歩行しているものとして説明するが、作業車両はフォークリフトに限定されるものではなく、他の作業車両にも適用可能である。また説明の簡略化のため、図1ではフォークリフトF及び当該フォークリフトFの運転者D、作業者W、倉庫監視装置10、運転監視装置20、作業現場管理装置30をそれぞれ1つのみ示しているが、これらの数は複数であってもよい。
As shown in FIG. 1, a work
図2には、作業現場管理システム1における倉庫監視装置10、運転監視装置20、作業現場管理装置30の詳しい構成が示されている。倉庫監視装置10、運転監視装置20、作業現場管理装置30は、図示しないがそれぞれプログラムに基づき各種処理を実行可能なコンピュータを備えており、当該コンピュータにより後述する各部の機能を実現させている。具体的には、倉庫監視装置10、運転監視装置20、作業現場管理装置30は、少なくとも演算処理部、各種情報を記憶可能な記憶部、各種情報を入力可能な入力部、各種情報を出力可能な出力部、外部と相互に通信可能な通信部を備えている。
FIG. 2 shows detailed configurations of the
図2に示すように、倉庫監視装置10は、天井カメラ11(画像情報取得部)と、物体認識部12を有している。
As shown in FIG. 2 , the
天井カメラ11は、例えば距離センサを搭載したRGB-Dカメラであり、カラー画像(RGB)に加えて深度情報を含む奥行き画像(Depth)を含む画像情報を取得可能である。天井カメラ11は、少なくともフォークリフトFよりも高い位置である、物流倉庫内の天井に設けられており、下方に向けて画像を撮像可能である。つまり、当該天井カメラ11により取得される深度情報は、倉庫建物の高さ方向に沿った深度となる。また、画像情報には撮像時間や撮像場所等の情報も含まれる。
The
物体認識部12は、天井カメラ11により取得した画像情報から画像内に写るフォークリフトF及び作業者Wを認識し、作業車両及び前記作業者の位置情報を生成する機能を有する。
The
具体的には、物体認識部12は、様々な配置及び姿勢でフォークリフト及び作業者が写っている複数の画像を学習用データとして機械学習(例えばディープラーニング)した物体認識学習済みモデルを用いてフォークリフトF及び作業者Wの認識を行う。なお、学習用データとしての画像には深度情報が含まれてもよく、深度情報も含めて機械学習を行った物体認識学習済みモデルを生成してもよい。
Specifically, the
そして物体認識部12は、画像情報から倉庫建物の水平方向に相当するXY平面上におけるフォークリフトF及び作業者Wの位置情報を生成する。また物体認識部12は、例えば前回撮像した画像情報に基づくフォークリフトF及び作業者Wの位置情報から今回撮像した画像情報に基づく位置情報への変位からフォークリフトF及び作業者Wの移動方向を推定し、当該移動方向を含めた位置情報を生成する。なお、物体認識部12は、例えば複数の天井カメラの撮像範囲に跨ってフォークリフトや作業者が移動する場合は、位置情報だけでなくそれぞれの画像から取得できる外見上の特徴量(見た目等)から同一のフォークリフト、同一の作業者であることを同定した上で、移動方向を推定することも可能である。また、フォークリフトの向きに関しては、フォークリフトに貼り付けられたマーカを画像情報から読み取ることによって認識しても良い。
Then, the
さらに、物体認識部12は、前回と今回の画像情報の撮像時間の変位からフォークリフトF及び作業者Wの移動速度や加速度を推定し、移動速度や加速度を含めた位置情報を生成する。なお、物体認識部12は、画像情報に含まれる深度情報からフォークリフトF及び作業者Wの高さ情報を含めた位置情報を生成してもよい。
Furthermore, the
運転監視装置20は、視線カメラ21、視線認識部22、運転者認識部23、警報器24を有している。
The driving
視線カメラ21は、運転者Dの眼部分を含む頭部を撮像するカメラである。具体的には、図2に示すように視線カメラ21は、フォークリフトFの運転席のハンドルH奥に設けられており、運転席に着座した運転者Dの眼部分を含む画角で指向している。視線カメラ21は、運転者Dの眼部分を含む頭部画像を撮像し、撮像時間等も含む頭部画像情報を生成する。なお、頭部画像には必ずしも眼部分が含まれていなくてもよい。例えば、運転者Dが上半身又は首を捩じって車両後方を確認している場合でも、頭部画像情報から運転者Dの頭部の向きを認識し、そこから視線認識部22により視線方向を推定してもよい。さらに、頭部画像情報が取得できない場合でも、例えば運転者Dが被るヘルメット等にマーカを取付け、この頭部に取付けられたマーカより、頭部の向きを認識し、そこから視線認識部22により視線方向を推定してもよい。
The line-of-
視線認識部22は、視線カメラ21により生成された頭部画像情報から運転者の視線を認識して、運転者Dの視線方向を含む視線情報を生成する。視線認識部22は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する視線方向を学習用データとして機械学習(例えばディープラーニング)した視線認識学習済みモデルを用いて運転者Dの視線情報を生成する。説明を簡略化するため本実施形態における視線方向はXY平面上における視線方向で説明するが、視線認識部22はXY平面(水平面)での視線方向だけでなく、Z方向(上下どちらを向いているか)を認識することも可能である。Z方向の視線も認識することで、例えば運転者が下方向を向いている場合は視線方向に含められる範囲(例えば奥行き方向)を限定してもよい。さらに、下記説明では視線方向を一つの方向として説明するが、視線方向は人間の標準的な視野角を考慮して幅を持たせた視線範囲として認識してもよい。
The line-of-
運転者認識部23は、視線カメラ21により生成された頭部画像情報から運転者Dの顔を認識して、運転者Dの運転者情報を生成する。運転者認識部23は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する顔部分を学習用データとして機械学習(例えばディープラーニング)した運転者認識学習済みモデルを用いて運転者Dの顔情報を含む運転者情報を生成する。
The
警報器24は、例えば運転者Dに向けて警告灯を点灯又は点滅させたり、音声により警報音や音声を発する装置である。また警報器24は、フォークリフトFの外部の作業者Wに向けての警報を行うことも可能である。なお、警報器24は一つに限られず、例えば運転者D向け用と、外部向け用、それぞれ別の警報器を設けてもよい。警報器24は、作業現場管理装置30からの警報情報に応じた警報を実施可能である。例えば、本実施形態の警報器24は、第1警報、第2警報、第3警報の3種類の警報を実施可能であり、第2警報は第1警報よりも運転者に対して強い警報を、第3警報は第2警報よりも運転者に対してさらに強い警報を発するよう設定されている。なお、この第1警報から第3警報の警報の数、種類、警報強度は一例であり、これに限られるものではない。
The
作業現場管理装置30は、運転者データベース31(以下運転者DB31と記す)、運転傾向解析部32、危険判定部33を有している。
The work
運転者DB31には、運転者に関する各種情報が記憶されている。例えば、運転者DB31には、運転者の識別情報(ID番号等)、氏名、顔写真、年齢、性別等の個人情報の他、フォークリフトの運転履歴情報が記憶されている。運転履歴情報には、例えばフォークリフトの運転日時、総運転時間、運転したフォークリフト情報、危険運転情報が含まれている。危険運転情報は、例えば警報器24による警報回数、フォークリフトの進行方向と視線との非合致回数や非合致時間、急操作(急加速、急減速、急旋回、等)の回数、危険運転の動画、等が含まれている。
Various information about the driver is stored in the
運転傾向解析部32は、運転監視装置20の運転者認識部23で生成された運転者認識情報を取得して、取得した運転者認識情報に対応する運転者情報を運転者DB31から抽出して、運転者Dの運転傾向を解析する機能を有する。本実施形態では、運転傾向解析部32は、運転者認識情報に含まれる運転者Dの顔情報と一致又は類似する顔写真を含む運転者情報を運転者DB31から抽出して、抽出された運転者情報の運転履歴から運転傾向の解析を行う。具体的には運転傾向解析部32は、運転者Dの危険運転情報に基づく運転傾向の解析結果として、累積運転時間に対する危険運転の割合(例えば危険運転を行った回数/総運転時間)である危険運転率を算出する。
The driving
危険判定部33は、倉庫監視装置10の物体認識部12からフォークリフトF及び作業者Wの位置情報を、運転監視装置20の視線認識部22から運転者Dの視線情報を、運転傾向解析部32から運転者Dの運転傾向の解析結果(危険運転率)を、それぞれ取得する。
The
危険判定部33は、取得したフォークリフトFの位置情報及び作業者Wの位置情報からフォークリフトFと作業者Wとの相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成して、運転監視装置20の警報器24による警報を行わせる。本実施形態の危険判定部33は、第1安全度Se1、第2安全度Se2、第3安全度Se3の3種類の安全度を算出する。また、危険判定部33は、第1安全度Se1に対応する第1警報閾値Th1、第2安全度Se2に対応する第2警報閾値Th2、第3安全度Se3に対応する第3警報閾値Th3を有している。
The
詳しくは図3に、本実施形態の危険判定部が算出する安全度についての説明図が示されている。 Specifically, FIG. 3 shows an explanatory diagram of the degree of safety calculated by the risk determination unit of this embodiment.
第1安全度Se1は、図3に示すフォークリフトFと作業者Wとの相対距離Rdに基づく安全度である。相対距離Rdが短くなるほど第1安全度Se1の値は低下する。これに対して第1警報閾値Th1は、予め設定されたフォークリフトFからの所定の半径rとなる。危険判定部33は、第1安全度Se1が第1警報閾値Th1未満になると、即ち相対距離Rdが所定の半径r未満となると、第1警報を実施させるための警報情報を生成する。
The first safety degree Se1 is a safety degree based on the relative distance Rd between the forklift F and the worker W shown in FIG. The value of the first degree of safety Se1 decreases as the relative distance Rd decreases. On the other hand, the first warning threshold Th1 is a predetermined radius r from the forklift F set in advance. When the first degree of safety Se1 becomes less than the first warning threshold value Th1, that is, when the relative distance Rd becomes less than the predetermined radius r, the
第2安全度Se2は、フォークリフトFと作業者Wとの相対的な移動方向に基づく安全度である。具体的には第2安全度Se2は、フォークリフトFの進路上に作業者Wが入ってくる可能性の度合いであり、例えば作業者Wの位置から作業者Wの進行方向とフォークリフトFの進行方向Fdとの交点Pまでの距離Cdである。この作業者Wの位置から交点Pまでの距離Cdが短くなるほど第2安全度Se2の値は低下する。例えば、フォークリフトFの進行方向Fdと作業者Wの進行方向Wdが交差しない場合は第2安全度Se2の数値は上限値となり、フォークリフトFの進路上に作業者Wが存在する場合は第2安全度Se2の数値は下限値となる。これに対して第2警報閾値Th2は、予め設定された所定の距離である。危険判定部33は、第2安全度Se2が第2警報閾値Th2以下になると、即ち作業者Wの位置から交点Pまでの距離Cdが所定の距離Dx以下となると第2警報を実施させるための警報情報を生成する。
The second safety degree Se2 is a safety degree based on the relative movement direction of the forklift F and the worker W. As shown in FIG. Specifically, the second degree of safety Se2 is the degree of possibility that the worker W will enter the path of the forklift F. It is the distance Cd to the intersection point P with Fd. The shorter the distance Cd from the position of the worker W to the intersection P, the lower the value of the second degree of safety Se2. For example, when the travel direction Fd of the forklift F and the travel direction Wd of the worker W do not intersect, the numerical value of the second safety degree Se2 becomes the upper limit value, and when the worker W is present on the route of the forklift F, the second safety The numerical value of the degree Se2 is the lower limit. On the other hand, the second warning threshold Th2 is a preset distance. When the second safety level Se2 becomes less than or equal to the second warning threshold value Th2, that is, when the distance Cd from the position of the worker W to the intersection P becomes less than or equal to the predetermined distance Dx, the
第3安全度Se3は、フォークリフトFと作業者Wとの接触までの時間であるTTC(Time To Collision)に基づく安全度である。TTCは従来から知られた計算を用いればよく、例えばフォークリフトFと作業者Wとの相対距離Rdをフォークリフト速度Vfと作業者の移動速度Vwの差(相対速度)で割ることで算出する(TTC=Rd/Vw-Vf)。つまり、TTCの値が小さくなるほど第3安全度Se3の値は低下する。これに対して第3警報閾値Th3は、予め設定された所定時間txとなる。危険判定部33は、第3安全度Se3が第3警報閾値Th3以下になると、即ちTTCが所定時間tx以下となると第3警報を実施させるための警報情報を生成する。
The third safety level Se3 is a safety level based on TTC (Time To Collision), which is the time until the forklift F and the worker W come into contact with each other. TTC may be calculated using a conventionally known calculation, for example, by dividing the relative distance Rd between the forklift F and the worker W by the difference (relative speed) between the forklift speed Vf and the worker's moving speed Vw (TTC =Rd/Vw-Vf). That is, the smaller the value of TTC, the lower the value of the third safety degree Se3. On the other hand, the third alarm threshold value Th3 is the preset predetermined time tx. When the third safety level Se3 becomes equal to or less than the third warning threshold value Th3, that is, when the TTC becomes equal to or less than the predetermined time tx, the
また、危険判定部33は、取得した運転者Dの視線情報から当該運転者Dの視線方向に応じて第1警報閾値Th1、第2警報閾値Th2、第3警報閾値Th3の調整を行う。例えば図4には、第1警報閾値の調整に関する説明図が示されている。
Further, the
図4では、時間tが経つほどフォークリフトFと作業者Wとの相対距離Rdが短くなり第1安全度Se1が下がる傾向にある状態を示している。閾値調整前の第1閾値Thでは、t1時点で第1安全度Se1が第1警報閾値Th1を下回り、このt1時点で危険判定部33は警報器24により第1警報を実施させる。
FIG. 4 shows a state in which the relative distance Rd between the forklift F and the worker W decreases as the time t elapses, and the first safety degree Se1 tends to decrease. At the first threshold value Th before threshold adjustment, the first safety level Se1 falls below the first alarm threshold value Th1 at time t1, and the
一方、危険判定部33は、運転者Dの視線方向Edが作業者Wの方向から遠ざかるほど、即ち運転者Dから作業者Wへの方向に対する視線方向Edの角度が大きくなるほど、第1警報閾値Th1を上昇させる。即ち、運転者Dの視線方向が作業者Wから遠ざかるほど警報が実施されやすくなる。また、逆に運転者Dの視線方向Edが作業者Wの方向に近づくほど、即ち運転者Dから作業者Wへの方向に対する視線方向Edの角度が小さくなるほど、第1警報閾値Th1を減少させてもよい。
On the other hand, the
図4では、このように閾値を上昇させた第1閾値Thでは、t1時点よりも早いt2時点で第1安全度Se1が第1警報閾値Th1を下回る。従って、危険判定部33は閾値調整前よりも相対距離Rdが離れている時点で第1警報を実施させ、より早めに運転者Dに警告を行う。第2警報閾値Th2及び第3警報閾値Th3についても同様であり、運転者Dの視線方向が作業者Wから遠ざかるほど第2警報閾値Th2及び第3警報閾値Th3を大きく上昇させる。
In FIG. 4, with the first threshold Th raised in this way, the first safety level Se1 falls below the first warning threshold Th1 at time t2 earlier than time t1. Therefore, the
さらに、危険判定部33は、取得した運転者Dの運転傾向の解析結果(危険運転率)に応じて第1警報閾値Th1、第2警報閾値Th2、第3警報閾値Th3の調整を行う。具体的には、危険運転率が高いほど、各警報閾値Th1、Th2、Th3の値を高くする。即ち、危険運転率が高いほど警報が実施されやすくなる。また、危険運転率が低いほど、各警報閾値Th1、Th2、Th3の値を低くしてもよい。
Further, the
<処理の流れ>
図5には、本開示の一実施形態に係る作業現場管理装置30において実行される危険判定ルーチンを示すフローチャートが示されており、以下、同フローチャートを沿って作業現場管理方法について説明する。なお、当該フローチャートは一例であり、危険判定ルーチンは当該フローチャートの処理に限られるものではなく、例えば各処理の順序を変更してもよい。当該危険判定ルーチンは、例えば作業現場管理装置30の動作開始後に開始する。
<Process flow>
FIG. 5 shows a flowchart showing a risk determination routine executed by the work
図5のステップS1において、危険判定部33は、倉庫監視装置10の天井カメラ11により撮像した画像情報から物体認識部12により認識されたフォークリフトF及び作業者Wの位置情報を取得する。
In step S1 of FIG. 5, the
ステップS2において、危険判定部33は、取得したフォークリフトF及び作業者Wの位置情報から上述した第1安全度Se1、第2安全度Se2、第3安全度Se3を算出する。
In step S2, the
ステップS3において、危険判定部33は、運転監視装置20の視線カメラ21により撮像した運転者の頭部画像情報に基づき認識した視線情報を視線認識部22から取得する。
In step S<b>3 , the
また、ステップS4において、運転傾向解析部32は、運転監視装置20の視線カメラ21により撮像した運転者の頭部画像情報に基づき生成された運転者認識情報を運転者認識部23から取得する。
Further, in step S<b>4 , the driving
ステップS5において、運転傾向解析部32は、ステップS6で取得した運転者認識情報と対応する運転者情報を運転者DB31から抽出して、当該運転者Dの運転傾向を解析する。具体的には運転傾向解析部32は、運転者Dの危険運転率を算出する。
In step S5, the driving
ステップS6において、危険判定部33は、ステップS3にて取得した視線情報と、ステップS5にて運転傾向解析部32により解析された運転者Dの運転傾向の解析結果(危険運転率)に基づき、各警報閾値Th1~Th3の調整を行う。
In step S6, the
ステップS7において、危険判定部33は、フォークリフトFと作業者WのTTCに応じた第3安全度Se3が第3警報閾値Th3以上であるか否かを判定する。当該判定結果が偽(No)である場合、即ち第3安全度Se3が第3警報閾値Th3未満の場合、例えば具体的にはTTCが所定時間tx未満ある場合は、ステップS8に処理を進める。
In step S7, the
ステップS8において、危険判定部33は第3警報を行うための警報情報を生成し、運転監視装置20の警報器24により第3警報を実施させ、当該ルーチンをリターンする。
In step S8, the
一方、ステップS7の判定結果が真(Yes)である場合、即ち第3安全度Se3が第3警報閾値Th3以上の場合、例えばTTCが所定時間tx以上ある場合は、ステップS9に処理を進める。 On the other hand, if the determination result of step S7 is true (Yes), that is, if the third safety level Se3 is equal to or greater than the third alarm threshold value Th3, for example, if TTC is greater than or equal to the predetermined time tx, the process proceeds to step S9.
ステップS9において、危険判定部33は、フォークリフトFと作業者Wの相対的な移動方向に応じた第2安全度Se2が第2警報閾値Th2以上であるか否かを判定する。当該判定結果が偽(No)である場合、即ち第2安全度Se2が第2警報閾値Th2未満である場合、例えば作業者Wの位置からフォークリフトFの進行方向Fdとの交点Pまでの距離Cdが短く、フォークリフトFの進路上に作業者Wが入ってくる可能性が高い場合は、ステップS10に処理を進める。
In step S9, the
ステップS10において、危険判定部33は第2警報を行うための警報情報を生成し、運転監視装置20の警報器24により第2警報を実施させ、当該ルーチンをリターンし、再度ステップS1からの処理を繰り返す。
In step S10, the
一方、ステップS9の判定結果が真(Yes)である場合、即ち第2安全度Se2が第2警報閾値Th2以上である場合、例えば作業者Wの位置からフォークリフトFの進行方向Fdとの交点Pまでの距離Cdが十分にあり、フォークリフトFの進路上に作業者Wが入ってくる可能性が低い場合は、ステップS11に処理を進める。 On the other hand, if the determination result in step S9 is true (Yes), that is, if the second safety level Se2 is equal to or greater than the second alarm threshold value Th2, for example, the intersection point P If the distance Cd to the forklift truck F is sufficient and the possibility that the worker W will enter the path of the forklift F is low, the process proceeds to step S11.
ステップS11において、危険判定部33は、フォークリフトFと作業者Wの相対距離Rdに応じた第1安全度Se1が第1警報閾値Th1以上であるか否かを判定する。当該判定結果が偽(No)である場合、即ち第1安全度Se1が第1警報閾値Th1未満である場合、例えば作業者WがフォークリフトFからの所定の半径rの範囲内にいる場合は、ステップS12に処理を進める。
In step S11, the
ステップS12において、危険判定部33は警報情報を生成し、運転監視装置20の警報器24により第1警報を実施させ、当該ルーチンをリターンする。
In step S12, the
一方、ステップS11の判定結果が真(Yes)である場合、即ち第1安全度Se1が第1警報閾値Th1以上である場合、例えば作業者WがフォークリフトFからの所定の半径rの範囲外にいる場合は、警報を行わずに当該ルーチンをリターンする。 On the other hand, if the determination result in step S11 is true (Yes), that is, if the first safety level Se1 is greater than or equal to the first alarm threshold value Th1, for example, the worker W is outside the range of the predetermined radius r from the forklift F. If so, the routine is returned without issuing an alarm.
以上のように、作業現場管理システム1では、倉庫建物の天井部分から天井カメラ11により物流倉庫内を撮像して深度情報も含めた画像情報を取得し、物体認識部12により当該画像情報からフォークリフトF及び作業者Wの位置情報を認識している。このように深度情報を含む画像情報からフォークリフトF及び作業者Wの位置情報を認識することで、例え画像上においてフォークリフトFや作業者Wの一部分が障害物等や姿勢の関係で隠れていても、より正確にフォークリフトFや作業者Wの位置を認識することができる。位置情報を正確に認識できることで安全度の精度が向上し、より正確な警報を行うことができる。また、天井カメラ11によりフォークリフトF及び作業者Wを認識できることで、従来のようなカラーラベルが貼付されたバーやビーコンを設置したり、作業者にカラーラベルを装着したりする必要がなくなり、設備コストや運用コストを低減でき、且つ人為的ミスも削減することができる。
As described above, in the work
さらに作業現場管理システム1では、フォークリフトFの運転者Dの視線方向を認識して、当該視線方向に応じて安全度に対応する警報閾値を調整している。具体的には、視線方向が作業者Wから離れるほど警報閾値を上昇させて警報を発しやすくする。また、視線方向が作業者Wに近づくほど警報閾値を減少させて警報を発しにくくする。これにより、運転者Dが作業者Wを目視していない可能性が高い場合には早めに警報することとなり、接触の可能性を抑えることができる。また、運転者Dが作業者Wを目視しているような場合には、遅めに警報することとなり、余計な警報を抑えることができる。
Furthermore, the work
また、危険判定部33は運転傾向解析部32により解析した運転者Dの運転傾向に応じても警報閾値を調整する。具体的には、運転傾向解析部32により算出した危険運転率が高いほど各警報閾値Th1、Th2、Th3を高く調整して早めに警報を発するようにすることで、危険運転の多い運転者Dに対しては早めに警報を発することで安全性を高めることができる。一方、危険運転率が低いほど各警報閾値Th1、Th2、Th3を低く調整して遅めに警報を発するようにすることで、危険運転の少ない運転者Dに対しては遅めに警報を発することで余計な警報を抑えることができる。
The
また天井カメラ11はフォークリフトFの高さよりも高い位置から作業現場を撮像することで、少ない設備投資と労力で作業現場管理システム1を実現することができる。
In addition, the
また、危険判定部33は安全度として、フォークリフトFと作業者Wとの相対距離Rdに応じた第1安全度Se1を算出して、第1安全度Se1が第1警報閾値Th1を下回ると第1警報を行わせる警報情報を生成する。これにより、容易に安全度を算出することができる。
In addition, the
また、危険判定部33は安全度として、フォークリフトFと作業者Wとの移動方向に応じた第2安全度Se2を算出して、第2安全度Se2が第2警報閾値Th2を下回ると第2警報を行わせる警報情報を生成する。このように、フォークリフトFと作業者Wとの移動方向を考慮した第2安全度Se2を用いて警報の要否を判定することで、より正確な警報を行うことができる。
In addition, the
また、危険判定部33は安全度として、フォークリフトFと作業者Wとが接触するまでにかかる時間(TTC)に応じた第3安全度Se3を算出して、第3安全度Se3が第3警報閾値Th3を下回ると第3警報を行わせる警報情報を生成する。このようにTTCに応じた第3安全度Se3を用いて警報の要否を判定することで、さらに正確な警報を行うことができる。
In addition, the
また、このように複数の安全度を算出して、それぞれの安全度に基づく警報の要否を判定することで、状況に応じた適切な警報を行うことができる。 In addition, by calculating a plurality of degrees of safety in this way and determining whether or not an alarm is necessary based on each degree of safety, it is possible to give an appropriate warning according to the situation.
このようにして本実施形態の作業現場管理システム1(作業現場管理方法、作業現場管理システム)では、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。 In this manner, the work site management system 1 (work site management method, work site management system) of the present embodiment can more appropriately reduce the risk of contact between the worker and the work vehicle at the work site.
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。 Although several embodiments of the present disclosure have been described above, these embodiments can be implemented in various other forms, and various omissions, replacements, and modifications are possible without departing from the spirit of the invention. It can be performed. These embodiments and their modifications are intended to be included in the invention described in the claims and their equivalents as well as included in the scope and gist of the invention.
上記実施形態では、作業現場管理装置30の危険判定部33が安全度に応じた警報指示を行っているが、例えば倉庫監視装置又は運転監視装置に危険判定部を備えてよい。また作業現場管理装置30の運転者DBや運転傾向解析部も倉庫監視装置又は運転監視装置が備えた構成としてもよい。
In the above-described embodiment, the
また、上記実施形態では、危険判定部33は、運転者Dの視線方向Edと運転者Dに対する作業者Wの方向の角度に応じて第1警報閾値Th1を調整しているが、運転者の視線方向に応じた閾値の調整方法はこれに限られるものではない。例えば、より簡易に、運転者からの一定の視線範囲に作業者が含まれているか否かで、第1警報閾値を調整してもよい。つまり、運転者の視線範囲に作業者が含まれている、即ち運転者が作業者を見ている場合は第1警報閾値を低い所定値に設定し、運転者の視線範囲に作業者が含まれていない、即ち運転者が作業者を見ていない場合は第1警報閾値を高い所定値に設定する。
In the above-described embodiment, the
また、上記実施形態では、天井カメラ11をRGB-Dカメラとして説明しているが、深度情報を取得可能なカメラであればよく、例えばToF(Time of Flight)センサを備えていたり、2つのカメラを用いるステレオカメラであったりしてもよい。
Further, in the above embodiment, the
また、倉庫監視装置10の撮像部としては天井に設けられているものに限られず、少なくとも作業車両の高さよりも高い位置に設けられていればよい。つまり、例えば倉庫建物の壁部や、倉庫建物内に立設された柱や設備の高い位置に設けてもよい。
Further, the imaging unit of the
また、上記実施形態では、運転者Dの運転者情報の生成を視線カメラ21により撮像した頭部画像に基づき生成しているが、運転者情報所得部はこれに限られるものではない。例えば、運転者情報所得部は、運転者Dの識別情報が記録されたICカードやキー等から情報を読み取る情報読取機であってもよい。
In the above embodiment, the driver information of the driver D is generated based on the head image captured by the line-of-
また、上記実施形態では、視線カメラ21は、フォークリフトFの運転席のハンドルH奥に設けられているが、視線カメラの設置位置はこれに限られるものではない。例えば、フォークリフトのバックミラーやライトが取り付けられている外枠部分に取り付けられていてもよい。
Further, in the above-described embodiment, the line-of-
また、上記実施形態では、運転傾向解析部32が運転傾向の解析として、総運転時間に対する危険運転の割合である危険運転率を算出しているが、運転傾向の解析はこれに限られるものではない。
In the above-described embodiment, the driving
また、上記実施形態において、危険判定部33は第1安全度Se1から第3安全度Se3を算出して警報の要否を判定しているが、第1安全度Se1から第3安全度Se3のうちの1つ又は2つのみを用いて警報の要否を判定してもよい。
In the above-described embodiment, the
1 :作業現場管理システム
10 :倉庫監視装置
11 :天井カメラ
12 :物体認識部
20 :運転監視装置
21 :視線カメラ
22 :視線認識部
23 :運転者認識部
24 :警報器
30 :作業現場管理装置
31 :運転者データベース
32 :運転傾向解析部
33 :危険判定部
1: work site management system 10: warehouse monitoring device 11: ceiling camera 12: object recognition unit 20: operation monitoring device 21: line-of-sight camera 22: line-of-sight recognition unit 23: driver recognition unit 24: alarm device 30: work site management device 31: Driver database 32: Driving tendency analysis unit 33: Risk determination unit
Claims (8)
前記作業現場撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、
前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、
前記運転者撮像部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、
前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、
を備え、
前記危険判定部は、前記視線認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する、
作業現場管理システム。 a work site imaging unit capable of acquiring image information including an image of a work site and depth information in the image;
an object recognition unit that recognizes a work vehicle and a worker appearing in the image from image information acquired by the work site imaging unit and generates position information of the work vehicle and the worker;
a driver imaging unit that captures an image of the driver of the work vehicle and acquires line-of-sight information of the driver;
a line-of-sight recognition unit that recognizes the line-of-sight direction of the driver from the line-of-sight information acquired by the driver imaging unit;
A degree of safety correlated with the relative positional relationship between the work vehicle and the worker is calculated from the positional information of the work vehicle and the worker generated by the object recognition unit, and the degree of safety falls below a predetermined alarm threshold. and a danger determination unit that generates alarm information;
with
The risk determination unit adjusts the predetermined alarm threshold according to the line-of-sight direction of the driver recognized by the line-of-sight recognition unit.
Workplace management system.
前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、
前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、
前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、
を備え、
前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整する
請求項1に記載の作業現場管理システム。 moreover,
a driver recognition unit that recognizes a driver of the work vehicle and generates driver recognition information;
a driver information storage unit that stores driver information including the driving history of the driver;
a driving tendency analysis unit that extracts driver information corresponding to the driver recognition information from the driver information storage unit and analyzes the driving tendency of the driver based on the extracted driver information;
with
The work site management system according to claim 1, wherein the risk determination unit adjusts the alarm threshold according to the driving tendency of the driver analyzed by the driving tendency analysis unit.
請求項1又は2に記載の作業現場管理システム。 The work site management system according to claim 1 or 2, wherein the work site imaging unit images the work site from a position higher than the height of the work vehicle.
請求項1から3のいずれか一項に記載の作業現場管理システム。 The risk determination unit calculates a first degree of safety according to the relative distance between the work vehicle and the worker from the position information of the work vehicle and the worker generated by the object recognition unit. 1 generating alarm information that causes a first alarm to occur when the degree of safety falls below a first alarm threshold;
The work site management system according to any one of claims 1 to 3.
請求項1から4のいずれか一項に記載の作業現場管理システム。 The risk determination unit calculates a second degree of safety according to the moving direction of the work vehicle and the worker from the positional information of the work vehicle and the worker generated by the object recognition unit. generating alarm information causing a second alarm to occur when the degree falls below a second alarm threshold;
The work site management system according to any one of claims 1 to 4.
請求項1から5のいずれか一項に記載の作業現場管理システム。 The risk determination unit calculates a third degree of safety according to the time required for the work vehicle and the worker to come into contact with each other from the positional information of the work vehicle and the worker generated by the object recognition unit. , generating alarm information that causes a third alarm to occur when the third degree of safety falls below a third alarm threshold;
The work site management system according to any one of claims 1 to 5.
作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、
前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
を実行する作業現場管理方法。 the computer
a work site imaging step of acquiring image information including an image of the work site and depth information in the image;
an object recognition step of recognizing a work vehicle and a worker appearing in the image from the image information acquired by the work site imaging step and generating position information of the work vehicle and the worker;
a driver imaging step of imaging a driver of the work vehicle and acquiring line-of-sight information of the driver;
a line-of-sight direction recognition step for recognizing the line-of-sight direction of the driver of the work vehicle from the line-of-sight information acquired by the driver imaging step;
calculating a degree of safety correlated with the relative positional relationship between the work vehicle and the worker from the positional information of the work vehicle and the worker generated by the object recognition step, and the degree of safety falls below a predetermined alarm threshold; and a danger determination step of generating alarm information;
a threshold adjustment step of adjusting the predetermined alarm threshold according to the line-of-sight direction of the driver recognized by the line-of-sight direction recognition step, prior to the risk determination step;
A worksite management method that implements
前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
を備え、
前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
をコンピュータに実行させるための作業現場管理プログラム。
a work site imaging step of acquiring image information including an image of the work site and depth information in the image;
an object recognition step of recognizing a work vehicle and a worker appearing in the image from the image information acquired by the work site imaging step and generating position information of the work vehicle and the worker;
a driver imaging step of imaging a driver of the work vehicle and acquiring line-of-sight information of the driver;
a line-of-sight direction recognition step for recognizing the line-of-sight direction of the driver of the work vehicle from the line-of-sight information acquired by the driver imaging step;
calculating a degree of safety correlated with the relative positional relationship between the work vehicle and the worker from the positional information of the work vehicle and the worker generated by the object recognition step, and the degree of safety falls below a predetermined alarm threshold; and a danger determination step of generating alarm information;
with
a threshold adjustment step of adjusting the predetermined alarm threshold according to the line-of-sight direction of the driver recognized by the line-of-sight direction recognition step, prior to the risk determination step;
Work site management program for executing on a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022022606A JP2022176876A (en) | 2021-05-17 | 2022-02-17 | Worksite management system, worksite management method and worksite management program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021082982A JP7036329B1 (en) | 2021-05-17 | 2021-05-17 | Worksite management system, worksite management method, and worksite management program |
JP2022022606A JP2022176876A (en) | 2021-05-17 | 2022-02-17 | Worksite management system, worksite management method and worksite management program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082982A Division JP7036329B1 (en) | 2021-05-17 | 2021-05-17 | Worksite management system, worksite management method, and worksite management program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022176876A true JP2022176876A (en) | 2022-11-30 |
Family
ID=81213537
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082982A Active JP7036329B1 (en) | 2021-05-17 | 2021-05-17 | Worksite management system, worksite management method, and worksite management program |
JP2022022606A Pending JP2022176876A (en) | 2021-05-17 | 2022-02-17 | Worksite management system, worksite management method and worksite management program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082982A Active JP7036329B1 (en) | 2021-05-17 | 2021-05-17 | Worksite management system, worksite management method, and worksite management program |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7036329B1 (en) |
WO (1) | WO2022244747A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115860642B (en) * | 2023-02-02 | 2023-05-05 | 上海仙工智能科技有限公司 | Visual identification-based warehouse-in and warehouse-out management method and system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012127059A (en) | 2010-12-13 | 2012-07-05 | Toho Gas Co Ltd | Construction vehicle support system |
JP6500711B2 (en) | 2015-09-07 | 2019-04-17 | コベルコ建機株式会社 | Wakimi detection device |
KR102449834B1 (en) | 2017-02-17 | 2022-09-29 | 스미도모쥬기가이고교 가부시키가이샤 | Perimeter monitoring system for working machines |
JP7361441B2 (en) | 2019-02-01 | 2023-10-16 | 株式会社Fuji | Work vehicle safety system |
-
2021
- 2021-05-17 JP JP2021082982A patent/JP7036329B1/en active Active
-
2022
- 2022-02-17 JP JP2022022606A patent/JP2022176876A/en active Pending
- 2022-05-16 WO PCT/JP2022/020443 patent/WO2022244747A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2022176510A (en) | 2022-11-30 |
JP7036329B1 (en) | 2022-03-15 |
WO2022244747A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101715001B1 (en) | Display system for safety evaluation in construction sites using of wearable device, and thereof method | |
KR102065975B1 (en) | Safety Management System Using a Lidar for Heavy Machine | |
US9747802B2 (en) | Collision avoidance system and method for an underground mine environment | |
JP6655727B2 (en) | Monitoring system | |
CN110419048B (en) | System for identifying defined objects | |
EP3016815B1 (en) | Operator drowsiness detection in surface mines | |
CN112804498B (en) | Wearing condition monitoring system and method for safety protection harness | |
JP2004362586A (en) | Image processing system for vehicle | |
CN110689725A (en) | Security robot system for crossing comprehensive inspection and processing method thereof | |
CN114885133B (en) | Depth image-based equipment safety real-time monitoring method and system and related equipment | |
CN112373467A (en) | Intelligent obstacle avoidance system of unmanned automobile | |
KR20130016606A (en) | Advanced driver assistance system for safety driving using driver adaptive irregular behavior detection | |
US11614621B2 (en) | User-wearable systems and methods to collect data and provide information | |
KR101914362B1 (en) | Warning system and method based on analysis integrating internal and external situation in vehicle | |
BR102020019933A2 (en) | WORKPLACE CLASSIFICATION SYSTEM, E, METHOD | |
WO2022244747A1 (en) | Workplace management system, workplace management method, and workplace management program | |
JP2019197522A (en) | Driver condition recognition device and method based on travel state determination information | |
KR101862545B1 (en) | Method and system for providing rescue service using robot | |
CN106228754A (en) | A kind of hands based on binocular vision detection equipment | |
CN112180951A (en) | Intelligent obstacle avoidance method for unmanned vehicle and computer readable storage medium | |
US11807264B2 (en) | Driving assistance apparatus, driving assistance method, and medium | |
US20210279486A1 (en) | Collision avoidance and pedestrian detection systems | |
CN115050125A (en) | Safety early warning method, device, equipment and storage medium based on 2d camera | |
CN117227740B (en) | Multi-mode sensing system and method for intelligent driving vehicle | |
CN112668553B (en) | Method, device, medium and equipment for detecting discontinuous observation behavior of driver |