JP2023177871A - Learning device and learning method - Google Patents
Learning device and learning method Download PDFInfo
- Publication number
- JP2023177871A JP2023177871A JP2022090819A JP2022090819A JP2023177871A JP 2023177871 A JP2023177871 A JP 2023177871A JP 2022090819 A JP2022090819 A JP 2022090819A JP 2022090819 A JP2022090819 A JP 2022090819A JP 2023177871 A JP2023177871 A JP 2023177871A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image
- target image
- user
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 claims abstract description 103
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 84
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000010191 image analysis Methods 0.000 abstract description 39
- 238000012549 training Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 57
- 230000002159 abnormal effect Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 37
- 238000012790 confirmation Methods 0.000 description 35
- 230000005856 abnormality Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、監視エリアの撮影画像に基づき、撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する学習装置および学習方法に関するものである。 The present invention relates to a learning device and a learning method that generate a learning model for detecting a state in which an object enters a predetermined area set on a photographed image as an event of interest based on a photographed image of a monitoring area. .
監視エリアの撮影画像に基づき、監視エリアで発生した異常事象を検知するシステムが広く普及している。さらに、近年、ディープラーニングなどの機械学習により生成された学習モデルを用いて異常事象を検知するシステムも利用されている。 BACKGROUND ART Systems that detect abnormal events that occur in a monitoring area based on captured images of the monitoring area are widely used. Furthermore, in recent years, systems that detect abnormal events using learning models generated by machine learning such as deep learning have also been used.
学習モデルを用いて異常事象を検知するシステムでは、運用前に、監視エリアの撮影画像に基づく学習対象画像(教師画像)を用いて機械学習を行うことで、学習モデルが作成される。また、運用中には、監視エリアの撮影画像に基づく検知対象画像を学習モデルに入力することで、異常事象の検知結果を取得することができる。さらに、運用中に、異常事象の検知に用いられる検知対象画像を学習対象画像として用いて追加学習を行うと、学習モデルの精度を随時高めることができる。 In a system that uses a learning model to detect an abnormal event, a learning model is created before operation by performing machine learning using a learning target image (teacher image) based on a captured image of a monitoring area. Also, during operation, detection results of abnormal events can be obtained by inputting detection target images based on captured images of the monitoring area to the learning model. Furthermore, during operation, if additional learning is performed using a detection target image used for abnormal event detection as a learning target image, the accuracy of the learning model can be improved at any time.
このような検知対象画像を学習対象画像として用いて追加学習を行う技術として、従来、検知対象画像を、追加学習における学習対象画像の候補としてユーザに提示し、その検知対象画像に関して、追加学習用の学習対象画像としての適否をユーザが目視で判断して、追加学習用の学習対象画像をユーザが選別する技術が知られている(特許文献1参照)。 Conventionally, as a technology for performing additional learning using such a detection target image as a learning target image, the detection target image is presented to the user as a candidate for the learning target image in additional learning, and the detection target image is used for additional learning. There is a known technique in which a user visually determines the suitability of an image as a learning target image and selects a learning target image for additional learning (see Patent Document 1).
さて、従来の技術によれば、追加学習における学習対象画像の候補としての検知対象画像が、所定事象(対象物の出現)が検知された否かの検知結果(正誤判定結果)を付加して、ユーザに提示される。ユーザは、検知対象画像を目視することで、検知結果の正誤に応じて学習対象画像としての適否を判断して、追加学習用の学習対象画像を選別する。 Now, according to the conventional technology, a detection target image as a candidate for a learning target image in additional learning is added with a detection result (correctness determination result) as to whether a predetermined event (appearance of a target object) has been detected. , presented to the user. By visually observing the detection target image, the user determines whether the image is appropriate as a learning target image depending on whether the detection result is correct or not, and selects the learning target image for additional learning.
しかしながら、従来の技術のように、監視エリアの撮影画像である検知対象画像を目視しただけでは、学習対象画像としての適否の判断が、ユーザの主観に大きく左右されて、判断結果がばらつくという問題があった。さらに、所定エリアに対象物(例えば人物)が進入した状態を異常事象として検知する場合には、異常事象の発生状況の判断が難しく、監視エリアの撮影画像である検知対象画像を目視しただけでは、異常事象の発生状況を容易にかつ精度よく判断できない。このため、異常事象の発生状況に関するラベル情報を学習対象画像に付加するラベル付けが不正確になり、精度の高い学習モデルを作成できないという問題があった。 However, the problem with conventional technology is that when a detection target image, which is an image taken in a surveillance area, is simply visually inspected, the determination of whether or not it is suitable as a learning target image is largely influenced by the user's subjectivity, resulting in variations in the determination results. was there. Furthermore, when detecting the entry of an object (for example, a person) into a predetermined area as an abnormal event, it is difficult to determine the occurrence of the abnormal event, and it is difficult to judge the occurrence of the abnormal event by simply looking at the detection target image, which is an image taken in the monitoring area. , it is not possible to easily and accurately determine the occurrence status of an abnormal event. For this reason, there is a problem in that the labeling that adds label information regarding the occurrence status of an abnormal event to the learning target image becomes inaccurate, and a highly accurate learning model cannot be created.
そこで、本発明は、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる学習装置および学習方法を提供することを主な目的とする。 Therefore, the present invention enables a user to easily and accurately judge the occurrence status of an event of interest without being greatly influenced by the user's subjectivity, and efficiently collect appropriately labeled learning target images. The main objective is to provide a learning device and a learning method that can generate highly accurate learning models.
本発明の学習装置は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習装置であって、前記プロセッサは、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。 The learning device of the present invention uses a processor to generate a learning model for detecting, as an event of interest, a state in which an object enters a predetermined area set on the photographed image, based on a photographed image of a monitoring area. In the learning device, the processor generates a learning target image by superimposing and synthesizing a determination reference image, which is a reference for determining entry of a target object into the predetermined area, on the photographed image; Machine learning that is presented to a user, acquires information regarding the occurrence status of the noted event that appears in the learning target image as label information based on the user's operation, and uses the learning target image and the label information as learning information. The learning model is generated by:
また、本発明の学習方法は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習方法であって、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。 Furthermore, the learning method of the present invention includes a process of generating a learning model for detecting, as an event of interest, a state in which an object enters a predetermined area set on the photographed image, based on the photographed image of the monitoring area. In this learning method, a learning target image is generated by superimposing and synthesizing a determination reference image, which is a reference for determining entry of an object into the predetermined area, on the photographed image, and the learning target image is presented to the user. Based on the user's operation, information regarding the occurrence status of the noted event that appeared in the learning target image is acquired as label information, and machine learning is performed using the learning target image and the label information as learning information. The configuration is to generate a learning model.
本発明によれば、学習対象画像が、監視エリアの撮影画像に判定基準画像が重畳合成されたものである。このため、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる。 According to the present invention, the learning target image is obtained by superimposing and synthesizing the determination reference image on the photographed image of the monitoring area. Therefore, the user can easily and accurately judge the occurrence status of the event of interest without being greatly influenced by the user's subjectivity, efficiently collect appropriately labeled learning target images, and perform high-precision training. A learning model can be generated.
前記課題を解決するためになされた第1の発明は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習装置であって、前記プロセッサは、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。 A first invention made to solve the above problem is a learning model for detecting, as an event of interest, a state in which an object enters a predetermined area set on the photographed image, based on the photographed image of the monitoring area. A learning device in which a processor performs processing to generate a learning target image, wherein the processor generates a learning target image obtained by superimposing and synthesizing a determination reference image, which is a reference for determining entry of an object into the predetermined area, onto the photographed image. the learning target image is presented to the user, and based on the user's operation, information regarding the occurrence status of the noted event appearing in the learning target image is acquired as label information, and the learning target image and the label information are acquired. The learning model is generated by machine learning using as learning information.
これによると、学習対象画像が、監視エリアの撮影画像に判定基準画像が重畳合成されたものである。このため、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる。 According to this, the learning target image is obtained by superimposing and synthesizing the determination reference image on the photographed image of the monitoring area. Therefore, the user can easily and accurately judge the occurrence status of the event of interest without being greatly influenced by the user's subjectivity, efficiently collect appropriately labeled learning target images, and perform high-precision training. A learning model can be generated.
また、第2の発明は、前記プロセッサは、リアルタイムの前記撮影画像に前記判定基準画像を重畳合成した検知対象画像を生成し、前記学習モデルを用いて前記検知対象画像から前記注目事象を検知する処理を行い、前記注目事象が検知された場合に、前記検知対象画像を、追加学習における前記学習対象画像に設定すると共に、その学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記ラベル情報を取得し、前記学習対象画像と前記ラベル情報とを追加学習のための学習情報とした機械学習により更新用の前記学習モデルを生成する構成とする。 Further, in a second invention, the processor generates a detection target image by superimposing and synthesizing the determination reference image on the captured image in real time, and detects the event of interest from the detection target image using the learning model. When processing is performed and the event of interest is detected, the detection target image is set as the learning target image in additional learning, the learning target image is presented to the user, and based on the user's operation, the The configuration is such that label information is acquired and the learning model for updating is generated by machine learning using the learning target image and the label information as learning information for additional learning.
これによると、注目事象を検知する処理に用いられる検知対象画像がそのまま追加学習のための学習対象画像になるため、追加学習を効率よく行うことができる。 According to this, since the detection target image used in the process of detecting the event of interest becomes the learning target image for additional learning as it is, additional learning can be performed efficiently.
また、第3の発明は、前記プロセッサは、ユーザの操作に基づいて、ユーザが追加学習の対象に指定した前記検知対象画像を、追加学習における前記学習対象画像に設定する構成とする。 In a third aspect of the present invention, the processor sets the detection target image designated by the user as a target for additional learning as the learning target image in additional learning, based on a user's operation.
これによると、ユーザが指定した検知対象画像が追加学習の対象に設定されるため、追加学習をより適切に行うことができる。 According to this, since the detection target image designated by the user is set as the target of additional learning, additional learning can be performed more appropriately.
また、第4の発明は、前記プロセッサは、物体が移動する危険エリアに対応する前記所定エリアに対象物が進入した状態を前記注目事象として検知するための学習モデルを生成する構成とする。 In a fourth aspect of the present invention, the processor generates a learning model for detecting, as the event of interest, a state in which an object enters the predetermined area corresponding to a dangerous area in which the object moves.
これによると、物体が移動する危険エリアに対象物が接近した状態を注目事象として検知することができる。なお、物体が移動する危険エリアとは、例えば荷物を搬送する装置(コンベア)や、列車が走行する線路である。 According to this, a state in which a target object approaches a dangerous area in which the object is moving can be detected as an event of interest. Note that the dangerous area where an object moves is, for example, a device (conveyor) for transporting luggage or a track on which a train runs.
また、第5の発明は、前記プロセッサは、前記判定基準画像として、直線状の判定ラインを表す画像を前記撮影画像に重畳合成する構成とする。 In a fifth aspect of the present invention, the processor superimposes an image representing a linear determination line on the photographed image as the determination reference image.
これによると、注目事象を検知する際の判定基準として、直線状の判定ラインを設定することで、注目事象を適切に検知することができる。そのため、判定ラインに交差する形で対象物が接近する注目事象を、他の注目事象と区別して検知することが可能となる。なお、判定ラインは1本でもよくまた複数本でもよい。 According to this, by setting a linear determination line as a criterion for detecting an event of interest, it is possible to appropriately detect an event of interest. Therefore, it is possible to detect an event of interest in which an object approaches in a manner that intersects the determination line, distinguishing it from other events of interest. Note that the number of determination lines may be one or more than one.
また、第6の発明は、前記プロセッサは、前記判定基準画像として、多角形状の判定エリアを表す画像を前記撮影画像に重畳合成する構成とする。 In a sixth aspect of the invention, the processor superimposes an image representing a polygonal determination area on the photographed image as the determination reference image.
これによると、注目事象を検知する際の判定基準として、多角形状の判定エリアを設定することで、注目事象を適切に検知することができる。 According to this, by setting a polygonal determination area as a criterion for detecting an event of interest, it is possible to appropriately detect an event of interest.
また、第7の発明は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習方法であって、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。 The seventh invention also provides a seventh invention that uses a processor to generate a learning model for detecting, as an event of interest, a state in which an object enters a predetermined area set on the photographed image, based on the photographed image of the monitoring area. The learning method includes: generating a learning target image by superimposing and synthesizing a determination reference image, which is a reference for determining entry of an object into the predetermined area, onto the photographed image, and presenting the learning target image to a user. Based on the user's operation, information regarding the occurrence status of the noted event appearing in the learning target image is acquired as label information, and the learning is performed by machine learning using the learning target image and the label information as learning information. The configuration is to generate a model.
これによると、第1の発明と同様に、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる。 According to this, similar to the first invention, the user can easily and accurately judge the occurrence situation of the event of interest without being greatly influenced by the user's subjectivity, and can select the appropriately labeled learning target image. It is possible to collect information efficiently and generate a highly accurate learning model.
以下、本発明の実施の形態を、図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本実施形態に係る監視システムの全体構成図である。 FIG. 1 is an overall configuration diagram of a monitoring system according to this embodiment.
本システムは、監視エリアの撮影画像に基づいて監視エリアで発生する異常事象(注目事象)を監視するものである。本システムは、カメラ1と、画像解析サーバ2(学習装置)と、画像管理サーバ3(学習装置)と、監視端末4(端末装置)と、を備えている。カメラ1、画像解析サーバ2、画像管理サーバ3、および監視端末4は、インターネットや閉域ネットワークなどのネットワークを介して接続されている。
This system monitors abnormal events (events of interest) occurring in a monitoring area based on captured images of the monitoring area. This system includes a
カメラ1は、監視エリアを撮影する。
画像解析サーバ2は、ディープラーニングなどの機械学習により生成される学習モデルを用いた画像解析処理を行い、監視エリアで発生する異常事象を検知し、監視端末4を利用して異常事象の発生をユーザ(監視員)に報知する。また、画像解析サーバ2は、画像管理サーバ3で蓄積された学習対象画像(教師画像)を用いて学習モデルを生成する。
The
画像管理サーバ3は、画像解析サーバ2で用いられる学習モデルの生成に必要な学習対象画像(教師画像)を蓄積して管理する。学習対象画像はカメラ1の撮影画像から生成される。
The
監視端末4では監視画面が表示される。監視画面には、カメラ1によるリアルタイムの撮影画像が表示される。これにより、ユーザ(監視員)は、監視エリアの現在の状況を確認することができる。また、監視端末4では報知画面が表示される。これにより、ユーザは、監視エリアで異常事象が発生したことを速やかに認識することができる。また、監視端末4では、画像解析サーバ2および画像管理サーバ3で行われる処理の条件の設定などに関する操作がユーザ(管理者)により行われる。
A monitoring screen is displayed on the
なお、監視端末4、画像管理サーバ3、および画像解析サーバ2は、オンプレミス、すなわち、施設の構内に設置されて運用される構成も可能であるが、画像管理サーバ3および画像解析サーバ2は、クラウドで運用されてもよい。
Note that the
また、本実施形態では、画像管理サーバ3および画像解析サーバ2において種々の処理が行われるが、これらの処理が単一のサーバで行われるものでもよい。また、画像管理サーバ3および画像解析サーバ2で行われる処理が、本実施形態とは異なる組み合わせで複数のサーバで分担されるものでもよい。
Further, in this embodiment, various processes are performed in the
次に、監視エリアにおける異常事象を検知する際の判定基準について説明する。図2は、カメラ1の撮影画像上に設定される判定ラインおよび判定エリアを示す説明図である。
Next, the criteria for detecting abnormal events in the monitoring area will be explained. FIG. 2 is an explanatory diagram showing a determination line and a determination area set on an image taken by the
本実施形態では、監視エリアが、コンベアが設置された作業場である。作業場では、人物がコンベアに接近すると、手を挟まれたり衣服が引き込まれたりする事故が発生する場合がある。そこで、本実施形態では、人物がコンベアに接近して事故が発生する危険性の高い状態が、異常事象として検知される。 In this embodiment, the monitoring area is a workplace where a conveyor is installed. In a workplace, when a person approaches a conveyor, accidents may occur, such as hands being caught or clothing being pulled in. Therefore, in this embodiment, a state in which there is a high risk of an accident occurring due to a person approaching the conveyor is detected as an abnormal event.
本実施形態では、図2(A)に示すように、判定基準として、直線状の判定ラインがカメラ1の撮影画像上に設定される。本例では、第1,第2の2本の判定ラインが設定されている。第1の判定ラインは、コンベア(危険物)に近接する位置に設定され、第2の判定ラインは、コンベアから離れた位置に設定される。なお、判定ラインは、人物の身体が進入することを禁止する所定エリア(危険エリア)と、それ以外のエリア(安全エリア)との仕切る境界線である。
In this embodiment, as shown in FIG. 2(A), a linear determination line is set on the image captured by the
ここで、人物(対象物)の身体が第1,第2の判定ラインの両方に交差(接触)する状態(第1の交差状態)と、人物の身体が第2の判定ラインにのみ交差(接触)し、第1の判定ラインに交差(接触)しない状態(第2の交差状態)と、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)とがある。 Here, there are two states: a state in which the body of the person (object) intersects (contacts) both the first and second determination lines (first intersecting state), and a state in which the body of the person intersects only the second determination line (the first intersecting state). contact) and does not intersect (contact) the first judgment line (second crossing state), and a state in which the person's body does not intersect (contact) either the first or second judgment line (non-crossing state). condition).
本実施形態では、第1の交差状態および第2の交差状態が異常事象として検知されて報知が行われる。第1の判定ラインは「危険」の報知レベルに対応し、第2の判定ラインは「注意」の報知レベルに対応する。すなわち、人物の身体が第1,第2の判定ラインの両方に交差(接触)する状態(第1の交差状態)は危険度が高いため、「危険」の報知が行われる。一方、人物の身体が第2の判定ラインにのみ交差(接触)し、かつ第1の判定ラインに交差(接触)しない状態(第2の交差状態)は危険度が低いため、「注意」の報知が行われる。 In this embodiment, the first intersecting state and the second intersecting state are detected as abnormal events, and notification is performed. The first determination line corresponds to a "danger" notification level, and the second determination line corresponds to a "caution" notification level. That is, a state in which a person's body intersects (contacts) both the first and second determination lines (first intersecting state) is highly dangerous, and therefore a "danger" notification is performed. On the other hand, a state in which the person's body crosses (contacts) only the second judgment line and does not cross (contact) the first judgment line (second crossing state) is of low risk, so it is not recommended to be careful. An announcement will be made.
なお、判定ラインは1本だけ設定されてもよく、また、判定ラインが3本以上設定されてもよい。 Note that only one determination line may be set, or three or more determination lines may be set.
また、第1,第2の判定ラインは異なる色で描画される。例えば、第1の判定ラインが赤色で描画され、第2の判定ラインが黄色で描画される。これにより、第1,第2の判定ラインに対する人物の身体の交差(接触)の状態をユーザが目視で容易に判断することができる。 Further, the first and second determination lines are drawn in different colors. For example, the first determination line is drawn in red, and the second determination line is drawn in yellow. Thereby, the user can easily visually determine the state of intersection (contact) of the person's body with the first and second determination lines.
また、図2(B)に示すように、判定基準として判定エリアがカメラ1の撮影画像上に設定されてもよい。判定エリアの境界線(判定ライン)は多角形をなしている。なお、判定エリアは、例えば多角形の境界線で囲まれた内側の領域が、人物の身体が進入することを禁止する所定エリア(危険エリア)となり、外側のエリアは、人物が存在することを許容するエリア(安全エリア)となる。
Further, as shown in FIG. 2(B), a determination area may be set on the image taken by the
また、判定エリアが複数設定されてもよい。例えば、図2(B)に示す判定エリアを取り囲むようにその外側に別の判定エリアが設定されてもよい。この場合、内側の判定エリアが「危険」の報知レベルに対応し、外側の判定エリアが「注意」の報知レベルに対応するものとしてもよい。 Further, a plurality of determination areas may be set. For example, another determination area may be set outside the determination area shown in FIG. 2(B) so as to surround it. In this case, the inner determination area may correspond to the "danger" notification level, and the outer determination area may correspond to the "caution" notification level.
なお、本実施形態では、コンベア(搬送装置)が設置された作業場が監視エリアであるが、監視エリアはこれに限定されない。例えば、鉄道の駅におけるホームおよび線路が監視エリアであってもよい。この場合、利用者がホームから線路上に転落したり列車に接触したりする事故が発生する危険性の高い状態を、異常事象として検知して報知が行われる。 In this embodiment, the monitoring area is a workplace where a conveyor (conveying device) is installed, but the monitoring area is not limited to this. For example, the monitoring area may be a platform and tracks at a railway station. In this case, a situation in which there is a high risk of an accident occurring, such as a user falling from the platform onto the tracks or colliding with a train, is detected as an abnormal event and notified.
また、本実施形態では、監視エリアの撮影画像に基づいて監視エリアで発生する異常事象(注目事象)が検知されるが、検知される注目事象は異常事象に限定されない。 Furthermore, in the present embodiment, an abnormal event (event of interest) occurring in the monitoring area is detected based on a photographed image of the monitoring area, but the detected event of interest is not limited to an abnormal event.
次に、運用前に本システムで行われる処理の概要について説明する。図3は、運用前に本システムで処理される画像を示す説明図である。図4は、運用前に本システムで行われる処理の概要を示す説明図である。 Next, an overview of the processing performed by this system before operation will be explained. FIG. 3 is an explanatory diagram showing images processed by this system before operation. FIG. 4 is an explanatory diagram showing an overview of the processing performed in this system before operation.
本実施形態では、カメラ1の撮影画像上に第1,第2の2本の判定ラインが設定され、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)が異常事象として検知される。異常事象を検知する処理は、ディープラーニングなどの機械学習により生成される学習モデルを用いた画像解析処理により行われる。
In this embodiment, two determination lines, a first and a second, are set on an image taken by the
本システムでは、運用前に学習モデルを生成する処理(本学習)が行われる。本実施形態では、カメラ1の撮影画像から生成された学習対象画像(教師画像)を用いた学習により学習モデルが生成される。
In this system, processing to generate a learning model (main learning) is performed before operation. In this embodiment, a learning model is generated by learning using a learning target image (teacher image) generated from an image taken by the
このとき、図3に示すように、監視エリアを撮影したカメラ1の撮影画像に、異常事象の有無を判定する際の基準になる判定基準画像(判定ラインを表す画像)を重畳合成して、学習対象画像が生成される。生成された学習対象画像は、監視端末4においてアノテーション画面に表示される。
At this time, as shown in FIG. 3, a determination reference image (an image representing a determination line), which is a reference for determining the presence or absence of an abnormal event, is superimposed and synthesized on the image taken by the
ユーザ(管理者)は、アノテーション画面において、表示された学習対象画像を目視して、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)を判断して、その監視エリアの状態に関するラベル情報を入力する(アノテーション作業)。このとき、学習対象画像では判定基準画像が重畳合成されているため、ユーザが、学習対象画像を目視することで、異常事象の発生状況を容易にかつ精度よく判断できることから、ユーザのアノテーション作業が効率化できる。 The user (administrator) visually observes the displayed learning target image on the annotation screen, determines the state of the monitoring area (first intersecting state, second intersecting state, non-intersecting state), and selects the monitored area. Enter label information regarding the status of (annotation work). At this time, since the judgment reference image is superimposed on the learning target image, the user can easily and accurately judge the occurrence of abnormal events by visually observing the learning target image, which reduces the user's annotation work. It can be made more efficient.
図4に示すように、本実施形態では、画像管理サーバ3において、カメラ1の撮影画像に判定基準画像を重畳合成して学習対象画像を生成する処理が行われる(画像合成処理)。また、画像管理サーバ3において、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)に関するラベル情報を、学習対象画像に付加するラベル付けが行われる(アノテーション処理)。さらに、画像管理サーバ3において、学習対象画像とラベル情報とが学習対象画像データベースに登録される。
As shown in FIG. 4, in the present embodiment, the
次に、画像解析サーバ2は、画像管理サーバ3に蓄積された学習対象画像およびラベル情報を画像管理サーバ3から取得して、その学習対象画像およびラベル情報を用いた機械学習により学習モデルを生成する(学習モデル生成処理)。
Next, the
次に、運用時に本システムで行われる処理の概要について説明する。図5は、運用時に本システムで処理される画像を示す説明図である。図6は、運用時に本システムで行われる処理の概要を示す説明図である。 Next, an overview of the processing performed by this system during operation will be explained. FIG. 5 is an explanatory diagram showing images processed by this system during operation. FIG. 6 is an explanatory diagram showing an overview of the processing performed by this system during operation.
運用時には、図5に示すように、カメラ1によるリアルタイムの撮影画像に、異常事象の有無を判定する際の基準になる判定基準画像(判定ラインを表す画像)を重畳合成して、検知対象画像が生成される。
During operation, as shown in Figure 5, a detection target image is created by superimposing a judgment reference image (an image representing a judgment line), which is a reference for determining the presence or absence of an abnormal event, on an image captured in real time by
図6に示すように、本実施形態では、画像解析サーバ2において、カメラ1の撮影画像に判定基準画像を重畳合成して検知対象画像を生成する処理が行われる(画像合成処理)。また、画像解析サーバ2において、検知対象画像に対して、学習モデルを用いた画像解析処理が行われ、その解析結果に基づいて、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)の有無を判定する異常検知処理が行われる。
As shown in FIG. 6, in the present embodiment, the
ここで、異常事象が検知されると、監視端末4において、ユーザに対して異常事象の発生に関する報知が行われる。このとき、発生した異常事象の危険度に応じた報知情報を含む報知画面が表示され、ついで状態確認画面が表示される。状態確認画面には、異常事象が検知されて報知の対象となった検知対象画像が表示される(図5参照)。
Here, when an abnormal event is detected, the
ここで、異常事象が検知されて報知の対象となった検知対象画像は、追加学習における学習対象画像となり、ユーザ(管理者)は、状態確認画面において、表示された学習対象画像を目視して、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)を判断して、その監視エリアの状態に関するラベル情報を入力する(アノテーション作業)。このとき、学習対象画像では判定基準画像が重畳合成されているため、ユーザが、学習対象画像を目視することで、監視エリアの状態を容易にかつ精度よく判断できることから、追加学習時においても、ユーザのアノテーション作業が効率化できる。 Here, the detection target image in which an abnormal event is detected and is the target of notification becomes the learning target image in additional learning, and the user (administrator) visually checks the displayed learning target image on the status confirmation screen. , the state of the monitoring area (first intersecting state, second intersecting state, non-intersecting state) is determined, and label information regarding the state of the monitoring area is input (annotation work). At this time, since the judgment reference image is superimposed on the learning target image, the user can easily and accurately judge the state of the monitoring area by visually observing the learning target image. User annotation work can be made more efficient.
画像解析サーバ2では、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)に関するラベル情報を、学習対象画像に付加するラベル付けが行われる(アノテーション処理)。学習対象画像およびラベル情報は、追加学習のための学習情報として、画像管理サーバ3において学習対象画像データベースに登録される。
In the
次に、画像解析サーバ2では、画像管理サーバ3に蓄積された学習対象画像およびラベル情報を画像管理サーバ3から取得して、その学習対象画像およびラベル情報を用いて、新たな学習モデルを生成する処理が行われる(学習モデル生成処理)。次に、画像解析サーバ2では、新たな学習モデルを画像解析処理に適用する処理が行われる(学習モデル管理処理)。
Next, the
なお、学習モデルの更新は、異常事象が検知されて報知が行われる度に実行されてもよい。本実施形態では、報知が行われた際に、異常事象が検知されて報知の対象となった検知対象画像、すなわち、追加学習における学習対象画像に対して、ラベル付けが行われるため、このタイミンクで新規に追加された学習対象画像を用いて学習モデルが更新されてもよい。 Note that the learning model may be updated every time an abnormal event is detected and notified. In this embodiment, when notification is performed, the detection target image in which an abnormal event has been detected and is the target of notification, that is, the learning target image in additional learning, is labeled, so this timing The learning model may be updated using the newly added learning target image.
次に、画像解析サーバ2、画像管理サーバ3、および監視端末4の概略構成について説明する。図7は、画像解析サーバ2、画像管理サーバ3、および監視端末4の概略構成を示すブロック図である。
Next, the schematic configurations of the
画像管理サーバ3は、通信部31と、記憶部32と、プロセッサ33と、を備えている。
The
通信部31は、カメラ1、画像解析サーバ2、および監視端末4との間で通信を行う。
The
記憶部32は、プロセッサ33で実行されるプログラムなどを記憶する。また、記憶部22は、学習対象画像データベースの登録情報を記憶する。学習対象画像データベースには、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)ごとの学習対象画像(教師画像)が登録されている。
The
プロセッサ33は、記憶部32に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ33が、画像合成処理、およびアノテーション処理などを行う。
The
画像合成処理では、プロセッサ33が、カメラ1の撮影画像に判定基準画像(判定ライン画像、判定エリア画像)を重畳合成して、運用前の本学習に用いられる学習対象画像(教師画像)を生成する。このとき、カメラ1によるリアルタイムの撮影画像をカメラ1から取得して画像合成処理が行われてもよく、また、自装置に蓄積されたカメラ1の撮影画像を用いて画像合成処理が行われてもよい。
In the image synthesis process, the
アノテーション処理では、プロセッサ33が、監視端末4で行われるユーザの入力操作に応じて、画像合成処理で生成した学習対象画像に対して、その学習対象画像に現れた異常事象の発生状況に関するラベル情報を付加するラベル付けを行う。
In the annotation process, the
画像解析サーバ2は、通信部21と、記憶部22と、プロセッサ23と、を備えている。
The
通信部21は、カメラ1、画像管理サーバ3、および監視端末4との間で通信を行う。
The
記憶部22は、プロセッサ33で実行されるプログラムなどを記憶する。また、記憶部22は、以前に更新された学習モデルの情報を記憶する。
The
プロセッサ23は、記憶部22に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ23が、学習モデル生成処理、学習モデル管理処理、画像合成処理、画像解析処理、異常検知処理、およびアノテーション処理などを行う。
The
学習モデル生成処理では、プロセッサ23が、画像管理サーバ3から学習対象画像(教師画像)を取得して、その学習対象画像を用いて、ディープラーニングなどの機械学習により学習モデルを生成する。
In the learning model generation process, the
学習モデル管理処理では、プロセッサ23が、画像解析処理で用いられる学習モデルを管理する。本実施形態では、プロセッサ23が、画像解析処理で用いられる学習モデルを、ユーザが指定した以前の学習モデルに戻すロールバック処理を行う。ロールバック処理は、ユーザが、現在運用中の学習モデルでは、不具合が多い、具体的には、誤検知が多発しているために、ロールバックが必要と判断してロールバックを指示する操作を行った場合に、実行される。
In the learning model management process, the
画像合成処理では、プロセッサ23が、カメラ1によるリアルタイムの撮影画像をカメラ1から取得して、撮影画像に判定基準画像(判定ライン画像、判定エリア画像)を重畳合成して検知対象画像を生成する。
In the image synthesis process, the
画像解析処理では、プロセッサ23が、学習モデル生成処理で生成した学習モデルを用いて、画像合成処理で取得した検知対象画像に対して画像解析を行い、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)が発生した確度を取得する。具体的には、検知対象画像が学習モデルに入力され、学習モデルから解析結果として出力される異常事象の確度を取得する。
In the image analysis process, the
異常検知処理では、プロセッサ23が、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)を検知する。このとき、ユーザにより指定された感度を基準にして、画像解析処理で取得した異常事象の確度から、異常事象(第1の交差状態、第2の交差状態)の有無が判定される。
In the abnormality detection process, the
アノテーション処理では、プロセッサ23が、監視端末4で行われるユーザの入力操作に応じて、追加学習における学習対象画像の候補、すなわち、異常事象が検知されて報知の対象となった検知対象画像に対して、その学習対象画像に現れた異常事象の発生状況に関するラベル情報を付加するラベル付けを行う。
In the annotation process, the
監視端末4は、ディスプレイ41と、入力デバイス42と、通信部43と、記憶部44と、プロセッサ45と、を備えている。
The
ディスプレイ41は、画面を表示する。入力デバイス42は、キーボードやマウスなどであり、ユーザの入力操作を検出する。
The
通信部43は、画像管理サーバ3、および画像解析サーバ2との間で通信を行う。
The
記憶部44は、プロセッサ45で実行されるプログラムなどを記憶する。
The
プロセッサ45は、記憶部44に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ45が、表示入力制御などを行う。
The
表示入力制御処理では、プロセッサ45が、監視画面(図8参照)などの各種の画面をディスプレイ41に表示すると共に、ユーザの入力デバイス42の操作に応じて入力操作情報を取得する。ユーザの入力操作情報は、画像管理サーバ3および画像解析サーバ2に送信される。
In the display input control process, the
次に、監視端末4に表示される監視画面101について説明する。図8は、監視画面101を示す説明図である。
Next, the
監視画面101には、監視エリア選択部102が設けられている。監視エリア選択部102では、ユーザが、対象とする監視エリアを選択することができる。本例では、ユーザが、監視エリアとしての作業場を選択することができる。
The
また、監視画面101には、カメラ画像表示部103が設けられている。カメラ画像表示部103には、監視エリア選択部102で選択された監視エリア(作業場)を撮影する複数のカメラ1の撮影画像(カメラ画像)が並べて表示される。カメラ画像表示部103には、リアルタイムの撮影画像(ライブ画像)が表示される。これにより、ユーザ(監視員)が、対象とする監視エリア(作業場)を撮影する全てのカメラ1の撮影画像を目視して、監視エリアの現在の状況を確認することができる。
Further, the
ユーザが、監視エリア選択部102に表示された複数の監視エリア(作業場)のいずれかの表示欄上で所定の操作(右クリック)を行うと、メニュー104が表示され、ユーザが、メニュー104で処理対象設定を選択すると、処理対象設定画面111(図9参照)に遷移する。
When the user performs a predetermined operation (right-click) on one of the display fields of the plurality of monitoring areas (workplaces) displayed in the monitoring
次に、監視端末4に表示される処理対象設定画面111について説明する。図9は、処理対象設定画面111を示す説明図である。
Next, the processing
処理対象設定画面111には、カメラ画像表示部112が設けられている。カメラ画像表示部112には、監視画面101で選択された監視エリア(作業場)を撮影する複数のカメラ1の撮影画像(カメラ画像)が並べて表示される。カメラ画像表示部112では、画像解析サーバ2で行われる異常検知処理の対象とするか否かをカメラ1ごとに設定することができる。
The processing
具体的には、ユーザが、カメラ画像表示部112において、各カメラ1の名称の表示欄上で所定の操作(右クリック)を行うと、メニュー113が表示され、ユーザは、メニュー113で処理対象と処理対象外とのいずれかを選択することができる。ここで、処理対象が選択されると、該当するカメラ1が異常検知処理の対象に設定され、処理対象外が選択されると、該当するカメラ1が異常検知処理の対象から除外される。本例では、#1のカメラ1が異常検知処理の対象に設定され、#2~#8のカメラ1が異常検知処理の対象外に設定されている。
Specifically, when the user performs a predetermined operation (right-click) on the display column for the name of each
また、ユーザが、カメラ画像表示部112において、各カメラ1の表示欄のいずれかを操作して対象とするカメラ1を選択すると、選択されたカメラ1に関するカメラ確認画面121(図10参照)に遷移する。
Furthermore, when the user selects a
また、処理対象設定画面111には、「戻る」のボタン114が設けられている。ユーザが、「戻る」のボタン114を操作すると、監視画面101(図8参照)に戻る。
Further, the processing
次に、監視端末4に表示されるカメラ確認画面121について説明する。図10は、カメラ確認画面121を示す説明図である。
Next, the
カメラ確認画面121には、カメラ属性情報表示部122が設けられている。カメラ属性情報表示部122には、カメラ1の属性情報、具体的には、カメラ1の設置日時、名称、およびIPアドレスが表示される。これにより、ユーザが、カメラ1の属性情報を確認することができる。
The
また、カメラ確認画面121には、カメラ画像表示部123が設けられている。カメラ画像表示部123には、カメラ1の撮影画像が表示される。これにより、ユーザが、カメラ1の撮影画像を目視することで、対象とするカメラ1が、対象とする作業場の撮影状況を確認することができる。
Further, the
また、カメラ確認画面121には、「カメラ情報取得」のボタン124が設けられている。ユーザが「カメラ情報取得」のボタン124を操作すると、画像解析サーバ2からカメラ1の属性情報を取得する処理が行われて、カメラ1の属性情報がカメラ属性情報表示部122に表示され、また、カメラ1から撮影画像を取得する処理が行われて、カメラ1の撮影画像がカメラ画像表示部123に表示される。
Further, the
また、カメラ確認画面121には、「カメラ確認」のタブ125と、「処理条件設定」のタブ126とが設けられている。カメラ確認画面121では「カメラ確認」のタブ125が選択状態であり、ユーザが、「処理条件設定」のタブ126を操作すると、処理条件設定画面131(図11,図12参照)に遷移する。
Further, the
次に、監視端末4に表示される処理条件設定画面131について説明する。図11,図12は、処理条件設定画面131を示す説明図である。
Next, the processing
図11,図12に示すように、処理条件設定画面131には、カメラ画像表示部132が設けられている。カメラ画像表示部132には、カメラ1の撮影画像が表示される。
As shown in FIGS. 11 and 12, the processing
また、処理条件設定画面131には、判定基準設定部133が設けられている。判定基準設定部133には、判定基準選択欄141と、座標表示欄142と、「追加」のボタン143、「削除」のボタン144、および「設定」のボタン145とが設けられている。
Further, the processing
ここで、図11に示す例は、判定基準として判定ラインを設定する場合である。 Here, the example shown in FIG. 11 is a case where a determination line is set as a determination criterion.
この場合、ユーザが、判定基準選択欄141を操作すると、プルダウンメニューが表示され、プルダウンメニューでは、ユーザが、第1の判定ライン(赤色の判定ライン)、および第2の判定ライン(黄色の判定ライン)を選択する。このとき、判定ラインの入力モードに遷移し、入力デバイス42を用いて、カメラ画像表示部132に表示された撮影画像上で、判定ラインを表す直線の2つの端点の位置を指定することができる。なお、第1の判定ラインは「危険」の報知レベルに対応し、第2の判定ラインは「注意」の報知レベルに対応する。
In this case, when the user operates the judgment
座標表示欄142には、判定ラインを表す直線の2つの端点の座標が表示される。なお、3点以上の端点の座標を指定して、指定された点を結ぶ折れ線を判定ラインにしてもよい。
The coordinate
ユーザが、「追加」のボタン143を操作すると、新しい判定ラインを追加することができる。ユーザが、「設定」のボタン144を操作すると、ユーザが指定した判定ラインが設定される。ユーザが、「削除」のボタン145を操作すると、設定済みの判定ラインを削除することができる。
When the user operates the "Add"
一方、図12に示す例は、判定基準として判定エリアを設定する場合である。 On the other hand, the example shown in FIG. 12 is a case where a determination area is set as a determination criterion.
この場合、ユーザが、判定基準選択欄141を操作すると、プルダウンメニューが表示され、プルダウンメニューでは、ユーザが、判定エリアを選択する。このとき、判定エリアの入力モードに遷移し、入力デバイス42を用いて、カメラ画像表示部132に表示された撮影画像上で、判定エリアを表す多角形の複数の端点の位置を指定することができる。
In this case, when the user operates the judgment
座標表示欄142には、判定エリアを表す多角形の複数の端点の座標が表示される。
The coordinate
ユーザが、「追加」のボタン143を操作すると、新しい判定エリアを追加することができる。ユーザが、「設定」のボタン144を操作すると、ユーザが指定した判定エリアが設定される。ユーザが、「削除」のボタン145を操作すると、設定済みの判定エリアを削除することができる。
When the user operates the "Add"
また、処理条件設定画面131には、マスクエリア設定部134が設けられている。マスクエリア設定部134では、ユーザが、異常検知処理の対象から除外するマスクエリアを指定することができる。マスクエリア設定部134には、マスクエリア選択欄146と、座標表示欄147と、「追加」のボタン148、「削除」のボタン148、および「設定」のボタン150とが設けられている。
Further, the processing
ユーザが、マスクエリア選択欄146を操作すると、プルダウンメニューが表示され、プルダウンメニューでは、ユーザが、マスクエリアを選択することができる。このとき、マスクエリアの入力モードに遷移し、入力デバイス42を用いて、カメラ画像表示部132に表示された撮影画像上で、マスクエリアを表す多角形の複数の端点の位置を指定することができる。
When the user operates the mask
座標表示欄147に、マスクエリアを表す多角形の複数の端点の座標が表示される。
The coordinate
ユーザが、「追加」のボタン148を操作すると、新しいマスクエリアを追加することができる。ユーザが、「設定」のボタン149を操作すると、ユーザが指定したマスクエリアが設定される。ユーザが、「削除」のボタン150を操作すると、設定済みのマスクエリアを削除することができる。
When the user operates the "Add"
また、処理条件設定画面131には、感度設定部135が設けられている。感度設定部135では、ユーザが、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態を検知する処理(異常検知処理)において、異常事象の有無を判定する際の基準値となる感度を数値(0~100)で入力することができる。なお、感度の数値が大きくなると、異常事象の検知感度が高くなる。
Further, the processing
また、処理条件設定画面131には、「登録」のボタン136が設けられている。ユーザが、「登録」のボタン136を操作すると、本画面で入力された情報が設定情報として登録される。
Further, the processing
次に、監視端末4に表示される報知画面161について説明する。図13,図14は、報知画面161を示す説明図である。
Next, the
異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)が検知されると、図13,図14に示す報知画面161が、監視画面101(図8参照)上にポップアップ表示される。
When an abnormal event, that is, a state where a person's body intersects (contacts) the first and second determination lines (first intersecting state, second intersecting state) is detected, the state shown in FIGS. 13 and 14 is detected. A
報知画面161では、検知された異常事象(第1の交差状態、第2の交差状態)に応じて、報知レベルを表す「危険」および「注意」のいずれかの文字が表示される。図13に示す報知画面161は、報知レベルが危険の場合、すなわち、人物の身体が第1の判定ラインおよび第2の判定ラインの両方に交差する状態が検知された場合である。この場合、報知画面161に、「危険」の文字が表示される。図14に示す報知画面161は、報知レベルが注意の場合、すなわち、人物の身体が第2の判定ラインにのみ交差する状態が検知された場合である。この場合、報知画面161に、「注意」の文字が表示される。
On the
報知画面161には、「確認」のボタン162が設けられている。ユーザが、「確認」のボタン162を操作すると、状態確認画面171(図15~図20参照)に遷移する。
The
次に、監視端末4に表示される状態確認画面171について説明する。図15~図20は、状態確認画面171を示す説明図である。
Next, the
状態確認画面171には、カメラ画像表示部172が設けられている。カメラ画像表示部172には、異常事象が検知されて報知の対象となった検知対象画像が表示される。検知対象画像には判定ラインが重畳合成されている。このため、ユーザは、検知対象画像を目視することで、第1,第2の判定ラインに対する人物の身体の交差(接触)の状態を容易にかつ精度よく判断することができる。
The
また、状態確認画面171には、アノテーション操作部173が設けられている。アノテーション操作部173は、追加学習における学習対象画像の候補、すなわち、異常事象が検知されて報知の対象となった検知対象画像に対してラベル付けを行うための入力操作をユーザに行わせるものである。アノテーション操作部173には、正検知であることを入力するボタン181と、誤検知である場合に実際の状態を入力する3つのボタン182,183,184と、が設けられている。
Further, the
ユーザは、検知対象画像を目視して、正検知であることを確認すると、ボタン181を操作する。また、ユーザは、検知対象画像を目視して、誤検知であり、かつ、人物の身体が第1の判定ライン(赤色の判定ライン)と第2の判定ライン(黄色の判定ライン)との両方に交差(接触)する状態(第1の交差状態)であることを確認すると、ボタン182を操作する。また、ユーザは、検知対象画像を目視して、誤検知であり、かつ、人物の身体が第2の判定ライン(黄色の判定ライン)にのみ交差(接触)し、第1の判定ラインに交差(接触)しない状態(第2の交差状態)であることを確認すると、ボタン183を操作する。また、ユーザは、検知対象画像を目視して、誤検知であり、かつ、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)であることを確認すると、ボタン184を操作する。
When the user visually observes the detection target image and confirms that the detection is correct, the user operates the
ここで、図15~図17に示す例は、報知レベルが「危険」である報知画面161(図13参照)から遷移した場合の状態確認画面171である。ここでは、正検知に相当するボタン182はグレーアウト(選択不可)状態で表示される。
Here, the examples shown in FIGS. 15 to 17 are the
図15に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1の判定ライン(赤色の判定ライン)および第2の判定ライン(黄色の判定ライン)の両方に交差(接触)する状態(第1の交差状態)となっており、報知レベルは「危険」である。したがって、この場合、ユーザは、検知対象画像を目視することで、正検知であることを確認して、正検知であることを入力するボタン181を操作する。
In the example shown in FIG. 15, in the detection target image displayed on the camera
また、図16に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第2の判定ライン(黄色の判定ライン)にのみ交差している状態(第2の交差状態)となっており、本来の報知レベルは「注意」である。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、第2の交差状態であることを確認して、第2の交差状態であることを入力するボタン183を操作する。
In addition, in the example shown in FIG. 16, in the detection target image displayed on the camera
また、図17に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)となっており、本来ではあれば報知は行われない。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、非交差状態であることを確認して、非交差状態であることを入力するボタン184を操作する。
Further, in the example shown in FIG. 17, in the detection target image displayed on the camera
一方、図18~図20に示す例は、報知レベルが「注意」である報知画面161(図14参照)から遷移した場合の状態確認画面171である。ここでは、正検知に相当するボタン183はグレーアウト(選択不可)状態で表示される。
On the other hand, the examples shown in FIGS. 18 to 20 are the
図18に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第2の判定ライン(黄色の判定ライン)にのみ交差している状態(第2の交差状態)となっており、報知レベルは「注意」である。したがって、この場合、ユーザは、検知対象画像を目視することで、正検知であることを確認して、正検知であることを入力するボタン181を操作する。
In the example shown in FIG. 18, in the detection target image displayed on the camera
また、図19に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1の判定ライン(赤色の判定ライン)および第2の判定ライン(黄色の判定ライン)の両方に交差(接触)する状態(第1の交差状態)となっており、本来の報知レベルは「危険」である。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、第1の交差状態であることを確認して、第1の交差状態であることを入力するボタン182を操作する。
Furthermore, in the example shown in FIG. 19, in the detection target image displayed on the camera
また、図20に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)となっており、本来ではあれば報知は行われない。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、非交差状態であることを確認して、非交差状態であることを入力するボタン184を操作する。
Furthermore, in the example shown in FIG. 20, in the detection target image displayed on the camera
また、状態確認画面171には、学習モデル情報表示部174が設けられている。学習モデル情報表示部174には、現在運用中の学習モデル、すなわち、画像解析処理に現在用いられている学習モデルの識別情報、具体的には学習モデルの作成日時が表示される。
Further, the
また、状態確認画面171には、学習モデルのロールバックを指示するボタン175が設けられている。ユーザは、現在運用中の学習モデルでは、不具合が多い、具体的には、誤検知が多発しているため、以前の学習モデルに戻すロールバックが必要と判断すると、ボタン175を操作する。これにより、ロールバック設定画面211(図22参照)が状態確認画面171上にホップアップ表示される。
Further, the
また、状態確認画面171には、「報知」のタブ176と、「学習」のタブ177とが設けられている。状態確認画面171では「報知」のタブ176が選択状態であり、ユーザが、「学習」のタブ177を操作すると、学習モデル作成画面201(図21参照)に遷移する。
Further, the
次に、監視端末4に表示される学習モデル作成画面201について説明する。図21は、学習モデル作成画面201を示す説明図である。
Next, the learning
学習モデル作成画面201には、学習対象画像一覧表示部202が設けられている。学習対象画像一覧表示部202には、追加学習に用いられる学習対象画像の候補に関する情報が一覧表示される。学習対象画像の候補は、異常事象が検知されて報知の対象となった検知対象画像である。学習対象画像一覧表示部202には、具体的には、学習対象画像の候補ごとに、撮影時刻、サムネイル画像、異常事象の検知結果の正誤(正検知および誤検知の別)、および学習対象画像に付加されるラベル情報が表示される。
The learning
ユーザが、学習対象画像一覧表示部202において、いずれかの学習対象画像の表示欄上で所定の操作(右クリック)を行うと、メニュー203が表示される。メニュー203では、ユーザが、学習対象画像の候補を追加学習の対象とするか否かを指定することができる。ここで、追加学習の対象外が選択されると、学習対象画像の候補が学習処理の対象から除外される。
When the user performs a predetermined operation (right click) on the display field of any learning target image in the learning target image
また、学習モデル作成画面201には、作成メモ入力欄204が設けられている。作成メモ入力欄204では、ユーザが、今回作成する学習モデルの内容(作成メモ)を表す文字を入力することができる。
Further, the learning
また、学習モデル作成画面201には、「学習モデル作成」のボタン205が設けられている。ユーザが、「学習モデル作成」のボタン205を操作すると、学習対象画像一覧表示部202に表示された学習対象画像の候補のうちの追加学習の対象として選択された画像を用いて学習モデルを作成する処理が行われる。
Further, the learning
次に、監視端末4に表示されるロールバック設定画面211について説明する。図22は、ロールバック設定画面211を示す説明図である。
Next, the
状態確認画面171(図15~図20参照)において、ユーザが、学習モデルのロールバックを指示するボタン175を操作すると、図22に示すロールバック設定画面211が状態確認画面171上にホップアップ表示される。
When the user operates the
ロールバック設定画面211には、モデル選択部212が設けられている。モデル選択部212には、学習モデルごとの作成日時および内容が一覧表示される。ユーザが、いずれかの学習モデルの欄を操作することで、学習モデルを選択することができる。
The
また、ロールバック設定画面211には、「切替実施」のボタン213と、「戻る」のボタン214とが設けられている。ユーザが、「切替実施」のボタン213を操作すると、画像解析処理に用いられる学習モデルを、モデル選択部212で選択された学習モデルに切り替えるロールバック処理が行われる。ユーザが、「戻る」のボタン214を操作すると、状態確認画面171(図15~図20参照)に戻る。
Further, the
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 As described above, the embodiments have been described as examples of the technology disclosed in this application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, etc. are made. Furthermore, it is also possible to create a new embodiment by combining the components described in the above embodiments.
本発明に係る学習装置および学習方法は、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる効果を有し、監視エリアの撮影画像に基づき、撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する学習装置および学習方法などとして有用である。 The learning device and the learning method according to the present invention allow the user to easily and accurately judge the occurrence status of the event of interest, without being greatly influenced by the user's subjectivity, and efficiently generate appropriately labeled learning target images. It has the effect of being able to collect data well and generate a highly accurate learning model, and based on the captured images of the monitoring area, it detects the state of an object entering a predetermined area set on the captured image as an event of interest. The present invention is useful as a learning device and a learning method for generating a learning model for learning.
1 カメラ
2 画像解析サーバ(学習装置)
3 画像管理サーバ(学習装置)
4 監視端末(端末装置)
23 プロセッサ
33 プロセッサ
1
3 Image management server (learning device)
4 Monitoring terminal (terminal device)
23
Claims (7)
前記プロセッサは、
前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、
前記学習対象画像をユーザに提示し、
ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、
前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成することを特徴とする学習装置。 A learning device that uses a processor to generate a learning model for detecting a state in which an object enters a predetermined area set on the photographed image as an event of interest based on a photographed image of a monitoring area, the learning device comprising:
The processor includes:
Generate a learning target image by superimposing and synthesizing a determination reference image, which is a reference for determining entry of a target object into the predetermined area, onto the photographed image;
presenting the learning target image to the user;
Based on a user's operation, information regarding the occurrence status of the noted event appearing in the learning target image is acquired as label information,
A learning device that generates the learning model by machine learning using the learning target image and the label information as learning information.
リアルタイムの前記撮影画像に前記判定基準画像を重畳合成した検知対象画像を生成し、
前記学習モデルを用いて前記検知対象画像から前記注目事象を検知する処理を行い、
前記注目事象が検知された場合に、前記検知対象画像を、追加学習における前記学習対象画像に設定すると共に、その学習対象画像をユーザに提示し、
ユーザの操作に基づいて、前記ラベル情報を取得し、
前記学習対象画像と前記ラベル情報とを追加学習のための学習情報とした機械学習により更新用の前記学習モデルを生成することを特徴とする請求項1に記載の学習装置。 The processor includes:
Generating a detection target image by superimposing and synthesizing the judgment reference image on the captured image in real time,
performing a process of detecting the event of interest from the detection target image using the learning model;
When the event of interest is detected, setting the detection target image as the learning target image in additional learning, and presenting the learning target image to the user;
Obtaining the label information based on the user's operation,
The learning device according to claim 1, wherein the learning model for updating is generated by machine learning using the learning target image and the label information as learning information for additional learning.
ユーザの操作に基づいて、ユーザが追加学習の対象に指定した前記検知対象画像を、追加学習における前記学習対象画像に設定することを特徴とする請求項2に記載の学習装置。 The processor includes:
3. The learning device according to claim 2, wherein the detection target image specified by the user as a target for additional learning is set as the learning target image in additional learning based on a user's operation.
物体が移動する危険エリアに対応する前記所定エリアに対象物が進入した状態を前記注目事象として検知するための学習モデルを生成することを特徴とする請求項1に記載の学習装置。 The processor includes:
2. The learning device according to claim 1, wherein a learning model is generated for detecting, as the event of interest, a state in which an object has entered the predetermined area corresponding to a dangerous area in which the object moves.
前記判定基準画像として、直線状の判定ラインを表す画像を前記撮影画像に重畳合成することを特徴とする請求項1に記載の学習装置。 The processor includes:
2. The learning device according to claim 1, wherein an image representing a linear determination line is superimposed and synthesized on the photographed image as the determination reference image.
前記判定基準画像として、多角形状の判定エリアを表す画像を前記撮影画像に重畳合成することを特徴とする請求項1に記載の学習装置。 The processor includes:
2. The learning device according to claim 1, wherein an image representing a polygonal determination area is superimposed and synthesized on the photographed image as the determination reference image.
前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、
前記学習対象画像をユーザに提示し、
ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、
前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成することを特徴とする学習方法。 A learning method that uses a processor to generate a learning model for detecting a state in which an object has entered a predetermined area set on the photographed image as an event of interest based on a photographed image of a monitoring area, the method comprising:
generating a learning target image by superimposing and synthesizing a determination reference image, which is a reference for determining entry of an object into the predetermined area, onto the photographed image;
presenting the learning target image to the user;
Based on a user's operation, information regarding the occurrence status of the noted event appearing in the learning target image is acquired as label information,
A learning method characterized in that the learning model is generated by machine learning using the learning target image and the label information as learning information.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022090819A JP2023177871A (en) | 2022-06-03 | 2022-06-03 | Learning device and learning method |
PCT/JP2023/018485 WO2023234040A1 (en) | 2022-06-03 | 2023-05-17 | Learning device and learning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022090819A JP2023177871A (en) | 2022-06-03 | 2022-06-03 | Learning device and learning method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023177871A true JP2023177871A (en) | 2023-12-14 |
Family
ID=89026466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022090819A Pending JP2023177871A (en) | 2022-06-03 | 2022-06-03 | Learning device and learning method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023177871A (en) |
WO (1) | WO2023234040A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6989294B2 (en) * | 2017-05-31 | 2022-01-05 | パナソニックi−PROセンシングソリューションズ株式会社 | Monitoring system and monitoring method |
JP7186120B2 (en) * | 2019-03-27 | 2022-12-08 | オリンパス株式会社 | image file generator |
JP2021072475A (en) * | 2019-10-29 | 2021-05-06 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring system setting program |
JP7315022B2 (en) * | 2019-11-25 | 2023-07-26 | 日本電気株式会社 | Machine learning device, machine learning method, and machine learning program |
JP7478970B2 (en) * | 2020-04-09 | 2024-05-08 | パナソニックIpマネジメント株式会社 | Accident prediction detection system and accident prediction detection method |
-
2022
- 2022-06-03 JP JP2022090819A patent/JP2023177871A/en active Pending
-
2023
- 2023-05-17 WO PCT/JP2023/018485 patent/WO2023234040A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023234040A1 (en) | 2023-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | A critical review of vision-based occupational health and safety monitoring of construction site workers | |
JP6016268B2 (en) | Field work support device, method and program | |
US11200427B2 (en) | Methods and systems for image based anomaly detection | |
US20230351612A1 (en) | Video image processing device, video image analysis system, method, and program | |
US20180033151A1 (en) | Monitoring device and monitoring method | |
US20190139283A1 (en) | Collection and validation of data from visual displays | |
US20190129675A1 (en) | Plant management system, plant management method, plant management apparatus, and plant management program | |
CN114155601A (en) | Vision-based method and system for detecting dangerous behaviors of operating personnel | |
KR101904426B1 (en) | System and method for monitoring system of wayside working in railroad safety supervision | |
CN112189210A (en) | Job analysis device and job analysis method | |
US12088910B2 (en) | Inspection workflow using object recognition and other techniques | |
US10846865B2 (en) | Video image processing device, video image analysis system, method, and program | |
JP2008108008A (en) | Moving pattern specification device, moving pattern specification method, moving pattern specification program, and recording medium that recorded this | |
JP5044968B2 (en) | Factor estimation apparatus, factor estimation method, program, and computer-readable recording medium | |
WO2023234040A1 (en) | Learning device and learning method | |
JP2009229119A (en) | Printing solder inspection apparatus | |
CN117612755A (en) | Intelligent inspection method applied to nuclear power station | |
JP2004005639A (en) | Monitoring device | |
JP2018195083A (en) | Mobile tracking system | |
JP2011114043A (en) | Defect review device and defect inspection system using design data | |
JP2023018016A (en) | Management system and cause analysis system | |
CN110852296A (en) | Fire fighting operation and maintenance stage personnel abnormity detection device and method based on semantic model | |
DE102020134680B4 (en) | Procedure and arrangement for the quality inspection of an object | |
JP2007103696A (en) | Substrate defect inspection system and substrate defect detecting method | |
Katika et al. | Mixed Reality for health and safety monitoring |