JP2019152943A - Degree-of-risk detection device, degree-of-risk detection method, and degree-of-risk detection program - Google Patents
Degree-of-risk detection device, degree-of-risk detection method, and degree-of-risk detection program Download PDFInfo
- Publication number
- JP2019152943A JP2019152943A JP2018036142A JP2018036142A JP2019152943A JP 2019152943 A JP2019152943 A JP 2019152943A JP 2018036142 A JP2018036142 A JP 2018036142A JP 2018036142 A JP2018036142 A JP 2018036142A JP 2019152943 A JP2019152943 A JP 2019152943A
- Authority
- JP
- Japan
- Prior art keywords
- event
- target area
- risk
- occurred
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 238000003384 imaging method Methods 0.000 claims 1
- 238000004148 unit process Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 10
- 230000002265 prevention Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 51
- 230000006399 behavior Effects 0.000 description 8
- 230000003340 mental effect Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
この発明は、防犯技術に関する。 The present invention relates to crime prevention technology.
従来、設置した防犯カメラ(以下、単にカメラと言う。)で撮像した対象エリアの撮像画像を処理し、特異な行動をとった不審者等の人物(以下、単に不審者と言う。)の検出を行っている。対象エリアは、不特定多数の人が集まる場所であり、例えば、駅、ショッピングセンタ、繁華街である。このシステムでは、カメラで撮像したフレーム画像を処理し、撮像されている人物の挙動を解析し、その行動が特異な行動であるかどうかを判断している。また、不正行為等にかかる特異な行動をとった人物を検知すると、その旨を警備員等に通報することも行っている。 Conventionally, a captured image of a target area captured by an installed security camera (hereinafter simply referred to as a camera) is processed to detect a person such as a suspicious person (hereinafter simply referred to as a suspicious person) who has taken a specific action. It is carried out. The target area is a place where an unspecified number of people gather, for example, a station, a shopping center, or a downtown area. In this system, the frame image captured by the camera is processed, the behavior of the person being captured is analyzed, and it is determined whether the behavior is a peculiar behavior. In addition, when a person who takes a peculiar behavior related to fraud is detected, the fact is reported to a security guard or the like.
例えば、特許文献1には、撮像されている対象者について推定した姿勢と、当該対象者の位置する場所の環境とに基づいて、対象者の挙動を判断する構成が記載されている。
For example,
しかしながら、特許文献1等に記載されている従来の技術は、対象者の挙動によって発生した事象(ひったくり、けんか、うろつき等)の関係者(当事者を含む)、およびその周辺にいる第三者におよぶ被害(肉体的被害、精神的被害、金銭的被害等)の大きさについて判断していなかった。したがって、警備員等は、発生した事象の関係者、およびその周辺にいる第三者におよぶ被害の大きさを自分で判断し、その判断結果に応じて行動しなければならなかった。このため、警備員等の作業負担が大きかった。
However, the conventional techniques described in
この発明の目的は、警備員等の作業負担を低減できる防犯技術を提供することにある。 An object of the present invention is to provide a crime prevention technique capable of reducing the work burden of a guard or the like.
この発明の危険度検知装置は、上記目的を達成するため以下に示すように構成している。 The risk detection apparatus according to the present invention is configured as follows to achieve the above object.
事象検出部が、対象エリアで発生した事象を検出する。ここで言う事象とは、対象エリア内での出来事であり、例えばひったくり、けんか、うろつき等である。事象検出部は、カメラで撮像した対象エリアの画像、またはマイクで集音した対象エリアの音声を処理して、対象エリアで発生した事象を検出する。 The event detection unit detects an event that has occurred in the target area. The event referred to here is an event in the target area, such as snatching, fighting, wandering, and the like. The event detection unit detects an event that has occurred in the target area by processing the image of the target area captured by the camera or the sound of the target area collected by the microphone.
環境判定部が、対象エリアの環境を判定する。ここで言う対象エリアの環境は、対象エリアの状況であり、暗い、明るい、雨、晴れという気象にかかるものだけでなく、階段、地下等の場所にかかるものも含んでいる。 The environment determination unit determines the environment of the target area. The environment of the target area mentioned here is the situation of the target area, and includes not only the weather that is dark, bright, rainy, and sunny, but also that that is related to places such as stairs and underground.
状況判定部が、事象検出部が検出した対象エリアで発生した事象の状況を判定する。ここで言う事象の状況とは、発生した事象の関係者(当事者を含む)だけで、第三者が周辺にいない、多数の第三者が周辺にいる等、事象の発生地点、およびその周辺の状況を示す。 The status determination unit determines the status of an event that has occurred in the target area detected by the event detection unit. The situation of the event mentioned here is only the parties related to the event that occurred (including parties), and there are no third parties in the vicinity, many third parties are in the vicinity, etc. Shows the situation.
状態判定部が、事象検出部が検出した対象エリアで発生した事象にかかる対象者の状態を判定する。ここで言う対象者の状態とは、対象者が刃物を持っている、対象者が倒れている、所定時間以上倒れたままである等の状態を示す。対象者は、発生した事象の当事者だけでなく、その周辺にいる第三者を含む。 The state determination unit determines the state of the subject related to the event that occurred in the target area detected by the event detection unit. The state of the subject here refers to a state in which the subject has a knife, the subject has fallen, or has fallen for a predetermined time or more. Target people include not only parties to the event that occurred, but also third parties in the vicinity.
この発明の危険度検知装置は、上述した環境判定部、状況検出部、および状態判定部の3つの判定部の内、少なくとも2つを有する。言い換えれば、この発明の危険度検知装置は、上述した対象エリアの環境、事象の状況、および対象者の状態の内、少なくとも2つを判定する。 The risk detection apparatus according to the present invention includes at least two of the above-described three determination units: the environment determination unit, the situation detection unit, and the state determination unit. In other words, the risk detection device of the present invention determines at least two of the above-described target area environment, event status, and target person status.
危険度推定部は、判定された対象エリアの環境、事象の状況、または対象者の状態を用いて、対象エリアで発生した事象に対応する危険要素の種類毎に、危険度を推定する。ここで言う危険要素とは、今回発生した事象によってもたらされる、肉体的被害、精神的被害、金銭的被害等である。 The risk level estimation unit estimates the risk level for each type of risk element corresponding to the event that has occurred in the target area, using the determined environment of the target area, the situation of the event, or the state of the target person. The risk factors mentioned here are physical damage, mental damage, financial damage, etc. caused by the event that occurred this time.
このように、この構成では、対象エリアの環境、事象の状況、および対象者の状態の2つ以上を用いて、危険要素の種類毎に、危険度の推定が行われる。したがって、警備員等が、発生した事象の関係者、およびその周辺にいる第三者におよぶ被害の大きさを自分で判断しなくてもよい。このため、警備員等の作業負担を低減できる。 As described above, in this configuration, the risk level is estimated for each risk element type using two or more of the environment of the target area, the situation of the event, and the state of the target person. Therefore, it is not necessary for the security guard or the like to determine the magnitude of damage to the parties involved in the event that occurred and the third parties in the vicinity. For this reason, the work burden of a security guard etc. can be reduced.
また、危険度検知装置は、危険度推定部による、危険要素の種類毎の危険度に応じて、対象エリアにおける事象の発生を通知する通知先を決定する通知先決定部と、通知先決定部が決定した通知先に、対象エリアにおける事象の発生を通知する通知部と、を備えてもよい。このように構成すれば、発生した事象について、警察署、消防署等の適正な機関に対する通知が迅速に行え、発生した事象の関係者(当事者を含む)、およびその周辺にいる第三者におよぶ被害(肉体的被害、精神的被害、金銭的被害等)の拡大が抑えられる。 Further, the risk detection device includes a notification destination determination unit that determines a notification destination for notifying the occurrence of an event in the target area according to the risk level for each risk element type by the risk estimation unit, and a notification destination determination unit And a notification unit that notifies the occurrence of an event in the target area to the notification destination determined. With this configuration, it is possible to promptly notify the appropriate organizations such as the police station and fire department about the events that have occurred. Expansion of damage (physical damage, mental damage, financial damage, etc.) can be suppressed.
この発明によれば、警備員等の作業負担を低減できる。 According to this invention, it is possible to reduce the work burden on security guards and the like.
以下、この発明の実施形態について説明する。 Embodiments of the present invention will be described below.
<1.適用例>
図1は、この発明にかかる危険度検知装置を適用した防犯システムを示す概略図である。この例の危険度検知装置1には、カメラ2およびマイクロフォン3が接続されている。危険度検知装置1は、対象エリア6で発生した事象を検出し、その事象に対応する危険要素の種類毎に、危険度を推定する。対象エリア6は、危険度検知装置1に割り当てられた犯罪等の発生を抑止する空間である。カメラ2は、対象エリア6を撮像した画像を危険度検知装置1に出力する。カメラ2は、一般的なビデオカメラであり、そのフレームレートは10〜30フレーム/sec程度である。マイクロフォン3は、対象エリア6の環境音(話し声、音楽、ざわめき等)を集音し、危険度検知装置1に出力する。
<1. Application example>
FIG. 1 is a schematic diagram showing a crime prevention system to which a risk detection device according to the present invention is applied. A
危険度検知装置1は、カメラ2から入力された対象エリア6のフレーム画像、およびマイクロフォン3から入力された対象エリア6の環境音を処理して、対象エリア6で発生した事象を検出する。ここで言う事象とは、対象エリア内での出来事であり、例えばひったくり、けんか、うろつき等である。ここでは、ひったくり、けんか、うろつき等を事象の種類と言う。
The danger
また、危険度検知装置1は、対象エリア6で発生した事象を検出すると、対象エリア6の環境、今回検出した対象エリア6で発生した事象の状況、および今回検出した対象エリア6で発生した事象にかかる対象者の状態を判定する。ここで言う対象エリアの環境は、対象エリアの状況であり、暗い、明るい、雨、晴れ等という気象にかかるものだけでなく、階段、上りエスカレータ、下りエスカレータ等の場所の属性にかかるものも含んでいる。ここでは、暗い、明るい、雨、晴れ、階段、上りエスカレータ、下りエスカレータ等を対象エリア6の環境の種類と言う。また、ここで言う事象の状況とは、発生した事象の関係者(当事者を含む)だけで、第三者が周辺にいない、多数の第三者が周辺にいる等の状況を示す。ここでは、第三者が周辺にいない、多数の第三者が周辺にいる等を事象の状況の種類と言う。また、ここで言う対象者の状態とは、対象者が刃物を持っている、対象者が倒れている、所定時間以上倒れたままである等の状態を示す。対象者は、発生した事象の当事者だけでなく、その周辺にいる第三者を含む。ここでは、対象者が刃物を持っている、対象者が倒れている、所定時間以上倒れたままである等を対象者の状態の種類と言う。
When the
危険度検知装置1は、対象エリア6で発生した事象に対応する危険要素の種類毎に、危険度を推定する。ここで言う危険要素とは、今回対象エリア6で発生した事象によって対象者にもたらされる、肉体的被害、精神的被害、金銭的被害等である。ここでは、肉体的被害、精神的被害、金銭的被害等を危険要素の種類と言う。危険度の推定は、今回検出した事象について判定した、対象エリア6の環境、今回発生した事象の状況、および今回発生した事象にかかる対象者の状態を用いて総合的に推定する。したがって、警備員等が、発生した事象の関係者、およびその周辺にいる第三者におよぶ被害の種類や大きさを自分で判断しなくてもよい。このため、警備員等の作業負担を低減できる。
The danger
<2.構成例>
図2は、この例にかかる危険度検知装置の主要部の構成を示すブロック図である。危険度検知装置1は、制御ユニット11と、記憶部12と、画像入力部13と、音声入力部14と、通信部15と、出力部16と、を備えている。
<2. Configuration example>
FIG. 2 is a block diagram showing a configuration of a main part of the risk detection device according to this example. The danger
制御ユニット11は、画像処理部21、音声処理部22、事象検出部23、環境判定部24、状況判定部25、状態判定部26、および危険度推定部27を有している。画像処理部21、音声処理部22、事象検出部23、環境判定部24、状況判定部25、状態判定部26、および危険度推定部27の詳細については、後述する。
The
記憶部12は、推定用情報31、事象履歴情報32、および通知先情報33を記憶する。推定用情報31は、事象について、危険要素の種類毎に危険度を推定するのに用いる情報である。例えば、推定用情報31は、ひったくり、けんか、うろつき等の事象の種類で分類した情報である。また、推定用情報31は、事象の種類毎に、肉体的被害、精神的被害、金銭的被害等の危険要素の種類で分類した情報である。さらに、推定用情報31は、危険要素の種類毎に、対象エリア6の環境の種類、事象の状況の種類、および対象者の状態の種類の組み合わせパターンで分類した情報である。この組み合わせパターンは、対象エリア6の環境の種類(暗い、明るい、雨、晴れ、階段、上りエスカレータ、下りエスカレータ等)と、事象の状況の種類(第三者が周辺にいない、多数の第三者が周辺にいる等)と、対象者の状態の種類(対象者が刃物を持っている、対象者が倒れている、所定時間以上倒れたままである等)との組み合わせであり、例えば、
(1)対象エリア6の環境が暗く、雨で、階段であり、事象の状況が第三者が周辺にいない状況であり、対象者の状態が刃物を持っている、というパターン、
(2)対象エリア6の環境が暗く、雨で、階段であり、事象の状況が多数の第三者が周辺にいる状況であり、対象者の状態が倒れている、というパターン、
(3)対象エリア6の環境が明るく、晴れであり、事象の状況が第三者が周辺にいない状況であり、対象者の状態が刃物を持っている、というパターン
等である。
The
(1) A pattern that the environment of the
(2) A pattern in which the environment of the
(3) A pattern in which the environment of the
推定用情報31は、対象エリア6の環境の種類、事象の状況の種類、および対象者の状態の種類の組み合わせパターン毎に、危険度を対応付けた情報である。
The
すなわち、推定用情報31は、事象、危険要素、対象エリア6の環境、事象の状況、および対象者の状態の5つの項目にかかる組み合わせ毎に、危険度を対応付けた情報である。
That is, the
事象履歴情報32は、対象エリア6で発生した事象毎に、その事象にかかる対象エリアの環境、事象の状況、対象者の状態、および各種危険要素の危険度等を対応付けた情報である。事象履歴情報32における各危険要素の危険度は、推定したものであってもよいし、事後に判断されたものであってもよい。
The
通知先情報33は、危険要素の種類毎に、事象の発生を通知する連絡先(警察署、消防署、警備室等)と、通知要と判定する危険度の大きさと、を対応付けた情報である。
The
この記憶部12は、不揮発性のメモリ(EPROM、EEPROM等)であってもよいし、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であってもよい。また、記憶部12は、複数の記憶媒体で構成してもよい。
The
画像入力部13には、カメラ2が接続されている。画像入力部13は、カメラ2によって撮像された対象エリア6のフレーム画像が入力される。また、画像入力部13は、カメラ2から入力された対象エリア6のフレーム画像を一時的に記憶する画像メモリ(不図示)を有している。
The
音声入力部14には、マイクロフォン3が接続されている。音声入力部14は、マイクロフォン3によって集音された対象エリア6の環境音が入力される。
The
通信部15は、ネットワーク5を介して、警察署、消防署、警備室等に対して事象の発生を通知する。
The
出力部16には、表示器やスピーカ等が接続されている。出力部16は、接続されている表示器に、カメラ2が撮像した対象エリア6の動画像の表示や、接続されているスピーカから、検出された事象を報知する音声出力を行う。
A display, a speaker, and the like are connected to the
次に、制御ユニット11が有する、画像処理部21、音声処理部22、事象検出部23、環境判定部24、状況判定部25、状態判定部26、および危険度推定部27について説明する。
Next, the
画像処理部21は、カメラ2によって撮像された対象エリア6のフレーム画像を処理し、対象エリア6内における移動体(人、車両等)、および放置物の検出を行う。また、画像処理部21は、検出した人の姿勢検知、および対象エリア6内における移動体の追跡を行う。画像処理部21は、検出した放置物の種類、および大きさの検知を行う。画像処理部21の上記処理は、公知の背景差分法等による物体の検出にかかる技術や、パターンマッチング等による物体の属性判定(種類、姿勢等)にかかる技術等を利用することで実現できる。
The
音声処理部22は、マイクロフォンによって集音された環境音に対して、音声認識処理等を行い、怒声、うめき声、異常音(金属音、発砲音等)等を検出する。
The
事象検出部23は、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、対象エリア6において、ひったくり、けんか、うろつき等の事象が発生したかどうか、および事象が発生していれば、その事象の種類等を判定する。
Based on the detection result of the
環境判定部24は、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、対象エリア6の状況を判定する。環境判定部24は、画像処理部21、および音声処理部22の検出結果から特定される、対象エリア6内の事象が発生している場所の明るさや、その場所の属性(階段、上りエスカレータ、下りエスカレータ等)等を判定する。
The
状況判定部25は、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、今回検出された事象の状況を判定する。状況判定部25は、画像処理部21、および音声処理部22の検出結果から特定される、対象エリア6内の事象が発生している場所周辺において検出された人等のオブジェクトに基づいて、第三者が周辺にいない、多数の第三者が周辺にいる等を判定する。
The
状態判定部26は、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、対象者の状態を判定する。状態判定部26は、画像処理部21、および音声処理部22の検出結果から特定される、対象エリア6内の事象が発生している場所周辺において検出された人等のオブジェクトの挙動、姿勢等に基づいて、対象者が刃物を持っている、対象者が倒れている、所定時間以上倒れたままである等を判定する。
The
危険度推定部27は、事象検出部23が判定した事象の種類について、危険要素の種類毎に、環境判定部24が判定した対象エリア6の環境、状況判定部25が判定した事象の状況、および状態判定部26が判定した対象者の状態で、記憶部12に記憶している推定用情報31を検索し、危険度を推定(取得)する。
For the event types determined by the event detection unit 23, the risk
危険度検知装置1の制御ユニット11は、ハードウェアCPU、メモリ、その他の電子回路によって構成されている。ハードウェアCPUが、この発明にかかる危険度検知プログラムを実行したときに、画像処理部21、音声処理部22、事象検出部23、環境判定部24、状況判定部25、状態判定部26、および危険度推定部27として動作する。また、メモリは、この発明にかかる危険度検知プログラムを展開する領域や、この危険度検知プログラムの実行時に生じたデータ等を一時記憶する領域を有している。制御ユニット11は、ハードウェアCPU、メモリ等を一体化したLSIであってもよい。また、ハードウェアCPUが、この発明にかかる危険度検知方法を実行するコンピュータである。
The
<3.動作例>
図3は、この例にかかる危険度検知装置の動作を示すフローチャートである。この例にかかる危険度検知装置1は、事象検出部23が対象エリア6内において、ひったくり、けんか、うろつき等の事象が発生したかどうかの検出を繰り返し行っている(s1)。危険度検知装置1は、画像処理部21がカメラ2によって撮像された対象エリア6のフレーム画像を処理し、対象エリア6内における移動体(人、車両等)、および放置物の検出を行っている。また、画像処理部21は、検出した人の姿勢検知、および対象エリア6内における移動体の追跡を行う。さらに、画像処理部21は、検出した放置物については、その種類、および大きさの検知を行う。また、音声処理部22が、マイクロフォンによって集音された環境音に対して、音声認識処理等を行い、怒声、うめき声、異常音(金属音、発砲音等)等の検出を行っている。事象検出部23は、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、対象エリア6において、ひったくり、けんか、うろつき等の事象が発生したかどうかを検出する。事象検出部23は、s1で対象エリア6内においてなんらかの事象が発生したことを検出すると、その事象の種類を判定する(s2)。
<3. Example of operation>
FIG. 3 is a flowchart showing the operation of the risk detection device according to this example. In the
また、環境判定部24は、事象検出部23がs1で対象エリア6内においてなんらかの事象が発生したことを検出すると、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、対象エリア6の状況を判定する(s3)。環境判定部24は、画像処理部21、および音声処理部22の検出結果から特定される、対象エリア6内の事象が発生している場所の明るさや、その場所の属性(階段、上りエスカレータ、下りエスカレータ等)等を判定する。
In addition, when the event detection unit 23 detects that an event has occurred in the
また、状況判定部25は、事象検出部23がs1で対象エリア6内においてなんらかの事象が発生したことを検出すると、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、今回検出された事象の状況を判定する(s4)。状況判定部25は、画像処理部21、および音声処理部22の検出結果から特定される、対象エリア6内の事象が発生している場所周辺において検出された人等のオブジェクトに基づいて、第三者が周辺にいない、多数の第三者が周辺にいる等を判定する。
In addition, when the event detection unit 23 detects that an event has occurred in the
また、状態判定部26は、事象検出部23がs1で対象エリア6内においてなんらかの事象が発生したことを検出すると、画像処理部21の検出結果、および音声処理部22の検出結果に基づき、対象者の状態を判定する(s5)。状態判定部26は、画像処理部21、および音声処理部22の検出結果から特定される、対象エリア6内の事象が発生している場所周辺において検出された人等のオブジェクトの挙動、姿勢等に基づいて、対象者が刃物を持っている、対象者が倒れている、所定時間以上倒れたままである等を判定する。
Further, when the event detection unit 23 detects that an event has occurred in the
なお、s2〜s5にかかる処理は、どのような順番で実行されてもよいし、2つ以上の処理が同時並行的に実行されてもよい。 In addition, the process concerning s2-s5 may be performed in what order, and two or more processes may be performed simultaneously in parallel.
危険度推定部27は、事象検出部23が判定した事象の種類について、危険要素の種類毎に、環境判定部24が判定した対象エリア6の環境、状況判定部25が判定した事象の状況、および状態判定部26が判定した対象者の状態で、記憶部12に記憶している推定用情報31を検索し、危険度を推定(取得)する(s6)。危険度推定部27は、危険要素の種類毎に、今回検出した事象にかかる通知の要否を判定する(s7)。危険度推定部27は、危険要素の種類毎に、s6で推定した危険度と、記憶部12に記憶している通知先情報33の通知要と判定する危険度の大きさと、を比較し、s6で推定した危険度のほうが大きければ、通知要と判定する。危険度推定部27は、s7で通知要と判定した危険要素が1つもなければ、s1に戻る。
For the event types determined by the event detection unit 23, the risk
一方、危険度推定部27は、s7で通知要と判定した危険要素が1つでもあると、通知要と判定した危険要素の種類毎に、今回検出した事象の通知先を、通知先情報33に基づいて決定する(s8)。危険度推定部27は、環境判定部24が判定した対象エリア6の環境、状況判定部25が判定した事象の状況、および状態判定部26が判定した対象者の状態等に基づいて、通知文を作成する(s9)。例えば、「〇〇地点で対象者が刃物を所持して暴れています。周囲には、多数の一般人がいます。」、「××〇〇地点でひったくりが発生しました。犯人は、バイクに乗っており、黒いジャンパを着ています。」等の通知文を作成する。
On the other hand, if there is even one risk factor determined to be required for notification in s7, the risk
危険度検知装置1は、s9で作成した通知文を、s8で決定した通知先に通知し(s10)、s1に戻る。s10における通知は、通信部15がネットワーク5を介して、s8で決定した通知先である警察署、消防署、警備室等に送信する。
The
したがって、警備員等が、発生した事象の関係者、およびその周辺にいる第三者におよぶ被害の種類や大きさを自分で判断しなくてもよい。このため、警備員等の作業負担を低減できる。 Accordingly, it is not necessary for the security guard or the like to judge by himself the type and magnitude of the damage to the parties involved in the event that occurred and the third parties around it. For this reason, the work burden of a security guard etc. can be reduced.
また、発生した事象の関係者、およびその周辺にいる第三者におよぶ被害の種類や大きさに応じて、警察署、消防署、警備室等に事象の発生を通知できるので、発生した事象により被害を受けた人に対する対処が迅速かつ適正に行えるとともに、発生した事象による被害が拡大するのを適正に防止できる。 In addition, the occurrence of the event can be notified to the police station, fire department, security room, etc. according to the type and magnitude of damage to the parties involved and the third parties in the vicinity. In addition to being able to deal with victims quickly and appropriately, it is possible to appropriately prevent the damage caused by the events that have occurred.
ここで、危険度推定部27における危険度の推定について具体例を示して説明する。
Here, the risk level estimation in the risk
(具体例A)
事象検出部が検出した事象:ひったくり
環境判定部24が判定した対象エリア6の状況:暗い
状況判定部25が判定した事象の状況を:周囲に第三者がいない
状態判定部26が判定した対象者の状態:転倒して、すぐに立ち上がった
この場合、危険度推定部27は、危険要素である金銭的被害についての通知が必要であると判定し、警察署に金銭的被害にかかる捜査依頼等の通知を行う。
(Specific example A)
Event detected by the event detection unit: snatching Situation of the
(具体例B)
事象検出部が検出した事象:ひったくり
環境判定部24が判定した対象エリア6の状況:暗い
状況判定部25が判定した事象の状況を:周囲に第三者がいない
状態判定部26が判定した対象者の状態:転倒して、3分以上立ち上がらない
この場合、危険度推定部27は、危険要素である金銭的被害、および肉体的被害についての通知が必要であると判定し、警察署に金銭的被害にかかる捜査依頼等の通知を行うとともに、消防署に肉体的被害にかかる救急車の出動要請等の通知を行う。
(Specific example B)
Event detected by the event detection unit: snatching Situation of the
(具体例C)
事象検出部が検出した事象:けんか
環境判定部24が判定した対象エリア6の状況:暗い
状況判定部25が判定した事象の状況を:周囲に第三者がいない
状態判定部26が判定した対象者の状態:刃物を所持
この場合、危険度推定部27は、危険要素である肉体的被害についての通知が必要であると判定し、警察署に肉体的被害にかかる出動依頼等の通知を行うとともに、消防署に肉体的被害にかかる救急車の出動要請等の通知を行う。
(Specific example C)
Event detected by the event detection unit: fighting The situation of the
(具体例D)
事象検出部が検出した事象:けんか
環境判定部24が判定した対象エリア6の状況:暗い
状況判定部25が判定した事象の状況を:周囲に第三者がいる
状態判定部26が判定した対象者の状態:刃物を所持していない
この場合、危険度推定部27は、危険要素である肉体的被害についての通知が必要であると判定し、警備室等に仲裁要請等の通知を行う。
(Specific example D)
Event detected by the event detection unit: fighting The situation of the
(具体例E)
事象検出部が検出した事象:うろつき
環境判定部24が判定した対象エリア6の状況:暗い、駐輪場
状況判定部25が判定した事象の状況を:周囲に第三者がいない
状態判定部26が判定した対象者の状態:自転車の移動
この場合、危険度推定部27は、危険要素である物品被害についての通知が必要であると判定し、警備室等に現場確認の通知を行う。
(Specific example E)
Event detected by the event detection unit: wandering The situation of the
また、この場合、対象エリア6に設けた報知装置に対して、アラート音の出力を指示する通知を行ってもよい。
In this case, the notification device provided in the
<4.変形例>
危険度検知装置1は、対象エリア6の環境、今回発生した事象の状況、および今回発生した事象にかかる対象者の状態のいずれか1つについては判定しない構成であってもよい。すなわち、危険度検知装置1は、環境判定部24、状況判定部25、および状態判定部26のいずれか1つを備えていない構成であってもよい。危険度検知装置1は、この構成であれば、危険度の推定を、判定しない対象エリア6の環境、今回発生した事象の状況、または今回発生した事象にかかる対象者の状態のいずれか1つの項目を用いないで、残りの2つの項目の判定結果を用いて総合的に行う。
<4. Modification>
The
また、事象検出部23、環境判定部24、状況判定部25、状態判定部26、および危険度推定部27等にかかる構成を、人工知能(AI(Artificial Intelligence))を利用した構成にしてもよい。
In addition, the configuration relating to the event detection unit 23, the
また、危険度検知装置1は、対象エリア6で発生した事象毎に、担当者が、その事象について、対象エリアの環境、事象の状況、対象者の状態、および各種危険要素の危険度等を事後に判断した結果を事象履歴情報32として記憶部12に記憶させる構成であってもよい。この場合、危険度検知装置1は、事象履歴情報32を学習用データとして利用し、推定用情報31の更新を行う構成にしてもよい。
In addition, for each event occurring in the
また、対象エリア6が比較的広い場合には、対象エリア6を複数の領域に分割し、分割した領域毎に、その領域の環境の種類、事象の状況の種類、および対象者の状態の種類の組み合わせパターン毎に、危険度を対応付けた情報を推定用情報31として記憶部12に記憶してもよい。
Further, when the
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
<付記>
対象エリア(6)で発生した事象を検出する事象検出部(23)と、
前記対象エリア(6)の環境を判定する環境判定部(24)と、
前記事象検出部(23)が検出した前記対象エリア(6)で発生した事象の状況を判定する状況判定部(25)と、
前記事象検出部(23)が検出した前記対象エリア(6)で発生した事象に対応する危険要素の種類毎に、前記環境判定部(24)が判定した前記対象エリア(6)の環境、および前記状況判定部(25)が判定した前記対象エリア(6)で発生した事象の状況を用いて危険度を推定する危険度推定部(27)と、を備えた危険度検知装置(1)。
Furthermore, the correspondence between the configuration according to the present invention and the configuration according to the above-described embodiment can be described as in the following supplementary notes.
<Appendix>
An event detector (23) for detecting an event that has occurred in the target area (6);
An environment determination unit (24) for determining the environment of the target area (6);
A situation determination section (25) for determining the situation of an event that has occurred in the target area (6) detected by the event detection section (23);
The environment of the target area (6) determined by the environment determination unit (24) for each type of risk factor corresponding to the event that occurred in the target area (6) detected by the event detection unit (23), And a risk level estimation unit (1) that estimates the risk level using the status of the event that occurred in the target area (6) determined by the status determination unit (25). .
1…危険度検知装置
2…カメラ
3…マイクロフォン
5…ネットワーク
6…対象エリア
11…制御ユニット
12…記憶部
13…画像入力部
14…音声入力部
15…通信部
16…出力部
21…画像処理部
22…音声処理部
23…事象検出部
24…環境判定部
25…状況判定部
26…状態判定部
27…危険度推定部
31…推定用情報
32…事象履歴情報
33…通知先情報
DESCRIPTION OF
Claims (12)
前記対象エリアの環境を判定する環境判定部と、
前記事象検出部が検出した前記対象エリアで発生した事象の状況を判定する状況判定部と、
前記事象検出部によって検出された前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記環境判定部が判定した前記対象エリアの環境、および前記状況判定部が判定した前記対象エリアで発生した事象の状況を用いて危険度を推定する危険度推定部と、を備えた危険度検知装置。 An event detector for detecting events that occur in the target area;
An environment determination unit for determining the environment of the target area;
A status determination unit that determines the status of an event that has occurred in the target area detected by the event detection unit;
The environment of the target area determined by the environment determination unit and the target area determined by the situation determination unit for each type of risk element corresponding to the event that occurred in the target area detected by the event detection unit A risk level detection device comprising: a risk level estimation unit that estimates a risk level using a situation of an event that has occurred.
前記対象エリアの環境を判定する環境判定部と、
前記事象検出部が検出した前記対象エリアで発生した事象にかかる対象者の状態を判定する状態判定部と、
前記事象検出部によって検出された前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記環境判定部が判定した前記対象エリアの環境、および前記状態判定部が判定した前記対象者の状態を用いて危険度を推定する危険度推定部と、を備えた危険度検知装置。 An event detector for detecting events that occur in the target area;
An environment determination unit for determining the environment of the target area;
A state determination unit that determines the state of the subject related to the event that occurred in the target area detected by the event detection unit;
The environment of the target area determined by the environment determination unit and the target person determined by the state determination unit for each type of risk element corresponding to the event that occurred in the target area detected by the event detection unit And a risk level estimation unit that estimates the level of risk using the state of the risk.
前記事象検出部が検出した前記対象エリアで発生した事象の状況を判定する状況判定部と、
前記事象検出部が検出した前記対象エリアで発生した事象にかかる対象者の状態を判定する状態判定部と、
前記事象検出部によって検出された前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記状況判定部が判定した前記対象エリアで発生した事象の状況、および前記状態判定部が判定した前記対象者の状態を用いて危険度を推定する危険度推定部と、を備えた危険度検知装置。 An event detector for detecting events that occur in the target area;
A status determination unit that determines the status of an event that has occurred in the target area detected by the event detection unit;
A state determination unit that determines the state of the subject related to the event that occurred in the target area detected by the event detection unit;
For each type of risk element corresponding to the event that occurred in the target area detected by the event detection unit, the status of the event that occurred in the target area determined by the status determination unit, and the status determination unit A danger level detection device comprising: a risk level estimation unit that estimates a risk level using the state of the subject person.
前記危険度推定部は、前記危険要素の種類毎に、前記状態判定部が判定した前記対象者の状態をも用いて危険度を推定する、請求項1に記載の危険度検知装置。 A state determination unit that determines the state of the subject related to the event that occurred in the target area detected by the event detection unit;
The risk level detection device according to claim 1, wherein the risk level estimation unit estimates the risk level by using the state of the subject determined by the state determination unit for each type of the risk factor.
前記通知先決定部が決定した通知先に、前記対象エリアにおける事象の発生を通知する通知部と、を備えた請求項1〜4のいずれかに記載の危険度検知装置。 A notification destination determination unit for determining a notification destination for notifying the occurrence of an event in the target area, according to the risk level for each type of the risk factor by the risk level estimation unit;
The risk detection device according to claim 1, further comprising: a notification unit that notifies the notification destination determined by the notification destination determination unit that an event has occurred in the target area.
前記対象エリアの環境を判定する環境判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象の状況を判定する状況判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記環境判定ステップで判定された前記対象エリアの環境、および前記状況判定ステップで判定された前記対象エリアで発生した事象の状況を用いて危険度を推定する危険度推定ステップと、をコンピュータが実行する危険度検知方法。 An event detection step for detecting an event occurring in the target area; and
An environment determination step for determining an environment of the target area;
A situation determination step for determining a situation of an event that has occurred in the target area detected in the event detection step;
The environment of the target area determined in the environment determination step and the target determined in the situation determination step for each type of risk element corresponding to the event that occurred in the target area detected in the event detection step A risk detection method in which a computer executes a risk estimation step of estimating a risk using the state of an event occurring in an area.
前記対象エリアの環境を判定する環境判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象にかかる対象者の状態を判定する状態判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記環境判定ステップで判定した前記対象エリアの環境、および前記状態判定ステップで判定した前記対象者の状態を用いて危険度を推定する危険度推定ステップと、をコンピュータが実行する危険度検知方法。 An event detection step for detecting an event occurring in the target area; and
An environment determination step for determining an environment of the target area;
A state determination step for determining the state of the subject related to the event that occurred in the target area detected in the event detection step;
For each type of risk factor corresponding to the event that occurred in the target area detected in the event detection step, the environment of the target area determined in the environment determination step and the target person determined in the state determination step A risk detection method in which a computer executes a risk estimation step of estimating a risk using a state.
前記事象検出ステップで検出した前記対象エリアで発生した事象の状況を判定する状況判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象にかかる対象者の状態を判定する状態判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記状況判定ステップで判定した前記対象エリアで発生した事象の状況、および前記状態判定ステップで判定した前記対象者の状態を用いて危険度を推定する危険度推定ステップと、をコンピュータが実行する危険度検知方法。 An event detection step for detecting an event occurring in the target area; and
A situation determination step for determining a situation of an event that has occurred in the target area detected in the event detection step;
A state determination step for determining the state of the subject related to the event that occurred in the target area detected in the event detection step;
For each type of risk factor corresponding to the event that occurred in the target area detected in the event detection step, the status of the event that occurred in the target area determined in the status determination step, and the status determination step A risk level detection method in which a computer executes a risk level estimation step of estimating a risk level using the state of the subject.
前記対象エリアの環境を判定する環境判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象の状況を判定する状況判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記環境判定ステップで判定された前記対象エリアの環境、および前記状況判定ステップで判定された前記対象エリアで発生した事象の状況を用いて危険度を推定する危険度推定ステップと、をコンピュータに実行させる危険度検知プログラム。 An event detection step for detecting an event occurring in the target area; and
An environment determination step for determining an environment of the target area;
A situation determination step for determining a situation of an event that has occurred in the target area detected in the event detection step;
The environment of the target area determined in the environment determination step and the target determined in the situation determination step for each type of risk element corresponding to the event that occurred in the target area detected in the event detection step A risk detection program for causing a computer to execute a risk estimation step for estimating a risk using the status of an event occurring in an area.
前記対象エリアの環境を判定する環境判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象にかかる対象者の状態を判定する状態判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記環境判定ステップで判定した前記対象エリアの環境、および前記状態判定ステップで判定した前記対象者の状態を用いて危険度を推定する危険度推定ステップと、をコンピュータに実行させる危険度検知プログラム。 An event detection step for detecting an event occurring in the target area; and
An environment determination step for determining an environment of the target area;
A state determination step for determining the state of the subject related to the event that occurred in the target area detected in the event detection step;
For each type of risk factor corresponding to the event that occurred in the target area detected in the event detection step, the environment of the target area determined in the environment determination step and the target person determined in the state determination step A risk level detection program for causing a computer to execute a risk level estimation step for estimating a risk level using a state.
前記事象検出ステップで検出した前記対象エリアで発生した事象の状況を判定する状況判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象にかかる対象者の状態を判定する状態判定ステップと、
前記事象検出ステップで検出した前記対象エリアで発生した事象に対応する危険要素の種類毎に、前記状況判定ステップで判定した前記対象エリアで発生した事象の状況、および前記状態判定ステップで判定した前記対象者の状態を用いて危険度を推定する危険度推定ステップと、をコンピュータに実行させる危険度検知プログラム。 An event detection step for detecting an event occurring in the target area; and
A situation determination step for determining a situation of an event that has occurred in the target area detected in the event detection step;
A state determination step for determining the state of the subject related to the event that occurred in the target area detected in the event detection step;
For each type of risk factor corresponding to the event that occurred in the target area detected in the event detection step, the status of the event that occurred in the target area determined in the status determination step, and the status determination step A risk detection program for causing a computer to execute a risk estimation step of estimating a risk using the state of the subject.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018036142A JP7095312B2 (en) | 2018-03-01 | 2018-03-01 | Hazard level detection device, risk level detection method, and risk level detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018036142A JP7095312B2 (en) | 2018-03-01 | 2018-03-01 | Hazard level detection device, risk level detection method, and risk level detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019152943A true JP2019152943A (en) | 2019-09-12 |
JP7095312B2 JP7095312B2 (en) | 2022-07-05 |
Family
ID=67946413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018036142A Active JP7095312B2 (en) | 2018-03-01 | 2018-03-01 | Hazard level detection device, risk level detection method, and risk level detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7095312B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021107764A1 (en) * | 2019-11-28 | 2021-06-03 | Mimos Berhad | Machine learning-based system and method for processing moving image |
WO2022209347A1 (en) * | 2021-03-31 | 2022-10-06 | 日本電気株式会社 | Information processing device, information processing method, computer-readable medium, and information processing system |
CN116434145A (en) * | 2023-04-21 | 2023-07-14 | 北京日立电梯工程有限公司 | Escalator passenger dangerous behavior analysis and monitoring system based on image recognition |
JP7489448B1 (en) | 2022-12-15 | 2024-05-23 | イオンディライト株式会社 | Surveillance camera image viewing management system, surveillance camera image viewing management server device, and surveillance camera image viewing management method |
US12046128B2 (en) | 2020-03-31 | 2024-07-23 | Nec Corporation | Monitoring device, monitoring method, and recording medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003224844A (en) * | 2002-01-31 | 2003-08-08 | Mitsubishi Heavy Ind Ltd | Home supervisory system |
JP2007240433A (en) * | 2006-03-10 | 2007-09-20 | E-Jidai:Kk | Route guide device, terminal device, risk information control program, terminal program, and risk information control method |
JP2008181498A (en) * | 2006-12-28 | 2008-08-07 | Fujitsu Ltd | Monitoring device, monitoring program and monitoring method |
JP2016021182A (en) * | 2014-07-15 | 2016-02-04 | 株式会社みずほフィナンシャルグループ | Risk management system, risk management method, and risk management program |
KR20160104940A (en) * | 2015-02-27 | 2016-09-06 | 광운대학교 산학협력단 | A Method for Providing Event Occurrence Information Using Big Data and A System for the Same |
US20170323161A1 (en) * | 2014-11-06 | 2017-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for early warning of danger |
-
2018
- 2018-03-01 JP JP2018036142A patent/JP7095312B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003224844A (en) * | 2002-01-31 | 2003-08-08 | Mitsubishi Heavy Ind Ltd | Home supervisory system |
JP2007240433A (en) * | 2006-03-10 | 2007-09-20 | E-Jidai:Kk | Route guide device, terminal device, risk information control program, terminal program, and risk information control method |
JP2008181498A (en) * | 2006-12-28 | 2008-08-07 | Fujitsu Ltd | Monitoring device, monitoring program and monitoring method |
JP2016021182A (en) * | 2014-07-15 | 2016-02-04 | 株式会社みずほフィナンシャルグループ | Risk management system, risk management method, and risk management program |
US20170323161A1 (en) * | 2014-11-06 | 2017-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for early warning of danger |
KR20160104940A (en) * | 2015-02-27 | 2016-09-06 | 광운대학교 산학협력단 | A Method for Providing Event Occurrence Information Using Big Data and A System for the Same |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021107764A1 (en) * | 2019-11-28 | 2021-06-03 | Mimos Berhad | Machine learning-based system and method for processing moving image |
US12046128B2 (en) | 2020-03-31 | 2024-07-23 | Nec Corporation | Monitoring device, monitoring method, and recording medium |
WO2022209347A1 (en) * | 2021-03-31 | 2022-10-06 | 日本電気株式会社 | Information processing device, information processing method, computer-readable medium, and information processing system |
JP7485204B2 (en) | 2021-03-31 | 2024-05-16 | 日本電気株式会社 | Information processing device, information processing method, and program |
JP7489448B1 (en) | 2022-12-15 | 2024-05-23 | イオンディライト株式会社 | Surveillance camera image viewing management system, surveillance camera image viewing management server device, and surveillance camera image viewing management method |
CN116434145A (en) * | 2023-04-21 | 2023-07-14 | 北京日立电梯工程有限公司 | Escalator passenger dangerous behavior analysis and monitoring system based on image recognition |
CN116434145B (en) * | 2023-04-21 | 2024-04-16 | 北京日立电梯工程有限公司 | Escalator passenger dangerous behavior analysis and monitoring system based on image recognition |
Also Published As
Publication number | Publication date |
---|---|
JP7095312B2 (en) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019152943A (en) | Degree-of-risk detection device, degree-of-risk detection method, and degree-of-risk detection program | |
US10552713B2 (en) | Image analysis system, image analysis method, and storage medium | |
US8368754B2 (en) | Video pattern recognition for automating emergency service incident awareness and response | |
US9761248B2 (en) | Action analysis device, action analysis method, and action analysis program | |
JP5377982B2 (en) | Elevator security system | |
JP6233624B2 (en) | Information processing system, information processing method, and program | |
JP6729793B2 (en) | Information processing apparatus, control method, and program | |
JP6999399B2 (en) | Abnormality judgment device | |
JP2014197330A (en) | Security device, security method and program | |
JP2011145839A (en) | Monitoring system, device, method and program | |
JP2020019583A (en) | Attention attracting system of elevator | |
JP4967937B2 (en) | Image processing apparatus, method, and program | |
JP2009077064A (en) | Monitoring method and monitoring apparatus | |
JP2009194711A (en) | Region user management system and management method of the same | |
JP5025292B2 (en) | Suspicious person detection system and method | |
JP5132298B2 (en) | Image processing device for abandoned object monitoring | |
WO2021131050A1 (en) | Display system, display processing device, display processing method, and program | |
JP2024009906A (en) | Monitoring device, monitoring method, and program | |
JP7368092B2 (en) | Accident detection device and accident detection method | |
JP7423904B2 (en) | Information output device, method, and program | |
JP2007022776A (en) | Security system for elevator | |
WO2022153496A1 (en) | Information processing device, information processing method, and program | |
JP2012048691A (en) | Image monitoring apparatus | |
WO2021111654A1 (en) | Processing device, processing method, and program | |
JP2004187116A (en) | Action monitoring system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7095312 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |