JP2014007498A - Disaster detection system - Google Patents
Disaster detection system Download PDFInfo
- Publication number
- JP2014007498A JP2014007498A JP2012140893A JP2012140893A JP2014007498A JP 2014007498 A JP2014007498 A JP 2014007498A JP 2012140893 A JP2012140893 A JP 2012140893A JP 2012140893 A JP2012140893 A JP 2012140893A JP 2014007498 A JP2014007498 A JP 2014007498A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- flow
- disaster
- disaster detection
- detection system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、監視映像内に生じる、正常な状態とは異なる異常な状態、例えば、土石流、火砕流、または雪崩といった災害による異常状態を検知し、人々に災害が発生したことを報知する災害検知システムに関する。 The present invention is a disaster detection system that detects an abnormal state caused by a disaster such as a debris flow, a pyroclastic flow, or an avalanche that occurs in a monitoring image and that is different from a normal state, and notifies people that a disaster has occurred. About.
従来、赤外線センサや水位センサ等のセンサを使い、土石流、火砕流、または雪崩といった災害による異常状態を検知する方法は存在するが、センサの交換作業やメンテナンス作業が必要であり、非常に煩雑であるという問題があった。
一方、上記災害の発生が想定される領域を監視カメラで撮影した画像を利用し、所定の画像とその１つ前の画像を画像処理により比較することで、物体の動きベクトル、すなわち、オプティカルフロー（以下、単にＯＰフローと略す場合もある）を求め、求めたオプティカルフローを使って検知する方法も散見される。
Conventionally, there are methods to detect abnormal conditions due to disasters such as debris flow, pyroclastic flow, or avalanche using sensors such as infrared sensors and water level sensors, but sensor replacement work and maintenance work are necessary, which is very complicated There was a problem.
On the other hand, by using an image obtained by photographing a region where the occurrence of the disaster is assumed with a surveillance camera and comparing a predetermined image and the previous image by image processing, an object motion vector, that is, an optical flow There is also a method of obtaining (hereinafter sometimes simply referred to as OP flow) and detecting using the obtained optical flow.
特許文献１には、監視カメラから得られる画像情報から監視領域内における物体の速度変化を抽出し、監視領域内を監視するための動画像監視装置に関し、特に土石流などの事象の発生を検知するための土石流発生監視装置が開示されている。
また、特許文献１には、監視領域内の一部分を検知用処理領域として取り扱い、撮影手段により得られる画像情報から、当該検知用処理領域内に設けられる複数の検知用観測点を通過する物体の流速を抽出し、複数の検知用観測点における平均流速分布情報を生成し、当該平均流速分布情報の示す速度変化が予め定められた第１の所定値を超えたことを検出することにより、土石流が発生したものと推定する一方、平均流速分布情報の示す速度変化が予め定められた第２の所定値より小さくなったことを検出することにより、前記土石流が終息したものと推定することが記載されている。
Patent Document 1 relates to a moving image monitoring apparatus for extracting a change in the speed of an object in a monitoring area from image information obtained from a monitoring camera and monitoring the inside of the monitoring area, and particularly detects occurrence of an event such as debris flow. A debris flow generation monitoring device is disclosed.
Further, in Patent Document 1, a part of a monitoring area is treated as a detection processing area, and an image of an object passing through a plurality of detection observation points provided in the detection processing area is obtained from image information obtained by an imaging unit. By extracting the flow velocity, generating average flow velocity distribution information at a plurality of detection observation points, and detecting that the speed change indicated by the average flow velocity distribution information exceeds a predetermined first predetermined value, It is estimated that the debris flow has ended by detecting that the speed change indicated by the average flow velocity distribution information is smaller than a predetermined second predetermined value. Has been.
しかし、上記従来の土石流発生監視装置においては、撮像手段により得られた画像情報を処理し、検知用処理領域内における流速変化を抽出するための動画像処理方式としてオプティカルフロー解析手法を採用しているが、強風による振動や、土石流等の災害発生時に振動が生じた場合に、監視カメラで撮影した画像全体が揺らぐために正確なオプティカルフローを求めることが困難であるという問題があった。 However, the conventional debris flow generation monitoring device adopts an optical flow analysis method as a moving image processing method for processing the image information obtained by the imaging means and extracting the flow velocity change in the detection processing region. However, there is a problem that it is difficult to obtain an accurate optical flow because the entire image captured by the surveillance camera fluctuates when vibration occurs due to a strong wind or a disaster such as a debris flow.
本発明は、このような従来の事情に鑑みなされたものであり、強風による振動や、土石流等の災害発生時に振動が生じた場合でも、振動成分が抑制されたオプティカルフローを求めることができ、強風による振動や災害発生時の振動による影響を回避することが可能な災害検知システムを提供することを目的とする。 The present invention has been made in view of such a conventional situation, and even when a vibration occurs due to a strong wind or a disaster such as a debris flow, an optical flow in which a vibration component is suppressed can be obtained. An object of the present invention is to provide a disaster detection system capable of avoiding the effects of vibrations caused by strong winds and vibrations when disasters occur.
上記目的を達成するための本発明に係る災害検知システムは、所定の領域を監視領域として監視カメラで撮影し、当該監視カメラから得られる画像情報から前記監視領域内における物体の速度変化を抽出して土石流等の災害の発生を検知する災害検知システムにおいて、正常状態時に、予め画像情報の複数フレームについて、フレームの各注目点におけるオプティカルフローを求め、求めたオプティカルフローから方向別ヒストグラムを作成し、当該方向別ヒストグラムから第１の標準偏差を求める第１標準偏差算出手段と、監視期間中に、現時点での画像情報のフレームについて、フレームの各注目点におけるオプティカルフローを求め、求めたオプティカルフローから方向別ヒストグラムを作成し、当該方向別ヒストグラムから第２の標準偏差を求める第２標準偏差算出手段と、前記第２の標準偏差が第１の標準偏差に所定の数値を乗算した値よりも大きい場合に、災害が発生した異常状態であると判断する判断手段と、前記判断手段で異常状態であると判断された場合、現時点でのフレームにおける全注目点におけるオプティカルフローを求め、求めたオプティカルフローの大きさを所定のしきい値で絞り込んだ後、オプティカルフローの方向の分類分けを行い、下方向のオプティカルフローに絞ってオプティカルフローの平均値を求める代表オプティカルフロー算出手段と、前記代表オプティカルフロー算出手段によって、連続した所定数のフレームについて代表オプティカルフローを求め、求めた各フレームの代表オプティカルフローから時間方向の平均値を求めるオプティカルフロー平均値算出手段と、を備えることを特徴とする。 In order to achieve the above object, a disaster detection system according to the present invention captures a predetermined area as a monitoring area with a monitoring camera, and extracts a speed change of an object in the monitoring area from image information obtained from the monitoring camera. In a disaster detection system that detects the occurrence of disasters such as debris flow, in the normal state, the optical flow at each point of interest of the frame is obtained in advance for multiple frames of image information, and a histogram by direction is created from the obtained optical flow First standard deviation calculating means for obtaining a first standard deviation from the histogram for each direction, and an optical flow at each point of interest of the frame for the frame of the current image information during the monitoring period, and from the obtained optical flow Create a histogram by direction and use the second histogram from the direction histogram. A second standard deviation calculating means for obtaining a deviation, and a judging means for judging that a disaster has occurred when the second standard deviation is greater than a value obtained by multiplying the first standard deviation by a predetermined numerical value. When the determination means determines that the state is abnormal, the optical flow at all the points of interest in the current frame is obtained, and the optical flow obtained is narrowed down by a predetermined threshold, and then the optical flow is determined. The representative optical flow calculation means for obtaining the average value of the optical flow by focusing on the downward optical flow and the representative optical flow calculation means for obtaining a representative optical flow for a predetermined number of consecutive frames. An option to calculate the average value in the time direction from the representative optical flow of each frame And Ikarufuro average value calculating means, characterized in that it comprises a.
また、上記目的を達成するための本発明に係る災害検知システムは、災害による物体の速度に応じて検出感度を可変する際に、正常状態でのオプティカルフローを事前に学習させて、その値に所定の倍率を乗じた値をしきい値とすることを特徴とする。 In addition, the disaster detection system according to the present invention for achieving the above object, when varying the detection sensitivity according to the speed of an object caused by a disaster, learns the optical flow in a normal state in advance and sets the value to that value. A value obtained by multiplying a predetermined magnification is used as a threshold value.
また、上記目的を達成するための本発明に係る災害検知システムは、オプティカルフローを色相関に対応させた色で表現することを特徴とする。 A disaster detection system according to the present invention for achieving the above object is characterized in that the optical flow is expressed by a color corresponding to the color correlation.
本発明によれば、強風による振動や、土石流等の災害発生によって振動が生じた場合でも、振動成分が抑制されたオプティカルフローを求めることができ、強風による振動や災害発生時の振動による影響を回避することができるという効果がある。 According to the present invention, it is possible to obtain an optical flow in which a vibration component is suppressed even when vibration is caused by a strong wind or a disaster such as a debris flow. There is an effect that it can be avoided.
＜実施形態１＞
〔災害検知システムの制御構成〕
本発明の実施形態１に係る災害検知システムは、例えば、土石流、火砕流、または雪崩といった災害による異常状態を検知し、人々に災害が発生したことを報知する災害検知システムである。
以下に、本発明の実施形態１に係る災害検知システムについて、図面を参照して説明する。
図１は、本発明の実施形態１に係る災害検知システムの構成を示すブロック図である。
災害検知システム１は、図１（ａ）に示すように、所定の監視領域を撮影する監視カメラ１０と、監視カメラ１０から得られる画像情報を処理し、災害検知を行う災害検知装置８０と、当該災害検知装置８０から出力された災害検知情報を通信路２０を介して受信し表示する映像表示装置３０と、当該映像表示装置３０に接続され、災害検知情報を元に災害検知装置８０より出力されたアラーム信号を音声として出力するスピーカー４０と、監視カメラ１０に接続され、災害検知装置８０より災害検知情報を元に出力されたアラーム信号を音声として出力するスピーカー５０とを含んで構成される。
<Embodiment 1>
[Control configuration of disaster detection system]
The disaster detection system according to the first embodiment of the present invention is a disaster detection system that detects an abnormal state due to a disaster such as a debris flow, a pyroclastic flow, or an avalanche and notifies people that a disaster has occurred.
Below, the disaster detection system which concerns on Embodiment 1 of this invention is demonstrated with reference to drawings.
FIG. 1 is a block diagram showing a configuration of a disaster detection system according to Embodiment 1 of the present invention.
As shown in FIG. 1A, the disaster detection system 1 includes a monitoring camera 10 that captures a predetermined monitoring area, a disaster detection device 80 that processes image information obtained from the monitoring camera 10 and performs disaster detection, A video display device 30 that receives and displays the disaster detection information output from the disaster detection device 80 via the communication path 20 and is connected to the video display device 30 and is output from the disaster detection device 80 based on the disaster detection information. A speaker 40 that outputs the alarm signal as a sound, and a speaker 50 that is connected to the monitoring camera 10 and outputs the alarm signal output from the disaster detection device 80 based on the disaster detection information as a sound. .
すなわち、災害検知装置８０は、災害検知情報に基づくアラーム信号を、通信路２０を介して映像表示装置３０に送り、映像表示装置３０に接続されたスピーカー４０から音声として出力することで、映像表示装置３０側にいる人６０に警報を発するとともに、アラーム信号を監視カメラ１０に接続されたスピーカー５０に送り、スピーカー５０から音声として出力することで、監視カメラ１０側にいる人７０にも警報を発する。 That is, the disaster detection device 80 transmits an alarm signal based on the disaster detection information to the video display device 30 via the communication path 20 and outputs it as sound from the speaker 40 connected to the video display device 30, thereby displaying the video. An alarm is issued to the person 60 on the apparatus 30 side, and an alarm signal is sent to the speaker 50 connected to the monitoring camera 10 and output as a sound from the speaker 50, so that an alarm is also given to the person 70 on the monitoring camera 10 side. To emit.
また、災害検知システム１’は、図１（ｂ）に示すように、災害検知装置８０を通信路２０と映像表示装置３０との間に配置した以外は図１（ａ）と同様の構成である。
つまり、所定の監視領域を撮影する監視カメラ１０と、監視カメラ１０から通信路２０を介して得られる画像情報を処理し、災害検知を行う災害検知装置８０と、当該災害検知装置８０から出力された災害検知情報を受信し表示する映像表示装置３０と、当該映像表示装置３０に接続され、災害検知情報を元に災害検知装置８０より出力されたアラーム信号を音声として出力するスピーカー４０と、監視カメラ１０に接続され、災害検知装置８０から通信路２０を介して入力された災害検知情報を元に出力されたアラーム信号を音声として出力するスピーカー５０とを含んで構成される。
The disaster detection system 1 ′ has the same configuration as that shown in FIG. 1A except that the disaster detection device 80 is arranged between the communication path 20 and the video display device 30, as shown in FIG. is there.
That is, the monitoring camera 10 that captures a predetermined monitoring area, the disaster detection device 80 that processes the image information obtained from the monitoring camera 10 via the communication path 20 and detects the disaster, and the disaster detection device 80 outputs the information. A video display device 30 that receives and displays the disaster detection information, a speaker 40 that is connected to the video display device 30 and outputs an alarm signal output from the disaster detection device 80 based on the disaster detection information as sound, and monitoring The speaker 10 is connected to the camera 10 and outputs an alarm signal output as sound based on disaster detection information input from the disaster detection device 80 via the communication path 20.
すなわち、災害検知装置８０は、災害検知情報に基づくアラーム信号を、映像表示装置３０に接続されたスピーカー４０から音声として出力することで、映像表示装置３０側にいる人６０に警報を発するとともに、アラーム信号を通信路２０を介して監視カメラ１０に送り、監視カメラ１０に接続されたスピーカー５０から音声として出力することで、監視カメラ１０側にいる人７０にも警報を発する。
なお、本実施例では、災害検知装置８０を独立した装置としているが、災害検知装置８０の機能を監視カメラ１０または映像表示装置３０に実装する構成としてもよい。
That is, the disaster detection device 80 outputs an alarm signal based on the disaster detection information as sound from the speaker 40 connected to the video display device 30, thereby issuing a warning to the person 60 on the video display device 30 side, An alarm signal is sent to the monitoring camera 10 via the communication path 20 and output as a sound from the speaker 50 connected to the monitoring camera 10, so that a warning is also given to the person 70 on the monitoring camera 10 side.
In the present embodiment, the disaster detection device 80 is an independent device, but the function of the disaster detection device 80 may be implemented in the monitoring camera 10 or the video display device 30.
（災害検知装置８０の制御構成）
次に、本発明の実施形態１に係る災害検知システムの災害検知装置８０について説明する。
ここで、災害検知装置８０について説明するにあたり、当該災害検知装置８０で使用するオプティカルフローの計算方法について説明する。
災害検知装置８０においては、基本的に、前述の特許文献１（特開平１１−１２２６０２）の段落００３２から段落００３７に記載のあるオプティカルフローの解析手法を採用するが、計算処理の具体的な方法については、図面を参照して説明する。
図２は、本発明の実施形態１に係る災害検知装置８０でのオプティカルフローの計算処理の一例を示す図である。
図２のように、監視カメラ１０から入力される入力画像の画像サイズを７２０ｐｉｘｅｌ×４８０ｐｉｘｅｌ、また、入力画像を分割するブロックの画像サイズを８ｐｉｘｅｌ×８ｐｉｘｅｌとし、１つ前のフレームの入力画像１００１ａを基準に、現時点のフレームの入力画像１００１ｂのオプティカルフローを求めるようにする。
つまりこの場合、ブロックのＸ座標のアドレスは０，１，２…８９となり、Ｙ座標のアドレスは０，１，２…５９となり、入力画像は、９０×６０＝５４００個のブロックに分割される。
このように分割されたブロックごとに、ブロックの中から特徴点１０１を見つけ、この特徴点１０１に対するオプティカルフロー１０２を計算する。なお、ブロックの中から特徴点１０１を見つける方法は、ハリスのコーナー検出方法などを用いることとする。
なお、オプティカルフロー１０２を求める方法として、ブロック・マッチング法などを採用しても良い。
これ以降、ブロックの中から見つけた特徴点のことを注目点と呼称する。
(Control configuration of disaster detection device 80)
Next, the disaster detection apparatus 80 of the disaster detection system according to the first embodiment of the present invention will be described.
Here, in describing the disaster detection device 80, an optical flow calculation method used in the disaster detection device 80 will be described.
The disaster detection device 80 basically employs the optical flow analysis method described in paragraphs 0032 to 0037 of the above-mentioned Patent Document 1 (Japanese Patent Laid-Open No. 11-122602). Will be described with reference to the drawings.
FIG. 2 is a diagram illustrating an example of an optical flow calculation process in the disaster detection device 80 according to the first embodiment of the present invention.
As shown in FIG. 2, the image size of the input image input from the surveillance camera 10 is 720 pixels × 480 pixels, and the image size of the block into which the input image is divided is 8 pixels × 8 pixels, and the input image 1001a of the previous frame is As a reference, the optical flow of the input image 1001b of the current frame is obtained.
That is, in this case, the X coordinate address of the block is 0, 1, 2,... 89, the Y coordinate address is 0, 1, 2,... 59, and the input image is divided into 90 × 60 = 5400 blocks. .
For each block divided in this manner, a feature point 101 is found from the block, and an optical flow 102 for the feature point 101 is calculated. As a method of finding the feature point 101 from the block, a Harris corner detection method or the like is used.
As a method for obtaining the optical flow 102, a block matching method or the like may be employed.
Hereinafter, feature points found in the block are referred to as attention points.
次に、改めて、本発明の実施形態１に係る災害検知装置８０の構成について図面を参照して説明する。
図３は、本発明の実施形態１に係る災害検知装置８０の構成を示すブロック図である。
図３に示すように、監視カメラ１０から入力された入力画像１００１は、前フレーム記憶領域８５に格納される。ここで、前フレーム記憶領域８５は、例えば、メモリである。
オプティカルフロー代表値計算処理部８１は、現時点の入力画像１００１ｂと、前フレーム記憶領域８５に格納されている１フレーム前の入力画像１００１ａを用いて、入力画像１００１の注目点におけるオプティカルフローを計算し、検出した土石流を含むオプティカルフローを、現時点のオプティカルフローの代表値としてオプティカルフローテーブル８６に出力する。
なお、オプティカルフローテーブル８６は、Ｎフレーム（Ｎ：整数）分のオプティカルフローの値を格納する。
また、オプティカルフロー代表値計算処理部８１は、計算した現時点のオプティカルフローの代表値が所定のしきい値Ａより大きい場合には、異常状態と判断し、異常状態検知信号を異常状態判定部８２に出力する。
なお、前述した方法により、オプティカルフロー代表値計算処理部８１で求めたオプティカルフローは、振動成分を含んだものである。
異常状態判定部８２は、オプティカルフロー代表値計算処理部８１から入力された異常状態検知信号を受信した回数をカウントし、所定の回数以上になった場合に、異常状態連続検知信号をオプティカルフロー平均値計算処理部８３に出力する。
オプティカルフロー平均値計算処理部８３は、異常状態判定部８２から異常状態連続検知信号を受け取ると、オプティカルフローテーブル８６からＮフレーム分のオプティカルフローを読み出して、Ｎフレーム分のオプティカルフロー平均値を算出し、算出したＮフレーム分のオプティカルフロー平均値を描画処理部８４に出力する。
なお、後述するように、オプティカルフロー平均値計算処理部８３から出力されたＮフレーム分のオプティカルフロー平均値は、振動成分が抑制されたものである。
描画処理部８４は、現時点の入力画像１００１ｂ上に、オプティカルフロー代表値計算処理部８１より出力された現時点のオプティカルフローの代表値またはオプティカルフロー平均値計算処理部８３から受け取ったＮフレーム分のオプティカルフロー平均値を描画して、出力画像１００２として通信路２０または映像表示部３０に出力する。
Next, the configuration of the disaster detection apparatus 80 according to Embodiment 1 of the present invention will be described again with reference to the drawings.
FIG. 3 is a block diagram showing a configuration of the disaster detection apparatus 80 according to the first embodiment of the present invention.
As shown in FIG. 3, the input image 1001 input from the monitoring camera 10 is stored in the previous frame storage area 85. Here, the previous frame storage area 85 is, for example, a memory.
The optical flow representative value calculation processing unit 81 calculates an optical flow at the point of interest of the input image 1001 using the current input image 1001b and the input image 1001a one frame before stored in the previous frame storage area 85. Then, the optical flow including the detected debris flow is output to the optical flow table 86 as a representative value of the current optical flow.
The optical flow table 86 stores optical flow values for N frames (N: integer).
Further, when the calculated representative value of the optical flow is larger than the predetermined threshold value A, the optical flow representative value calculation processing unit 81 determines that the abnormal state is detected and outputs the abnormal state detection signal to the abnormal state determination unit 82. Output to.
Note that the optical flow obtained by the optical flow representative value calculation processing unit 81 by the above-described method includes a vibration component.
The abnormal state determination unit 82 counts the number of times the abnormal state detection signal input from the optical flow representative value calculation processing unit 81 has been received, and when the number exceeds a predetermined number, the abnormal state continuous detection signal is optically averaged. The result is output to the value calculation processing unit 83.
When the optical flow average value calculation processing unit 83 receives the abnormal state continuous detection signal from the abnormal state determination unit 82, the optical flow average value calculation processing unit 83 reads the optical flow for N frames from the optical flow table 86 and calculates the optical flow average value for N frames. Then, the calculated optical flow average value for N frames is output to the drawing processing unit 84.
As will be described later, the optical flow average value for N frames output from the optical flow average value calculation processing unit 83 is obtained by suppressing the vibration component.
The drawing processing unit 84, on the current input image 1001b, represents the optical value for the N frames received from the current optical flow representative value or the optical flow average value calculation processing unit 83 output from the optical flow representative value calculation processing unit 81. The flow average value is drawn and output as an output image 1002 to the communication path 20 or the video display unit 30.
ここで、上記した災害検知装置８０での処理における入力画像１００１および出力画像１００２について、図４〜図７を用いて説明する。
図４は、入力画像１００１の一例を示す図である。本例の入力画像１００１では、中央に上方から下方に向かって流れる川２０１があり、川２０１の左右両側に森林２０２がある。
図５は、図４の入力画像１００１において、マスクエリアを設定した例を示す。マスクエリア２０３とは、入力画像１００１において、土石流等の災害検知を必要としない領域（斜線部）であり、本例では森林２０２の領域にマスクエリア２０３を設定している。
つまり、図２で説明したように、本来、オプティカルフローの計算処理は、入力画像１００１の画像全体に関して行うが、土石流が明らかに流れることがないと思われる森林２０２の領域をマスクエリア２０３に設定し、オプティカルフローの計算処理範囲を川２０１の領域に限定することによって、オプティカルフローの計算処理に要する時間を短縮できるという効果がある。
Here, the input image 1001 and the output image 1002 in the processing in the disaster detection device 80 will be described with reference to FIGS.
FIG. 4 is a diagram illustrating an example of the input image 1001. In the input image 1001 of this example, there is a river 201 that flows from the upper side to the lower side in the center, and forests 202 on both the left and right sides of the river 201.
FIG. 5 shows an example in which a mask area is set in the input image 1001 of FIG. The mask area 203 is a region (hatched portion) in the input image 1001 that does not require disaster detection such as debris flow. In this example, the mask area 203 is set in the region of the forest 202.
That is, as described with reference to FIG. 2, the calculation process of the optical flow is originally performed on the entire image of the input image 1001, but the area of the forest 202 where the debris flow is unlikely to flow is set in the mask area 203. However, by limiting the optical flow calculation processing range to the area of the river 201, it is possible to reduce the time required for the optical flow calculation processing.
また、図６は、描画処理部８４から出力された入力画像１００１上にオプティカルフローの代表値を描画した正常状態（土石流非検知）での出力画面１００２の一例を示す図である。
図６において、３０１の丸印部が注目点（オプティカルフローを求める点）である。また、３０２の矢印部が注目点３０１で求めたオプティカルフローである。尚、注目点３０１は、所定の距離だけ離れた点で設定するのも良いし、入力画像１００１の特徴に応じて決めても良い。
図６からわかるように、正常状態（土石流非検知）では、川２０１の流れは緩やかであるため、注目点３０１で求めたオプティカルフロー３０２の大きさは小さく、かつ、そのオプティカルフロー３０２の向きは同一方向（この場合は下方向）になる。
FIG. 6 is a diagram illustrating an example of an output screen 1002 in a normal state (debris flow non-detection) in which a representative value of the optical flow is drawn on the input image 1001 output from the drawing processing unit 84.
In FIG. 6, a circled portion 301 is a point of interest (a point for obtaining an optical flow). In addition, an arrow portion 302 is an optical flow obtained at the attention point 301. Note that the point of interest 301 may be set at a point separated by a predetermined distance, or may be determined according to the characteristics of the input image 1001.
As can be seen from FIG. 6, in the normal state (no debris flow detection), the flow of the river 201 is gentle, so the size of the optical flow 302 obtained at the point of interest 301 is small, and the direction of the optical flow 302 is They are in the same direction (downward in this case).
また、図７は、描画処理部８４から出力された入力画像１００１上にオプティカルフローの代表値を描画した異常状態（土石流検知）での出力画面１００２の一例を示す図である。
図７において、図６と同様に、３０１の丸印部が注目点３０１であり、３０２の矢印部が注目点３０１で求めたオプティカルフローである。また、３０３は土石流を表している。
図７に示すように、異常状態（土石流検知）では、注目点３０１で求めたオプティカルフロー３０２のうち、土石流３０３上のオプティカルフロー３０２は、図６の正常状態時のオプティカルフロー３０２よりも大きく、さらに、土石流３０３の先端部分は、土石流３０３の進行方向（下方向）のオプティカルフロー３０２となっているが、土石流３０３の先端部分以外の場所では、複数方向のオプティカルフロー３０２となっている。
なお、本例では、土石流３０３の先端部分で、土石流３０３の進行方向（下方向）のオプティカルフロー３０２が求まっているが、入力画像１００１のブロックサイズが小さく、注目点３０１が土石流３０３の左右の端部分にある場合は、このような端の部分でも、土石流３０３の進行方向のオプティカルフロー３０２が求まる。従って、土石流３０３のエッジ部分で土石流３０３の進行方向のオプティカルフロー３０２が求まり、土石流３０３の内部で複数方向のオプティカルフロー３０２となる。
FIG. 7 is a diagram illustrating an example of an output screen 1002 in an abnormal state (debris flow detection) in which a representative value of the optical flow is drawn on the input image 1001 output from the drawing processing unit 84.
In FIG. 7, similarly to FIG. 6, the circled portion 301 is the attention point 301, and the arrow portion 302 is the optical flow obtained at the attention point 301. Reference numeral 303 denotes a debris flow.
As shown in FIG. 7, in the abnormal state (debris flow detection), the optical flow 302 on the debris flow 303 out of the optical flow 302 obtained at the point of interest 301 is larger than the optical flow 302 in the normal state of FIG. Furthermore, the tip portion of the debris flow 303 is an optical flow 302 in the traveling direction (downward direction) of the debris flow 303, but the optical flow 302 is in a plurality of directions at places other than the tip portion of the debris flow 303.
In this example, the optical flow 302 in the traveling direction (downward) of the debris flow 303 is obtained at the tip of the debris flow 303, but the block size of the input image 1001 is small, and the attention point 301 is the left and right of the debris flow 303. In the case of the end portion, the optical flow 302 in the traveling direction of the debris flow 303 is also obtained in such an end portion. Accordingly, the optical flow 302 in the traveling direction of the debris flow 303 is obtained at the edge portion of the debris flow 303, and the optical flow 302 is formed in a plurality of directions inside the debris flow 303.
次に、本発明の実施形態１に係る災害検知装置８０で行われる正常／異常状態の判別処理について図面を参照して説明する。
図８は、本発明の実施形態１に係る災害検知装置８０で行われる正常／異常状態の判別処理のフローチャートである。
なお、下記においてトレーニング期間とは、災害検知システムが実際に監視動作を開始する前に、事前に正常状態での川の流れのオプティカルフローを計算しておくための期間である。気象条件等により、日々、川の水量や水量に伴う川の流速が変化するため、監視動作を開始する前には、常に、トレーニング期間を設ける必要がある。
具体的には、次のような処理を行う。
まず、災害検知装置８０は、トレーニング期間中に、オプティカルフロー方向別ヒストグラム算出処理[トレーニング期間]（ステップＳ３０１）を実行し、予め正常状態でのオプティカルフローの方向別ヒストグラムと標準偏差σ１を求めておく。
なお、オプティカルフロー方向別ヒストグラム算出処理[トレーニング期間]の手順は、後述する図９のサブシーケンスに従って行う。
Next, normal / abnormal state determination processing performed by the disaster detection apparatus 80 according to the first embodiment of the present invention will be described with reference to the drawings.
FIG. 8 is a flowchart of normal / abnormal state determination processing performed by the disaster detection apparatus 80 according to the first embodiment of the present invention.
In the following, the training period is a period for calculating an optical flow of a river flow in a normal state in advance before the disaster detection system actually starts a monitoring operation. Depending on the weather conditions and other factors, the amount of water in the river and the river flow rate associated with the amount of water change every day. Therefore, it is necessary to always provide a training period before starting the monitoring operation.
Specifically, the following processing is performed.
First, the disaster detection device 80 executes the histogram calculation process for each optical flow direction [training period] (step S301) during the training period, and obtains the histogram for each direction of the optical flow in the normal state and the standard deviation σ1 in advance. deep.
The procedure of the optical flow direction-specific histogram calculation process [training period] is performed according to a subsequence of FIG.
次に、災害検知装置８０は、災害検知システムが稼働し監視動作が行われる監視期間中に、以下の処理を繰り返し行う。
まず、監視カメラ１０から入力された入力画像１００１をフレームごとに（ステップＳ３０２）オプティカルフロー方向別ヒストグラム算出処理[監視期間]（ステップＳ３０３）を実行し、監視期間中でのオプティカルフローの方向別ヒストグラムと標準偏差標準偏差σ２を求める。
なお、オプティカルフロー方向別ヒストグラム算出処理[監視期間]の手順は、後述する図１０のサブシーケンスに従って行う。
次に、トレーニング期間中に求めた正常状態の標準偏差σ１と監視期間中の標準偏差σ２を比較し、
σ２ ＞ α×σ１（α：所定の定数）
であるかどうかを調べる（ステップＳ３０４）。
ここで、ＹＥＳであれば、異常状態（土石流検知）であると判断して、ブロックにおける代表オプティカルフローを求める処理（ステップＳ３０５）を実行する。
なお、ブロックにおける代表オプティカルフローを求める処理の手順は、後述する図１４のサブシーケンスに従って行う。
さらに、フレームにおける代表オプティカルフローを求める処理（ステップＳ３０６）を実行する。この場合、代表オプティカルフローの値は、後述する平均値となる。
なお、フレームにおける代表オプティカルフローを求める処理は、後述する図１５の計算例に従って行う。
また、ＮＯであれば、正常状態（土石流非検知）であると判断して、代表オプティカルフローの値は０とする。
Next, the disaster detection apparatus 80 repeatedly performs the following processing during the monitoring period in which the disaster detection system is operating and the monitoring operation is performed.
First, for each frame (step S302), the histogram calculation process for each optical flow direction [monitoring period] (step S303) is executed for each frame of the input image 1001 input from the monitoring camera 10, and the optical flow direction histogram for the monitoring period is executed. And standard deviation standard deviation σ2 is obtained.
Note that the procedure of the histogram calculation processing for each optical flow direction [monitoring period] is performed according to a subsequence of FIG.
Next, the standard deviation σ1 obtained during the training period is compared with the standard deviation σ2 during the monitoring period,
σ2> α × σ1 (α: predetermined constant)
Is checked (step S304).
If “YES” here, it is determined that the state is abnormal (debris flow detection), and processing for obtaining a representative optical flow in the block (step S305) is executed.
The processing procedure for obtaining the representative optical flow in the block is performed according to a sub-sequence of FIG. 14 to be described later.
Further, a process for obtaining a representative optical flow in the frame (step S306) is executed. In this case, the value of the representative optical flow is an average value described later.
Note that the processing for obtaining the representative optical flow in the frame is performed according to the calculation example of FIG.
Further, if NO, it is determined that the state is normal (debris flow non-detection), and the value of the representative optical flow is set to 0.
ここで、図８におけるオプティカルフロー方向別ヒストグラム算出処理[トレーニング期間]（ステップＳ３０１）について、図面を参照して説明する。
図９は、正常／異常状態判別処理のフロー（図８）のオプティカルフロー方向別ヒストグラム算出処理[トレーニング期間]（ステップＳ３０１）のサブシーケンスを示す図である。
図９のシーケンスによると、トレーニング期間中に、Ｎフレーム（Ｎ：整数）に関して（ステップＳ１０１）、入力画像１０１１のオプティカルフローを計算すべき注目点すべてについて（ステップＳ１０２）、ブロック内で注目点を見つける処理（ステップＳ１０３）と、注目点におけるオプティカルフロー計算処理（ステップＳ１０４）と、オプティカルフローの選別処理（ステップＳ１０５）を行う。
また、上記ステップＳ１０１〜Ｓ１０５の結果から、正常状態でのオプティカルフローの方向別ヒストグラムを求め（ステップＳ１０６）、また、当該方向別ヒストグラムより標準偏差を求め（ステップＳ１０７）、さらに、求めた標準偏差の情報をオプティカルフローテーブル８６に保存する（ステップＳ１０８）。
Here, the histogram calculation process for each optical flow direction in FIG. 8 [training period] (step S301) will be described with reference to the drawings.
FIG. 9 is a diagram showing a sub-sequence of the histogram calculation process [training period] (step S301) for each optical flow direction in the normal / abnormal state determination process flow (FIG. 8).
According to the sequence of FIG. 9, during the training period, with respect to N frames (N: integer) (step S101), all the points of interest for which the optical flow of the input image 1011 is to be calculated (step S102) A finding process (step S103), an optical flow calculation process at the point of interest (step S104), and an optical flow sorting process (step S105) are performed.
Further, a histogram for each direction of the optical flow in a normal state is obtained from the results of steps S101 to S105 (step S106), a standard deviation is obtained from the histogram for each direction (step S107), and the obtained standard deviation is obtained. Is stored in the optical flow table 86 (step S108).
次に、図８におけるオプティカルフロー方向別ヒストグラム算出処理[監視期間]（ステップＳ３０２）について、図面を参照して説明する。
図１０は、正常／異常状態判別処理のフロー（図８）のオプティカルフロー方向別ヒストグラム算出処理[監視期間]（ステップＳ３０２）のサブシーケンスを示す図である。
図１０のシーケンスによると、入力画像１０１１のオプティカルフローを計算すべき注目点について（ステップＳ２０１）、ブロック内で注目点を見つける処理（ステップＳ２０２）と、注目点におけるオプティカルフロー計算処理（ステップＳ２０３）と、オプティカルフローの選別処理（ステップＳ２０４）を行う。
また、上記ステップＳ２０１〜Ｓ２０４の結果から、監視期間でのオプティカルフローの方向別ヒストグラムを求め（ステップＳ２０５）、また、当該方向別ヒストグラムより標準偏差を求め（ステップＳ２０６）、さらに、求めた標準偏差の情報をオプティカルフローテーブル８６に保存する（ステップＳ２０７）。
Next, the histogram calculation processing for each optical flow direction in FIG. 8 [monitoring period] (step S302) will be described with reference to the drawings.
FIG. 10 is a diagram showing a sub-sequence of the histogram calculation process [monitoring period] (step S302) for each optical flow direction in the normal / abnormal state determination process flow (FIG. 8).
According to the sequence of FIG. 10, with regard to the point of interest for which the optical flow of the input image 1011 is to be calculated (step S201), processing for finding the point of interest within the block (step S202) and optical flow calculation processing at the point of interest (step S203) Then, an optical flow sorting process (step S204) is performed.
Further, from the results of steps S201 to S204, a histogram for each direction of the optical flow in the monitoring period is obtained (step S205), a standard deviation is obtained from the histogram for each direction (step S206), and the obtained standard deviation is obtained. Is stored in the optical flow table 86 (step S207).
ここで、図９のステップＳ１０４および図１０のステップＳ２０３の注目点におけるオプティカルフロー計算処理でのオプティカルフローの表示例について、図面を参考に説明する。
図１１は、本発明の実施形態１に係る災害検知装置８０で求めたオプティカルフローの表示例であり、（ａ）は正常状態（土石流非検知）でのオプティカルフローを示し、（ｂ）は異常状態（土石流検知）でのオプティカルフローを示す。
図１１（ａ）に示すように、正常状態（土石流非検知）において、入力画像のブロック内の注目点３０１でオプティカルフロー３０２を求め、川２０１のオプティカルフローが求まっていることがわかる。
図１１（ｂ）に示すように、異常状態（土石流検知）において、入力画像のブロック内の注目点３０１でオプティカルフロー３０２を求め、土石流３０３のオプティカルフロー３０２が求まっていることがわかる。
Here, a display example of the optical flow in the optical flow calculation process at the point of interest in step S104 of FIG. 9 and step S203 of FIG. 10 will be described with reference to the drawings.
FIG. 11 is a display example of the optical flow obtained by the disaster detection device 80 according to the first embodiment of the present invention, where (a) shows the optical flow in a normal state (debris flow non-detection), and (b) shows an abnormality. The optical flow in the state (debris flow detection) is shown.
As shown in FIG. 11A, in the normal state (no debris flow detection), the optical flow 302 is obtained at the point of interest 301 in the block of the input image, and it can be seen that the optical flow of the river 201 is obtained.
As shown in FIG. 11B, it can be seen that the optical flow 302 of the debris flow 303 is obtained by obtaining the optical flow 302 at the attention point 301 in the block of the input image in the abnormal state (debris flow detection).
また、図９のステップＳ１０５および図１０のステップＳ２０４のオプティカルフローの選別処理では、オプティカルフローを方向別分布に集計する。方向を持つ情報の、方向別符号化については、特許文献２に開示されている。 Further, in the optical flow sorting process in step S105 of FIG. 9 and step S204 of FIG. 10, the optical flows are aggregated into the direction-specific distribution. The encoding by direction of information having a direction is disclosed in Patent Document 2.
［特許文献２］特開２０１２−２２３７０ [Patent Document 2] JP 2012-22370 A
ここで、オプティカルフローの方向別分布を算出する際の方向別符号化方法について図面を参照して説明する。
図１２は、オプティカルフローの方向別分布を算出する際の方向別符号化方法を説明するための図である。本例では、オプティカルフローの方向を１６方向に符号化する方法を示す。図中、方向Ｐ１〜Ｐ１６は、方向別符号化をする際の基準となるオプティカルフローの方向である。
Here, a direction-specific encoding method for calculating the direction-specific distribution of the optical flow will be described with reference to the drawings.
FIG. 12 is a diagram for explaining a direction-specific encoding method for calculating a direction-specific distribution of optical flows. In this example, a method of encoding the optical flow direction in 16 directions is shown. In the figure, directions P1 to P16 are directions of an optical flow serving as a reference when encoding by direction.
図９のステップＳ１０４および図１０のステップＳ２０３の注目点におけるオプティカルフロー計算処理で算出されるオプティカルフローの方向は、いずれか一方向を基準とすると０〜３６０度の連続値で得られる。これを、一定の角度刻みで、整数値に量子化する。図１２の例では、水平方向の右向き方向Ｐ１を基準（０°（０度））とし、２２．５°刻みで、それぞれの角度の間に含まれるオプティカルフローを量子化する。例えば、方向Ｐ１を基準とし、角度が２０°のオプティカルフローは符号‘１’、１００°のオプティカルフローは符号‘５’となる。 The direction of the optical flow calculated by the optical flow calculation process at the point of interest in step S104 of FIG. 9 and step S203 of FIG. 10 is obtained as a continuous value of 0 to 360 degrees with respect to any one direction. This is quantized into an integer value at a constant angular interval. In the example of FIG. 12, the optical flow included between each angle is quantized in increments of 22.5 ° with the horizontal rightward direction P1 as a reference (0 ° (0 degree)). For example, with reference to the direction P1, the optical flow with an angle of 20 ° is denoted by “1”, and the optical flow at 100 ° is denoted by “5”.
以上のように、図９のステップＳ１０５および図１０のステップＳ２０４のオプティカルフローの選別処理では、オプティカルフローの方向を角度から整数に符号化した上で、当該ブロックに含まれるオプティカルフローを１〜１６の方向符号別に発生数を集計する。 As described above, in the optical flow selection process in step S105 of FIG. 9 and step S204 of FIG. 10, the optical flow direction is encoded from an angle to an integer, and the optical flows included in the block are 1-16. The number of occurrences is counted for each direction code.
また、図９のステップＳ１０６および図１０のステップＳ２０５のオプティカルフローの方向別ヒストグラムを求める処理では、図９のステップＳ１０５および図１０のステップＳ２０４のオプティカルフローの選別処理による方向符号別オプティカルフローの発生数集計結果から方向符号別オプティカルフローのヒストグラムを求める。
ここで、図１３は、方向符号別にオプティカルフローの発生数を集計した結果の方向別分布の例を示す図であり、（ａ）は正常状態（土石流非検知）での検知方向別ヒストグラムと標準偏差を示し、（ｂ）は異常状態土石流検知）での検知方向別ヒストグラムと標準偏差を示す。
正常状態（土石流非検知）では、前述した図６のように、川２０１の流れのあるところは、オプティカルフローは大きさを持つが、川２０１の流れの無いところは、オプティカルフローはほとんど大きさを持たない。このため、オプティカルフローの方向別ヒストグラムは、図１３（ａ）のように、オプティカルフローの方向Ｐ１３（川の流れによる下向きのオプティカルフロー）の頻度が多くなる。
一方、異常状態（土石流検知）では、前述した図７のように、川２０１のエリアの他に、土石流３０３のエリアでしきい値を超えるオプティカルフローを検出する。この時、土石流３０３の先端部分では、進行方向であるオプティカルフローの方向Ｐ１３のオプティカルフローが得られるが、土石流３０３のそれ以外の部分では、複数の方向のオプティカルフローが得られる。
このため、オプティカルフローの方向別ヒストグラムは、図１３（ｂ）のように、フローの方向Ｐ１３とそれ以外の方向の頻度が多くなり、ガウス分布となる。
Further, in the processing for obtaining the direction-specific histogram of the optical flow in step S106 of FIG. 9 and step S205 of FIG. 10, generation of the optical flow by direction code by the optical flow selection processing of step S105 of FIG. 9 and step S204 of FIG. A histogram of the optical flow for each direction code is obtained from the result of counting.
Here, FIG. 13 is a diagram illustrating an example of a distribution by direction as a result of aggregating the number of occurrences of optical flows by direction code, and (a) is a histogram and standard for each detection direction in a normal state (debris flow non-detection). The deviation is shown, and (b) shows a histogram for each detection direction and standard deviation in the abnormal state debris flow detection).
In a normal state (debris flow non-detection), as shown in FIG. 6 described above, the optical flow is large when the river 201 flows, but the optical flow is almost large when the river 201 does not flow. Does not have. For this reason, in the optical flow direction histogram, as shown in FIG. 13A, the frequency of the optical flow direction P13 (downward optical flow due to the river flow) increases.
On the other hand, in the abnormal state (debris flow detection), as shown in FIG. 7, the optical flow exceeding the threshold value is detected in the debris flow 303 area in addition to the river 201 area. At this time, an optical flow in the direction P13 of the optical flow, which is the traveling direction, is obtained at the tip portion of the debris flow 303, but optical flows in a plurality of directions are obtained in other portions of the debris flow 303.
For this reason, as shown in FIG. 13B, the frequency-specific histogram of the optical flow has a frequency of the flow direction P13 and other directions, and has a Gaussian distribution.
次に、図８のブロックにおける代表オプティカルフローを求める処理（ステップＳ３０５）について、図面を参照して説明する。
図１４は、正常／異常状態判別処理のフロー（図８）のブロックにおける代表オプティカルフローを求める処理（ステップＳ３０５）のサブシーケンスを示す図である。
図１４のシーケンスによると、オプティカルフローを計算するべき注目点について全て調べたか否かを確認する（ステップＳ４０１）。
ＹＥＳであれば、そのまま終了する。
ＮＯであれば、オプティカルフローの下方向選別処理（ステップＳ４０２）を実行し、オプティカルフローの最頻度方向選別処理（ステップＳ４０３）を実行する。
オプティカルフローの下方向選別処理（ステップＳ４０２）では、オプティカルフローを、上下方向に分けて考えた場合、下方向であるオプティカルフローを選別する。
オプティカルフローの最頻度方向選別処理（ステップＳ４０３）では、オプティカルフローの方向のヒストグラムにおいて、頻度が最大である方向と同じオプティカルフローを選別する。もしなければ、この方向に近いオプティカルフローを選別する。
Next, the process (step S305) for obtaining the representative optical flow in the block of FIG. 8 will be described with reference to the drawings.
FIG. 14 is a diagram showing a subsequence of the process (step S305) for obtaining the representative optical flow in the block of the normal / abnormal state determination process flow (FIG. 8).
According to the sequence of FIG. 14, it is confirmed whether or not all the points of interest for which the optical flow is to be calculated have been examined (step S401).
If YES, the process ends.
If NO, the optical flow downward direction selection process (step S402) is executed, and the optical flow most frequent direction selection process (step S403) is executed.
In the optical flow downward sorting process (step S402), when the optical flow is considered in the vertical direction, the optical flow in the downward direction is sorted.
In the optical flow most frequent direction selection process (step S403), in the histogram of the direction of optical flow, the same optical flow as the direction having the maximum frequency is selected. If not, the optical flow close to this direction is selected.
次に、図８のフレームにおける代表オプティカルフローを求める処理（ステップＳ３０６）について、図面を参照して説明する。
図１５は、正常／異常状態判別処理のフロー（図８）のフレームにおける代表オプティカルフローを求める処理（ステップＳ３０６）の第１の計算例を示す図である。
ただし、本計算例は、１つのフレームに対して代表オプティカルフローを求める計算例である。
（ａ）において、全注目点に対するオプティカルフローを求め、次に、（ｂ）において、オプティカルフローの大きさで絞り込み、オプティカルフローの方向の分類分けを行い、次に、（ｃ）において、下方向のオプティカルフローのみに絞り、（ｄ）において、絞ったオプティカルフローの平均値（オプティカルフローの空間方向の平均値）を求める。
これを現時点のフレームにおける代表オプティカルフロー（土石流のオプティカルフロー）とする。
なお、現時点のフレームにおける代表オプティカルフローは、下記のようにして求める。
（ｃ）で求めた土石流の下方向のオプティカルフローの数をＭ個として、各注目点における、ｘ方向のオプティカルフローをＶｓｘ０，Ｖｓｘ１，・・・ＶｓｘＭ−１
、ｙ方向のオプティカルフローをＶｓｙ０，Ｖｓｙ１，・・・ＶｓｙＭ−１とすると、空間方向のフローの平均値（Ｖｓｘ，Ｖｓｙ）は、
Ｖｓｘ=（Ｖｓｘ０＋Ｖｓｘ１＋・・・＋ＶｓｘＭ−１
）／Ｍ
Ｖｓｙ=（Ｖｓｙ０＋Ｖｓｙ１＋・・・＋ＶｓｙＭ−１
）／Ｍ
と表現できる。
ここで、現時点のフレームにおける代表フロー ＝ フローの平均値 とする。
このようにして現時点のフレームにおける代表フローを求めることで、この場合は、土石流のオプティカルフローを求めることができる。
但し、このオプティカルフローは、強風による振動や、上記災害発生時の振動を含むフローである。
尚、この例では、図３の出力画像１００２を作る際、土石流に対して１つのオプティカルフローのみの表示であるが、異常状態を検出した注目点全てにオプティカルフローを表示してもよい。
Next, processing for obtaining a representative optical flow in the frame of FIG. 8 (step S306) will be described with reference to the drawings.
FIG. 15 is a diagram illustrating a first calculation example of the process (step S306) for obtaining the representative optical flow in the frame of the normal / abnormal state determination process flow (FIG. 8).
However, this calculation example is a calculation example for obtaining a representative optical flow for one frame.
In (a), the optical flow for all points of interest is obtained, then in (b), the size of the optical flow is narrowed down to classify the direction of the optical flow, and then in (c), the downward direction In (d), the average value of the narrowed optical flows (the average value of the optical flows in the spatial direction) is obtained.
This is the representative optical flow in the current frame (debris flow optical flow).
The representative optical flow in the current frame is obtained as follows.
The number of optical flows in the downward direction of the debris flow obtained in (c) is M, and the optical flows in the x direction at the respective points of interest are expressed as Vsx 0 , Vsx 1 ,... Vsx M−1.
If the optical flow in the y direction is Vsy 0 , Vsy 1 ,... Vsy M−1 , the average value (Vsx, Vsy) of the flow in the spatial direction is
Vsx = (Vsx 0 + Vsx 1 +... + Vsx M−1
) / M
Vsy = (Vsy 0 + Vsy 1 +... + Vsy M−1
) / M
Can be expressed as
Here, the representative flow in the current frame = the average value of the flows.
Thus, by obtaining the representative flow in the current frame, in this case, the debris flow optical flow can be obtained.
However, this optical flow is a flow including vibrations caused by strong winds and vibrations when the disaster occurs.
In this example, when the output image 1002 of FIG. 3 is created, only one optical flow is displayed for the debris flow. However, the optical flow may be displayed for all attention points where an abnormal state is detected.
次に、図８のフレームにおける代表オプティカルフローを求める処理（ステップＳ３０６）に関し、別の計算例について図面を参照して説明する。
図１６は、正常／異常状態判別処理のフロー（図８）のフレームにおける代表オプティカルフローを求める処理（ステップＳ３０６）の第２の計算例を示す図である。
ただし、本計算例は、複数のフレームに対して代表オプティカルフローを求める計算例である。
（ａ）において、前述した１フレームにおける代表オプティカルフローの計算を、連続したＮフレーム（Ｎ：整数）について求め、（ｂ）において、各フレームの代表オプティカルフローの時間方向の平均値（Ｖｔｘ，Ｖｔｙ）を求める。これを一定フレームにおける時間方向の平均オプティカルフロー（土石流のオプティカルフロー）とする。
各フレームの代表オプティカルフローの時間方向の平均値は、下記のようにして求める。
各フレームの代表フローの、ｘ方向のフローをＶｔｘ０，Ｖｔｘ１，・・・ＶｔｘＮ−１
、ｙ方向のフローをＶｔｙ０，Ｖｔｙ１，・・・ＶｔｙＮ−１とすると、時間方向のフローの平均値（Ｖｔｘ，Ｖｔｙ）は、
Ｖｔｘ=（Ｖｔｘ０＋Ｖｔｘ１＋・・・＋ＶｔｘＮ−１
）／Ｎ
Ｖｔｙ=（Ｖｔｙ０＋Ｖｔｙ１＋・・・＋ＶｔｙＮ−１
）／Ｎ
と表現できる。この時間方向のフローの平均値（Ｖｔｘ，Ｖｔｙ）を、フレームｔ０における土石流のオプティカルフローとする。
このように、時間方向の平均オプティカルフローを求めることで、オプティカルフローに含まれる振動成分を抑制することができる。
尚、この例では、図３の出力画像１００２を作る際、土石流に対して１つのオプティカルフローのみの表示であるが、異常状態を検出した注目点全てにオプティカルフローを表示してもよい。
Next, regarding the process of obtaining the representative optical flow in the frame of FIG. 8 (step S306), another calculation example will be described with reference to the drawings.
FIG. 16 is a diagram illustrating a second calculation example of the process (step S306) of obtaining the representative optical flow in the frame of the normal / abnormal state determination process flow (FIG. 8).
However, this calculation example is a calculation example for obtaining a representative optical flow for a plurality of frames.
In (a), the calculation of the representative optical flow in one frame described above is obtained for consecutive N frames (N: integer), and in (b), the average value (Vtx, Vty) of the representative optical flow in each frame in the time direction. ) This is the average optical flow in the time direction in a fixed frame (debris flow optical flow).
The average value in the time direction of the representative optical flow of each frame is obtained as follows.
Vtx 0 , Vtx 1 ,... Vtx N−1 are representative flows of each frame in the x direction.
If the flow in the y direction is Vty 0 , Vty 1 ,... Vty N−1 , the average value (Vtx, Vty) of the flow in the time direction is
Vtx = (Vtx 0 + Vtx 1 +... + Vtx N−1
) / N
Vty = (Vty 0 + Vty 1 +... + Vty N−1
) / N
Can be expressed as Average value of the time direction of the flow of (Vtx, Vty), the optical flow of the debris flow in frame t 0.
Thus, the vibration component contained in an optical flow can be suppressed by calculating | requiring the average optical flow of a time direction.
In this example, when the output image 1002 of FIG. 3 is created, only one optical flow is displayed for the debris flow. However, the optical flow may be displayed for all attention points where an abnormal state is detected.
＜実施形態２＞
〔災害検知システムの制御構成〕
以下に、本発明の実施形態２に係る災害検知システムについて説明する。
なお、本発明の実施形態２に係る災害検知システムは、前述した本発明の実施形態１に係る災害検知システムに対し、災害検知装置９０が異なる以外は、図１の構成と同様である。
<Embodiment 2>
[Control configuration of disaster detection system]
The disaster detection system according to Embodiment 2 of the present invention will be described below.
The disaster detection system according to Embodiment 2 of the present invention is the same as the configuration of FIG. 1 except that the disaster detection apparatus 90 is different from the disaster detection system according to Embodiment 1 of the present invention described above.
（災害検知装置９０の制御構成）
そこで、本発明の実施形態２に係る災害検知システムの災害検知装置９０について図面を参照して説明する。
図１７は、本発明の実施形態２に係る災害検知システムの構成を示すブロック図である。
図１７は、本発明の実施形態１と基本的に同様の構成であるが、オプティカルフロー代表値計算処理部８１が用いるしきい値Ｂが、固定値ではなく、各注目点の定常状態のオプティカルフローに対応した値となる点が異なる。つまり、しきい値Ｂが、注目点ごとに準備してあるということである。
このしきい値Ｂは、定常状態オプティカルフロー計算処理部９１で求めた定常状態のオプティカルフローの値に、乗算器９２で所定の倍率αだけ乗じることで得られる。
なお、定常状態オプティカルフロー計算処理部９１で行われる処理は、前述の図９で示したオプティカルフロー方向別ヒストグラム算出処理[トレーニング期間]のフローチャートでのステップＳ１０４の注目点におけるオプティカルフロー計算処理の結果を用いるものとする。
(Control configuration of disaster detection device 90)
Therefore, a disaster detection device 90 of the disaster detection system according to the second exemplary embodiment of the present invention will be described with reference to the drawings.
FIG. 17 is a block diagram showing a configuration of a disaster detection system according to Embodiment 2 of the present invention.
FIG. 17 shows a configuration basically similar to that of the first embodiment of the present invention, but the threshold value B used by the optical flow representative value calculation processing unit 81 is not a fixed value, but is a steady-state optical at each point of interest. The difference is that the value corresponds to the flow. That is, the threshold value B is prepared for each attention point.
This threshold value B is obtained by multiplying the value of the steady state optical flow obtained by the steady state optical flow calculation processing unit 91 by a predetermined magnification α by the multiplier 92.
Note that the processing performed by the steady-state optical flow calculation processing unit 91 is the result of the optical flow calculation processing at the point of interest in step S104 in the flowchart of the histogram calculation processing for each optical flow direction [training period] shown in FIG. Shall be used.
＜実施形態３＞
以下に、本発明の実施形態３に係る災害検知システムについて説明する。
なお、本発明の実施形態３に係る災害検知システムは、前述した本発明の実施形態１または本発明の実施形態２に係る災害検知システムと全く同様の構成であるが、災害検知装置８０または災害検知装置９０の描画処理部８４で行われる処理のみ異なる。
そこで、本発明の実施形態３に係る災害検知システムの災害検知装置の描画処理部８４による出力画像１００３について、図面を参照して説明する。
図１８は、本発明の実施形態３に係る災害検知システムの映像表示装置３０のモニタに表示するオプティカルフローの表示例である。
図１８に示すように、描画処理部８４で出力画像１００３を出力する際に、異常状態を検出した注目点３０１に、各フレームで求めた代表オプティカルフローまたは所定の複数フレームにおける平均オプティカルフロー４０１を表示する。
<Embodiment 3>
The disaster detection system according to Embodiment 3 of the present invention will be described below.
The disaster detection system according to the third embodiment of the present invention has the same configuration as the disaster detection system according to the first embodiment of the present invention or the second embodiment of the present invention, but the disaster detection device 80 or the disaster Only the processing performed by the drawing processing unit 84 of the detection device 90 is different.
Therefore, an output image 1003 by the drawing processing unit 84 of the disaster detection apparatus of the disaster detection system according to the third embodiment of the present invention will be described with reference to the drawings.
FIG. 18 is a display example of the optical flow displayed on the monitor of the video display device 30 of the disaster detection system according to the third embodiment of the present invention.
As shown in FIG. 18, when the output image 1003 is output by the rendering processing unit 84, the representative optical flow 401 obtained in each frame or the average optical flow 401 in a plurality of predetermined frames is applied to the attention point 301 where the abnormal state is detected. indicate.
＜実施形態４＞
以下に、本発明の実施形態４に係る災害検知システムについて説明する。
なお、本発明の実施形態４に係る災害検知システムは、前述した本発明の実施形態１または本発明の実施形態２に係る災害検知システムと全く同様の構成であるが、災害検知装置８０または災害検知装置９０の描画処理部８４で行われる処理のみ異なる。
そこで、本発明の実施形態４に係る災害検知システムの災害検知装置の描画処理部８４による出力画像１００４について、図面を参照して説明する。
図１９は、本発明の実施形態４に係る災害検知システムの映像表示装置３０のモニタに表示するオプティカルフローの表示例である。
図１９に示すように、描画処理部８４で出力画像１００４を出力する際に、各フレームで求めた代表オプティカルフロー５０１の色をオプティカルフローの大きさなどによる危険度に応じて変える。
本実施例では、危険度が大きくなるにつれて、各フレームで求めた代表オプティカルフロー５０１の色を濃くする。
なお、本実施例では、土石流３０３に対して１つの代表オプティカルフロー５０１のみの表示であるが、異常状態を検出した注目点ごとにオプティカルフローを表示しても良い。
<Embodiment 4>
The disaster detection system according to Embodiment 4 of the present invention will be described below.
The disaster detection system according to the fourth embodiment of the present invention has the same configuration as the disaster detection system according to the first embodiment or the second embodiment of the present invention, but the disaster detection device 80 or the disaster Only the processing performed by the drawing processing unit 84 of the detection device 90 is different.
Therefore, an output image 1004 by the drawing processing unit 84 of the disaster detection apparatus of the disaster detection system according to the fourth embodiment of the present invention will be described with reference to the drawings.
FIG. 19 is a display example of an optical flow displayed on the monitor of the video display device 30 of the disaster detection system according to the fourth embodiment of the present invention.
As illustrated in FIG. 19, when the output image 1004 is output by the drawing processing unit 84, the color of the representative optical flow 501 obtained for each frame is changed according to the degree of risk due to the size of the optical flow.
In this embodiment, as the degree of risk increases, the color of the representative optical flow 501 obtained in each frame is darkened.
In the present embodiment, only one representative optical flow 501 is displayed for the debris flow 303, but an optical flow may be displayed for each point of interest where an abnormal state is detected.
＜実施形態５＞
以下に、本発明の実施形態５に係る災害検知システムについて説明する。
なお、本発明の実施形態５に係る災害検知システムは、前述した本発明の実施形態１または本発明の実施形態２に係る災害検知システムと全く同様の構成であるが、災害検知装置８０または災害検知装置９０の描画処理部８４で行われる処理のみ異なる。
そこで、本発明の実施形態５に係る災害検知システムの災害検知装置の描画処理部８４による出力画像１００５について、図面を参照して説明する。
図２０は、本発明の実施形態５に係る災害検知システムの映像表示装置３０のモニタに表示するオプティカルフローの表示例である。
図２０に示すように、描画処理部８４で出力画像１００５を出力する際に、各フレームで求めた代表オプティカルフロー６０１の幅をオプティカルフローの大きさなどによる危険度に応じて変える。
本実施例では、危険度が大きくなるにつれて、各フレームで求めた代表オプティカルフロー６０１の幅を大きくする。
なお、本実施例では、土石流３０３に対して１つの代表オプティカルフロー６０１のみの表示であるが、異常状態を検出した注目点ごとにオプティカルフローを表示しても良い。
<Embodiment 5>
The disaster detection system according to Embodiment 5 of the present invention will be described below.
The disaster detection system according to the fifth embodiment of the present invention has the same configuration as the disaster detection system according to the first embodiment or the second embodiment of the present invention, but the disaster detection apparatus 80 or the disaster Only the processing performed by the drawing processing unit 84 of the detection device 90 is different.
Therefore, an output image 1005 by the drawing processing unit 84 of the disaster detection device of the disaster detection system according to the fifth exemplary embodiment of the present invention will be described with reference to the drawings.
FIG. 20 is a display example of an optical flow displayed on the monitor of the video display device 30 of the disaster detection system according to the fifth embodiment of the present invention.
As shown in FIG. 20, when the drawing processing unit 84 outputs the output image 1005, the width of the representative optical flow 601 obtained for each frame is changed according to the degree of risk due to the size of the optical flow.
In the present embodiment, the width of the representative optical flow 601 obtained in each frame is increased as the degree of risk increases.
In the present embodiment, only one representative optical flow 601 is displayed for the debris flow 303, but an optical flow may be displayed for each point of interest where an abnormal state is detected.
＜実施形態６＞
以下に、本発明の実施形態６に係る災害検知システムについて説明する。
なお、本発明の実施形態６に係る災害検知システムは、前述した本発明の実施形態１または本発明の実施形態２に係る災害検知システムと全く同様の構成であるが、災害検知装置８０または災害検知装置９０からの災害検知情報に基づいて行われるスピーカー４０およびスピーカー５０からの警報処理のみ異なる。
そこで、本発明の実施形態６に係る災害検知システムの災害検知装置からの災害検知情報に基づく警報処理について、図面を参照して説明する。
図２１は、本発明の実施形態６に係る災害検知システムの災害検知装置からの災害検知情報に基づくスピーカーからの警報例である。
図２１に示すように、オプティカルフローの大きさなどによる危険度に応じて、スピーカー４０またはスピーカー５０の音量を変える。
本実施例では、危険度が大きくなるにつれて、スピーカー４０またはスピーカー５０の音量を大きくする。
<Embodiment 6>
The disaster detection system according to Embodiment 6 of the present invention will be described below.
The disaster detection system according to the sixth embodiment of the present invention has the same configuration as the disaster detection system according to the first embodiment of the present invention or the second embodiment of the present invention, but the disaster detection device 80 or the disaster Only the alarm processing from the speaker 40 and the speaker 50 performed based on the disaster detection information from the detection device 90 is different.
Therefore, alarm processing based on disaster detection information from the disaster detection apparatus of the disaster detection system according to the sixth embodiment of the present invention will be described with reference to the drawings.
FIG. 21 is an example of an alarm from a speaker based on disaster detection information from the disaster detection device of the disaster detection system according to the sixth embodiment of the present invention.
As shown in FIG. 21, the volume of the speaker 40 or the speaker 50 is changed according to the degree of danger due to the magnitude of the optical flow or the like.
In the present embodiment, the volume of the speaker 40 or the speaker 50 is increased as the degree of danger increases.
１，１’：災害検知システム、１０：監視カメラ、２０：通信路、３０：映像表示装置、４０：スピーカー、５０：スピーカー、６０：人、７０：人、８０：災害検知装置、８１：オプティカルフロー代表値計算処理部、８２：異常状態判定部、８３：オプティカルフロー平均値計算処理部、８４：描画処理部、８５：前フレーム記憶領域、８６：オプティカルフローテーブル、９０：災害検知装置、１０１：特徴点、１０２：オプティカルフロー、２０１：川、２０２：森林、２０３：マスクエリア、３０１：注目点、３０２：オプティカルフロー、３０３：土石流、４０１：各フレームで求めた代表オプティカルフロー又は所定の複数フレームにおける平均オプティカルフロー、５０１：各フレームで求めた代表オプティカルフロー、６０１：各フレームで求めた代表オプティカルフロー、１００１，１００１ａ，１００１ｂ：入力画像、１００２：出力画像、１００３：出力画像、１００４：出力画像、１００５：出力画像。 1, 1 ': Disaster detection system, 10: Surveillance camera, 20: Communication channel, 30: Video display device, 40: Speaker, 50: Speaker, 60: Person, 70: Person, 80: Disaster detection device, 81: Optical Flow representative value calculation processing unit, 82: abnormal state determination unit, 83: optical flow average value calculation processing unit, 84: drawing processing unit, 85: previous frame storage area, 86: optical flow table, 90: disaster detection device, 101 : Feature point, 102: optical flow, 201: river, 202: forest, 203: mask area, 301: attention point, 302: optical flow, 303: debris flow, 401: representative optical flow obtained in each frame or a predetermined plurality Average optical flow in a frame, 501: Representative optical flow obtained in each frame, 6 1: Representative optical flows calculated in each frame, 1001,1001A, 1001b: input image, 1002: output image, 1003: output image, 1004: output image, 1005: output image.
Claims (3)
正常状態時に、予め画像情報の複数フレームについて、フレームの各注目点におけるオプティカルフローを求め、求めたオプティカルフローから方向別ヒストグラムを作成し、当該方向別ヒストグラムから第１の標準偏差を求める第１標準偏差算出手段と、
監視期間中に、現時点での画像情報のフレームについて、フレームの各注目点におけるオプティカルフローを求め、求めたオプティカルフローから方向別ヒストグラムを作成し、当該方向別ヒストグラムから第２の標準偏差を求める第２標準偏差算出手段と、
前記第２の標準偏差が第１の標準偏差に所定の数値を乗算した値よりも大きい場合に、災害が発生した異常状態であると判断する判断手段と、
前記判断手段で異常状態であると判断された場合、現時点でのフレームにおける全注目点におけるオプティカルフローを求め、求めたオプティカルフローの大きさを所定のしきい値で絞り込んだ後、オプティカルフローの方向の分類分けを行い、下方向のオプティカルフローに絞ってオプティカルフローの平均値を求める代表オプティカルフロー算出手段と、
前記代表オプティカルフロー算出手段によって、連続した所定数のフレームについて代表オプティカルフローを求め、求めた各フレームの代表オプティカルフローから時間方向の平均値を求めるオプティカルフロー平均値算出手段と、
を備えることを特徴とする災害検知システム。 In a disaster detection system that captures a predetermined area as a monitoring area with a monitoring camera, extracts a change in the speed of an object in the monitoring area from image information obtained from the monitoring camera, and detects the occurrence of a disaster such as a debris flow,
In a normal state, for a plurality of frames of image information, an optical flow at each point of interest of the frame is obtained in advance, a histogram for each direction is created from the obtained optical flow, and a first standard deviation is obtained from the histogram for each direction. Deviation calculating means;
During the monitoring period, for the current frame of image information, an optical flow at each point of interest of the frame is obtained, a histogram for each direction is created from the obtained optical flow, and a second standard deviation is obtained from the histogram for each direction. 2 standard deviation calculating means;
A judging means for judging that a disaster has occurred when the second standard deviation is larger than a value obtained by multiplying the first standard deviation by a predetermined numerical value;
When it is determined by the determination means that the state is abnormal, the optical flow at all the points of interest in the current frame is obtained, the size of the obtained optical flow is narrowed down by a predetermined threshold, and then the direction of the optical flow Representative optical flow calculation means for calculating the average value of the optical flow by focusing on the downward optical flow,
Optical flow average value calculating means for obtaining a representative optical flow for a predetermined number of consecutive frames by the representative optical flow calculating means, and obtaining an average value in a time direction from the representative optical flow of each obtained frame;
A disaster detection system characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012140893A JP2014007498A (en) | 2012-06-22 | 2012-06-22 | Disaster detection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012140893A JP2014007498A (en) | 2012-06-22 | 2012-06-22 | Disaster detection system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014007498A true JP2014007498A (en) | 2014-01-16 |
Family
ID=50104889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012140893A Pending JP2014007498A (en) | 2012-06-22 | 2012-06-22 | Disaster detection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014007498A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150009331A1 (en) * | 2012-02-17 | 2015-01-08 | Balaji Venkatraman | Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics |
| JP2017212576A (en) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | Imaging apparatus, and control method and control program of the same |
| CN109118721A (en) * | 2018-10-31 | 2019-01-01 | 河海大学 | The method, apparatus and method for early warning of compound warning index are inquired into based on Critical Rainfall |
| CN109558881A (en) * | 2018-11-22 | 2019-04-02 | 重庆广睿达科技有限公司 | A kind of crag avalanche monitoring method based on computer vision |
| CN109785586A (en) * | 2019-03-04 | 2019-05-21 | 四川大学 | Small watershed in mountain mountain flood Division warning method |
| CN111601083A (en) * | 2020-05-18 | 2020-08-28 | 深圳市安泰数据监测科技有限公司 | Monitoring device, system and control method for landslide and debris flow rigid retaining wall |
| CN112017407A (en) * | 2020-09-08 | 2020-12-01 | 中国科学院上海微系统与信息技术研究所 | Integrated wireless landmark monitoring device |
| JP2021002791A (en) * | 2019-06-24 | 2021-01-07 | いであ株式会社 | Environmental abnormality detection device |
-
2012
- 2012-06-22 JP JP2012140893A patent/JP2014007498A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150009331A1 (en) * | 2012-02-17 | 2015-01-08 | Balaji Venkatraman | Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics |
| JP2017212576A (en) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | Imaging apparatus, and control method and control program of the same |
| CN109118721A (en) * | 2018-10-31 | 2019-01-01 | 河海大学 | The method, apparatus and method for early warning of compound warning index are inquired into based on Critical Rainfall |
| CN109558881A (en) * | 2018-11-22 | 2019-04-02 | 重庆广睿达科技有限公司 | A kind of crag avalanche monitoring method based on computer vision |
| CN109558881B (en) * | 2018-11-22 | 2023-05-23 | 重庆广睿达科技有限公司 | Dangerous rock collapse monitoring method based on computer vision |
| CN109785586A (en) * | 2019-03-04 | 2019-05-21 | 四川大学 | Small watershed in mountain mountain flood Division warning method |
| JP2021002791A (en) * | 2019-06-24 | 2021-01-07 | いであ株式会社 | Environmental abnormality detection device |
| CN111601083A (en) * | 2020-05-18 | 2020-08-28 | 深圳市安泰数据监测科技有限公司 | Monitoring device, system and control method for landslide and debris flow rigid retaining wall |
| CN112017407A (en) * | 2020-09-08 | 2020-12-01 | 中国科学院上海微系统与信息技术研究所 | Integrated wireless landmark monitoring device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014007498A (en) | Disaster detection system | |
| JP5218906B2 (en) | Smoke detection device and smoke detection method | |
| JP4705090B2 (en) | Smoke sensing device and method | |
| JP5644097B2 (en) | Image processing apparatus, image processing method, and program | |
| US9875408B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
| JP4729610B2 (en) | Smoke detector | |
| JP5895242B2 (en) | Collection determination device and collection determination method | |
| CN104737202A (en) | Fire detection method and apparatus | |
| US20150213621A1 (en) | Fire detection system and method employing digital images processing | |
| WO2017126187A1 (en) | Video monitoring apparatus and video monitoring method | |
| JP2018151834A (en) | Lost child detection apparatus and lost child detection method | |
| CN114120171A (en) | Fire smoke detection method, device and equipment based on video frame and storage medium | |
| JP4111660B2 (en) | Fire detection equipment | |
| KR100887942B1 (en) | System for sensing abnormal phenomenon on realtime and method for controlling the same | |
| JP2008046916A (en) | Smoke detection device | |
| JP5679760B2 (en) | Intruder detection device | |
| JP5261546B2 (en) | Smoke detector | |
| KR101640527B1 (en) | Method and Apparatus for Monitoring Video for Estimating Size of Single Object | |
| JP5015838B2 (en) | Smoke detector | |
| CN106874885B (en) | Crowd abnormity detection method based on energy level distribution change | |
| CN103428407A (en) | Method for detecting fighting in video | |
| JP2012133433A (en) | Left/carried-away object detection apparatus and left/carried-away object detection method | |
| JP5309069B2 (en) | Smoke detector | |
| JP2021002791A (en) | Environmental abnormality detection device | |
| KR101374138B1 (en) | System for abnormal situation detection |