JP2018160722A - Video abnormal stop detection device, video recording device, and video abnormal stop detection method - Google Patents

Video abnormal stop detection device, video recording device, and video abnormal stop detection method Download PDF

Info

Publication number
JP2018160722A
JP2018160722A JP2017055496A JP2017055496A JP2018160722A JP 2018160722 A JP2018160722 A JP 2018160722A JP 2017055496 A JP2017055496 A JP 2017055496A JP 2017055496 A JP2017055496 A JP 2017055496A JP 2018160722 A JP2018160722 A JP 2018160722A
Authority
JP
Japan
Prior art keywords
video
luminance image
unit
image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017055496A
Other languages
Japanese (ja)
Inventor
康次 南雲
Koji Nagumo
康次 南雲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2017055496A priority Critical patent/JP2018160722A/en
Publication of JP2018160722A publication Critical patent/JP2018160722A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image abnormal stop detection device capable of automatically detecting an abnormal stop of a video photographed by a surveillance camera.SOLUTION: A video abnormal stop detection device includes a luminance image acquiring unit that acquires respective luminance images from a target video frame acquired from a target video photographed in a monitoring target area and a previous video frame acquired from a video before the target video, a high pass filter unit that acquires a filtered luminance image by extracting a noise component for each of the luminance image of the target video frame and the luminance image of the previous video frame, a second difference calculation unit that acquires a second difference image in which a difference value between luminance values of respective pixels in the filtered luminance image of the target video frame and the filtered luminance image of the previous video frame is a pixel value, and a determination unit that determines that the image obtained by photographing a monitoring target area is abnormally stopped when the pixel value of each pixel of the second difference image acquired by the second difference calculation unit is less than a second threshold value.SELECTED DRAWING: Figure 2

Description

この発明は、監視カメラで撮影された監視映像の異常停止を検出する映像異常停止検出装置、映像記録装置、および、映像異常停止検出方法に関するものである。   The present invention relates to a video abnormal stop detection device, a video recording device, and a video abnormal stop detection method for detecting an abnormal stop of a monitoring video taken by a surveillance camera.

従来、監視カメラで撮影された監視映像を、ネットワークを介して受信し、記録装置で記録するとともに、当該監視映像をモニタに表示させる監視システムに関する技術が存在する。例えば、特許文献１には、監視カメラと記録装置とビューワ装置とがＩＰネットワークを介して接続され、ビューワ装置が、監視カメラの映像を、ＩＰネットワークを通じて受信してモニタに表示させ、記録装置が、監視カメラの映像を、ＩＰネットワークを通じて受信して記録する技術が開示されている。   2. Description of the Related Art Conventionally, there is a technique related to a monitoring system that receives a monitoring video taken by a monitoring camera via a network, records the monitoring video on a recording device, and displays the monitoring video on a monitor. For example, in Patent Document 1, a surveillance camera, a recording device, and a viewer device are connected via an IP network, and the viewer device receives the video of the surveillance camera via the IP network and displays the video on the monitor. A technique for receiving and recording video from a surveillance camera via an IP network is disclosed.

特開２００５−３４８２６０号公報JP 2005-348260 A

監視カメラによる監視対象の監視では、監視対象に対する適切な監視を行うため、当該監視カメラから受信した映像が異常停止していないかどうかを確認する必要がある。特許文献１に記載されたような従来の技術では、監視カメラから受信した映像が異常停止していないかどうかの確認を、監視者等がモニタを目視することで行わなければならないという課題があった。   In the monitoring of the monitoring target by the monitoring camera, it is necessary to check whether or not the video received from the monitoring camera has stopped abnormally in order to appropriately monitor the monitoring target. In the conventional technique described in Patent Document 1, there is a problem that a monitor or the like has to check whether the video received from the monitoring camera has stopped abnormally by visually observing the monitor. It was.

この発明は、上記のような課題を解決するためになされたもので、監視カメラによって撮影された映像の異常停止を自動的に検出することができる映像異常停止検出装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object thereof is to provide a video abnormal stop detection device capable of automatically detecting an abnormal stop of a video shot by a surveillance camera. To do.

この発明に係る映像異常停止検出装置は、監視対象領域を撮影した注目映像から取得した注目映像フレームと、注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得する輝度画像取得部と、輝度画像取得部が取得した、注目映像フレームの輝度画像と前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するハイパスフィルタ部と、ハイパスフィルタ部が取得した、注目映像フレームのフィルタ後輝度画像と前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得する第二差分演算部と、第二差分演算部が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、監視対象領域を撮影した映像が異常停止していると判別する判別部とを備えたものである。   The video abnormal stop detection device according to the present invention is a luminance image that acquires a luminance image from each of a target video frame acquired from a target video obtained by photographing a monitoring target area and a previous video frame acquired from a video before the target video. An acquisition unit, a high-pass filter unit that acquires a filtered luminance image obtained by extracting a noise component for each of the luminance image of the target video frame and the luminance image of the previous video frame acquired by the luminance image acquisition unit, and a high-pass filter unit, A second difference calculation unit that acquires a second difference image, the pixel value being the difference value of the luminance value of each pixel in the obtained filtered luminance image of the target video frame and the filtered luminance image of the previous video frame; When the pixel value of each pixel of the second difference image acquired by the second difference calculation unit is less than the second threshold value, the monitoring target area is captured. The image is that a discrimination unit for discriminating as being abnormal stop.

この発明によれば、監視カメラによって撮影された映像の異常停止を自動的に検出することができる。   According to the present invention, it is possible to automatically detect an abnormal stop of an image taken by a surveillance camera.

実施の形態１に係る映像異常停止検出装置が適用された監視システムの全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the monitoring system to which the video abnormal stop detection apparatus which concerns on Embodiment 1 was applied. 実施の形態１に係る映像異常停止検出装置の構成図である。1 is a configuration diagram of a video abnormal stop detection device according to Embodiment 1. FIG. 図３Ａ，図３Ｂは、この発明の実施の形態１に係る映像異常停止検出装置のハードウェア構成の一例を示す図である。3A and 3B are diagrams showing an example of the hardware configuration of the video abnormal stop detection device according to Embodiment 1 of the present invention. 実施の形態１において、映像異常停止検出装置の映像分析部が、映像の異常停止を検出する動作の一例を説明するためのフローチャートである。7 is a flowchart for explaining an example of an operation in which the video analysis unit of the video abnormal stop detection device detects an abnormal video stop in the first embodiment. この実施の形態１における、第一差分演算部および第二差分演算部による差分画像の生成方法の一例を説明するための図である。It is a figure for demonstrating an example of the production | generation method of the difference image by the 1st difference calculating part and the 2nd difference calculating part in this Embodiment 1. FIG. この実施の形態１における、ハイパスフィルタ部によるフィルタ後輝度画像の生成方法の一例を説明するための図である。It is a figure for demonstrating an example of the production | generation method of the luminance image after a filter by the high-pass filter part in this Embodiment 1. FIG. 実施の形態２に係る映像異常停止検出装置が適用された監視システムの全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the monitoring system to which the video abnormal stop detection apparatus which concerns on Embodiment 2 was applied.

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る映像異常停止検出装置１０６が適用された監視システムの全体構成の一例を示す図である。
図１に示すように、この実施の形態１の監視システムにおいては、監視カメラ１０１と、監視用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１０２と、映像記録装置１０３とが、それぞれ、ネットワーク１０４に接続される。
また、映像記録装置１０３には、モニタ１０５、および、映像異常停止検出装置１０６が接続される。映像記録装置１０３と、モニタ１０５、および、映像異常停止検出装置１０６とは、無線で接続されるものであってもよいし、有線で接続されるものであってもよい。 Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a diagram illustrating an example of the overall configuration of a monitoring system to which the video abnormal stop detection device 106 according to the first embodiment is applied.
As shown in FIG. 1, in the monitoring system of the first embodiment, a monitoring camera 101, a monitoring PC (Personal Computer) 102, and a video recording apparatus 103 are connected to a network 104, respectively.
Further, a monitor 105 and a video abnormal stop detection device 106 are connected to the video recording device 103. The video recording device 103, the monitor 105, and the video abnormal stop detection device 106 may be connected wirelessly or may be connected by wire.

映像異常停止検出装置１０６の後段には、出力装置１０７が接続される。映像異常停止検出装置１０６と出力装置１０７とは、無線で接続されるものであってもよいし、有線で接続されるものであってもよい。映像異常停止検出装置１０６が出力装置１０７を備えるようにしてもよい。
また、映像記録装置１０３とモニタ１０５とは一体の装置であってもよいし、映像記録装置１０３とモニタ１０５と監視用ＰＣ１０２とが一体の装置であってもよい。
また、映像記録装置１０３が映像異常停止検出装置１０６を搭載するようにして、映像記録装置１０３と映像異常停止検出装置１０６とを一体の装置としてもよい。 An output device 107 is connected to the subsequent stage of the video abnormal stop detection device 106. The video abnormal stop detection device 106 and the output device 107 may be connected wirelessly or may be connected by wire. The video abnormal stop detection device 106 may include an output device 107.
Further, the video recording device 103 and the monitor 105 may be an integrated device, or the video recording device 103, the monitor 105, and the monitoring PC 102 may be an integrated device.
Further, the video recording device 103 and the video abnormal stop detection device 106 may be integrated as the video recording device 103 includes the video abnormal stop detection device 106.

監視カメラ１０１は、監視対象領域に存在する被写体の動画像（以下単に「映像」という）を撮影する。監視カメラ１０１は、撮影した映像を、ネットワーク１０４を介して、映像記録装置１０３に送信する。なお、監視カメラ１０１は、撮影した映像を、例えば、複数または単一の映像フレームからなる映像を送信単位として、送信単位毎に映像記録装置１０３に送信する。
監視用ＰＣ１０２は、例えば、監視者等による操作に基づき、映像記録装置１０３に記録された映像をモニタ１０５に表示させる等の指示を行う。
映像記録装置１０３は、監視カメラ１０１から送信された映像を受信し、記録するとともに、当該受信した映像を、映像異常停止検出装置１０６に配信する。映像記録装置１０３が映像異常停止検出装置１０６に映像を配信する周期は、例えば、監視カメラ１０１から送信された映像を受信したタイミングとする。なお、これは一例に過ぎず、その他の適宜のタイミングとしてもよい。また、映像記録装置１０３は、監視カメラ１０１から送信されて記録された映像を、モニタ１０５に表示させる。 The monitoring camera 101 captures a moving image (hereinafter simply referred to as “video”) of a subject existing in the monitoring target area. The monitoring camera 101 transmits the captured video to the video recording device 103 via the network 104. The monitoring camera 101 transmits the captured video to the video recording apparatus 103 for each transmission unit, for example, using a video composed of a plurality of or single video frames as a transmission unit.
For example, the monitoring PC 102 gives an instruction to display the video recorded in the video recording device 103 on the monitor 105 based on an operation by a supervisor or the like.
The video recording device 103 receives and records the video transmitted from the monitoring camera 101 and distributes the received video to the video abnormal stop detection device 106. The period in which the video recording apparatus 103 distributes the video to the video abnormal stop detection apparatus 106 is, for example, the timing at which the video transmitted from the monitoring camera 101 is received. Note that this is merely an example, and other appropriate timing may be used. In addition, the video recording device 103 causes the monitor 105 to display the video transmitted and recorded from the monitoring camera 101.

映像記録装置１０３からモニタ１０５、および、映像異常停止検出装置１０６に配信される映像には、監視カメラ１０１において当該映像が撮影された日時である撮影日時の情報が付与されているものとする。撮影日時の情報は、監視カメラ１０１側で、撮影した映像に付与して映像記録装置１０３に送信するようにしてもよいし、映像記録装置１０３側で、監視カメラ１０１から映像を受信した日時の情報を、撮影日時の情報として付与するようにしてもよい。
モニタ１０５は、ディスプレイ等の表示装置であり、映像記録装置１０３に記録された映像を表示する。 Assume that the video delivered from the video recording device 103 to the monitor 105 and the video abnormal stop detection device 106 is provided with information on the shooting date and time, which is the date and time when the video was shot by the monitoring camera 101. The shooting date / time information may be attached to the shot video on the monitoring camera 101 side and transmitted to the video recording device 103, or the date / time when the video was received from the monitoring camera 101 on the video recording device 103 side. The information may be given as shooting date / time information.
The monitor 105 is a display device such as a display, and displays the video recorded in the video recording device 103.

映像異常停止検出装置１０６は、映像記録装置１０３から配信された映像について、当該映像が異常停止しているかどうかを検出する。映像異常停止検出装置１０６は、映像の異常停止を検出すると、出力装置１０７に異常通知を出力する。
出力装置１０７は、音声出力装置、または、映像出力装置等の出力装置であり、映像異常停止検出装置１０６から異常通知が出力されると、周囲に異常を知らせるための警報を、音声あるいは映像等によって出力する。 The video abnormal stop detection device 106 detects whether the video is abnormally stopped for the video distributed from the video recording device 103. When detecting an abnormal video stop, the video abnormal stop detection device 106 outputs an abnormality notification to the output device 107.
The output device 107 is an output device such as an audio output device or a video output device. When an abnormality notification is output from the video abnormal stop detection device 106, an alarm for notifying the surroundings of the abnormality is output by voice or video. To output.

図２は、実施の形態１に係る映像異常停止検出装置１０６の構成図である。
図２に示すように、映像異常停止検出装置１０６は、映像取得部２０１と、映像分析部２０２と、出力制御部２０７とを備える。
映像分析部２０２は、輝度画像取得部２０８と、第一差分演算部２０３と、ハイパスフィルタ部２０４と、第二差分演算部２０５と、判別部２０６とを備える。
第一差分演算部２０３は第一減算部２０３１を備え、第二差分演算部２０５は第二減算部２０５１を備える。また、ハイパスフィルタ部２０４は畳込演算部２０４１を備える。また、判別部２０６は、第一判別部２０６１と第二判別部２０６２とを備える。 FIG. 2 is a configuration diagram of the abnormal video stop detection device 106 according to the first embodiment.
As shown in FIG. 2, the video abnormal stop detection device 106 includes a video acquisition unit 201, a video analysis unit 202, and an output control unit 207.
The video analysis unit 202 includes a luminance image acquisition unit 208, a first difference calculation unit 203, a high-pass filter unit 204, a second difference calculation unit 205, and a determination unit 206.
The first difference calculation unit 203 includes a first subtraction unit 2031, and the second difference calculation unit 205 includes a second subtraction unit 2051. The high pass filter unit 204 includes a convolution operation unit 2041. In addition, the determination unit 206 includes a first determination unit 2061 and a second determination unit 2062.

映像取得部２０１は、映像記録装置１０３から配信された映像を取得する。映像取得部２０１は、取得した映像を、映像分析部２０２に出力する。
また、映像取得部２０１は、映像記録装置１０３から取得した映像について、１フレーム以前の映像を映像蓄積部（図示省略）に蓄積させるようにする。映像取得部２０１は、新たに注目映像を取得した際に、蓄積した映像を映像蓄積部から破棄し、最新の映像を蓄積するようにする。
なお、映像蓄積部は、映像異常停止検出装置１０６に備えられていてもよいし、映像異常停止検出装置１０６が映像蓄積部内の映像を参照可能な限り、映像異常停止検出装置１０６の外部に備えられるようにしてもよい。 The video acquisition unit 201 acquires the video distributed from the video recording device 103. The video acquisition unit 201 outputs the acquired video to the video analysis unit 202.
Further, the video acquisition unit 201 causes the video storage unit (not shown) to store the video of one frame before the video acquired from the video recording device 103. When the video acquisition unit 201 acquires a new video of interest, the video acquisition unit 201 discards the stored video from the video storage unit and stores the latest video.
The video storage unit may be provided in the video abnormal stop detection device 106, or provided outside the video abnormal stop detection device 106 as long as the video abnormal stop detection device 106 can refer to the video in the video storage unit. You may be made to do.

映像分析部２０２は、映像取得部２０１が取得している注目映像から取得した最新の映像フレーム、および、映像蓄積部に蓄積されている、注目映像に対して前の映像から取得した映像フレームに基づき、映像が異常停止しているかどうかを分析する。
この実施の形態１では、以降の説明において、映像分析部２０２が、映像が異常停止しているかどうかの分析に用いる、注目映像から取得した映像フレームおよび当該注目映像より前の映像から取得した映像フレームを、それぞれ、注目映像フレームおよび前映像フレームともいうものとする。また、注目映像フレームは映像記録装置１０３が受信した最新の映像フレーム、または、映像記録装置１０３に記録された過去の映像フレームとする。前映像フレームは、注目映像フレームの直前の映像フレーム、または、映像の異常停止を分析可能な程度に前のフレームであればよい。 The video analysis unit 202 applies the latest video frame acquired from the video of interest acquired by the video acquisition unit 201 and the video frame acquired from the previous video to the video of interest stored in the video storage unit. Based on this, analyze whether the video has stopped abnormally.
In the first embodiment, in the following description, the video analysis unit 202 uses the video frame acquired from the video of interest and the video acquired from the video before the video of interest used for analyzing whether or not the video is abnormally stopped. The frames are also referred to as an attention video frame and a previous video frame, respectively. The attention video frame is the latest video frame received by the video recording device 103 or a past video frame recorded in the video recording device 103. The previous video frame may be a video frame immediately before the video frame of interest or a frame that is previous to the extent that an abnormal stop of the video can be analyzed.

映像分析部２０２の輝度画像取得部２０８は、映像取得部２０１が取得している注目映像から注目映像フレームを取得する。また、輝度画像取得部２０８は、映像蓄積部から、当該映像蓄積部に蓄積されている映像のうち、注目映像より前の映像から取得した前映像フレームを取得する。そして、輝度画像取得部２０８は、注目映像フレームおよび前映像フレームそれぞれについて、各画素の輝度値のみを画素値とした輝度画像を取得する。
輝度画像取得部２０８は、注目映像フレームおよび前映像フレームについて、それぞれ取得した輝度画像を、映像分析部２０２の第一差分演算部２０３およびハイパスフィルタ部２０４に出力する。 The luminance image acquisition unit 208 of the video analysis unit 202 acquires a target video frame from the target video acquired by the video acquisition unit 201. Also, the luminance image acquisition unit 208 acquires, from the video storage unit, a previous video frame acquired from a video before the target video among the video stored in the video storage unit. Then, the luminance image acquisition unit 208 acquires a luminance image having only the luminance value of each pixel as the pixel value for each of the target video frame and the previous video frame.
The luminance image acquisition unit 208 outputs the acquired luminance images for the attention video frame and the previous video frame to the first difference calculation unit 203 and the high-pass filter unit 204 of the video analysis unit 202, respectively.

第一差分演算部２０３は、輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像とに基づき、第一差分画像を取得する。
具体的には、第一差分演算部２０３の第一減算部２０３１が、両輝度画像に基づき、互いに対応する画素ごとに、画素値の差分の絶対値を算出する演算を行い、当該絶対値を各画素の画素値とする第一差分画像を作成する。
第一差分演算部２０３は、作成した第一差分画像を、判別部２０６に出力する。 The first difference calculation unit 203 acquires a first difference image based on the luminance image of the target video frame and the luminance image of the previous video frame acquired from the luminance image acquisition unit 208.
Specifically, the first subtraction unit 2031 of the first difference calculation unit 203 performs an operation for calculating the absolute value of the difference between the pixel values for each corresponding pixel based on both luminance images, and the absolute value is calculated. A first difference image is created as the pixel value of each pixel.
The first difference calculation unit 203 outputs the created first difference image to the determination unit 206.

ハイパスフィルタ部２０４は、輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像について、それぞれハイパスフィルタを適用し、適用後の各輝度画像を、それぞれフィルタ後輝度画像として取得する。
具体的には、ハイパスフィルタ部２０４の畳込演算部２０４１が、各輝度画像の各画素に対してハイパスフィルタを適用し、ハイパスフィルタ適用後の値を各画素の画素値とするフィルタ後輝度画像を取得する。
ハイパスフィルタとしては、既存の技術を用いればよい。この実施の形態１では、畳込演算部２０４１は、ラプラシアンフィルタを用いて、フィルタ後輝度画像を取得するものとする。
ハイパスフィルタ部２０４は、取得したフィルタ後輝度画像を、第二差分演算部２０５に出力する。 The high-pass filter unit 204 applies a high-pass filter to each of the luminance image of the target video frame and the luminance image of the previous video frame acquired from the luminance image acquisition unit 208, and converts each luminance image after the application to the filtered luminance image. Get as.
Specifically, the convolution operation unit 2041 of the high-pass filter unit 204 applies a high-pass filter to each pixel of each luminance image, and uses the value after applying the high-pass filter as the pixel value of each pixel. To get.
An existing technique may be used as the high-pass filter. In the first embodiment, the convolution calculation unit 2041 acquires a filtered luminance image using a Laplacian filter.
The high pass filter unit 204 outputs the acquired filtered luminance image to the second difference calculation unit 205.

第二差分演算部２０５は、ハイパスフィルタ部２０４から取得した、注目映像フレームのフィルタ後輝度画像および前映像フレームのフィルタ後輝度画像とに基づき、第二差分画像を取得する。
具体的には、第二差分演算部２０５の第二減算部２０５１が、両フィルタ後輝度画像に基づき、互いに対応する画素ごとに、画素値の差分の絶対値を算出する演算を行い、当該絶対値を各画素の画素値とする第二差分画像を作成する。
注目映像フレームの輝度画像および前映像フレームの輝度画像にハイパスフィルタを適用して得られた各フィルタ後輝度画像の各画素値は、それぞれの輝度画像のノイズ成分を表している。したがって、第二差分演算部２０５によって作成された第二差分画像は、注目映像フレームの輝度画像と前映像フレームの輝度画像とを比較した場合の、ノイズ成分の変化量を表すものとなる。
第二差分演算部２０５は、作成した第二差分画像を、判別部２０６に出力する。 The second difference calculation unit 205 acquires a second difference image based on the filtered luminance image of the target video frame and the filtered luminance image of the previous video frame acquired from the high-pass filter unit 204.
Specifically, the second subtraction unit 2051 of the second difference calculation unit 205 performs an operation for calculating the absolute value of the difference between the pixel values for each pixel corresponding to each other based on the luminance images after both filters. A second difference image having a value as the pixel value of each pixel is created.
Each pixel value of each post-filter luminance image obtained by applying a high-pass filter to the luminance image of the target video frame and the luminance image of the previous video frame represents the noise component of each luminance image. Therefore, the second difference image created by the second difference calculation unit 205 represents the amount of change in the noise component when the luminance image of the video frame of interest and the luminance image of the previous video frame are compared.
The second difference calculation unit 205 outputs the created second difference image to the determination unit 206.

判別部２０６は、第一差分演算部２０３から出力された第一差分画像、または、第二差分演算部２０５から出力された第二差分画像を取得し、取得した第一差分画像または第二差分画像に基づき、映像記録装置１０３から配信された映像が異常停止しているかどうかを判別する。   The determination unit 206 acquires the first difference image output from the first difference calculation unit 203 or the second difference image output from the second difference calculation unit 205, and acquires the acquired first difference image or second difference Based on the image, it is determined whether or not the video distributed from the video recording device 103 has stopped abnormally.

判別部２０６の第一判別部２０６１は、第一差分演算部２０３から取得した第一差分画像の全ての画素を対象として、各画素の画素値が予め設定された閾値（以下「第一の閾値」という）未満かどうかを判定する。第一判別部２０６１は、第一差分画像内の全ての画素を対象として上記判定を行った結果、各画素の画素値がいずれも第一の閾値未満であるかどうかを判別する。   The first determination unit 2061 of the determination unit 206 targets all the pixels of the first difference image acquired from the first difference calculation unit 203, and the threshold value (hereinafter referred to as “first threshold value”) for each pixel is set in advance. Or less). The first determination unit 2061 determines whether or not the pixel value of each pixel is less than the first threshold as a result of performing the above determination for all the pixels in the first difference image.

判別部２０６の第二判別部２０６２は、第一判別部２０６１から、第一差分画像内の全ての画素の画素値がいずれも第一の閾値未満であるとの判別結果を取得した場合、第二差分演算部２０５から取得した第二差分画像の全ての画素を対象として、各画素の画素値が予め設定された閾値（以下「第二の閾値」という）未満かどうかを判定する。第二判別部２０６２は、第二差分画像内の全ての画素を対象として上記判定を行った結果、各画素の画素値がいずれも第二の閾値未満かどうかを判別する。   When the second determination unit 2062 of the determination unit 206 obtains a determination result from the first determination unit 2061 that all the pixel values of all the pixels in the first difference image are less than the first threshold value, For all the pixels of the second difference image acquired from the two-difference calculation unit 205, it is determined whether the pixel value of each pixel is less than a preset threshold value (hereinafter referred to as “second threshold value”). The second determination unit 2062 determines whether or not the pixel value of each pixel is less than the second threshold as a result of performing the above determination on all the pixels in the second difference image.

第一の閾値と第二の閾値は、例えば、第二の閾値を第一の閾値の２倍とする等、通常は、異なる値とする。   The first threshold value and the second threshold value are usually different values, for example, the second threshold value is set to be twice the first threshold value.

判別部２０６は、第一判別部２０６１が第一差分画像について全ての画素値が第一の閾値未満であると判別し、かつ、第二判別部２０６２が第二差分画像について全ての画素値が第二の閾値未満であると判別した場合に、映像が異常停止していると判別し、その場合、出力制御部２０７に異常停止発生通知を出力する。   The determination unit 206 determines that the first determination unit 2061 determines that all pixel values for the first difference image are less than the first threshold value, and the second determination unit 2062 determines that all pixel values for the second difference image are When it is determined that it is less than the second threshold, it is determined that the video has stopped abnormally, and in that case, an abnormal stop occurrence notification is output to the output control unit 207.

出力制御部２０７は、判別部２０６から異常停止発生通知が出力されると、出力装置１０７に対して異常通知を送信する。異常通知を受信した出力装置１０７では、周囲に異常を知らせるための警報を、音声あるいは映像によって出力する。
すなわち、出力制御部２０７は、判別部２０６が、監視対象領域を撮影した映像が異常停止していると判別した場合に、出力装置１０７に対して、警報を出力させる。 When the abnormal stop occurrence notification is output from the determination unit 206, the output control unit 207 transmits an abnormal notification to the output device 107. Upon receiving the abnormality notification, the output device 107 outputs an alarm for notifying the surroundings of the abnormality by sound or video.
That is, the output control unit 207 causes the output device 107 to output an alarm when the determination unit 206 determines that the video obtained by photographing the monitoring target area has stopped abnormally.

図３Ａ，図３Ｂは、この発明の実施の形態１に係る映像異常停止検出装置１０６のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、映像分析部２０２の各部の各機能は、処理回路３０１により実現される。すなわち、映像異常停止検出装置１０６は、取得した映像が異常停止しているかどうかの判別を行うための処理回路３０１を備える。
処理回路３０１は、図３Ａに示すように専用のハードウェアであっても、図３Ｂに示すようにメモリ３０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０６であってもよい。 3A and 3B are diagrams showing an example of the hardware configuration of the video abnormal stop detection device 106 according to Embodiment 1 of the present invention.
In the first embodiment of the present invention, each function of each unit of the video analysis unit 202 is realized by the processing circuit 301. That is, the video abnormal stop detection device 106 includes a processing circuit 301 for determining whether or not the acquired video is abnormally stopped.
The processing circuit 301 may be dedicated hardware as shown in FIG. 3A or a CPU (Central Processing Unit) 306 that executes a program stored in the memory 305 as shown in FIG. 3B.

処理回路３０１が専用のハードウェアである場合、処理回路３０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。   When the processing circuit 301 is dedicated hardware, the processing circuit 301 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable). Gate Array) or a combination thereof.

処理回路３０１がＣＰＵ３０６の場合、映像分析部２０２の各部の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、映像分析部２０２の各部は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３０２、メモリ３０５等に記憶されたプログラムを実行するＣＰＵ３０６、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ３０２、またはメモリ３０５等に記憶されたプログラムは、映像分析部２０２の各部の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ３０５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。   When the processing circuit 301 is the CPU 306, each function of each unit of the video analysis unit 202 is realized by software, firmware, or a combination of software and firmware. That is, each unit of the video analysis unit 202 is realized by a processing circuit such as an HDD (Hard Disk Drive) 302, a CPU 306 that executes a program stored in the memory 305, or a system LSI (Large-Scale Integration). It can also be said that the program stored in the HDD 302 or the memory 305 causes the computer to execute the procedures and methods of each unit of the video analysis unit 202. Here, the memory 305 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory, etc.), an EEPROM (Electrically Erasable Memory). Or a volatile semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD (Digital Versatile Disc).

なお、映像分析部２０２の各部の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、第一差分演算部２０３については専用のハードウェアとしての処理回路３０１でその機能を実現し、輝度画像取得部２０８と、ハイパスフィルタ部２０４と、第二差分演算部２０５と、判別部２０６については処理回路がメモリ３０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、映像異常停止検出装置１０６は、映像記録装置１０３、および出力装置１０７等の外部機器との通信を行う、入力インタフェース装置３０３、および出力インタフェース装置３０４を有する。
映像取得部２０１は、入力インタフェース装置３０３によって構成される。また、出力制御部２０７は、出力インタフェース装置３０４によって構成される。 It should be noted that a part of each function of the video analysis unit 202 may be realized by dedicated hardware and a part may be realized by software or firmware. For example, the function of the first difference calculation unit 203 is realized by a processing circuit 301 as dedicated hardware, and a luminance image acquisition unit 208, a high-pass filter unit 204, a second difference calculation unit 205, and a determination unit 206 are realized. The processing circuit can realize the function by reading and executing the program stored in the memory 305.
In addition, the video abnormal stop detection device 106 includes an input interface device 303 and an output interface device 304 that communicate with external devices such as the video recording device 103 and the output device 107.
The video acquisition unit 201 is configured by the input interface device 303. The output control unit 207 includes an output interface device 304.

次に、図２に示したような映像異常停止検出装置１０６において、映像分析部２０２が、映像の異常停止を検出する動作について説明する。
図４は、実施の形態１において、映像異常停止検出装置１０６の映像分析部２０２が、映像の異常停止を検出する動作の一例を説明するためのフローチャートである。
なお、図４を用いて説明する動作の前提として、映像異常停止検出装置１０６の映像取得部２０１は、既に、映像記録装置１０３から取得した注目映像の映像フレームよりも前に取得した映像フレームを、前述の映像蓄積部（図示省略）に蓄積しているものとする。 Next, an operation in which the video analysis unit 202 detects an abnormal video stop in the video abnormal stop detection device 106 as shown in FIG. 2 will be described.
FIG. 4 is a flowchart for explaining an example of an operation in which the video analysis unit 202 of the video abnormal stop detection device 106 detects an abnormal video stop in the first embodiment.
As a premise of the operation described with reference to FIG. 4, the video acquisition unit 201 of the video abnormal stop detection device 106 has already acquired a video frame acquired before the video frame of the video of interest acquired from the video recording device 103. Assume that the video is stored in the video storage unit (not shown).

映像分析部２０２の輝度画像取得部２０８は、映像蓄積部に蓄積された映像のうち、注目映像より前の映像から前映像フレームを取得する（ステップＳＴ４０１）。
また、輝度画像取得部２０８は、映像取得部２０１が取得している注目映像から注目映像フレームを取得する（ステップＳＴ４０２）。
なお、ステップＳＴ４０１およびステップＳＴ４０２の動作順は逆であってもよい。 The luminance image acquisition unit 208 of the video analysis unit 202 acquires a previous video frame from a video before the noticed video among the videos stored in the video storage unit (step ST401).
Also, the luminance image acquisition unit 208 acquires a target video frame from the target video acquired by the video acquisition unit 201 (step ST402).
Note that the order of operations in step ST401 and step ST402 may be reversed.

輝度画像取得部２０８は、ステップＳＴ４０１で取得した前映像フレームと、ステップＳＴ４０２で取得した注目映像フレームそれぞれについて、輝度画像を取得する（ステップＳＴ４０３）。
輝度画像取得部２０８は、注目映像フレームおよび前映像フレームについて、それぞれ取得した輝度画像を、映像分析部２０２の第一差分演算部２０３およびハイパスフィルタ部２０４に出力する。 The luminance image acquisition unit 208 acquires a luminance image for each of the previous video frame acquired in step ST401 and the target video frame acquired in step ST402 (step ST403).
The luminance image acquisition unit 208 outputs the acquired luminance images for the attention video frame and the previous video frame to the first difference calculation unit 203 and the high-pass filter unit 204 of the video analysis unit 202, respectively.

第一差分演算部２０３は、輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像に基づいて、第一差分画像を取得する（ステップＳＴ４０４）。
第一差分演算部２０３は、作成した第一差分画像を、判別部２０６に出力する。 First difference calculation section 203 acquires a first difference image based on the luminance image of the target video frame and the luminance image of the previous video frame acquired from luminance image acquisition section 208 (step ST404).
The first difference calculation unit 203 outputs the created first difference image to the determination unit 206.

判別部２０６の第一判別部２０６１は、第一差分演算部２０３から取得した第一差分画像の全ての画素を対象として、各画素の画素値が、第一の閾値未満かどうかを判定する（ステップＳＴ４０５）。
ステップＳＴ４０５において、第一判別部２０６１が、画素値が第一の閾値未満ではない画素が１つでも存在すると判別した場合（ステップＳＴ４０５の”ＮＯ”の場合）、判別部２０６は、映像は正常であると判別する（ステップＳＴ４１０）。 The first determination unit 2061 of the determination unit 206 determines whether the pixel value of each pixel is less than the first threshold for all the pixels of the first difference image acquired from the first difference calculation unit 203 ( Step ST405).
In Step ST405, when the first determination unit 2061 determines that there is even one pixel whose pixel value is not less than the first threshold value (in the case of “NO” in Step ST405), the determination unit 206 indicates that the video is normal. (Step ST410).

ステップＳＴ４０５において、第一判別部２０６１が、第一差分画像内の全ての画素を対象として上記判定を行った結果、各画素の画素値がいずれも第一の閾値未満であると判別した場合（ステップＳＴ４０５の”ＹＥＳ”の場合）、処理はステップＳＴ４０６に進む。   In Step ST405, when the first determination unit 2061 performs the above determination for all the pixels in the first difference image, the pixel value of each pixel is determined to be less than the first threshold ( If "YES" in step ST405), the process proceeds to step ST406.

配信された映像に動きがあれば、注目映像フレームおよび前映像フレームからそれぞれ取得された２枚の輝度画像の差分画像である第一差分画像の画素値は、大きくなる。一方、映像に動きがなければ、第一差分画像の画素値は、小さくなる。このステップＳＴ４０５では、第一判別部２０６１が、上述のとおり、第一差分画像の全ての画素の画素値について第一の閾値未満であるかどうかを判定した結果、各画素の画素値がいずれも第一の閾値未満であれば、それは、映像に動きがほとんどないことを意味していることから、映像が異常停止している可能性があると判断し、処理はステップＳＴ４０６に進む。一方、第一差分画像の画素のうち、画素値が第一の閾値以上の画素が１つでもあれば、それは、映像に動きがあることを意味していることから、ステップＳＴ４１０に進み、映像は正常であると判別され、処理終了する。   If there is a motion in the distributed video, the pixel value of the first differential image that is the differential image of the two luminance images respectively acquired from the target video frame and the previous video frame increases. On the other hand, if there is no motion in the video, the pixel value of the first difference image is small. In step ST405, as described above, the first determination unit 2061 determines whether or not the pixel values of all the pixels of the first difference image are less than the first threshold value. If it is less than the first threshold, it means that there is almost no motion in the video, so it is determined that there is a possibility that the video has stopped abnormally, and the process proceeds to step ST406. On the other hand, if there is at least one pixel whose pixel value is greater than or equal to the first threshold among the pixels of the first difference image, it means that there is a motion in the video, so the process proceeds to step ST410, where the video Is determined to be normal, and the process ends.

第一判別部２０６１が、第一差分画像内の各画素の画素値がいずれも第一の閾値未満であると判別した場合（ステップＳＴ４０５の”ＹＥＳ”の場合）、ハイパスフィルタ部２０４は、ステップＳＴ４０３で輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像について、それぞれハイパスフィルタを適用し、適用後の各輝度画像を、それぞれの輝度画像のフィルタ後輝度画像として取得する（ステップＳＴ４０６）。
ハイパスフィルタ部２０４は、取得したフィルタ後輝度画像を、第二差分演算部２０５に出力する。 When the first determination unit 2061 determines that each pixel value in the first difference image is less than the first threshold value (in the case of “YES” in step ST405), the high-pass filter unit 204 performs step A high-pass filter is applied to each of the luminance image of the target video frame and the luminance image of the previous video frame acquired from the luminance image acquisition unit 208 in ST403, and each luminance image after application is subjected to the filtered luminance image of each luminance image. (Step ST406).
The high pass filter unit 204 outputs the acquired filtered luminance image to the second difference calculation unit 205.

第二差分演算部２０５は、ハイパスフィルタ部２０４から取得した、注目映像フレームのフィルタ後輝度画像、および、前映像フレームのフィルタ後輝度画像に基づいて、第二差分画像を取得する（ステップＳＴ４０７）。
第二差分演算部２０５は、作成した第二差分画像を、判別部２０６に出力する。 Second difference calculation section 205 acquires a second difference image based on the filtered luminance image of the target video frame and the filtered luminance image of the previous video frame acquired from high-pass filter section 204 (step ST407). .
The second difference calculation unit 205 outputs the created second difference image to the determination unit 206.

判別部２０６の第二判別部２０６２は、第二差分演算部２０５から取得した第二差分画像の全ての画素を対象として、各画素の画素値が、第二の閾値未満かどうかを判定する（ステップＳＴ４０８）。
ステップＳＴ４０８において、第二判別部２０６２が、画素値が第二の閾値未満ではない画素が１つでも存在すると判別した場合（ステップＳＴ４０８の”ＮＯ”の場合）、判別部２０６は、映像は正常であると判別する（ステップＳＴ４１０）。 The second determination unit 2062 of the determination unit 206 determines whether the pixel value of each pixel is less than the second threshold value for all the pixels of the second difference image acquired from the second difference calculation unit 205 ( Step ST408).
In Step ST408, when the second determination unit 2062 determines that there is even one pixel whose pixel value is not less than the second threshold value (in the case of “NO” in Step ST408), the determination unit 206 indicates that the video is normal. (Step ST410).

ステップＳＴ４０８において、第二判別部２０６２が、第二差分画像内の全ての画素を対象として判定を行った結果、各画素の画素値がいずれも第二の閾値未満であると判別した場合（ステップＳＴ４０８の”ＹＥＳ”の場合）、判別部２０６は、映像が異常停止していると判別する（ステップＳＴ４０９）。これにより、映像が異常停止していることが確定される。   In Step ST408, when the second determination unit 2062 determines that all the pixels in the second difference image are targets, the pixel value of each pixel is determined to be less than the second threshold (Step S408). When “YES” in ST408, the determination unit 206 determines that the video has stopped abnormally (step ST409). Thereby, it is determined that the video has stopped abnormally.

なお、この実施の形態１では、上述のとおり、第一判別部２０６１で、輝度画像に基づき映像が異常停止していると判別された後、第二判別部２０６２で、フィルタ後輝度画像に基づき映像が異常停止しているかどうかの判別も行い、最終的に映像が異常停止しているか否かの判別結果を確定させるものとした。しかし、実施の形態１では、映像異常停止検出装置１０６の映像分析部２０２は、第一差分演算部２０３および第一判別部２０６１を備えない構成とし、ノイズ変化量によってのみ、配信映像が異常停止しているかどうかを判別してもよい。すなわち、ステップＳＴ４０５の処理を省略し、ステップＳＴ４０６〜ステップＳＴ４０８の処理で、配信映像が異常停止しているかどうかを判別するようにしてもよい。   In the first embodiment, as described above, after the first determination unit 2061 determines that the video has stopped abnormally based on the luminance image, the second determination unit 2062 determines the video based on the filtered luminance image. Whether or not the video has stopped abnormally is also determined, and finally the determination result of whether or not the video has stopped abnormally is determined. However, in the first embodiment, the video analysis unit 202 of the video abnormal stop detection device 106 does not include the first difference calculation unit 203 and the first determination unit 2061, and the distribution video is abnormally stopped only by the amount of noise change. It may be determined whether or not. That is, the process of step ST405 may be omitted, and it may be determined whether or not the distribution video is abnormally stopped by the processes of step ST406 to step ST408.

以下、映像分析部２０２の構成要素である第一差分演算部２０３と第二差分演算部２０５の差分演算動作について詳細に説明する。
図５は、この実施の形態１における、第一差分演算部２０３および第二差分演算部２０５による差分画像の生成方法の一例を説明するための図である。
説明の簡単のため、図５においては、第一差分演算部２０３および第二差分演算部２０５をまとめて差分演算部５０１とし、第一減算部２０３１および第二減算部２０５１をまとめて減算部５０６としている。 Hereinafter, the difference calculation operation of the first difference calculation unit 203 and the second difference calculation unit 205 which are components of the video analysis unit 202 will be described in detail.
FIG. 5 is a diagram for describing an example of a difference image generation method by the first difference calculation unit 203 and the second difference calculation unit 205 in the first embodiment.
For simplicity of description, in FIG. 5, the first difference calculation unit 203 and the second difference calculation unit 205 are collectively referred to as a difference calculation unit 501, and the first subtraction unit 2031 and the second subtraction unit 2051 are collectively referred to as a subtraction unit 506. It is said.

また、図５において、前映像フレーム５０２は、輝度画像取得部２０８が映像蓄積部から取得した前映像フレームである（ステップＳＴ４０１参照）。また、前フレーム３×３画素５０４は、輝度画像取得部２０８が取得した、前映像フレームの輝度画像（ステップＳＴ４０３参照）の一部の画素、または、ハイパスフィルタ部２０４が輝度画像取得部２０８から取得した、前映像フレームの輝度画像にハイパスフィルタを適用した後のフィルタ後輝度画像（ステップＳＴ４０６参照）の一部の画素を、例示的に示したものである。   In FIG. 5, a previous video frame 502 is a previous video frame acquired by the luminance image acquisition unit 208 from the video storage unit (see step ST401). The previous frame 3 × 3 pixels 504 are a part of the luminance image (see step ST403) of the previous video frame acquired by the luminance image acquisition unit 208, or the high-pass filter unit 204 is acquired from the luminance image acquisition unit 208. A part of pixels of the obtained filtered luminance image after applying the high-pass filter to the luminance image of the previous video frame (see step ST406) is exemplarily shown.

また、図５において、注目映像フレーム５０３は、輝度画像取得部２０８が映像取得部２０１から取得した注目映像フレームである（ステップＳＴ４０２参照）。また、注目フレーム３×３画素５０５は、輝度画像取得部２０８が取得した、注目画像フレームの輝度画像（ステップＳＴ４０３参照）の一部の画素、または、ハイパスフィルタ部２０４が輝度画像取得部２０８から取得した、注目画像フレームの輝度画像にハイパスフィルタを適用した後のフィルタ後輝度画像（ステップＳＴ４０６参照）の一部の画素を、例示的に示したものである。
また、前フレーム３×３画素５０４と、注目フレーム３×３画素５０５は、前映像フレームおよび注目映像フレームの同一位置からそれぞれ抜き出した画素であるとする。 In FIG. 5, a target video frame 503 is a target video frame acquired from the video acquisition unit 201 by the luminance image acquisition unit 208 (see step ST <b> 402). The attention frame 3 × 3 pixel 505 is a part of the luminance image (see step ST403) of the attention image frame acquired by the luminance image acquisition unit 208, or the high-pass filter unit 204 is acquired from the luminance image acquisition unit 208. A part of pixels of the obtained luminance image after filtering (see step ST406) after applying the high-pass filter to the luminance image of the target image frame is shown as an example.
The previous frame 3 × 3 pixel 504 and the target frame 3 × 3 pixel 505 are pixels extracted from the same position of the previous video frame and the target video frame, respectively.

減算部５０６は、例えば、前フレーム３×３画素５０４の中央の画素の画素値である「８０」と、注目フレーム３×３画素５０５の中央の画素の画素値である「８１」を取得し、画素値の差分の絶対値「１」を得る（図５の５０７ａ参照）。
減算部５０６は、前フレームおよび注目フレームの全ての画素の画素値について上述のように差分の絶対値を取得し、差分画像５０７を取得する（ステップＳＴ４０４参照）。 For example, the subtraction unit 506 acquires “80” that is the pixel value of the center pixel of the previous frame 3 × 3 pixel 504 and “81” that is the pixel value of the center pixel of the attention frame 3 × 3 pixel 505. The absolute value “1” of the difference between the pixel values is obtained (see 507a in FIG. 5).
The subtraction unit 506 acquires the absolute value of the difference as described above for the pixel values of all the pixels of the previous frame and the target frame, and acquires the difference image 507 (see step ST404).

以上のようにして、第一差分演算部２０３および第二差分演算部２０５は、それぞれ第一差分画像および第二差分画像を取得する。
このようにして得られた差分画像の画素全てについて、判別部２０６が、第一の閾値未満であるか、または、第二の閾値未満であるかを判定し、映像が異常停止しているかどうかの判別を行う。
具体例として、第一判別部２０６１での処理を説明する。例えば、第一差分演算部２０３が取得した第一差分画像の一部が、図５で示す差分画像５０７のとおりであり、第一の閾値が「５０」であったとする。
判別部２０６の第一判別部２０６１は、差分画像５０７の全ての画素の画素値に対して「５０」未満となっているかどうか判定する。差分画像５０７の例では、９つ全ての画素の画素値が「５０」未満であると判定される。第一判別部２０６１は、第一差分画像の全ての画素について同様の判定を行い、その結果、全ての画素について、各画素値がいずれも「５０」未満であると判別された場合、映像が異常停止している可能性があると判断する（ステップＳＴ４０５参照）。 As described above, the first difference calculation unit 203 and the second difference calculation unit 205 obtain the first difference image and the second difference image, respectively.
Whether or not the image is abnormally stopped by determining whether the determination unit 206 is less than the first threshold value or less than the second threshold value for all the pixels of the difference image obtained in this way. To determine.
As a specific example, processing in the first determination unit 2061 will be described. For example, it is assumed that a part of the first difference image acquired by the first difference calculation unit 203 is as the difference image 507 illustrated in FIG. 5 and the first threshold is “50”.
The first determination unit 2061 of the determination unit 206 determines whether or not the pixel values of all the pixels of the difference image 507 are less than “50”. In the example of the difference image 507, it is determined that the pixel values of all nine pixels are less than “50”. The first determination unit 2061 performs the same determination for all the pixels of the first difference image, and as a result, when it is determined that all the pixel values are less than “50” for all the pixels, the video is displayed. It is determined that there is a possibility of an abnormal stop (see step ST405).

第二判別部２０６２は、第二差分画像について、同様の判別を行う。   The second determination unit 2062 performs the same determination on the second difference image.

次に、映像分析部２０２の構成要素であるハイパスフィルタ部２０４の動作について詳細に説明する。
図６は、この実施の形態１における、ハイパスフィルタ部２０４によるフィルタ後輝度画像の生成方法の一例を説明するための図である。なお、図６では、ハイパスフィルタ部２０４がハイパスフィルタであるラプラシアンフィルタを用いてフィルタ後輝度画像を生成する方法の一例を示している。
説明の簡単のため、図６では、輝度画像取得部２０８が、映像蓄積部から取得した前映像フレーム（ステップＳＴ４０１参照）、および、映像取得部２０１から取得した注目映像フレーム（ステップＳＴ４０２参照）を、まとめて、映像フレーム６０２としている。
また、輝度画像取得部２０８が取得した、前映像フレームの輝度画像および注目映像フレームの輝度画像について、それぞれの輝度画像の一部の画素を例示的に示す３×３の画素を、まとめて、３×３画素６０３としている。
３×３画素６０３は、映像フレーム６０２の１画素（３×３画素６０３の「８０」）に注目し、周囲の８画素とあわせて抜き出した縦３横３の画素の画素値も示している。
ハイパスフィルタ部２０４の畳込演算部２０４１は、ラプラシアンフィルタ６０４を用いて、注目画素（３×３画素６０３の「８０」）とその周囲の３×３画素６０３にハイパスフィルタを適用する。その結果、図６においてフィルタリング結果として示すように、例えば、注目画素（３×３画素６０３の「８０」）の画素値は、「３７０」となる。図６では、上記の注目画素（３×３画素６０３の「８０」）に対して行われたハイパスフィルタの適用の結果のみが示されているが、畳込演算部２０４１は、輝度画像内の全ての画素について、同様にハイパスフィルタを適用し、その結果を画素値とするフィルタ後輝度画像６０６を取得する。 Next, the operation of the high-pass filter unit 204, which is a component of the video analysis unit 202, will be described in detail.
FIG. 6 is a diagram for explaining an example of a method of generating a filtered luminance image by the high-pass filter unit 204 in the first embodiment. FIG. 6 shows an example of a method in which the high-pass filter unit 204 generates a filtered luminance image using a Laplacian filter that is a high-pass filter.
For simplicity of description, in FIG. 6, the luminance image acquisition unit 208 uses the previous video frame acquired from the video storage unit (see step ST401) and the attention video frame acquired from the video acquisition unit 201 (see step ST402). These are collectively referred to as a video frame 602.
Further, with respect to the luminance image of the previous video frame and the luminance image of the target video frame acquired by the luminance image acquisition unit 208, 3 × 3 pixels that exemplify some pixels of each luminance image are collected, The size is 3 × 3 pixels 603.
The 3 × 3 pixel 603 indicates the pixel value of 3 pixels in the 3 × 3 pixels extracted from the 8 pixels in the video frame 602 by paying attention to one pixel (“80” of the 3 × 3 pixel 603). .
The convolution operation unit 2041 of the high-pass filter unit 204 uses the Laplacian filter 604 to apply the high-pass filter to the target pixel (“80” of the 3 × 3 pixel 603) and the surrounding 3 × 3 pixel 603. As a result, as shown as a filtering result in FIG. 6, for example, the pixel value of the target pixel (“80” of 3 × 3 pixel 603) is “370”. In FIG. 6, only the result of applying the high-pass filter performed on the pixel of interest (“80” of the 3 × 3 pixel 603) is shown, but the convolution operation unit 2041 A high-pass filter is similarly applied to all the pixels, and a filtered luminance image 606 having the result as a pixel value is acquired.

また、ハイパスフィルタ部２０４は、輝度画像取得部２０８が取得した、前映像フレームの輝度画像および注目映像フレームの輝度画像について、それぞれフィルタ後輝度画像６０６を取得する。
なお、上記の説明では、畳込演算部２０４１は、８近傍のラプラシアンフィルタ６０４を用いてハイパスフィルタを適用するものとしたが、これに限らず、例えば、４近傍のラプラシアンフィルタ６０７等、その他のラプラシアンフィルタのカーネルを使用するものとしてもよい。 In addition, the high-pass filter unit 204 acquires the filtered luminance image 606 for the luminance image of the previous video frame and the luminance image of the target video frame acquired by the luminance image acquisition unit 208, respectively.
In the above description, the convolution operation unit 2041 applies the high-pass filter using the 8-neighbor Laplacian filter 604. However, the present invention is not limited to this. A Laplacian filter kernel may be used.

以上のように、この実施の形態１によれば、映像異常停止検出装置１０６が、監視対象領域を撮影した注目映像から取得した注目映像フレームと、注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得する輝度画像取得部２０８と、輝度画像取得部２０８が取得した、注目映像フレームの輝度画像と前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するハイパスフィルタ部２０４と、ハイパスフィルタ部２０４が取得した、注目映像フレームのフィルタ後輝度画像と前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得する第二差分演算部２０５と、第二差分演算部２０５が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、監視対象領域を撮影した映像が異常停止していると判別する判別部２０６とを備えるように構成したので、監視カメラ１０１から配信される映像が異常停止しているかどうかを、監視者等が、モニタを目視することなく、自動的に判別することが可能となる。その結果、人手を削減し、省力化することができる。また、例えば監視員の疲労によって生じる、映像異常停止の発見の取りこぼしを防ぐようにすることができる。   As described above, according to the first embodiment, the abnormal video stop detection device 106 acquires the attention video frame acquired from the attention video obtained by capturing the monitoring target area and the previous video frame acquired from the video before the attention video. A luminance image acquisition unit 208 that acquires a luminance image from each of the above, and a filtered luminance obtained by extracting a noise component for each of the luminance image of the target video frame and the luminance image of the previous video frame acquired by the luminance image acquisition unit 208 A pixel value is a high-pass filter unit 204 that acquires an image, and a difference value between the luminance values of each pixel in the filtered luminance image of the target video frame and the filtered luminance image of the previous video frame acquired by the high-pass filter unit 204 The second difference calculation unit 205 that acquires the second difference image and each of the second difference images acquired by the second difference calculation unit 205 Since both of the prime pixel values are less than the second threshold value, it is configured to include a determination unit 206 that determines that the video captured of the monitoring target area is abnormally stopped. It becomes possible for a supervisor or the like to automatically determine whether or not the video to be distributed has stopped abnormally without looking at the monitor. As a result, manpower can be reduced and labor can be saved. Further, for example, it is possible to prevent the detection of abnormal video stoppage caused by the fatigue of the observer.

実施の形態２．
実施の形態１では、映像異常停止検出装置１０６が、直接、映像記録装置１０３に接続される構成であった。
この実施の形態２では、監視システムが、モニタ１０５を撮影するモニタリング用カメラ７０１を備え、映像異常停止検出装置１０６ａが、当該モニタリング用カメラ７０１が撮影した映像に基づき、監視カメラ１０１から配信される映像が異常停止していないかどうかを判別する実施の形態について説明する。 Embodiment 2. FIG.
In the first embodiment, the video abnormal stop detection device 106 is directly connected to the video recording device 103.
In the second embodiment, the monitoring system includes a monitoring camera 701 that captures the monitor 105, and the video abnormal stop detection device 106a is distributed from the monitoring camera 101 based on the video captured by the monitoring camera 701. An embodiment for determining whether or not a video has stopped abnormally will be described.

図７は、実施の形態２に係る映像異常停止検出装置１０６ａが適用された監視システムの全体構成の一例を示す図である。
図７において、実施の形態１で図１を用いて説明した監視システムの構成と同様の構成には同じ符号を付して、重複した説明を省略する。
図７に示す監視システムは、モニタリング用カメラ７０１を備え、映像異常停止検出装置１０６ａは、モニタリング用カメラ７０１に接続される点において、実施の形態１で図１を用いて説明した監視システムとは異なる。
実施の形態１と同様に、モニタ１０５には、映像記録装置１０３に記録された映像が表示される。モニタリング用カメラ７０１は、モニタ１０５が表示している映像を撮影する。 FIG. 7 is a diagram illustrating an example of the overall configuration of a monitoring system to which the video abnormal stop detection device 106a according to the second embodiment is applied.
In FIG. 7, the same components as those of the monitoring system described in Embodiment 1 with reference to FIG.
The monitoring system shown in FIG. 7 includes a monitoring camera 701, and the abnormal video stop detection device 106a is connected to the monitoring camera 701. The monitoring system described in Embodiment 1 with reference to FIG. Different.
As in the first embodiment, the video recorded in the video recording device 103 is displayed on the monitor 105. The monitoring camera 701 captures an image displayed on the monitor 105.

映像異常停止検出装置１０６ａの構成および動作は、実施の形態１において図２および図４を用いて説明した構成および動作と同様であるため、重複した説明を省略する。
映像異常停止検出装置１０６ａは、実施の形態１における映像異常停止検出装置１０６の映像取得部２０１が映像記録装置１０３から配信された映像を取得するものであったのに対し、映像異常停止検出装置１０６ａの映像取得部２０１は、モニタリング用カメラ７０１から当該モニタリング用カメラ７０１が撮影した映像を取得する点が異なる。
実施の形態１では、映像記録装置１０３が、監視カメラ１０１から送信された映像を受信し、映像異常停止検出装置１０６に配信するようにしていたが、この実施の形態２では、映像記録装置１０３に、当該映像の配信機能を備えなくても、監視カメラ１０１から送信された映像が異常停止しているか否かを自動的に判別できる。 The configuration and operation of the abnormal video stop detection device 106a are the same as the configuration and operation described in Embodiment 1 with reference to FIGS. 2 and 4, and thus redundant description is omitted.
In the video abnormal stop detection device 106a, the video acquisition unit 201 of the video abnormal stop detection device 106 in Embodiment 1 acquires the video distributed from the video recording device 103, whereas the video abnormal stop detection device 106a. The video acquisition unit 201 of 106a is different in that the video captured by the monitoring camera 701 is acquired from the monitoring camera 701.
In the first embodiment, the video recording apparatus 103 receives the video transmitted from the monitoring camera 101 and distributes it to the video abnormal stop detection apparatus 106. In the second embodiment, the video recording apparatus 103 In addition, even if the video distribution function is not provided, it is possible to automatically determine whether or not the video transmitted from the monitoring camera 101 has stopped abnormally.

実施の形態１のように、映像異常停止検出装置１０６が映像記録装置１０３から配信された映像を取得する構成では、当該映像が異常停止している場合、図４のステップＳＴ４０４で取得した注目映像フレームの輝度画像および前映像フレームの輝度画像は全く同じものとなる。そのため、理論的には、映像が異常停止している場合のノイズ変化量は０となる。よって、第一の閾値を「０」と設定し、図４のステップＳＴ４０５での判断を第一差分画像の全ての画素の画素値が０かどうかという判断に変えることにより、実施の形態１では、図４のステップＳＴ４０６〜ステップＳＴ４０８の処理を省略することができる。すなわち、実施の形態１では、映像異常停止検出装置１０６の映像分析部２０２が、ハイパスフィルタ部２０４、第二差分演算部２０５、および、第二判別部２０６２を備えない構成とすることも可能である。   In the configuration in which the video abnormal stop detection device 106 acquires the video distributed from the video recording device 103 as in the first embodiment, when the video is abnormally stopped, the video of interest acquired in step ST404 in FIG. The luminance image of the frame and the luminance image of the previous video frame are exactly the same. Therefore, theoretically, the amount of change in noise when the video is abnormally stopped is zero. Therefore, the first threshold value is set to “0”, and the determination in step ST405 in FIG. 4 is changed to determination whether the pixel values of all the pixels of the first difference image are 0. , The process of step ST406 to step ST408 of FIG. 4 can be omitted. That is, in the first embodiment, the video analysis unit 202 of the video abnormal stop detection device 106 may be configured not to include the high-pass filter unit 204, the second difference calculation unit 205, and the second determination unit 2062. is there.

これに対し、この実施の形態２では、モニタ１０５が表示させた映像を、モニタリング用カメラ７０１が撮影するため、モニタリング用カメラ７０１内の撮像素子、および、エンコーダで生じるノイズを考慮する必要がある。つまり、映像が異常停止している場合でも、例えば、輝度画像取得部２０８が前映像フレームに基づき取得する輝度画像と、注目映像フレームに基づき取得する輝度画像（図４のステップＳＴ４０３参照）とは、同じものとはならない。モニタリング用カメラ７０１が撮影した際にノイズ成分が付加されることにより、映像が異常停止していたとしても、前映像フレームと注目映像フレームとが一致しないようになるためである。
よって、この実施の形態２に係る映像異常停止検出装置１０６ａにおいては、ハイパスフィルタ部２０４および第二差分演算部２０５を省略し、第一差分演算部２０３のみで、映像が異常停止しているか否かを判別するようにすると、映像が異常停止している場合と被写体が静止している場合との区別がつかなくなる。
被写体が静止している場合、監視カメラ１０１、映像記録装置１０３、モニタ１０５、および、モニタリング用カメラ７０１でノイズ成分が付加される。一方、映像が異常停止している場合、モニタ１０５、および、モニタリング用カメラ７０１でのみノイズ成分が付加される。したがって、映像が異常停止している場合は、被写体が静止している場合と比較して、付加されるノイズ成分が少量となる。
この実施の形態２における監視システムの構成においては、映像が異常停止していることを判別するためには、上述のようにノイズ成分の差異を判別することが有効である。このため、実施の形態２の映像異常停止検出装置１０６ａは、ハイパスフィルタ部２０４、第二差分演算部２０５および第二判別部２０６２を有することが必須である。映像異常停止検出装置１０６ａは、当該ハイパスフィルタ部２０４と第二差分演算部２０５によって、前映像フレームおよび注目映像フレームそれぞれのノイズ成分の差分を示す第二差分画像を取得し、第二判別部２０６２によって、第二差分画像の全ての画素について、各画素がいずれも第二の閾値未満と判別されれば、判別部２０６が、映像が異常停止していると判別するようにする（ステップＳＴ４０９）。 On the other hand, in the second embodiment, since the monitoring camera 701 captures an image displayed by the monitor 105, it is necessary to consider noise generated by the image sensor and the encoder in the monitoring camera 701. . That is, even when the video is abnormally stopped, for example, the luminance image acquired by the luminance image acquisition unit 208 based on the previous video frame and the luminance image acquired based on the target video frame (see step ST403 in FIG. 4). , It will not be the same. This is because a noise component is added when the monitoring camera 701 takes a picture so that the previous video frame does not match the target video frame even if the video is abnormally stopped.
Therefore, in the video abnormal stop detection device 106a according to the second embodiment, the high-pass filter unit 204 and the second difference calculation unit 205 are omitted, and the video is abnormally stopped only by the first difference calculation unit 203. This makes it impossible to distinguish between the case where the video is abnormally stopped and the case where the subject is stationary.
When the subject is stationary, a noise component is added by the monitoring camera 101, the video recording device 103, the monitor 105, and the monitoring camera 701. On the other hand, when the video is abnormally stopped, a noise component is added only by the monitor 105 and the monitoring camera 701. Therefore, when the video is abnormally stopped, the added noise component is small compared to the case where the subject is stationary.
In the configuration of the monitoring system in the second embodiment, it is effective to determine the difference in noise components as described above in order to determine that the video has stopped abnormally. For this reason, it is essential that the video abnormal stop detection device 106a of the second embodiment includes the high-pass filter unit 204, the second difference calculation unit 205, and the second determination unit 2062. The video abnormal stop detection device 106a uses the high-pass filter unit 204 and the second difference calculation unit 205 to acquire a second difference image indicating the difference between the noise components of the previous video frame and the target video frame, and the second determination unit 2062 Thus, if all the pixels of the second difference image are determined to be less than the second threshold, the determination unit 206 determines that the video has stopped abnormally (step ST409). .

以上のように、この実施の形態２によれば、実施の形態１同様、監視カメラ１０１から配信される映像が異常停止しているかどうかを、監視者等が、モニタを目視することなく、自動的に判別することが可能となる。その結果、人手を削減し、省力化することができる。また、例えば監視員の疲労によって生じる、映像異常停止の発見の取りこぼしを防ぐようにすることができる。
また、この実施の形態２によれば、既存の監視システムにおける映像記録装置が、映像異常停止検出装置に映像を配信することが可能な出力装置を特に有していない場合にも、映像の異常停止を自動的に検知することができる。 As described above, according to the second embodiment, as in the first embodiment, whether or not the video distributed from the monitoring camera 101 is abnormally stopped can be automatically determined by the supervisor without looking at the monitor. It is possible to discriminate automatically. As a result, manpower can be reduced and labor can be saved. Further, for example, it is possible to prevent the detection of abnormal video stoppage caused by the fatigue of the observer.
Further, according to the second embodiment, even if the video recording device in the existing monitoring system does not have an output device that can deliver video to the video abnormal stop detection device, the video abnormality Stop can be detected automatically.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。   In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .

１０１ 監視カメラ、１０２ 監視用ＰＣ、１０３ 映像記録装置、１０４ ネットワーク、１０５ モニタ、１０６，１０６ａ 映像異常停止検出装置、１０７ 出力装置、２０１ 映像取得部、２０２ 映像分析部、２０３ 第一差分演算部、２０４ ハイパスフィルタ部、２０５ 第二差分演算部、２０６ 判別部、２０７ 出力制御部、２０８ 輝度画像取得部、３０１ 処理回路、３０２ ＨＤＤ、３０３ 入力インタフェース装置、３０４ 出力インタフェース装置、３０５ メモリ、３０６ ＣＰＵ、２０３１ 第一減算部、２０４１ 畳込演算部、２０５１ 第二減算部、２０６１ 第一判別部、２０６２ 第二判別部。   101 monitoring camera, 102 monitoring PC, 103 video recording device, 104 network, 105 monitor, 106, 106a video abnormal stop detection device, 107 output device, 201 video acquisition unit, 202 video analysis unit, 203 first difference calculation unit, 204 high-pass filter unit, 205 second difference calculation unit, 206 discrimination unit, 207 output control unit, 208 luminance image acquisition unit, 301 processing circuit, 302 HDD, 303 input interface device, 304 output interface device, 305 memory, 306 CPU, 2031 1st subtraction part, 2041 Convolution operation part, 2051 2nd subtraction part, 2061 1st discrimination | determination part, 2062 2nd discrimination | determination part.

Claims (5)

監視対象領域を撮影した注目映像から取得した注目映像フレームと、前記注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得する輝度画像取得部と、
前記輝度画像取得部が取得した、前記注目映像フレームの輝度画像と前記前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するハイパスフィルタ部と、
前記ハイパスフィルタ部が取得した、前記注目映像フレームのフィルタ後輝度画像と前記前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得する第二差分演算部と、
前記第二差分演算部が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、前記監視対象領域を撮影した映像が異常停止していると判別する判別部
とを備えた映像異常停止検出装置。 A luminance image acquisition unit that acquires a luminance image from each of a target video frame acquired from a target video obtained by photographing a monitoring target area and a previous video frame acquired from a video before the target video;
A high-pass filter unit that acquires a filtered luminance image obtained by extracting a noise component for each of the luminance image of the target video frame and the luminance image of the previous video frame acquired by the luminance image acquisition unit;
A second difference image is acquired, which is obtained by the high-pass filter unit and uses a difference value between luminance values of each pixel in the filtered luminance image of the target video frame and the filtered luminance image of the previous video frame as a pixel value. A second difference calculation unit;
When the pixel value of each pixel of the second difference image acquired by the second difference calculation unit is less than the second threshold value, it is determined that the video obtained by photographing the monitoring target area is abnormally stopped. A video abnormal stop detection device comprising a determination unit. 前記輝度画像取得部が取得した、前記注目映像フレームの輝度画像と前記前映像フレームの輝度画像とにおける各画素の輝度値の差分値を画素値とする、第一差分画像を取得する第一差分演算部をさらに備え、
前記判別部は、
前記第一差分演算部が取得した第一差分画像の各画素の画素値がいずれも第一の閾値未満であり、かつ、前記第二差分演算部が取得した第二差分画像の各画素の画素値がいずれも第二の閾値未満である場合に、前記監視対象領域を撮影した映像が異常停止していると判別する
ことを特徴とする請求項１記載の映像異常停止検出装置。 A first difference for acquiring a first difference image, which is obtained by the luminance image acquisition unit, using a difference value of a luminance value of each pixel between the luminance image of the target video frame and the luminance image of the previous video frame as a pixel value. It further includes an arithmetic unit,
The discrimination unit is
The pixel value of each pixel of the first difference image acquired by the first difference calculation unit is less than the first threshold value, and the pixel of each pixel of the second difference image acquired by the second difference calculation unit The video abnormal stop detection device according to claim 1, wherein when any of the values is less than a second threshold, it is determined that the video obtained by capturing the monitoring target region is abnormally stopped. 前記判別部が、前記監視対象領域を撮影した映像が異常停止していると判別した場合に、警報を出力させる出力制御部を備えた
ことを特徴とする請求項１または請求項２記載の映像異常停止検出装置。 3. The video according to claim 1, further comprising: an output control unit configured to output an alarm when the determination unit determines that the video obtained by capturing the monitoring target area is abnormally stopped. 4. Abnormal stop detection device. 前記監視対象領域を撮影した映像を記録する映像記録装置であって、
請求項１から請求項３のうちのいずれか１項記載の映像異常停止検出装置を搭載した映像記録装置。 A video recording apparatus for recording video obtained by photographing the monitoring target area,
A video recording device equipped with the video abnormal stop detection device according to any one of claims 1 to 3. 輝度画像取得部が、監視対象領域を撮影した注目映像から取得した注目映像フレームと、前記注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得するステップと、
ハイパスフィルタ部が、前記輝度画像取得部が取得した、前記注目映像フレームの輝度画像と前記前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するステップと、
第二差分演算部が、前記ハイパスフィルタ部が取得した、前記注目映像フレームのフィルタ後輝度画像と前記前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得するステップと、
判別部が、前記第二差分演算部が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、前記監視対象領域を撮影した映像が異常停止していると判別するステップ
とを備えた映像異常停止検出方法。 A luminance image acquisition unit acquires a luminance image from each of an attention video frame acquired from an attention video obtained by photographing a monitoring target area and a previous video frame acquired from a video before the attention video; and
A high-pass filter unit acquires a filtered luminance image obtained by extracting a noise component for each of the luminance image of the target video frame and the luminance image of the previous video frame acquired by the luminance image acquisition unit;
A second difference calculation unit, which is obtained by the high-pass filter unit, the difference value of the luminance value of each pixel in the filtered luminance image of the video frame of interest and the filtered luminance image of the previous video frame is a pixel value, Obtaining a second difference image;
When the determination unit determines that the pixel value of each pixel of the second difference image acquired by the second difference calculation unit is less than the second threshold, the video imaged of the monitoring target area is abnormally stopped. A method for detecting an abnormal video stop, comprising: a step of determining that the image is present.
JP2017055496A 2017-03-22 2017-03-22 Video abnormal stop detection device, video recording device, and video abnormal stop detection method Pending JP2018160722A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017055496A JP2018160722A (en) 2017-03-22 2017-03-22 Video abnormal stop detection device, video recording device, and video abnormal stop detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017055496A JP2018160722A (en) 2017-03-22 2017-03-22 Video abnormal stop detection device, video recording device, and video abnormal stop detection method

Publications (1)

Publication Number Publication Date
JP2018160722A true JP2018160722A (en) 2018-10-11

Family

ID=63795807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017055496A Pending JP2018160722A (en) 2017-03-22 2017-03-22 Video abnormal stop detection device, video recording device, and video abnormal stop detection method

Country Status (1)

Country Link
JP (1) JP2018160722A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660483A (en) * 2021-08-05 2021-11-16 北京飞讯数码科技有限公司 Real-time monitoring method and device for video playing quality and computer equipment
CN115171328A (en) * 2022-06-30 2022-10-11 国网北京市电力公司 Firework identification method, device, equipment and medium based on video compression coding
KR102477085B1 (en) * 2022-04-07 2022-12-14 세이지리서치 주식회사 A method for detecting a process motion and a device for detecting a process motion

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660483A (en) * 2021-08-05 2021-11-16 北京飞讯数码科技有限公司 Real-time monitoring method and device for video playing quality and computer equipment
KR102477085B1 (en) * 2022-04-07 2022-12-14 세이지리서치 주식회사 A method for detecting a process motion and a device for detecting a process motion
CN115171328A (en) * 2022-06-30 2022-10-11 国网北京市电力公司 Firework identification method, device, equipment and medium based on video compression coding
CN115171328B (en) * 2022-06-30 2023-11-10 国网北京市电力公司 Smoke and fire identification method, device, equipment and medium based on video compression coding

Similar Documents

Publication Publication Date Title
US9704063B2 (en) Method of sampling feature points, image matching method using the same, and image matching apparatus
US11450114B2 (en) Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
KR101492180B1 (en) Video analysis
WO2017107647A1 (en) Camera-based monitoring method, apparatus, and system
JP2018120300A (en) Information processing apparatus, information processing method, and program
US9818277B1 (en) Systems and methods for smoke detection
US20190230269A1 (en) Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium
US20130301877A1 (en) Image reading out control apparatus, image reading out control method thereof and storage medium
JP2018160722A (en) Video abnormal stop detection device, video recording device, and video abnormal stop detection method
CN105577983A (en) Apparatus and method of detecting motion mask
JP4707019B2 (en) Video surveillance apparatus and method
JP2017055373A (en) Salesroom crime prevention program, tablet terminal and salesroom
KR101395666B1 (en) Surveillance apparatus and method using change of video image
KR20160068281A (en) Method of object recognition
JP7441815B2 (en) Methods and devices for determining video authenticity
JP7048590B2 (en) Structure abnormality diagnosis device and structure abnormality diagnosis program
JP6348020B2 (en) Image processing apparatus, image processing method, and inspection method using the same
JP2008165705A (en) Image processor and image processing method
JP2012511194A (en) Image motion detection method and apparatus
JP7406695B2 (en) Image processing device and image processing program
CN112492293A (en) Image fuzzy diagnosis method and device and security central control equipment
JP7357836B2 (en) Image processing device and image processing program
EP3016080A1 (en) Calibration of metadata event rules
JP7233994B2 (en) Image processing device and image processing program