JP2010141755A - System, method and program for monitoring road - Google Patents
System, method and program for monitoring road Download PDFInfo
- Publication number
- JP2010141755A JP2010141755A JP2008317779A JP2008317779A JP2010141755A JP 2010141755 A JP2010141755 A JP 2010141755A JP 2008317779 A JP2008317779 A JP 2008317779A JP 2008317779 A JP2008317779 A JP 2008317779A JP 2010141755 A JP2010141755 A JP 2010141755A
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- road
- monitoring
- frame
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、交通の危険となる道路上の滞留物を発見するのに適した道路監視システム、道路監視方法および道路監視プログラムに関する。 The present invention relates to a road monitoring system, a road monitoring method, and a road monitoring program that are suitable for finding stagnants on roads that are dangerous for traffic.
コンピュータビジョンの応用分野として、道路・交通状況の監視は重要テーマの一つであり、数多くの研究が行われている。一般的には、道路上、道路脇に設置されたカメラの動画映像を基に、車両などがない背景画像との差分画像や、時系列的な画像の差分画像など用いた画像処理により車両を識別し、その動きを追跡・解析することで、渋滞の認識や事故の発生などの異常検出などを行っている。 As an application field of computer vision, monitoring of road and traffic conditions is one of the important themes, and many studies have been conducted. In general, based on video images of cameras installed on the roadside, on the road, the vehicle is processed by image processing using a difference image with a background image without a vehicle or a time-series difference image. By identifying and tracking and analyzing the movement, it recognizes traffic jams and detects abnormalities such as accidents.
高速道路監視への導入など、実用化も進みつつあるが、一般に動画の解析は静止画ベースの解析と比較して計算負荷が高い上に、さらに、画面上の中での車両の重なった場合（完全に隠れてしまう場合も含む）の個々の車両の識別・追跡など、認識を難しくする要因が多く存在し、その課題をクリアするために更に大きな計算負荷を要する結果となっている。 Although it is being put to practical use, such as introduction to expressway monitoring, in general, video analysis has a higher computational load than still image-based analysis, and moreover, when vehicles overlap on the screen There are many factors that make recognition difficult, such as identification and tracking of individual vehicles (including cases where they are completely hidden), and this results in a larger computational load in order to clear the problem.
尚、従来、異常交通事象の検出システムについては例えば非特許文献１に記載のものが提案され、車両追跡法については例えば非特許文献２に記載のものが提案されている。
道路・交通状況などの遠隔監視のニーズは高く、光ファイバの普及などの通信環境の整備に合わせて監視カメラの設置は増加傾向にあり、今後はさらに加速化される見込みである。本格的に多地点の監視を行うためには、認識精度の向上と同時に、小規模の計算機で、より多くの地点の監視が行えるような計算負荷の低い処理方式が求められる。 The need for remote monitoring of roads and traffic conditions is high, and the installation of surveillance cameras is increasing along with the development of communication environment such as the spread of optical fiber, and it is expected to be further accelerated in the future. In order to perform multi-point monitoring in earnest, a processing method with a low calculation load is required so that the recognition accuracy is improved and a small computer can monitor more points.
本発明は、このような課題を鑑みて行われたものであり、円滑な交通を妨げ、渋滞やさらなる事故の要因ともなるために道路・交通監視における重要な監視事項の一つである、事故車の落荷などの路面の滞留物の存在を小さな計算負荷で発見する道路監視システム、道路監視方法および道路監視プログラムを提供することを目的とする。 The present invention has been made in view of such problems, and accidents that are one of the important monitoring items in road / traffic monitoring because they hinder smooth traffic and cause traffic congestion and further accidents. It is an object of the present invention to provide a road monitoring system, a road monitoring method, and a road monitoring program for detecting the presence of accumulated matter on the road surface such as a car load, with a small calculation load.
本発明における道路監視システム、道路監視方法および道路監視プログラムでは、瞬間毎の画像ではなく、直近一定時間の映像（フレーム）を平均化したフレーム間平均映像をフレーム毎に周波数解析し、高周波成分の量の時系列的な推移より、道路上の滞留物の存在を認識することを特徴とする。具体的には、一定時間の画像を重ねて平均化すると、走行車両などの動いているものは不明瞭になるが、道路上に滞留しているものは、静止しているために平均化した画像の中でも明瞭に写し出されることに着目し、一定時間のフレーム間平均映像のフレーム毎の高周波成分量の時間的な推移を計算し、有意な増大が見られた場合に、滞留物の存在と判定することを特徴とする。 In the road monitoring system, the road monitoring method, and the road monitoring program of the present invention, the frequency analysis is performed for each frame average image obtained by averaging the images (frames) of the latest fixed time instead of the instantaneous images, and the high frequency component It is characterized by recognizing the presence of stagnant on the road from the time-series transition of quantity. Specifically, when images over a certain period of time are overlapped and averaged, moving objects such as moving vehicles become unclear, but those staying on the road are averaged because they are stationary Paying attention to the fact that it is clearly displayed in the image, calculate the temporal transition of the amount of high frequency components for each frame of the average video between frames for a certain period of time, and if there is a significant increase, It is characterized by determining.
すなわち、請求項１に記載の道路監視システムは、固定された撮影手段により道路の状況を監視する道路監視システムにおいて、設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理手段と、前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定手段とを備えたことを特徴としている。 That is, the road monitoring system according to claim 1 is a road monitoring system that monitors a road condition by a fixed imaging unit, and a frame for a monitoring video imaged by the imaging unit within a set time. An inter-frame average processing unit that averages image signals for each pixel of an image to obtain an inter-frame average video, and an inter-frame average video obtained by the inter-frame average processing unit, analyzes a frequency for each frame, A high-frequency component evaluation processing means for performing a high-frequency component evaluation process for obtaining a temporal transition of the high-frequency component amount, and a high-frequency component is a predetermined value based on a temporal transition of the high-frequency component amount obtained by the high-frequency component evaluation processing means. It is provided with abnormality determination means for determining whether or not the increase has occurred, and determining that there is a stay due to an accident or falling on the road when the increase has occurred. It is characterized in.
また請求項２に記載の道路監視システムは、請求項１において、前記高周波成分評価処理手段は、前記撮影手段により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行うことを特徴としている。 According to a second aspect of the present invention, in the road monitoring system according to the first aspect, the high-frequency component evaluation processing unit occupies a region occupied by a road surface to be monitored in a screen of a monitoring video imaged by the imaging unit. Is set as a monitoring area, and the high frequency component evaluation process is performed only for the set monitoring area.
また請求項３に記載の道路監視システムは、請求項２において、前記高周波成分評価処理手段は、前記設定した監視領域を複数に分割し、該分割した領域毎に前記高周波成分評価処理を行い、前記異常判定手段は、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴としている。 The road monitoring system according to claim 3 is the road monitoring system according to claim 2, wherein the high-frequency component evaluation processing unit divides the set monitoring region into a plurality, and performs the high-frequency component evaluation processing for each of the divided regions, The abnormality determination means determines whether or not the high-frequency component has increased by a predetermined value or more for each of the divided areas, and determines that the stagnant material is present at a location photographed in the area determined to have increased. It is characterized by doing.
また、請求項４に記載の道路監視方法は、固定された撮影手段により道路の状況を監視する道路監視方法において、フレーム間平均処理手段が、設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、高周波成分評価処理手段が、前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理ステップと、異常判定手段が、前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定ステップとを備えたことを特徴としている。 The road monitoring method according to claim 4 is the road monitoring method in which the situation of the road is monitored by a fixed imaging unit, and the interframe average processing unit is captured by the imaging unit within a set time. An inter-frame average processing step that averages an image signal for each pixel of a frame image with respect to a monitoring video to obtain an inter-frame average video, and a high-frequency component evaluation processing means includes an inter-frame average processing means. A high frequency component evaluation processing step for performing a high frequency component evaluation process for analyzing a frequency for each average frame and obtaining a temporal transition of a high frequency component amount with respect to the average video, and an abnormality determination means are obtained by the high frequency component evaluation processing means. It is determined whether or not the high frequency component has increased by more than a predetermined value based on the temporal transition of the amount of high frequency component received. It is characterized in that the retentate by and 落荷 has a abnormality determining step of determining that there.
また請求項５に記載の道路監視方法は、請求項４において、前記高周波成分評価処理ステップは、前記撮影手段により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行うことを特徴としている。 The road monitoring method according to claim 5 is the road monitoring method according to claim 4, wherein the high-frequency component evaluation processing step is an area occupied by a road surface of a road to be monitored in a screen of a monitoring video imaged by the imaging unit. Is set as a monitoring area, and the high frequency component evaluation process is performed only for the set monitoring area.
また請求項６に記載の道路監視方法は、請求項５において、前記高周波成分評価処理ステップは、前記設定した監視領域を複数に分割し、該分割した領域毎に前記高周波成分評価処理を行い、前記異常判定ステップは、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴としている。 The road monitoring method according to claim 6 is the road monitoring method according to claim 5, wherein the high frequency component evaluation processing step divides the set monitoring region into a plurality of regions, and performs the high frequency component evaluation processing for each of the divided regions, The abnormality determination step determines whether or not the high-frequency component has increased by a predetermined value or more for each of the divided areas, and determines that the stagnant is present at a location shot in the area determined to have increased. It is characterized by doing.
また、請求項７に記載の道路監視プログラムは、コンピュータに請求項４ないし６のいずれか１項に記載の各手順を実行させる道路監視プログラムである。 A road monitoring program according to a seventh aspect is a road monitoring program that causes a computer to execute each procedure according to any one of the fourth to sixth aspects.
（１）請求項１〜７に記載の発明によれば、特に、個々の自動車の挙動の追跡をする必要がないため、円滑な交通を妨げ、渋滞やさらなる事故の要因ともなるために道路・交通監視における重要な監視事項の一つである、事故車や落荷などの路面の滞留物の存在を、小さな計算負荷で発見することが可能となる。動かないものを発見するというシンプルな手法であるため、滞留物が生じる原因推定などの高度な認識は行えないが、大きなトラックによる遮蔽、虫や鳥の飛来などの通常の映像監視で課題とされる外乱に対してロバスト性が高いことも、本発明の利点である。
（２）また請求項２、５に記載の発明によれば、監視対象の道路外の領域でおきた事象の影響を排除することができ、これによって道路上の滞留物の検知精度が向上する。
（３）また請求項３、６に記載の発明によれば、分割した領域内に発生した滞留物の検知精度を上げることができるとともに、画面のどの部分に滞留物が発生したのかを判定することができる。
(1) According to the inventions described in claims 1 to 7, since it is not particularly necessary to track the behavior of individual automobiles, smooth traffic is hindered, causing traffic congestion and further accidents. It is possible to detect the presence of accumulated matter on the road surface, such as an accident car and a load drop, which is one of the important monitoring items in traffic monitoring, with a small calculation load. Because it is a simple method of finding things that do not move, advanced recognition such as the cause of stagnant accumulation cannot be performed, but it is a problem in ordinary video surveillance such as shielding by large trucks, flying insects and birds It is also an advantage of the present invention that it is robust against disturbances.
(2) Further, according to the inventions according to claims 2 and 5, it is possible to eliminate the influence of an event occurring in an area outside the road to be monitored, thereby improving the detection accuracy of the stagnant on the road. .
(3) According to the invention described in claims 3 and 6, it is possible to improve the detection accuracy of the accumulated matter generated in the divided areas and to determine in which part of the screen the accumulated matter is generated. be able to.
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の道路監視システムの一実施形態例の構成を示すブロック図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings, but the present invention is not limited to the following embodiments. FIG. 1 is a block diagram showing the configuration of an embodiment of the road monitoring system of the present invention.
図１において、１００は監視対象の道路を撮影する、固定された監視カメラ（撮影手段）である。２００は、監視カメラ１００により取得された監視映像に対して、直近のあらかじめ設定された時間（フレーム）で逐次、フレーム画像の画素毎の画像信号を平均化するフレーム間平均処理を施してフレーム間平均映像を得るフレーム間平均処理手段である。 In FIG. 1, reference numeral 100 denotes a fixed surveillance camera (imaging means) that photographs a road to be monitored. 200 performs an inter-frame averaging process for averaging the image signals for each pixel of the frame image sequentially for the latest preset time (frame) on the monitoring video acquired by the monitoring camera 100. This is an inter-frame average processing means for obtaining an average video.
３００は、前記フレーム間平均処理手段２００により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理手段である。 300 is a high-frequency component evaluation process for analyzing the frequency for each frame of the inter-frame average video obtained by the inter-frame average processing means 200 and performing a high-frequency component evaluation process for obtaining a temporal transition of the high-frequency component amount. Means.
４００は、前記高周波成分評価処理手段３００により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定手段である。 400 determines whether or not the high-frequency component has increased by a predetermined value or more based on the temporal transition of the high-frequency component amount obtained by the high-frequency component evaluation processing means 300. It is an abnormality determination means for determining that there is a stay due to unloading.
前記フレーム間平均処理手段２００、高周波成分評価処理手段３００および異常判定手段４００の各機能は、例えばコンピュータによって達成される。 Each function of the inter-frame average processing means 200, the high frequency component evaluation processing means 300, and the abnormality determination means 400 is achieved by, for example, a computer.
前記フレーム間平均処理手段２００の詳細は図２のように構成されている。図２において、ｎフレームの平均処理を行う場合には、監視カメラ１００から入力される映像の各画素の画像信号に対して、ｎフレーム分の時間遅れ映像を時間遅れ映像作成部２１０-１〜２１０-（ｎ−１）によって各々作成し、それを除算部２２０-０〜２２０-（ｎ−１）によって各々ｎで除し、加算部２３０-１〜２３０-ｎ−１によって足し合わせることで、元の監視映像からフレーム間平均映像が作成できる。 The details of the inter-frame average processing means 200 are configured as shown in FIG. In Figure 2, when performing an average processing for n frames, the image signal of each pixel of the images input from the monitoring camera 100, a time delay video n frames delay image generator 210 - 1 210 - create each by (n-1), which division unit 220 - 0 to 220 - divided by each n by (n-1), adding section 230 - 1-230 - by adding up the n-1 The average video between frames can be created from the original surveillance video.
なお、図２では連続したｎフレーム全てに対して平均処理を行っているが、本発明におけるフレーム間平均処理は、必ずしも全フレームである必要はなく、例えば、２フレームに１枚の形で平均処理を行うことによっても効果が得られる。 In FIG. 2, the average processing is performed for all the consecutive n frames. However, the inter-frame average processing in the present invention does not necessarily have to be for all frames. The effect can also be obtained by performing the processing.
高周波成分評価処理手段３００以降については、図３のフレーム間平均処理の適用例を用いて説明する。図３は、スムーズな交通状態の際の生映像（ａ）およびフレーム間平均映像（ｂ）と、事故車両が存在する状態の生映像（ｃ）およびフレーム間平均映像（ｄ）とを示している。 The high-frequency component evaluation processing unit 300 and subsequent steps will be described using an application example of the inter-frame averaging process of FIG. FIG. 3 shows a raw image (a) and an average inter-frame image (b) in a smooth traffic state, and a raw image (c) and an average inter-frame image (d) in a state where an accident vehicle exists. Yes.
図３において、平均処理が十分に長い時間（フレーム）であれば、通常の交通状態の映像（ａ）に対するフレーム間平均映像（ｂ）のように、個々の車両は全く見えなくなる。一般の映像による交通監視などにおいては、一時的に画面の大きな部分を占めるトラックが走行した場合の遮蔽などが課題となるが、本発明においては、仮にトラックが走行しても、平均処理の効果により、その影響は無視できる。このことは、本発明の手法の特徴であり、メリットである。 In FIG. 3, if the averaging process is sufficiently long (frame), the individual vehicles are completely invisible as in the inter-frame average image (b) for the normal traffic image (a). In traffic monitoring using general video, there is a problem of shielding when a truck that occupies a large part of the screen temporarily travels, but in the present invention, even if the truck travels, the effect of the average processing The effect can be ignored. This is a feature and merit of the method of the present invention.
ここで、図３（ｃ）のように事故により動けなくなった車両が存在する場合を考える。同様に、フレーム間処理を施すと、事故車以外は図３（ａ）の正常な交通状態の場合と同様に見えなくなる（図３（ｂ））が、事故車は動きがほとんどないために、平均処理を行っても明瞭に映し出される（図３（ｄ））。 Here, consider a case where there is a vehicle that cannot move due to an accident as shown in FIG. Similarly, when the inter-frame processing is performed, the vehicle other than the accident vehicle becomes invisible as in the normal traffic state in FIG. 3A (FIG. 3B), but the accident vehicle has almost no movement. Even if the averaging process is performed, the image is clearly displayed (FIG. 3D).
一般に、明瞭に映し出されたもの、特にエッジなどが存在する場合には、その画像の高周波成分が増大する。図１の高周波成分評価処理手段３００は、この特性に着目して、フレーム間平均映像を、フレーム毎に周波数解析を行い、その高周波成分の量を評価し、その値が基準以上に達することをもって事故車両などの滞留物を発見するものである。 In general, when there is a clear image, particularly an edge, the high frequency component of the image increases. The high-frequency component evaluation processing means 300 in FIG. 1 pays attention to this characteristic, performs frequency analysis on the inter-frame average video for each frame, evaluates the amount of the high-frequency component, and when the value reaches or exceeds the standard. It is to find stagnant things such as accident vehicles.
図４は高周波成分評価処理の一例を説明するものである。図４（ａ）はフレーム間平均処理手段２００により得られたフレーム間平均映像のパワースペクトル密度例である。中心が低周波、周辺部が高周波成分を表し、色が白いところほど、当該周波数成分のパワーが強いことを表す。事故車などの滞留物により高周波成分が増すとは、周辺部の周波数成分のパワーが増大するということである。 FIG. 4 illustrates an example of the high frequency component evaluation process. FIG. 4A shows an example of the power spectrum density of the average image between frames obtained by the average processing means 200 between frames. The lower the frequency is at the center, the higher frequency is at the periphery, and the whiter the color, the stronger the power of the frequency component. An increase in high-frequency components due to a stagnant vehicle such as an accident vehicle means that the power of the frequency components in the periphery increases.
従って、図４（ｂ）のように、高周波成分に積算領域を設定し、その領域のパワーの総和を求めると、その値は、滞留物が生じた場合に増加する。図４（ｃ）は図４（ａ）のパワースペクトル密度に対する、図４（ｂ）の積算領域のパワーの総和の時間推移例（高周波成分評価処理手段３００の処理結果例）である。事故車などにより滞留物が監視領域上に発生すると、積算領域パワー総和が著しく増大する。そこで異常判定手段４００において、通常の変動範囲より高いレベルに閾値を設定しておけば、積算領域パワー総和の著しい増大、すなわち事故車などの滞留物の発生を検知することができる。 Therefore, as shown in FIG. 4B, when an integrated region is set for the high-frequency component and the total power of the region is obtained, the value increases when stagnant occurs. FIG. 4C is a time transition example (example of processing results of the high-frequency component evaluation processing means 300) of the total power in the integration region of FIG. 4B with respect to the power spectral density of FIG. 4A. When stagnant occurs on the monitoring area due to an accident vehicle or the like, the total power of the integrated area significantly increases. Therefore, if the abnormality determination means 400 sets a threshold value at a level higher than the normal fluctuation range, it is possible to detect a significant increase in the integrated area power total, that is, occurrence of a stagnant object such as an accident vehicle.
ところで、道路上では、事故車、積載物の落下、駐車など、本発明が検知する滞留物が生じる場面は限られるが、一般のシーンでは、同様の視覚的な変化を起こす現象には様々なものがある。つまり道路と道路外が混在した場合には、本発明手法による道路上の滞留物の検知の精度が低下してしまう可能性がある。通常、固定カメラによる監視では、画面の中の道路領域は固定されていることを鑑みると、フレーム間平均処理をした後の高周波成分評価処理を行う領域（監視領域)を図５のように予め指定することにより、道路外の領域におきた事象の影響を排除することができ、結果として道路上の滞留物の検知精度向上が図られる。 By the way, on the road, there are limited scenes where the present invention detects stagnant objects such as accident cars, dropped loads, parking, etc., but in general scenes there are various phenomena that cause similar visual changes. There is something. That is, when the road and the outside of the road coexist, there is a possibility that the accuracy of the detection of the stay on the road by the method of the present invention may be lowered. In general, in the monitoring with a fixed camera, in consideration of the fact that the road area in the screen is fixed, the area (monitoring area) for performing the high-frequency component evaluation process after the inter-frame averaging process is previously set as shown in FIG. By designating, it is possible to eliminate the influence of an event that has occurred in an area outside the road, and as a result, the detection accuracy of the accumulated matter on the road can be improved.
また、前記監視領域に占める滞留物の大きさが大きいほど、図４（ｃ）の積算領域パワー総和の値の変化が顕著になる。そこで例えば図６のように監視領域を複数の監視ブロックに分割し、ブロック毎に高周波成分評価処理を行うことで、監視領域に対する滞留物の大きさを相対的にあげることができる。すなわち、当該ブロック内に発生した滞留物の検知精度が上げられるとともに、大まかな場所の特定まで可能となる。図７はその実施例の構成を示している。 In addition, the larger the size of the accumulated matter in the monitoring area, the more remarkable the change in the integrated area power total value in FIG. Therefore, for example, as shown in FIG. 6, the monitoring area is divided into a plurality of monitoring blocks, and the high-frequency component evaluation process is performed for each block, so that the size of the accumulated matter relative to the monitoring area can be relatively increased. That is, the detection accuracy of the staying matter generated in the block can be improved, and the rough location can be specified. FIG. 7 shows the configuration of the embodiment.
図７において図１と同一部分は同一符号をもって示している。図７において、３００-１〜３００-ｍは、ｍ個に分割された監視ブロック１〜ｍ毎に高周波成分評価処理を行う高周波成分評価処理手段であり、４００-１〜４００-ｍは、前記分割された監視ブロック１〜ｍ毎に高周波成分評価処理された高周波成分量（図４（ｃ）の積算領域パワー総和）が閾値以上増加したか否かを各々判定する異常判定手段であり、４００は、異常判定手段４００-１〜４００-ｍの判定結果をとりまとめて、画面のどの部分に滞留物が発生したかを判定する異常判定手段である。 7, the same parts as those in FIG. 1 are denoted by the same reference numerals. In FIG. 7, 300 - 1 to 300 - m is the high frequency component evaluation processing means for performing a high frequency component evaluation process for each monitor block 1~m divided into m, 400 - 1 to 400 - m, the 400 is an abnormality determination unit that determines whether or not the amount of high-frequency components subjected to high-frequency component evaluation processing for each of the divided monitoring blocks 1 to m (the integrated region power sum in FIG. 4C) has increased by a threshold value or more. , the abnormality judgment means 400 - 1 to 400 - and summarized the determination result of m, which is the abnormality determination means for determining whether retentate occurs in any part of the screen.
フレーム間平均処理手段２００におけるフレーム間平均処理は全画面で共通のため、監視カメラ１００より送られた監視映像からフレーム間平均映像が作成されるまでは一元的に処理を行う。その後の高周波成分評価処理と異常判定については、監視ブロック１〜ｍ毎に並行して実施し（本実施例では監視ブロックの総数をｍとしている）、これらの結果を異常判定手段４００によりとりまとめることで、画面のどの部分に滞留物が発生したのか判定することが可能となる。 Since the inter-frame average processing in the inter-frame average processing means 200 is common to all screens, the processing is centralized until the inter-frame average video is created from the monitoring video sent from the monitoring camera 100. Subsequent high frequency component evaluation processing and abnormality determination are performed in parallel for each of the monitoring blocks 1 to m (in this embodiment, the total number of monitoring blocks is m), and these results are collected by the abnormality determination means 400. Thus, it is possible to determine in which part of the screen the accumulated matter has occurred.
次に本発明の道路監視方法の実施形態例を説明する。本実施形態例では、図１〜図７で述べた道路監視システムにおける各処理を実行するものである。 Next, an embodiment of the road monitoring method of the present invention will be described. In this embodiment, each process in the road monitoring system described in FIGS. 1 to 7 is executed.
すなわち、
ステップＳ１； フレーム間平均処理手段２００が、設定された時間内の監視カメラ１００により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得る。
That is,
Step S1: The inter-frame average processing means 200 averages the image signal for each pixel of the frame image with respect to the monitoring video taken by the monitoring camera 100 within the set time to obtain the inter-frame average video.
ステップＳ２； 高周波成分評価処理手段３００が、前記フレーム間平均処理手段２００により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う。 Step S2: The high-frequency component evaluation processing means 300 analyzes the frequency for each frame of the inter-frame average video obtained by the inter-frame average processing means 200 and obtains the temporal transition of the high-frequency component amount. Perform the evaluation process.
ステップＳ３； 異常判定手段４００が、前記高周波成分評価処理手段３００により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する。 Step S3: When the abnormality determination means 400 determines whether or not the high frequency component has increased by a predetermined value or more based on the temporal transition of the high frequency component amount obtained by the high frequency component evaluation processing means 300. It is determined that there is a stay on the road due to an accident or a load drop.
また、他の実施例として、前記ステップＳ２は、前記監視カメラ１００により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行う。 As another embodiment, the step S2 sets the area occupied by the road surface of the road to be monitored as the monitoring area in the screen of the monitoring video taken by the monitoring camera 100, and the setting is performed. The high-frequency component evaluation process is performed only in the monitoring area.
また、他の実施例として、前記ステップＳ２は、前記設定した監視領域を複数に分割し、該分割した領域（図７の監視ブロック１〜ｍ）毎に前記高周波成分評価処理を行い、前記ステップＳ３は、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い（図７の異常判定手段４００-１〜４００-ｍ）、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断する（図７の異常判定手段４００）。 As another embodiment, the step S2 divides the set monitoring area into a plurality of areas, and performs the high-frequency component evaluation process for each of the divided areas (monitoring blocks 1 to m in FIG. 7). S3 is the the high frequency component in each divided region is a judgment of whether increased above a predetermined value (Fig. 7 of the abnormality judgment means 400 - 1~400 - m), photographed in is determined increased the area It is determined that the stagnant material is present at the place where the error has occurred (abnormality determination means 400 in FIG. 7).
また、本実施形態の道路監視システムにおける各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の道路監視方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。 Further, a part or all of the functions of each means in the road monitoring system of the present embodiment can be configured by a computer program, and the program can be executed using the computer to realize the present invention. It goes without saying that the procedure in the road monitoring method can be constituted by a computer program and the program can be executed by the computer, and the program for realizing the function by the computer can be read by a computer-readable recording medium such as an FD. (Floppy (registered trademark) Disk), MO (Magneto-Optical disk), ROM (Read Only Memory), memory card, CD (Compact Disk) -ROM, DVD (Digital Versatile) Disk) -ROM, CD-R, CD-RW, HDD, removable disk, etc., and can be stored and distributed. It is also possible to provide the above program through a network such as the Internet or electronic mail.
１００…監視カメラ、２００…フレーム間平均処理手段、３００，３００-１〜３００-ｍ…高周波成分評価処理手段、４００，４００-１〜４００-ｍ…異常判定手段。 100 ... surveillance cameras, 200 ... interframe average processing means, 300, 300 - 1 to 300 - m ... high frequency component evaluation processing unit, 400, 400 - 1 to 400 - m ... abnormality determining means.
Claims (7)
設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、
前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理手段と、
前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定手段とを備えたことを特徴とする道路監視システム。 In a road monitoring system that monitors road conditions with fixed imaging means,
An inter-frame average processing unit that averages image signals for each pixel of a frame image to obtain an inter-frame average video for the monitoring video captured by the imaging unit within a set time;
High-frequency component evaluation processing means for performing high-frequency component evaluation processing for analyzing the frequency for each frame and obtaining temporal transition of the amount of high-frequency components with respect to the inter-frame average video obtained by the inter-frame average processing means;
Based on the temporal transition of the high-frequency component amount obtained by the high-frequency component evaluation processing means, it is determined whether or not the high-frequency component has increased by a predetermined value or more. A road monitoring system comprising an abnormality determining means for determining that an object is present.
前記異常判定手段は、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴とする請求項２に記載の道路監視システム。 The high-frequency component evaluation processing means divides the set monitoring region into a plurality, performs the high-frequency component evaluation processing for each of the divided regions,
The abnormality determination means determines whether or not the high-frequency component has increased by a predetermined value or more for each of the divided areas, and determines that the stagnant material is present at a location photographed in the area determined to have increased. The road monitoring system according to claim 2, wherein:
フレーム間平均処理手段が、設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、
高周波成分評価処理手段が、前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理ステップと、
異常判定手段が、前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定ステップとを備えたことを特徴とする道路監視方法。 In a road monitoring method for monitoring a road situation by a fixed photographing means,
An inter-frame averaging processing step for averaging an image signal for each pixel of a frame image to obtain an average inter-frame image with respect to the monitoring video captured by the imaging unit within a set time; ,
The high frequency component evaluation processing means performs a high frequency component evaluation process for analyzing the frequency for each frame of the inter-frame average video obtained by the inter-frame average processing means and obtaining a temporal transition of the high frequency component amount. Component evaluation processing steps;
The abnormality determination means determines whether or not the high-frequency component has increased by a predetermined value or more based on the temporal transition of the high-frequency component amount obtained by the high-frequency component evaluation processing means. And an abnormality determination step for determining that there is a stagnant due to falling cargo.
前記異常判定ステップは、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴とする請求項５に記載の道路監視方法。 The high-frequency component evaluation processing step divides the set monitoring region into a plurality, performs the high-frequency component evaluation processing for each of the divided regions,
The abnormality determination step determines whether or not the high-frequency component has increased by a predetermined value or more for each of the divided areas, and determines that the stagnant is present at a location photographed in the area determined to have increased. The road monitoring method according to claim 5, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008317779A JP2010141755A (en) | 2008-12-15 | 2008-12-15 | System, method and program for monitoring road |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008317779A JP2010141755A (en) | 2008-12-15 | 2008-12-15 | System, method and program for monitoring road |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010141755A true JP2010141755A (en) | 2010-06-24 |
Family
ID=42351452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008317779A Pending JP2010141755A (en) | 2008-12-15 | 2008-12-15 | System, method and program for monitoring road |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010141755A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014186550A (en) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | Image processor, image processing method and image processing program |
| CN104240505A (en) * | 2014-09-11 | 2014-12-24 | 胡又宏 | Method for analyzing road traffic video image information |
| US10200649B2 (en) * | 2014-02-07 | 2019-02-05 | Morpho, Inc. | Image processing device, image processing method and recording medium for reducing noise in image |
| CN114885210A (en) * | 2022-04-22 | 2022-08-09 | 海信集团控股股份有限公司 | Course video processing method, server and display equipment |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07334668A (en) * | 1994-06-10 | 1995-12-22 | Canon Inc | Method and device for picture processing |
| JPH08153299A (en) * | 1994-11-29 | 1996-06-11 | Anritsu Corp | Instrument for measuring traffic jam length |
| JPH11144167A (en) * | 1997-11-06 | 1999-05-28 | Nohmi Bosai Ltd | Fire detecting device |
| JP2003067727A (en) * | 2001-08-28 | 2003-03-07 | Toyota Central Res & Dev Lab Inc | Environmental complexity arithmetic system, environmental recognition level estimation system and obstruction warning system |
| JP2004326270A (en) * | 2003-04-22 | 2004-11-18 | Koito Ind Ltd | Falling object on street detection device |
| JP2005182732A (en) * | 2003-11-25 | 2005-07-07 | Victor Co Of Japan Ltd | Image processing device, image processing method and motion detector |
-
2008
- 2008-12-15 JP JP2008317779A patent/JP2010141755A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07334668A (en) * | 1994-06-10 | 1995-12-22 | Canon Inc | Method and device for picture processing |
| JPH08153299A (en) * | 1994-11-29 | 1996-06-11 | Anritsu Corp | Instrument for measuring traffic jam length |
| JPH11144167A (en) * | 1997-11-06 | 1999-05-28 | Nohmi Bosai Ltd | Fire detecting device |
| JP2003067727A (en) * | 2001-08-28 | 2003-03-07 | Toyota Central Res & Dev Lab Inc | Environmental complexity arithmetic system, environmental recognition level estimation system and obstruction warning system |
| JP2004326270A (en) * | 2003-04-22 | 2004-11-18 | Koito Ind Ltd | Falling object on street detection device |
| JP2005182732A (en) * | 2003-11-25 | 2005-07-07 | Victor Co Of Japan Ltd | Image processing device, image processing method and motion detector |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014186550A (en) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | Image processor, image processing method and image processing program |
| US10200649B2 (en) * | 2014-02-07 | 2019-02-05 | Morpho, Inc. | Image processing device, image processing method and recording medium for reducing noise in image |
| CN104240505A (en) * | 2014-09-11 | 2014-12-24 | 胡又宏 | Method for analyzing road traffic video image information |
| CN114885210A (en) * | 2022-04-22 | 2022-08-09 | 海信集团控股股份有限公司 | Course video processing method, server and display equipment |
| CN114885210B (en) * | 2022-04-22 | 2023-11-28 | 海信集团控股股份有限公司 | Tutorial video processing method, server and display device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bas et al. | Automatic vehicle counting from video for traffic flow analysis | |
| US9442176B2 (en) | Bus lane infraction detection method and system | |
| KR101793636B1 (en) | Image processing system | |
| JP4987573B2 (en) | Outside monitoring device | |
| US20120019728A1 (en) | Dynamic Illumination Compensation For Background Subtraction | |
| US8942913B2 (en) | System and method for on-road traffic density analytics using video stream mining and statistical techniques | |
| US20170032199A1 (en) | Video data analyzing method and apparatus and parking lot monitoring system | |
| EP2549738A1 (en) | Method and camera for determining an image adjustment parameter | |
| US20150310459A1 (en) | System and method for video-based detection of drive-arounds in a retail setting | |
| KR101964683B1 (en) | Apparatus for Processing Image Smartly and Driving Method Thereof | |
| JP2007066124A (en) | Method and device for generating background image and image monitoring system | |
| CN105825198A (en) | Pedestrian detection method and device | |
| US9030559B2 (en) | Constrained parametric curve detection using clustering on Hough curves over a sequence of images | |
| KR102159954B1 (en) | Method for establishing region of interest in intelligent video analytics and video analysis apparatus using the same | |
| JP6678552B2 (en) | Vehicle type identification device and vehicle type identification method | |
| JP2011076316A (en) | Device, method and program for crowd watching | |
| JP2010141755A (en) | System, method and program for monitoring road | |
| JP2002190013A (en) | System and method for detecting congestion by image recognition | |
| JP4982472B2 (en) | Video surveillance system, video surveillance method, and video surveillance program | |
| KR100920937B1 (en) | Apparatus and method for detecting motion, and storing video within security system | |
| JP2007164375A (en) | Three-dimensional object detection device and method, computer readable medium and three-dimensional object management system | |
| JP2020078046A (en) | Method of converting alert | |
| JP2008028478A (en) | Obstacle detection system, and obstacle detecting method | |
| KR101267279B1 (en) | Video processing apparatus and method for removing rain from video | |
| JP5677120B2 (en) | Fog detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Effective date: 20100611 Free format text: JAPANESE INTERMEDIATE CODE: A7422 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101208 |
|
| A977 | Report on retrieval |
Effective date: 20120517 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20120612 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121016 |