JP2001326903A - Video recording judging device and method, and edge extracting apparatus - Google Patents

Video recording judging device and method, and edge extracting apparatus

Info

Publication number
JP2001326903A
JP2001326903A JP2000143552A JP2000143552A JP2001326903A JP 2001326903 A JP2001326903 A JP 2001326903A JP 2000143552 A JP2000143552 A JP 2000143552A JP 2000143552 A JP2000143552 A JP 2000143552A JP 2001326903 A JP2001326903 A JP 2001326903A
Authority
JP
Japan
Prior art keywords
edge
recording
image information
frame
differential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000143552A
Other languages
Japanese (ja)
Other versions
JP4323682B2 (en
Inventor
Reiko Sawa
礼子 澤
Takashi Tsuchiya
隆 土谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2000143552A priority Critical patent/JP4323682B2/en
Publication of JP2001326903A publication Critical patent/JP2001326903A/en
Application granted granted Critical
Publication of JP4323682B2 publication Critical patent/JP4323682B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To solve a drawback that a method for recording all image information photographed with a monitoring camera requires a huge capacity on a storage disk and causes the problem with respect to cost and management. SOLUTION: The device to record image information on a videotape while acquiring image information from a photographic means to film a monitoring range serially is provided with a frame difference detecting means to calculate a frame difference Df which is the difference between the image information of a reference frame Rf and the image information of a current frame Cf among photographing results by a photographing means, an edge detection means to detect the edge component of the frame difference, and a state judging means to stop the video recording of image information or to switch to the video recording of low frame rate when there are few edge components or few variations of edge components.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、監視カメラから入
力される画像情報を基に、エレベータ等の人の出入りの
発生する室内において、人の乗降などを判定するための
技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for judging the getting on and off of a person in a room such as an elevator where people enter and exit based on image information input from a surveillance camera.

【0002】[0002]

【発明の背景】ビル内のセキュリティー管理のため、若
しくは、緊急事態における情報取得のため、エレベータ
等の利用者の乗降が発生する室内には、監視カメラが設
置されており、室内の状況をリアルタイムに、又、録画
情報を基に把握可能としている。
BACKGROUND OF THE INVENTION In order to manage security in a building or to obtain information in an emergency, a surveillance camera is installed in a room where a user such as an elevator gets on and off, and the situation in the room can be monitored in real time. In addition, it can be grasped based on the recording information.

【0003】そして、従来の監視システムにおいては、
監視カメラの撮影した画像情報の全てをディスクに蓄積
していた。
[0003] In a conventional monitoring system,
All of the image information captured by the surveillance camera was stored on the disk.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、監視カ
メラが撮影した画像情報を全て蓄積する従来装置におい
ては、蓄積用のディスクとして非常に容量の大きなもの
が必要となる。しかも、蓄積する画像データは、その重
要性から、ある程度の保存期間を必要とする。例えば、
ビル内への侵入があったことが相当時間経過後に発覚す
る場合もあり、この場合、過去の画像情報を参照する必
要がある。
However, in the conventional apparatus for storing all the image information captured by the surveillance camera, a very large storage disk is required. Moreover, the stored image data requires a certain storage period due to its importance. For example,
In some cases, the intrusion into the building is detected after a lapse of a considerable time, and in this case, it is necessary to refer to past image information.

【0005】また、ビル内には複数のエレベータが設置
されている場合もあり、さらに、ビル等のセキュリティ
ーを必要とされる空間内には、他の場所においても監視
カメラが設置される場合があるため、これら全ての監視
カメラが撮影する画像情報を全時間に亘ってディスクに
蓄積するには、ディスクの全容量は膨大なものとなり、
費用面においても管理面においても問題となる。
[0005] In some cases, a plurality of elevators are installed in a building, and a surveillance camera is installed in other places in a space where security such as a building is required. Therefore, in order to store the image information captured by all of these surveillance cameras on the disk over the entire time, the total capacity of the disk becomes enormous,
There are both cost and management issues.

【0006】本発明は上記問題点に鑑み、監視に必要な
情報の保存性を失うことなく、録画に必要な容量を削減
することを可能とした録画判定技術と、それに利用可能
な新規なエッジ抽出技術を提供することを目的とする。
SUMMARY OF THE INVENTION In view of the above problems, the present invention has been made in view of the above circumstances and has made it possible to reduce the capacity required for recording without losing the preservation of information necessary for monitoring. The purpose is to provide an extraction technique.

【0007】[0007]

【課題を解決するための手段】上記課題を解決するた
め、請求項1に記載の発明は、監視範囲内を連続撮影す
る撮影手段から画像情報を取得するとともに記憶装置に
録画を行わせる装置であって、撮影手段による撮影結果
のうち、基準となるリファレンスフレームと、逐次更新
されるカレントフレームとの画像情報の差分であるフレ
ーム差分を算出するフレーム差分検出手段と、フレーム
差分のエッジ成分を検出するエッジ検出手段と、エッジ
成分に関する量的評価によって、カレントフレーム内の
状況がリファレンスフレームの状況から実質的に変化し
ていないと判定された場合に、記憶装置への画像情報の
録画の停止または録画の低フレームレートへの切り換え
を行う状態判定手段と、を備えることを特徴とする。
According to an aspect of the present invention, there is provided an apparatus for acquiring image information from photographing means for continuously photographing an area within a monitoring range and recording the image information in a storage device. A frame difference detection unit that calculates a frame difference that is a difference between image information between a reference frame serving as a reference and a current frame that is sequentially updated, and detects an edge component of the frame difference. Stopping the recording of the image information to the storage device or when it is determined that the situation in the current frame has not substantially changed from the situation of the reference frame by the edge detection means and the quantitative evaluation of the edge component. State determination means for switching the recording to a low frame rate.

【0008】また、請求項2に記載の発明は、請求項1
記載の録画判定装置であって、状態判定手段が、第1の
判定基準によって前記エッジ成分が少ないと判定した場
合に、記憶装置への画像情報の録画の停止または録画の
低フレームレートへの切り換えを行うエッジ成分判定手
段、を含むことを特徴とする。
[0008] The invention described in claim 2 is the first invention.
The recording determination apparatus according to claim 1, wherein when the state determination unit determines that the edge component is small based on a first determination criterion, the recording of the image information to the storage device is stopped or the recording is switched to a low frame rate. Edge component determining means for performing the following.

【0009】また、請求項3に記載の発明は、請求項1
または請求項2に記載の録画判定装置であって、状態判
定手段が、第2の判定基準によって前記エッジ成分の時
間的変動量が少ないと判定した場合に、記憶装置への画
像情報の録画の停止または録画の低フレームレートへの
切り換えを行うエッジ変動判定手段、を含むことを特徴
とする。
[0009] The invention described in claim 3 is the first invention.
3. The recording determination device according to claim 2, wherein when the state determination unit determines that the temporal variation of the edge component is small based on a second determination criterion, the state determination unit determines whether the image information is to be recorded in the storage device. Edge fluctuation determining means for stopping or switching to a low frame rate for recording.

【0010】また、請求項4に記載の発明は、請求項1
ないし請求項3のいずれかに記載の録画判定装置であっ
て、エッジ検出手段は、所定の領域選別基準によって前
記フレーム差分をエッジ検出の候補領域と非候補領域と
に選別する候補領域選別手段と、所定のエッジ類別基準
によって前記候補領域から真のエッジ成分を検出する真
エッジ検出手段とを備え、真のエッジ成分に関して量的
評価を行うことを特徴とする。
[0010] The invention described in claim 4 is the first invention.
4. The recording determination device according to claim 3, wherein the edge detection unit is a candidate region selection unit that selects the frame difference into a candidate region for edge detection and a non-candidate region according to a predetermined region selection criterion. True edge detecting means for detecting a true edge component from the candidate area according to a predetermined edge classification criterion, and quantitatively evaluating the true edge component.

【0011】また、請求項5に記載の発明は、請求項4
に記載の録画判定装置であって、真エッジ検出手段は、
フレーム差分の画像情報の微分値を求める微分フィルタ
リング処理手段と、非候補領域の微分値の局所的な最大
値を求める局所最大値算出手段と、非候補領域の局所最
大値の平均値を求める微分平均値算出手段と、候補領域
の画像情報が微分平均値を上回る場合に、当該候補領域
に真のエッジ成分が存在すると判断する真エッジ判断手
段とを備えることを特徴とする。
[0011] The invention described in claim 5 is the same as in claim 4.
Wherein the true edge detection means,
Differential filtering processing means for obtaining the differential value of the image information of the frame difference, local maximum value calculating means for obtaining a local maximum value of the differential value of the non-candidate area, and differential obtaining the average value of the local maximum value of the non-candidate area It is characterized by comprising an average value calculating means and a true edge determining means for determining that a true edge component exists in the candidate area when the image information of the candidate area exceeds the differential average value.

【0012】また、請求項6に記載の発明は、請求項3
に記載の録画判定装置であって、エッジ変動判定手段
は、過去のフレーム差分のエッジ成分と、カレントのフ
レーム差分のエッジ成分の共通集合および合併集合を抽
出する集合抽出手段と、合併集合に対する共通集合の割
合をエッジ成分の固定度として求めるエッジ固定度算出
手段と、エッジ成分の固定度が所定のしきい値を上回る
フレームが連続した場合に、エッジ成分の変動が少ない
と判断する固定度依存判定手段とを備えることを特徴と
する。
The invention according to claim 6 is the same as the invention according to claim 3.
Wherein the edge variation determining means includes: a set extracting means for extracting a common set and a merged set of an edge component of a past frame difference, an edge component of a current frame difference, and a common set for the merged set. Edge fixing degree calculating means for calculating the ratio of the set as the degree of fixing of the edge component; and a fixing degree dependent for judging that the fluctuation of the edge component is small when consecutive frames in which the fixing degree of the edge component exceeds a predetermined threshold value. Determining means.

【0013】また、請求項7に記載の発明は、監視範囲
内を連続撮影する撮影手段から画像情報を取得するとと
もに記憶装置に録画を行わせる方法であって、撮影手段
による撮影結果のうち、基準となるリファレンスフレー
ムと、逐次更新されるカレントフレームとの画像情報の
差分であるフレーム差分を算出するフレーム差分検出工
程と、フレーム差分のエッジ成分を検出するエッジ検出
工程と、エッジ成分に関する量的評価によって、カレン
トフレーム内の状況が前記リファレンスフレームの状況
から実質的に変化していないと判定された場合に、記憶
装置への画像情報の録画の停止または録画の低フレーム
レートへの切り換えを行う状態判定工程とを備えること
を特徴とする。
According to a seventh aspect of the present invention, there is provided a method for acquiring image information from a photographing means for continuously photographing the inside of a monitoring range and causing a storage device to record the image information. A frame difference detecting step of calculating a frame difference which is a difference between image information of a reference frame serving as a reference and a sequentially updated current frame; an edge detecting step of detecting an edge component of the frame difference; When it is determined by the evaluation that the situation in the current frame has not substantially changed from the situation of the reference frame, the recording of image information to the storage device is stopped or the recording is switched to a low frame rate. And a state determining step.

【0014】また、請求項8に記載の発明は、画像の中
からエッジを抽出する装置であって、所定の画像範囲に
ついて画像情報の微分値を求める微分フィルタリング処
理手段と、所定の領域選別基準によって、前記画像範囲
をエッジ検出の候補領域と非候補領域とに選別する候補
領域選別手段と、非候補領域の微分値の局所的な最大値
を求める局所最大値算出手段と、非候補領域の局所最大
値の平均値を求める微分平均値算出手段と、候補領域の
画像情報が微分平均値を上回る場合に、当該候補領域に
前記エッジ成分が存在すると判断するエッジ判断手段と
を備えることを特徴とする。
According to a further aspect of the present invention, there is provided an apparatus for extracting an edge from an image, comprising: a differential filtering processing means for obtaining a differential value of image information in a predetermined image range; and a predetermined area selection criterion. A candidate area selecting means for selecting the image range into a candidate area and a non-candidate area for edge detection; a local maximum value calculating means for obtaining a local maximum value of a differential value of the non-candidate area; A differential average value calculating unit that calculates an average value of local maximum values; and an edge determining unit that determines that the edge component exists in the candidate region when image information of the candidate region exceeds the differential average value. And

【0015】[0015]

【発明の実施の形態】以下、図面を参照しつつ本発明の
実施の形態について説明する。まず、録画判定装置の全
体概略構成について説明する。図1に示すようにエレベ
ータ等の監視範囲1内には、撮影手段である監視カメラ
2が設置されており、監視カメラ2による撮影結果が、
インターフェース7(I/F)を介して、録画判定装置
3内のディスク6に保存されることによって録画され
る。録画判定装置3は、MPU4、メモリ5等を有して
おり、ディスク6内に保存された画像情報を適宜メモリ
5内に読み込み画像解析を行い、解析結果に基づいて録
画制御を行うものである。
Embodiments of the present invention will be described below with reference to the drawings. First, the overall schematic configuration of the recording determination device will be described. As shown in FIG. 1, a surveillance camera 2 as a photographing means is installed in a surveillance range 1 of an elevator or the like.
Recording is performed by being stored on the disk 6 in the recording determination device 3 via the interface 7 (I / F). The recording determination device 3 includes an MPU 4, a memory 5, and the like, reads image information stored in the disk 6 into the memory 5 as appropriate, performs image analysis, and performs recording control based on the analysis result. .

【0016】次に、以下の説明における用語についての
定義する。リファレンスフレームとは、監視カメラ2が
撮影した空状態の画像情報、つまり、利用者(乗降者)
が撮影されていない状態の監視範囲1の画像情報であ
り、予め録画判定装置3内部でディスク6に保有してい
る情報である。ただし、後で述べるように環境の変化に
応じて定常状態は変化するので、この場合には、必要に
応じてリファレンスフレームは更新されることとなる。
一般には録画判定装置において非録画と判定された場合
に、リファレンスフレームを更新する。
Next, terms in the following description will be defined. The reference frame is image information of an empty state taken by the surveillance camera 2, that is, a user (passenger)
Is image information of the monitoring range 1 in a state where no image is captured, and is information previously held in the disk 6 inside the recording determination device 3. However, since the steady state changes in accordance with a change in the environment, as will be described later, in this case, the reference frame is updated as needed.
Generally, the reference frame is updated when the recording determination device determines that the image is not recorded.

【0017】カレントフレームは監視カメラ2により撮
影される画像情報の最新の情報であり、逐次更新されて
ディスク6に保存される。なお、過去の複数フレームの
画像情報はエッジ成分の固定度(その定義は後述する)
の算出のため保存されている。
The current frame is the latest information of the image information captured by the surveillance camera 2, and is sequentially updated and stored on the disk 6. Note that the past image information of a plurality of frames is a fixed degree of an edge component (the definition will be described later).
Is stored for the calculation of.

【0018】フレーム差分とは、リファレンスフレーム
とカレントフレームの画像情報の差分データであり、リ
ファレンスフレームの各画素の輝度値から、カレントフ
レームの各画素の輝度値を引いたフレーム全体の情報で
ある。
The frame difference is difference data between the image information of the reference frame and the image information of the current frame, and is information on the entire frame obtained by subtracting the luminance value of each pixel of the current frame from the luminance value of each pixel of the reference frame.

【0019】図2は録画状態制御全体フローを示す。ま
ず、録画状態制御の前段階として、検出領域設定処理
(ステップs11)を行う。
FIG. 2 shows the overall flow of the recording state control. First, a detection area setting process (step s11) is performed as a stage prior to the recording state control.

【0020】検出領域設定処理は、画像情報の中で録画
判定を行う領域を設定する処理である。例えば、扉に窓
がついていたり(マンション用等)、LCDモニタが設
置されているエレベータの場合等、フレーム差分に窓の
外の人の動きやLCDモニタの動きがエッジ成分として
検出されてしまわないように、窓やモニタの領域を検出
対象外とする処理である。その他、エレベータ内のコー
ナー等、エレベータ内が空のときに現れるエッジ部分は
常に検出対象外とする処理である。この検出対象外の領
域は、あらかじめマスク領域として設定しておく。
The detection area setting process is a process of setting an area in the image information for which a recording determination is made. For example, in the case of a door with a window (for an apartment, etc.) or an elevator with an LCD monitor, movement of a person outside the window or movement of the LCD monitor is not detected as an edge component in the frame difference. As described above, this is a process of excluding the area of the window or the monitor from the detection target. In addition, edge parts that appear when the inside of the elevator is empty, such as corners in the elevator, are always excluded from the detection target. The region not to be detected is set in advance as a mask region.

【0021】次に録画判定処理を行う(ステップs1
2)。録画判定処理は、カレントフレーム毎に行われ、
録画判定処理の結果を録画フラグにセットする処理であ
る。そして、録画フラグの値に従って、録画を続行する
か、停止させるかの制御を行う。(ステップs13)。
Next, recording determination processing is performed (step s1).
2). The recording determination process is performed for each current frame,
This is a process of setting the result of the recording determination process to a recording flag. Then, according to the value of the recording flag, control is performed to continue or stop recording. (Step s13).

【0022】録画判定処理(ステップ12)について図
3を用いて説明する。録画判定処理は、予めディスク6
に保有している空状態の画像情報であるリファレンスフ
レームRfと、監視カメラ2により撮影され逐次更新さ
れるカレントフレームCfを入力データとして処理され
る。
The recording determination process (step 12) will be described with reference to FIG. The recording determination process is performed in advance on the disk 6
Are processed as input data, the reference frame Rf, which is the empty image information held by the monitoring camera 2, and the current frame Cf, which is photographed by the monitoring camera 2 and sequentially updated.

【0023】まず、ステップs21においてリファレン
スフレームRfとカレントフレームCfを入力データと
してそれぞれのフレームについてのエッジ検出処理を行
い、次に、過去の蓄積されたエッジ情報を基に、状態判
定処理(ステップs22:詳細は後述)を行った後、録
画フラグを出力する。
First, in step s21, an edge detection process is performed for each frame using the reference frame Rf and the current frame Cf as input data, and then, a state determination process (step s22) based on past accumulated edge information. : Details will be described later), and then a recording flag is output.

【0024】次に、図4を用いて、上述したエッジ検出
処理フローについて説明する。エッジ検出処理は、ま
ず、ステップs31においてリファレンスフレームRf
とカレントフレームCfのフレーム差分Dfを求める。
Next, the above-described edge detection processing flow will be described with reference to FIG. In the edge detection processing, first, in step s31, the reference frame Rf
And the frame difference Df of the current frame Cf.

【0025】次に、微分フィルタリング処理を行う(ス
テップs32)。この微分フィルタリング処理は(一般
の差分型微分フィルタリングよりも)低域を抑え、高域
部分を持ち上げた周波数特性になるように設計されたフ
ィルタリングであり、図5で示すように3つのステップ
からなる処理である。
Next, a differential filtering process is performed (step s32). This differential filtering processing is a filtering designed to suppress the low frequency range (compared with general differential type differential filtering) and to have a frequency characteristic in which a high frequency range is raised, and includes three steps as shown in FIG. Processing.

【0026】ここで、一般の差分型微分処理とは、各画
素の輝度値と、その一定画素離れた座標点の輝度値との
差分を微分値とする処理であり、これに対して本実施形
態における微分フィルタリングは、フレーム差分の急峻
なエッジ成分がより明確に抽出されるようなフィルタリ
ングを行うことを意味する。
Here, the general difference-type differentiation process is a process in which a difference between the brightness value of each pixel and the brightness value of a coordinate point separated by a certain pixel is set as a differentiation value. Differential filtering in the form means performing filtering such that a steep edge component of a frame difference is more clearly extracted.

【0027】図5で示す微分フィルタリングの処理フロ
ーを説明する。まず、ステップs41において、垂直方
向の微分値FVを取得する。微分値FVはフレーム差分
Dfの各画素成分に次式の数1で示す行列RESPを畳
み込んで算出したものである。
The processing flow of the differential filtering shown in FIG. 5 will be described. First, in step s41, a differential value FV in the vertical direction is obtained. The differential value FV is calculated by convolving a matrix RESP expressed by the following equation 1 with each pixel component of the frame difference Df.

【0028】[0028]

【数1】 (Equation 1)

【0029】行列RESPは、フレーム差分Dfの各座
標の輝度に与える係数を示しており、例えば、フレーム
差分Dfの任意の座標(i,j)において、その座標
(i,j)の輝度に行列Rの中央の成分、即ち、2行3
列目の成分を係数として掛け合わせる。そして、座標
(i,j)の周囲にある14の点(3行5列で囲まれる
点)に対して、それぞれ対応する行列RESPの成分を
係数として掛け合わせる。この係数を掛け合わせた15
の座標の輝度を加算したものが座標(i,j)の微分値
FVとなる。
The matrix RESP indicates a coefficient to be given to the luminance of each coordinate of the frame difference Df. For example, at an arbitrary coordinate (i, j) of the frame difference Df, a matrix is added to the luminance of the coordinate (i, j). The central component of R, ie, 2 rows 3
The components of the column are multiplied as coefficients. Then, 14 points (points surrounded by 3 rows and 5 columns) around the coordinates (i, j) are multiplied by the corresponding matrix RESP components as coefficients. 15 obtained by multiplying this coefficient
Is the differential value FV of the coordinates (i, j).

【0030】同様に、ステップs42において、水平方
向の微分値FHを取得する。微分値FHはフレーム差分
Dfの各画素成分に行列Rの転置行列RESP(T)を
畳み込んで算出したものであり、次式の数2で与えられ
る。
Similarly, in step s42, a horizontal differential value FH is obtained. The differential value FH is calculated by convolving each pixel component of the frame difference Df with the transposed matrix RESP (T) of the matrix R, and is given by the following equation (2).

【0031】[0031]

【数2】 (Equation 2)

【0032】以上の処理によりフレーム差分Dfの微分
値FV,FHを各画素毎(各座標毎)に算出し、次に、
各画素毎に微分値FVと微分値FHの最大値を求める。
この最大値を画素微分最大値D1とする(ステップs4
3)。
Through the above processing, the differential values FV and FH of the frame difference Df are calculated for each pixel (for each coordinate).
The maximum value of the differential values FV and FH is obtained for each pixel.
This maximum value is set as the pixel differential maximum value D1 (step s4
3).

【0033】このようにして、フレーム差分Dfの各画
素毎に画素微分最大値D1を得るので、垂直方向若しく
は水平方向の何れかの方向に輝度の変化の大きい要素が
含まれている場合にも、この最大側の微分値を採用する
ことで、輝度の変化に敏感に反応させることが可能とな
る。なお、行列Rの各成分の数値については、数1の式
中に示したものは一例であり、その成分の数値は限定さ
れるものではなく、前述の如く、低域を抑え、高域部分
を持ち上げた周波数特性になるように設計されたフィル
タリングであればよい。これにより日光の1次反射など
やや緩やかな変化は微分値が抑えられ、人の乗降による
変化との区別がつきやすくなる。
As described above, since the pixel differential maximum value D1 is obtained for each pixel of the frame difference Df, even when an element having a large luminance change in either the vertical direction or the horizontal direction is included. By using the differential value on the maximum side, it is possible to react sensitively to a change in luminance. The numerical values of the components of the matrix R are shown in the equation (1) as an example, and the numerical values of the components are not limited. Any filtering may be used as long as it is designed to have a frequency characteristic that is higher than the frequency characteristic. As a result, the differential value of a slightly gradual change such as the primary reflection of sunlight is suppressed, and it is easy to distinguish the change from a change due to getting on and off a person.

【0034】微分フィルタリング処理終了後、再び、エ
ッジ検出処理フロー(図4)において、マスクを除いた
領域に対して、画素微分最大値D1のブロック毎の最大
値である局所最大値D2を求める(ステップs33)。
ブロックとは、フレーム差分DfをYB個×XB個(Y
B、XBはそれぞれ2以上の整数)に分割してそれぞれ
が複数の画素のマトリクス配列となるようにまとめた単
位であり、図6にフレーム差分Dfを5×5のブロック
に分割した一例を示す。また、「マスクを除いた」と
は、前述した全体フローのステップs11で示した検出
領域設定処理で検出対象外に指定された画素を除くこと
を意味する。
After the end of the differential filtering processing, in the edge detection processing flow (FIG. 4), a local maximum value D2 which is the maximum value of the pixel differential maximum value D1 for each block is obtained for the area excluding the mask (FIG. 4). Step s33).
A block is a frame difference Df of YB × XB (Y
B and XB are each an integer of 2 or more) and are divided into a matrix arrangement of a plurality of pixels. FIG. 6 shows an example in which the frame difference Df is divided into 5 × 5 blocks. . Further, “excluding the mask” means that pixels specified as non-detection targets in the detection area setting process shown in step s11 of the above-described overall flow are excluded.

【0035】このような条件を基に、各ブロック毎に画
素微分最大値D1の局所最大値D2を求め、算出した局
所最大値をD2にセットする。図中の変数iは、分割さ
れた各ブロックに対して付与された番号であり、1から
YB×XBまでの番号に対応した各ブロックに対してル
ープ処理を行うことを示す。
Based on such conditions, a local maximum value D2 of the pixel differential maximum value D1 is obtained for each block, and the calculated local maximum value is set in D2. A variable i in the figure is a number assigned to each divided block, and indicates that a loop process is performed on each block corresponding to a number from 1 to YB × XB.

【0036】以上の処理によりブロック毎の局所最大値
D2が求められるが、この局所最大値D2がある程度大
きければ、そのブロックがエッジ成分を含む可能性は大
きいと考えられる。そこで、局所最大値D2が候補領域
設定値T1より大きいブロックのみ、次のエッジ検出処
理を行う。
By the above processing, the local maximum value D2 for each block is obtained. If the local maximum value D2 is large to some extent, it is considered that the possibility that the block contains an edge component is large. Therefore, the next edge detection processing is performed only on the blocks in which the local maximum value D2 is larger than the candidate area setting value T1.

【0037】なお、候補領域設定値T1は、予め設定さ
れた値であり、局所最大値D2がどの程度の大きさであ
る場合に、エッジ検出の対象とするかを判断するための
もので、過去のデータや経験値から最適な値を適宜定め
るものとする。
The candidate area setting value T1 is a value set in advance, and is used to judge how large the local maximum value D2 is to be subjected to edge detection. An optimal value shall be determined appropriately from past data and experience values.

【0038】そして、ステップs34において、真のエ
ッジ成分を検出する指標値として微分平均値T2を求め
る。前記候補領域設定値T1は、予め定められた値であ
り、エッジ成分の検出の対象とするか否かを判定する固
定値であり、エッジ成分検出の候補となるブロック(候
補領域)を抽出する役割のものである。これに対して、
微分平均値T2は、エッジ成分検出の候補となったブロ
ックの中で、実際にエッジとして検出する画素を判定す
るための値であり、カレントフレームCf毎に算出され
る。
In step s34, a differential average value T2 is obtained as an index value for detecting a true edge component. The candidate area setting value T1 is a predetermined value, is a fixed value for determining whether or not to detect an edge component, and extracts a block (candidate area) that is a candidate for edge component detection. It's a role. On the contrary,
The differential average value T2 is a value for determining a pixel actually detected as an edge in a block that is a candidate for edge component detection, and is calculated for each current frame Cf.

【0039】ここで、図6に示した例では、5×5に分
割された差分フレームDfのうち、網掛けされたブロッ
クは、画素微分最大値D1の局所最大値D2が候補領域
設定値T1より大きい領域、すなわちエッジ成分検出の
候補となっているブロックであることを示している。
Here, in the example shown in FIG. 6, among the difference frames Df divided into 5 × 5, the hatched blocks have the local maximum value D2 of the pixel differential maximum value D1 and the candidate area setting value T1. This indicates a larger area, that is, a block that is a candidate for edge component detection.

【0040】微分平均値T2は、 <条件1> 局所最大値D2(i)≦候補領域設定値T
1:を満足するブロックの局所最大値D2(i)の平均
値として算出される。つまり、局所最大値D2が候補領
域設定値T1を下回る領域(エッジ成分を含まないと判
断される非候補領域)において、局所最大値D2の平均
値を、真のエッジ成分検出用の指標値としているのであ
る。
The differential average value T2 is: <Condition 1> Local maximum value D2 (i) ≦ candidate region setting value T
It is calculated as the average value of the local maximum value D2 (i) of the block satisfying 1 :. That is, in an area where the local maximum value D2 is smaller than the candidate area setting value T1 (a non-candidate area determined not to include an edge component), the average value of the local maximum value D2 is used as an index value for detecting a true edge component. It is.

【0041】このように、真のエッジ成分検出の指標値
は、非候補領域の微分値の最大値平均としているので、
非候補領域に含まれるような領域に対してエッジ成分を
検出する可能性を低くすることができる。また、指標値
が高すぎてエッジ成分の検出逃しをすることもないの
で、最適な指標と言える。
As described above, since the index value for true edge component detection is the average of the maximum differential values of the non-candidate areas,
It is possible to reduce the possibility of detecting an edge component for a region included in a non-candidate region. Further, since the index value is not too high and the detection of the edge component is not missed, it can be said that the index is an optimal index.

【0042】ステップs34において微分平均値T2を
算出した上で、次に、 <条件2> 局所最大値D2≧候補領域設定値T1:を
満足する全てのブロックに対するエッジ成分検出のルー
プ処理を行う。この際、カレントエッジ成分のエッジ個
数CNを初期化(0)する。
After calculating the differential average value T2 in step s34, a loop process of edge component detection is performed on all blocks satisfying <condition 2> local maximum value D2 ≧ candidate region setting value T1 :. At this time, the number of edges CN of the current edge component is initialized (0).

【0043】まず、ステップs35において、真のエッ
ジ成分の判断処理を行う。エッジ成分の判断は、マスク
を除いた画素毎に、画素微分最大値D1と微分平均値T
2との比較処理を行い、微分平均値T2を上回る画素を
真のエッジ成分と判断する。そして、真のエッジ成分と
判断した場合には、該当する画素のエッジフラグEGに
1をセットし、微分平均値T2を下回る画素のエッジフ
ラグEGには0をセットする。このように、エッジフラ
グEGは、エッジ成分を1、エッジでない成分を0とし
たフレーム(差分フレーム等)と同じ大きさの2次元配
列で表されるものである。
First, in step s35, a true edge component determination process is performed. The determination of the edge component is based on the pixel differential maximum value D1 and the differential average value T
2, and a pixel exceeding the differential average value T2 is determined as a true edge component. When it is determined that the pixel is a true edge component, 1 is set to the edge flag EG of the corresponding pixel, and 0 is set to the edge flag EG of the pixel lower than the differential average value T2. As described above, the edge flag EG is represented by a two-dimensional array having the same size as a frame (a difference frame or the like) in which an edge component is 1 and a non-edge component is 0.

【0044】図7は、図6で示した例において、エッジ
成分検出の候補領域となっているブロック内において、
真のエッジ成分として検出された点(画素)を示した図
である。
FIG. 7 shows an example shown in FIG. 6, in a block which is a candidate area for edge component detection.
FIG. 3 is a diagram illustrating points (pixels) detected as true edge components.

【0045】各画素毎に、エッジ成分であるか否かの判
断を行うとともに、ステップs36においては、カレン
トエッジ成分のエッジ個数CNの加算処理を行う。つま
り、候補領域である各ブロックに対してステップs35
においてエッジ成分として検出された真のエッジ成分の
個数をエッジの個数CNとして加算処理を行い、フレー
ム全体のエッジ個数CNを算出するのである。
Whether each pixel is an edge component or not is determined, and in step s36, the number of edges CN of the current edge component is added. That is, step s35 is performed on each block that is a candidate area.
The addition process is performed using the number of true edge components detected as an edge component in the number of edges CN to calculate the number of edges CN of the entire frame.

【0046】既述した<条件2>を満足する全てのブロ
ックに対する処理が終了すると、2次元配列として抽出
されたエッジフラグEGをエッジストックESに格納す
る。つまり、エッジストックESは2次元配列であるエ
ッジフラグEGを過去複数フレームに亘って格納する3
次元配列となる。
When the processing for all the blocks satisfying the above-mentioned <condition 2> is completed, the edge flags EG extracted as a two-dimensional array are stored in the edge stock ES. That is, the edge stock ES stores the edge flag EG, which is a two-dimensional array, over a plurality of past frames.
It becomes a dimensional array.

【0047】エッジ検出処理終了後、画像判定処理フロ
ー(図3)で示すように、現在(カレントフレーム)
と、過去のエッジ情報を基に状態判定処理(ステップs
22)を行い、録画を行うか否かの判定のステイタスで
ある録画フラグを出力する。
After the edge detection processing is completed, as shown in the image determination processing flow (FIG. 3), the current (current frame)
And state determination processing based on past edge information (step s
22), and outputs a recording flag which is a status of determining whether or not to perform recording.

【0048】状態判定処理は図8で示すように、2つの
条件判定を基に録画フラグを出力する。まず、ステップ
s51において、エッジ検出フローで検出されたエッジ
個数CNと固定しきい値との比較判定処理を行う。そし
て、エッジ個数CNが固定しきい値より小さい場合、即
ち、フレーム差分のエッジ成分が少ない場合には、カレ
ントフレームの画像情報にリファレンスフレームからの
相違が少なく、監視対象範囲に人物などの実質的な監視
対象体が存在しないものとして録画を停止することが可
能と判断し、録画フラグにOFF(0)をセットする
(ステップs53)。またこのとき、判定を、より厳密
に行うために、過去数フレームにわたってエッジ個数C
Nが固定しきい値を下回っているか否かを条件にしても
よい。
The state determination process outputs a recording flag based on two conditions as shown in FIG. First, in step s51, a comparison determination process is performed between the number of edges CN detected in the edge detection flow and a fixed threshold. When the number of edges CN is smaller than the fixed threshold, that is, when the edge component of the frame difference is small, there is little difference from the reference frame in the image information of the current frame, and substantially no person such as a person is included in the monitoring target range. It is determined that it is possible to stop recording because there is no surveillance object, and the recording flag is set to OFF (0) (step s53). At this time, in order to make the determination more strictly, the number of edges C over the past several frames is determined.
The condition may be that N is below a fixed threshold.

【0049】エッジ個数CNが固定しきい値よりも大き
い場合には、次に、ステップs52においてフレーム差
分のエッジ成分の時間的変動が少ないかどうかを判定
し、少ない場合は人物などの移動がないと判断して録画
フラグにOFF(0)をセットする(ステップs5
4)。この時間的変動の判定においては、下記のような
エッジ固定度による状態判定処理を行う。
If the number of edges CN is larger than the fixed threshold, it is next determined in step s52 whether or not the temporal variation of the edge component of the frame difference is small. And set the recording flag to OFF (0) (step s5).
4). In the determination of the temporal variation, a state determination process based on the degree of edge fixation as described below is performed.

【0050】エッジ固定度による状態判定処理を図9お
よび図10を用いて説明する。上述したエッジ検出処理
では、空状態と仮定されているリファレンスフレームR
fとカレントフレームCfとの差分を基に処理されるも
のである。そこで、リスタート等により空状態でないフ
レームが初期リファレンスになった場合、省エネモード
により蛍光灯が消えた場合、エレベータ内にポスターが
貼られたり、物が放置された場合、録画を停止させる状
態判定を行うことができれば、より精度の高い録画制御
が行われることとなる。また、このような理由で録画が
連続して行われる場合には、録画を終了してリファレン
スフレームRfを更新することが望ましく、図9で示す
ような状態判定処理を行う。
The state determination processing based on the degree of edge fixation will be described with reference to FIGS. 9 and 10. In the edge detection processing described above, the reference frame R assumed to be empty
The processing is performed based on the difference between f and the current frame Cf. Therefore, when a frame that is not empty becomes the initial reference due to a restart or the like, when the fluorescent lamp goes out in the energy saving mode, when a poster is put in the elevator, or when an object is left unattended, recording is stopped. Can be performed, more accurate recording control can be performed. If recording is performed continuously for such a reason, it is desirable to end recording and update the reference frame Rf, and perform a state determination process as shown in FIG.

【0051】まず、過去のエッジフラグEpとカレント
フレームCfのエッジフラグEcを取得する。エッジフ
ラグEp,Ecは、共に、前述したエッジ検出フローに
おいて取得されたエッジフラグEGを意味し、エッジフ
ラグEp,EcはエッジストックESから取得可能であ
る。
First, a past edge flag Ep and an edge flag Ec of the current frame Cf are obtained. The edge flags Ep and Ec both mean the edge flag EG obtained in the above-described edge detection flow, and the edge flags Ep and Ec can be obtained from the edge stock ES.

【0052】そして、ステップs61において、エッジ
フラグEpとエッジフラグEcの共通集合Ep∩Ecに
含まれる共通エッジフラグの個数Eaを算出する。つま
り、共通エッジフラグの個数Eaは過去およびカレント
のフレームにおいて共にエッジとして検出された画素の
個数である。
Then, in step s61, the number Ea of common edge flags included in the common set EpcEc of the edge flag Ep and the edge flag Ec is calculated. That is, the number Ea of common edge flags is the number of pixels detected as edges in both the past and current frames.

【0053】次に、ステップs62において、エッジフ
ラグEpとエッジフラグEcの合併集合Ep∪Ecに含
まれる合併エッジフラグの個数Eoを算出する。つま
り、合併エッジフラグの個数Eoは過去若しくはカレン
トのフレームにおいてエッジと検出された画素の個数で
ある。
Next, in step s62, the number Eo of merged edge flags included in the merged set EpEEc of the edge flag Ep and the edge flag Ec is calculated. That is, the number Eo of merged edge flags is the number of pixels detected as edges in the past or current frame.

【0054】そして、ステップs63において、共通エ
ッジフラグの個数Eaの全エッジフラグの個数Eoに対
する割合をエッジ固定度RBに格納する。この状態を図
10に模式的に示す。
In step s63, the ratio of the number Ea of common edge flags to the number Eo of all edge flags is stored in the edge fixing degree RB. This state is schematically shown in FIG.

【0055】そして、エッジ固定度RBが過去複数(例
えば過去N枚)フレームで全て固定度設定値を越えてい
るかどうかの判定を行い(ステップs64)、固定度設
定値を越えている場合には、エッジは殆ど変動しない、
すなわち、定常状態であるが、上述した理由(蛍光灯が
消えた、ポスターが貼られた等)により、エッジ成分の
数が多く検出し続けているため録画状態となっていると
判断して、リファレンス更新フラグに1(更新すべき)
をセットする(ステップs65)。
Then, it is determined whether or not the edge fixing degree RB has exceeded the fixed degree set value in all past plural frames (for example, the past N frames) (step s64). , Edges hardly fluctuate,
That is, it is in a steady state, but for the above-mentioned reason (the fluorescent light is turned off, the poster is pasted, etc.), it is determined that the recording state is in progress because a large number of edge components continue to be detected. 1 for the reference update flag (to be updated)
Is set (step s65).

【0056】さらに、複数(同様に過去N枚、若しくは
別途設定してもよい)フレームに亘ってリファレンス更
新フラグが1となっている場合には(ステップs6
6)、定常状態が続いており、誤検知により録画が連続
している場合を意味するので、録画を停止することが可
能と判断し、録画フラグにOFF(0)をセットする
(ステップs67=図8のステップs53)。
Further, when the reference update flag is set to 1 over a plurality of frames (same as the past N frames or may be set separately) (step s6)
6) Since it means that the steady state continues and the recording is continuous due to erroneous detection, it is determined that the recording can be stopped, and the recording flag is set to OFF (0) (step s67 = Step s53 in FIG. 8).

【0057】また、ステップs64において、エッジ固
定度RBが過去N枚のフレームにおいて1フレームでも
固定度設定値を越えていない場合には、エッジ成分が変
動していると予想されるので、録画続行をすべきと判断
し、録画フラグにON(1)をセットする(ステップs
68=図8のステップs54)。
In step s64, if the edge fixed degree RB does not exceed the fixed degree set value in at least one of the past N frames, the edge component is expected to fluctuate, so that recording is continued. And set the recording flag to ON (1) (step s).
68 = step s54 in FIG. 8).

【0058】また、ステップs66において、リファレ
ンスフレーム更新フラグに1(更新すべき)が設定され
ているが、更新フラグに1が設定されている過去の連続
フレームの枚数がN枚に満たない場合には、録画続行を
すべきと判断し、録画フラグにON(1)をセットする
(ステップs68=図8のステップs54)。
In step s66, if the reference frame update flag is set to 1 (to be updated), but the number of past consecutive frames for which the update flag is set to 1 is less than N, Determines that recording should be continued, and sets the recording flag to ON (1) (step s68 = step s54 in FIG. 8).

【0059】以上の処理を行うことにより、図8で示し
た状態判定処理においては、録画判定フラグに録画をす
べきとするフラグとしてON(1)がセットされるか
(ステップs54)、録画を停止すべきとするフラグと
してOFF(0)がセットされる(ステップs53)。
By performing the above processing, in the state determination processing shown in FIG. 8, ON (1) is set as the flag to be recorded in the recording determination flag (step s54), or the recording is stopped. OFF (0) is set as a flag to be stopped (step s53).

【0060】そして、図2の全体フローチャートで示す
ように、録画判定処理において出力された録画フラグを
もとに、録画制御が行われる(ステップs13)。つま
り、監視カメラはこの録画フラグのセット値に従って制
御され、録画フラグにOFF(0)が設定されている場
合、つまり利用者の乗降がない場合は録画を行わないこ
とで、保存用ディスク6の容量を大幅に削減することが
可能となる。
Then, as shown in the overall flowchart of FIG. 2, recording control is performed based on the recording flag output in the recording determination processing (step s13). In other words, the surveillance camera is controlled according to the set value of the recording flag, and when the recording flag is set to OFF (0), that is, when there is no user getting on and off, the recording is not performed. The capacity can be greatly reduced.

【0061】なお、上記のルーチンは周期的に繰返して
実行されるようになっており、利用者の乗降が再開され
た場合には、ステップs68において録画フラグが1に
セットされるため、その時点から録画が再開される。
The above-described routine is repeatedly executed periodically. When the user gets on and off again, the recording flag is set to 1 in step s68. The recording is resumed from.

【0062】また、利用者の乗降がない場合には、乗降
がある場合(エッジ成分の量や変動量が大きい場合)と
比較して低フレームレートで録画することにより、ディ
スク6の容量の削減をする制御としてもよい。
When the user does not get on and off, the recording is performed at a lower frame rate than when the user gets on and off (the amount of edge component and the amount of fluctuation are large), thereby reducing the capacity of the disk 6. May be performed.

【0063】[0063]

【発明の効果】以上説明したように、請求項1および請
求項7に記載の発明は、差分フレーム内のエッジ成分に
関する量的評価によって、カレントフレーム内の状況が
リファレンスフレームの状況から実質的に変化していな
いと判定された場合に、録画の停止や低フレームレート
への切り換えを行うため、画像情報の保存を行う記憶手
段の容量を大幅に削減でき、費用面、管理面においても
有効な構成となる。
As described above, according to the first and seventh aspects of the present invention, the situation in the current frame is substantially changed from the situation in the reference frame by the quantitative evaluation of the edge component in the difference frame. When it is determined that there is no change, the recording is stopped or the frame rate is switched to a low frame rate, so that the capacity of the storage means for storing the image information can be significantly reduced, which is effective in terms of cost and management. Configuration.

【0064】また、エッジ成分の変動が少ない場合、即
ち、定常状態が変化した場合にも録画が停止されるの
で、記憶容量の削減に大きな効果を奏する構成となる。
そして、上記のような事情が生じない場合には録画が通
常通りに続行されるため、監視に必要な情報の保存性を
損なうことはない。
Also, when the fluctuation of the edge component is small, that is, when the steady state is changed, the recording is stopped, so that the configuration is very effective in reducing the storage capacity.
Then, when the above situation does not occur, the recording is continued as usual, so that the preservation of information necessary for monitoring is not impaired.

【0065】また、請求項2に記載の発明は、状態判定
手段が、第1の判定基準によって前記エッジ成分が少な
いと判定した場合に、記憶装置への画像情報の録画の停
止または録画の低フレームレートへの切り換えを行うエ
ッジ成分判定手段を含むので、リファレンスフレームか
らのカレントフレームの画像の実質的変化を、差分フレ
ームのエッジ成分の量(請求項2)や監視範囲内の監視
対象物(人物など)の有無に応じて録画の停止やフレー
ムレートの切り換えを行うことができる。
According to a second aspect of the present invention, when the state determination means determines that the edge component is small based on the first determination criterion, the recording of the image information to the storage device is stopped or the recording of the image information is stopped. Since an edge component determining means for switching to the frame rate is included, a substantial change in the image of the current frame from the reference frame is determined by the amount of the edge component of the difference frame (claim 2) and the monitoring target ( The recording can be stopped or the frame rate can be switched according to the presence or absence of a person.

【0066】また、請求項3記載の発明は、状態判定手
段が、第2の判定基準によって前記エッジ成分の時間的
変動量が少ないと判定した場合に、記憶装置への画像情
報の録画の停止または録画の低フレームレートへの切り
換えを行うエッジ変動判定手段を含むので、監視範囲内
の監視対象物(人物など)の移動に応じて録画の停止や
フレームレートの切り換えを行うことができる。
According to a third aspect of the present invention, when the state determination means determines that the temporal variation of the edge component is small according to the second determination criterion, the recording of the image information to the storage device is stopped. Alternatively, an edge change determination unit that switches the recording to a low frame rate is included, so that the recording can be stopped or the frame rate can be switched in accordance with the movement of a monitoring target (a person or the like) within the monitoring range.

【0067】また、請求項4に記載の発明は、エッジ検
出手段は、所定の領域選別基準によって前記フレーム差
分をエッジ検出の候補領域と非候補領域とに選別する候
補領域選別手段と、所定のエッジ類別基準によって前記
候補領域から真のエッジ成分を検出する真エッジ検出手
段とを備え、真のエッジ成分に関して量的評価を行うの
で、非候補領域にまでエッジ成分の検出処理を行う無駄
が省け、処理効率が向上する。また、全画像情報(画素
毎)にエッジ成分の検出を行う場合に比べて、処理速度
が向上する。
According to a fourth aspect of the present invention, the edge detecting means comprises: a candidate area selecting means for selecting the frame difference into a candidate area for edge detection and a non-candidate area according to a predetermined area selecting criterion; A true edge detection means for detecting a true edge component from the candidate area according to the edge classification criteria, and performing a quantitative evaluation on the true edge component. And the processing efficiency is improved. Further, the processing speed is improved as compared with the case where edge components are detected for all image information (for each pixel).

【0068】また、請求項5に記載の発明は、真エッジ
検出手段は、フレーム差分の画像情報の微分値を求める
微分フィルタリング処理手段と、非候補領域の微分値の
局所的な最大値を求める局所最大値算出手段と、非候補
領域の局所最大値の平均値を求める微分平均値算出手段
と、候補領域の画像情報が微分平均値を上回る場合に、
当該候補領域に真のエッジ成分が存在すると判断する真
エッジ判断手段とを備えるので、精度の高いエッジ成分
の検出を可能とする。特に、真のエッジ成分を検出する
指標値を非候補領域の微分平均値としているので、指標
値が高すぎてエッジ成分の検出漏れが発生したり、指標
値が低すぎて、エッジ成分の誤検出が発生するといった
問題を防止できる。
According to a fifth aspect of the present invention, the true edge detecting means obtains a differential filtering processing means for obtaining a differential value of image information of a frame difference, and obtains a local maximum value of a differential value of a non-candidate area. A local maximum value calculating means, a differential average value calculating means for calculating an average value of a local maximum value of the non-candidate area, and when image information of the candidate area exceeds the differential average value,
Since a true edge determination unit that determines that a true edge component exists in the candidate area is provided, it is possible to detect an edge component with high accuracy. In particular, since the index value for detecting a true edge component is used as the differential average value of the non-candidate area, the index value is too high, causing omission of detection of the edge component, or the index value is too low, resulting in an erroneous edge component. The problem that detection occurs can be prevented.

【0069】また、請求項6に記載の発明は、エッジ変
動判定手段は、過去のフレーム差分のエッジ成分と、カ
レントのフレーム差分のエッジ成分の共通集合および合
併集合を抽出する集合抽出手段と、合併集合に対する共
通集合の割合をエッジ成分の固定度として求めるエッジ
固定度算出手段と、エッジ成分の固定度が所定のしきい
値を上回るフレームが連続した場合に、エッジ成分の変
動が少ないと判断する固定度依存判定手段とを備えるの
で、定常状態の変化に対しても、適切な判断を行い、空
状態の監視範囲内の画像を録画し続けるという問題を回
避できる。これによって記憶容量を削減することができ
る。
According to a sixth aspect of the present invention, the edge variation determining means includes a set extracting means for extracting a common set and a merged set of the edge components of the past frame difference and the edge components of the current frame difference. Edge fixing degree calculating means for calculating the ratio of the common set to the merged set as the fixed degree of the edge component; and determining that the fluctuation of the edge component is small when consecutive frames in which the fixed degree of the edge component exceeds a predetermined threshold value. Therefore, it is possible to avoid the problem of making an appropriate determination even for a change in the steady state and continuing to record the image in the monitoring range in the empty state. As a result, the storage capacity can be reduced.

【0070】また、請求項8記載の発明は、請求項7の
方法の実施に直接利用できる装置となっている。
The invention according to claim 8 is an apparatus that can be directly used for implementing the method according to claim 7.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る録画判定装置の概略構成図であ
る。
FIG. 1 is a schematic configuration diagram of a recording determination device according to the present invention.

【図2】本発明に係る録画判定装置の録画状態制御の全
体フローを示す図である。
FIG. 2 is a diagram showing an overall flow of a recording state control of the recording determination device according to the present invention.

【図3】録画判定処理フローを示す図である。FIG. 3 is a diagram showing a recording determination processing flow.

【図4】エッジ検出処理フローを示す図である。FIG. 4 is a diagram showing an edge detection processing flow.

【図5】微分フィルタリング処理フローを示す図であ
る。
FIG. 5 is a diagram illustrating a differential filtering processing flow.

【図6】ブロック化されたフレームにおけるエッジ検出
の候補領域を示す図である。
FIG. 6 is a diagram showing a candidate area for edge detection in a block frame.

【図7】候補領域において検出された真のエッジ成分を
示す図である。
FIG. 7 is a diagram illustrating a true edge component detected in a candidate area.

【図8】状態判定処理フローを示す図である。FIG. 8 is a diagram showing a state determination processing flow.

【図9】エッジ固定度による状態判定処理フローを示す
図である。
FIG. 9 is a diagram showing a state determination processing flow based on the degree of edge fixation.

【図10】エッジ固定度による状態判定処理を模式的に
表した図である。
FIG. 10 is a diagram schematically illustrating a state determination process based on an edge fixing degree.

【符号の説明】[Explanation of symbols]

Cf カレントフレーム D1 画素微分最大値 D2 局所最大値 Df フレーム差分 EG エッジフラグ ES エッジストック FV (フレーム差分の)垂直方向の微分値 HV (フレーム差分の)水平方向の微分値 Rf リファレンスフレーム T2 微分平均値 Cf Current frame D1 Pixel differential maximum value D2 Local maximum value Df Frame difference EG Edge flag ES Edgestock FV Vertical differential value (of frame difference) HV Horizontal differential value of (frame difference) Rf Reference frame T2 Differential average value

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 5/91 K Fターム(参考) 5B057 BA02 CA12 CA16 DA20 DC16 DC32 5C053 FA11 FA23 GA20 GB17 KA03 KA08 KA11 KA22 KA24 5C054 CC00 FC01 FC14 FC16 FF03 GA01 GA04 GD05 GD09 HA18 HA19 5L096 BA02 CA02 GA02 GA08 HA02──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 7/18 H04N 5/91 K F term (Reference) 5B057 BA02 CA12 CA16 DA20 DC16 DC32 5C053 FA11 FA23 GA20 GB17 KA03 KA08 KA11 KA22 KA24 5C054 CC00 FC01 FC14 FC16 FF03 GA01 GA04 GD05 GD09 HA18 HA19 5L096 BA02 CA02 GA02 GA08 HA02

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 監視範囲内を連続撮影する撮影手段から
画像情報を取得するとともに記憶装置に録画を行わせる
装置であって、 前記撮影手段による撮影結果のうち、基準となるリファ
レンスフレームと、逐次更新されるカレントフレームと
の画像情報の差分であるフレーム差分を算出するフレー
ム差分検出手段と、 前記フレーム差分のエッジ成分を検出するエッジ検出手
段と、 前記エッジ成分に関する量的評価によって、前記カレン
トフレーム内の状況が前記リファレンスフレームの状況
から実質的に変化していないと判定された場合に、前記
記憶装置への前記画像情報の録画の停止または録画の低
フレームレートへの切り換えを行う状態判定手段と、を
備えることを特徴とする録画判定装置。
1. A device for acquiring image information from a photographing means for continuously photographing within a monitoring range and causing a storage device to perform recording, wherein a reference frame serving as a reference is sequentially included in a photographing result by the photographing means. A frame difference detection unit that calculates a frame difference that is a difference between the image information and the current frame to be updated; an edge detection unit that detects an edge component of the frame difference; State determining means for stopping the recording of the image information in the storage device or switching the recording to a low frame rate when it is determined that the situation in the reference frame has not substantially changed from the situation of the reference frame. And a recording determination device.
【請求項2】 請求項1に記載の録画判定装置であっ
て、 前記状態判定手段が、 第1の判定基準によって前記エッジ成分が少ないと判定
した場合に、前記記憶装置への前記画像情報の録画の停
止または録画の低フレームレートへの切り換えを行うエ
ッジ成分判定手段、を含むことを特徴とする録画判定装
置。
2. The recording judging device according to claim 1, wherein the state judging unit judges that the edge component is small based on a first judgment criterion. An edge component determining means for stopping recording or switching the recording to a low frame rate.
【請求項3】 請求項1または請求項2に記載の録画判
定装置であって、 前記状態判定手段が、 第2の判定基準によって前記エッジ成分の時間的変動量
が少ないと判定した場合に、前記記憶装置への前記画像
情報の録画の停止または録画の低フレームレートへの切
り換えを行うエッジ変動判定手段、を含むことを特徴と
する録画判定装置。
3. The recording determination device according to claim 1, wherein the state determination unit determines that a temporal variation amount of the edge component is small according to a second determination criterion. A video recording determining device for stopping video recording of the image information in the storage device or switching the video information to a low frame rate.
【請求項4】 請求項1ないし請求項3のいずれかに記
載の録画判定装置であって、 前記エッジ検出手段は、 所定の領域選別基準によって前記フレーム差分をエッジ
検出の候補領域と非候補領域とに選別する候補領域選別
手段と、 所定のエッジ類別基準によって前記候補領域から真のエ
ッジ成分を検出する真エッジ検出手段と、を備え、 前記真のエッジ成分に関して前記量的評価を行うことを
特徴とする録画判定装置。
4. The recording judging device according to claim 1, wherein said edge detecting means is configured to determine said frame difference by a predetermined area selection criterion as a candidate area for edge detection and a non-candidate area. And a true edge detection means for detecting a true edge component from the candidate area according to a predetermined edge classification criterion, wherein the quantitative evaluation is performed on the true edge component. Characteristic recording determination device.
【請求項5】 請求項4に記載の録画判定装置であっ
て、 前記真エッジ検出手段は、 前記フレーム差分の画像情報の微分値を求める微分フィ
ルタリング処理手段と、 前記非候補領域の微分値の局所的な最大値を求める局所
最大値算出手段と、 前記非候補領域の局所最大値の平均値を求める微分平均
値算出手段と、 前記候補領域の画像情報が微分平均値を上回る場合に、
当該候補領域に前記真のエッジ成分が存在すると判断す
る真エッジ判断手段と、を備えることを特徴とする録画
判定装置。
5. The recording judging device according to claim 4, wherein the true edge detecting means comprises: a differential filtering processing means for obtaining a differential value of the image information of the frame difference; and a differential filtering processing means for obtaining a differential value of the non-candidate area. A local maximum value calculating means for obtaining a local maximum value; a differential average value calculating means for obtaining an average value of the local maximum values of the non-candidate areas; and if the image information of the candidate area exceeds a differential average value,
A true edge determining means for determining that the true edge component exists in the candidate area.
【請求項6】 請求項3に記載の録画判定装置であっ
て、 前記エッジ変動判定手段は、 過去のフレーム差分のエッジ成分と、カレントのフレー
ム差分のエッジ成分の共通集合および合併集合を抽出す
る集合抽出手段と、 前記合併集合に対する共通集合の割合をエッジ成分の固
定度として求めるエッジ固定度算出手段と、 前記エッジ成分の固定度が所定のしきい値を上回るフレ
ームが連続した場合に、エッジ成分の変動が少ないと判
断する固定度依存判定手段と、を備えることを特徴とす
る録画判定装置。
6. The recording determination device according to claim 3, wherein the edge variation determination unit extracts a common set and a union set of an edge component of a past frame difference and an edge component of a current frame difference. Set extraction means; edge fixity calculation means for determining the ratio of the common set to the union set as the fixedness of the edge component; and, when frames in which the fixedness of the edge component exceeds a predetermined threshold value continue, A recording degree determination device comprising: a degree-of-fixation dependence determination unit configured to determine that a change in a component is small.
【請求項7】 監視範囲内を連続撮影する撮影手段から
画像情報を取得するとともに記憶装置に録画を行わせる
方法であって、 前記撮影手段による撮影結果のうち、基準となるリファ
レンスフレームと、逐次更新されるカレントフレームと
の画像情報の差分であるフレーム差分を算出するフレー
ム差分検出工程と、 前記フレーム差分のエッジ成分を検出するエッジ検出工
程と、 前記エッジ成分に関する量的評価によって、前記カレン
トフレーム内の状況が前記リファレンスフレームの状況
から実質的に変化していないと判定された場合に、前記
記憶装置への前記画像情報の録画の停止または録画の低
フレームレートへの切り換えを行う状態判定工程と、を
備えることを特徴とする録画判定方法。
7. A method for acquiring image information from a photographing means for continuously photographing the inside of a monitoring range and causing a storage device to perform recording, wherein a reference frame serving as a reference is sequentially included in a photographing result by the photographing means. A frame difference detection step of calculating a frame difference that is a difference between the image information and the current frame to be updated; an edge detection step of detecting an edge component of the frame difference; A state determination step of stopping recording of the image information to the storage device or switching the recording to a low frame rate when it is determined that the state in the reference frame has not substantially changed from the state of the reference frame. And a recording determination method.
【請求項8】 画像の中からエッジを抽出する装置であ
って、 所定の画像範囲について画像情報の微分値を求める微分
フィルタリング処理手段と、 所定の領域選別基準によって、前記画像範囲をエッジ検
出の候補領域と非候補領域とに選別する候補領域選別手
段と、 前記非候補領域の微分値の局所的な最大値を求める局所
最大値算出手段と、 前記非候補領域の局所最大値の平均値を求める微分平均
値算出手段と、 前記候補領域の画像情報が微分平均値を上回る場合に、
当該候補領域に前記エッジ成分が存在すると判断するエ
ッジ判断手段と、を備えることを特徴とするエッジ抽出
装置。
8. An apparatus for extracting an edge from an image, comprising: differential filtering processing means for obtaining a differential value of image information for a predetermined image range; and edge detection of the image range by a predetermined area selection criterion. Candidate area selecting means for selecting a candidate area and a non-candidate area; a local maximum value calculating means for obtaining a local maximum value of a differential value of the non-candidate area; and an average value of the local maximum value of the non-candidate area. Calculating a differential average value, and when the image information of the candidate area exceeds the differential average value,
An edge determination unit that determines that the edge component exists in the candidate area.
JP2000143552A 2000-05-16 2000-05-16 Recording determination apparatus and method, and edge extraction apparatus Expired - Fee Related JP4323682B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000143552A JP4323682B2 (en) 2000-05-16 2000-05-16 Recording determination apparatus and method, and edge extraction apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000143552A JP4323682B2 (en) 2000-05-16 2000-05-16 Recording determination apparatus and method, and edge extraction apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009105061A Division JP4785087B2 (en) 2009-04-23 2009-04-23 Recording determination apparatus and method

Publications (2)

Publication Number Publication Date
JP2001326903A true JP2001326903A (en) 2001-11-22
JP4323682B2 JP4323682B2 (en) 2009-09-02

Family

ID=18650356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000143552A Expired - Fee Related JP4323682B2 (en) 2000-05-16 2000-05-16 Recording determination apparatus and method, and edge extraction apparatus

Country Status (1)

Country Link
JP (1) JP4323682B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094443A (en) * 2003-09-18 2005-04-07 Ramrock Eizo Gijutsu Kenkyusho:Kk Monitoring system
JP2008289104A (en) * 2007-05-21 2008-11-27 Sanyo Electric Co Ltd Image processing device and imaging apparatus with the same mounted therein
JP2012142892A (en) * 2011-01-06 2012-07-26 Canon Inc Moving image recording apparatus, control method of the same, moving image reproduction apparatus, and moving image recording and reproduction system
CN110415295A (en) * 2019-07-03 2019-11-05 平安科技(深圳)有限公司 Image processing method and image-data processing apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094443A (en) * 2003-09-18 2005-04-07 Ramrock Eizo Gijutsu Kenkyusho:Kk Monitoring system
JP2008289104A (en) * 2007-05-21 2008-11-27 Sanyo Electric Co Ltd Image processing device and imaging apparatus with the same mounted therein
JP2012142892A (en) * 2011-01-06 2012-07-26 Canon Inc Moving image recording apparatus, control method of the same, moving image reproduction apparatus, and moving image recording and reproduction system
CN110415295A (en) * 2019-07-03 2019-11-05 平安科技(深圳)有限公司 Image processing method and image-data processing apparatus
CN110415295B (en) * 2019-07-03 2024-02-27 平安科技(深圳)有限公司 Image data processing method and image data processing apparatus

Also Published As

Publication number Publication date
JP4323682B2 (en) 2009-09-02

Similar Documents

Publication Publication Date Title
US20190228233A1 (en) Video tracking systems and methods employing cognitive vision
US7394916B2 (en) Linking tracked objects that undergo temporary occlusion
US8280106B2 (en) Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
JP5400195B2 (en) Method and camera for determining image adjustment parameters
US20090141949A1 (en) Method and apparatus for recognizing a plural number of faces, and method and apparatus for registering face, and an image capturing method and system
US8553086B2 (en) Spatio-activity based mode matching
JP5388829B2 (en) Intruder detection device
US20060056702A1 (en) Image processing apparatus and image processing method
JP2000299816A (en) Video segmentation system
JP2007264860A (en) Face area extraction device
US9053355B2 (en) System and method for face tracking
US10373015B2 (en) System and method of detecting moving objects
CN112561946B (en) Dynamic target detection method
US5963272A (en) Method and apparatus for generating a reference image from an image sequence
JP5060264B2 (en) Human detection device
CN107240092A (en) A kind of image blur detection method and device
US20060210159A1 (en) Foreground extraction approach by using color and local structure information
JPH0844874A (en) Image change detector
JP7125843B2 (en) Fault detection system
JP2002304677A (en) Method and device for detecting intruder
JP2001326903A (en) Video recording judging device and method, and edge extracting apparatus
JPH09293141A (en) Mobile object detection device
US20040028137A1 (en) Motion detection camera
Wang et al. A dynamic Hidden Markov Random Field Model for foreground and shadow segmentation
CN115346150A (en) Violent behavior detection method and system based on edge calculation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090326

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150612

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees