JP2010124028A - Monitoring apparatus - Google Patents
Monitoring apparatus Download PDFInfo
- Publication number
- JP2010124028A JP2010124028A JP2008293144A JP2008293144A JP2010124028A JP 2010124028 A JP2010124028 A JP 2010124028A JP 2008293144 A JP2008293144 A JP 2008293144A JP 2008293144 A JP2008293144 A JP 2008293144A JP 2010124028 A JP2010124028 A JP 2010124028A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- motion vector
- imaging device
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 133
- 238000003384 imaging method Methods 0.000 claims abstract description 80
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims description 70
- 238000012937 correction Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012806 monitoring device Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 230000005855 radiation Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、監視対象となる領域の物体の動きを監視する監視装置に関し、特に、監視対象となる領域全体の物体の動きを検出し、検出した動きの時間変化に基づき出力される情報によって効果的な監視が行えるようにした監視装置に関する。 The present invention relates to a monitoring device that monitors the movement of an object in a region to be monitored, and in particular, detects the movement of an object in the entire region to be monitored, and is effective by information output based on a time change of the detected movement. The present invention relates to a monitoring device that can perform general monitoring.
例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal−Oxide Semiconductor)等といった固体撮像素子を搭載する撮像装置によって監視領域を撮像した画像(入力画像)を、画像処理手段によって処理し、入力画像中の所定の物体を自動的に検出するような監視装置は、従来から広く用いられている。 For example, an image (input image) obtained by imaging a monitoring region by an imaging device equipped with a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) is processed by an image processing means, Conventionally, a monitoring device that automatically detects a predetermined object is widely used.
このような、入力画像中の所定の物体を自動的に検出するような方法の一例として、差分法と呼ばれる方法が従来から使用されている。差分法は、入力画像と検出すべき物体の映っていない画像(背景画像)との画素毎の画素値の差分を計算し、その差分が所定のしきい値(例えば20、1画素8ビットを仮定)を超えた場合に、画素に変化があったと判定する。さらに、変化があったと判定された画素の塊を検出することで監視領域内の検出すべき物体を監視する。 As an example of such a method for automatically detecting a predetermined object in an input image, a method called a difference method has been conventionally used. The difference method calculates a pixel value difference for each pixel between an input image and an image (background image) where an object to be detected is not reflected, and the difference is a predetermined threshold value (for example, 20, 1 pixel 8 bits). It is determined that the pixel has changed. Furthermore, an object to be detected in the monitoring area is monitored by detecting a block of pixels determined to have changed.
このように、従来の方法は、画像上の各画素の画素値変化を検出し、その変化の有無に基づいて検出すべき物体を監視するため、検出すべき物体の位置が特定でき、検出された物体が何であるのか把握しやすいという特徴がある。 As described above, the conventional method detects the pixel value change of each pixel on the image and monitors the object to be detected based on the presence or absence of the change. Therefore, the position of the object to be detected can be specified and detected. It is easy to understand what the object is.
しかし、このような方法は、通常状態において、各画素の画素値変化が大きい場合に適用できず、背景部分が激しく動く場合や、人混み等では使用できなかった。また、検出すべき物体と背景部分の動きとを区別するために、検出すべき物体を比較的大きく写すような画角が必要となる。 However, such a method cannot be applied when the pixel value change of each pixel is large in a normal state, and cannot be used when the background portion moves violently or in crowds. Further, in order to distinguish between the object to be detected and the movement of the background portion, an angle of view that captures a relatively large object to be detected is required.
また、画像処理手段によって、入力画像の状態の変化を自動的に検出するような方法もあり、このような方法の一例として、特許文献1及び特許文献2に示されているようなオプティカルフローと呼ばれる方法が知られている。このオプティカルフローは、入力画像をいくつかのブロックに分割し、各ブロックの時間的な変位(動きベクトル)を、テンプレートマッチング(ブロックマッチング)等の方法によって検出し、動きベクトルの乱れから監視領域内の状態の変化を監視するものである。
In addition, there is a method of automatically detecting a change in the state of the input image by the image processing means. As an example of such a method, there is an optical flow as shown in
このように、従来のオプティカルフローと呼ばれる方法は、画像の動きベクトルの変化を検出し、その動きベクトルの乱れの程度に基づいて監視領域の状態の変化を大局的に監視するため、上述した差分法に比べ画角を広く(広角に)設定することができる。 In this way, the conventional method called optical flow detects the change in the motion vector of the image, and monitors the change in the state of the monitoring region based on the degree of disturbance of the motion vector. Compared to the method, the angle of view can be set wider (wide angle).
しかし、画角が広角になるに従い、被写体と撮像装置との距離の違いによって、動きベクトルの見かけの大きさに誤差が発生する。また、監視領域を広角で撮像するため、監視領域内の状態の変化の原因を特定することが困難となる。よって、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることで、効果的な監視を行うことができないという問題があった。 However, as the angle of view becomes wider, an error occurs in the apparent magnitude of the motion vector due to the difference in the distance between the subject and the imaging device. In addition, since the monitoring area is imaged at a wide angle, it is difficult to specify the cause of the change in the state in the monitoring area. Therefore, an error occurs in the apparent magnitude of the motion vector due to the difference in the distance between the subject and the imaging device, and it becomes difficult to specify the cause of the change in the state in the monitoring area. There was a problem that monitoring could not be performed.
本発明は、このような従来の事情に鑑みなされたもので、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることを解消することにより、効果的な監視を行うことができる監視装置を提供することを目的とする。 The present invention has been made in view of such a conventional situation, and causes an error in the apparent magnitude of a motion vector due to a difference in distance between a subject and an imaging device, or causes of a change in a state in a monitoring area. It is an object of the present invention to provide a monitoring device capable of performing effective monitoring by eliminating the difficulty of specifying.
本発明の監視装置は、監視領域を撮像する撮像装置と、該撮像装置で撮影した入力画像を処理して該監視領域の状態を判定する画像処理手段と、該画像処理手段の監視領域の状態の判定結果に基づき情報を出力する情報出力装置からなる監視装置であって、前記画像処理手段は、入力画像の少なくとも2個以上の部分画像に対してそれぞれの部分画像の時間的な動きを動きベクトルとして検出する動き検出手段と、該動きベクトルを前記撮像装置の撮像条件に基づいて補正する動き補正手段とを備え、前記画像処理手段は、前記動き補正手段によって検出された動きベクトルに基づき監視領域の状態を判定することを特徴とする。
本発明の監視装置では、動き検出手段により入力画像の少なくとも2個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、動き補正手段により動きベクトルが撮像装置の撮像条件に基づいて補正され、画像処理手段により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定される。
The monitoring apparatus of the present invention includes an imaging device that captures an image of a monitoring area, an image processing unit that processes an input image captured by the imaging apparatus and determines a state of the monitoring area, and a state of the monitoring area of the image processing unit The information processing device outputs information based on the determination result, wherein the image processing means moves the temporal movement of each partial image with respect to at least two partial images of the input image. A motion detection unit that detects the motion vector as a vector; and a motion correction unit that corrects the motion vector based on an imaging condition of the imaging device. The image processing unit monitors the motion vector based on the motion vector detected by the motion correction unit. The state of the area is determined.
In the monitoring apparatus of the present invention, the motion detection unit detects the temporal motion of each partial image as a motion vector with respect to at least two partial images of the input image, and the motion correction unit detects the motion vector of the imaging device. The state of the monitoring area is determined based on the motion vector that is corrected based on the imaging condition and detected by the motion correction unit by the image processing unit.
本発明の監視装置によれば、動き検出手段により入力画像の少なくとも2個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、動き補正手段により動きベクトルが撮像装置の撮像条件に基づいて補正され、画像処理手段により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定されるようにしたので、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることが解消されることから、効果的な監視を行うことができる。 According to the monitoring apparatus of the present invention, temporal motion of each partial image is detected as a motion vector with respect to at least two partial images of the input image by the motion detection means, and the motion vector is imaged by the motion correction means. Since the state of the monitoring area is determined based on the motion vector that is corrected based on the imaging conditions of the apparatus and detected by the motion correction means by the image processing means, the motion vector due to the difference in distance between the subject and the imaging apparatus This eliminates the occurrence of an error in the apparent size of the image and the difficulty of identifying the cause of the change in the state in the monitoring area, so that effective monitoring can be performed.
以下、本発明の実施の形態の詳細について説明する。
(第1実施形態)
図1は、本発明の監視装置の第1実施形態を示すブロック図である。同図に示す監視装置は、撮像装置401と、映像入力I/F(インタフェース)402と、プログラムメモリ403と、制御回路I/F404と、ワークメモリ405と、画像処理プロセッサ406と、情報出力I/F407と、情報表示装置408とを有している。また、映像入力I/F402と、プログラムメモリ403と、制御回路I/F404と、ワークメモリ405と、画像処理プロセッサ406と、情報出力I/F407とは、データバス409に接続されている。
Details of the embodiment of the present invention will be described below.
(First embodiment)
FIG. 1 is a block diagram showing a first embodiment of the monitoring apparatus of the present invention. The monitoring apparatus shown in the figure includes an
なお、監視装置の構成としては、第1実施形態の構成の他にも、従来から各種外部記録装置や、情報伝送装置等を有するものも存在するが、説明を簡単にするため、ここではその他の構成の図示を省略している。 In addition to the configuration of the first embodiment, there are some types of monitoring devices that conventionally have various external recording devices, information transmission devices, and the like. The illustration of the configuration is omitted.
撮像装置401は、監視の対象となる領域を撮像する。撮像された入力画像は、映像入力I/F402を介してワークメモリ405へ記録される。画像処理プロセッサ406は、プログラムメモリ403に記録されているプログラムに従って、ワークメモリ405内に記録された入力画像を処理し、その処理結果を情報出力I/F407を介して情報表示装置408へ出力する。また、画像処理プロセッサ406は、その処理結果に応じ、制御回路I/F404を介して、撮像装置401の撮像条件を制御する。
The
次に、画像処理プロセッサ406で実行されるプログラムの処理について、図2〜図7を用いて説明する。ここで、図2は図1の画像処理プロセッサ406で実行されるプログラムの処理を示すフローチャートであり、図3は図1の撮像装置401による監視領域を撮像した入力画像の一例を表す図であり、図4は撮像装置401による入力画像を所定の条件でブロックに分割した場合を示す図であり、図5及び図6は図1の画像処理プロセッサ406の画像解析におけるオプティカルフローを示す図であり、図7は図1の撮像装置401における撮像条件を説明するための図である。
Next, processing of a program executed by the
まず、図2において、画像入力(ステップS101)においては、撮像装置401で撮像した映像(入力画像)を、映像入力I/F402を介してワークメモリ405へ転送する。次いで、ブロック分割処理(ステップS102)では、入力画像を、例えば、横方向B(H)=8個、縦方向B(V)=6個のブロックに分ける。
First, in FIG. 2, in image input (step S <b> 101), a video (input image) captured by the
ここで、入力画像の大きさをVGA(横方向640画素、縦方向480画素)と仮定すると、各ブロックの大きさは、横方向N=80画素、縦方向M=80画素になる。この処理を図3及び図4を用いて説明する。 Here, assuming that the size of the input image is VGA (horizontal direction 640 pixels, vertical direction 480 pixels), the size of each block is horizontal direction N = 80 pixels and vertical direction M = 80 pixels. This process will be described with reference to FIGS.
まず、図3は、監視領域を撮像した入力画像の一例を表しており、多数の人型の物体が左から右に向かって移動している様子を表している。また、図4は、その入力画像を、後述の撮像装置401の撮像条件でブロックに分割したものである。
First, FIG. 3 shows an example of an input image obtained by imaging the monitoring area, and shows a state in which many humanoid objects are moving from left to right. FIG. 4 is a diagram in which the input image is divided into blocks according to imaging conditions of an
次いで、ブロックマッチング処理(ステップS103)では、図4に示した各ブロックをテンプレートとし、ワークメモリ405に記録された前フレームの入力画像(後述する)とのマッチングを実行し、現フレームの各ブロックの動きを検出する。テンプレートマッチングには、例えば、累積残差rMAD(x,y)や、正規化相関係数rCORR(x,y)等を使用することができ、それぞれ下記の式(1)、式(2)で表わされる。
Next, in the block matching process (step S103), each block shown in FIG. 4 is used as a template, matching with an input image (described later) of the previous frame recorded in the
ここで、g(x,y)、f(x,y)は、それぞれ、前フレームの入力画像及び現フレームの入力画像、N,Mは、それぞれ、ブロックの横方向の画素数及び縦方向の画素数、点(x0,y0)は、ブロックの左上の座標を表している。累積残差rMAD(x,y)は、前フレームの入力画像g(x,y)と現フレームの入力画像f(x,y)の変位(x,y)における絶対値差分の累積値を表しており、範囲−Sx≦x≦Sx,−Sy≦y≦Syにおいて最小値を取るrMAD(x,y)を見つけることでマッチングが行われる。なお、x,yは1画素を単位とする座標である。 Here, g (x, y) and f (x, y) are the input image of the previous frame and the input image of the current frame, respectively, and N and M are the number of pixels in the horizontal direction and the vertical direction of the block, respectively. The number of pixels and the point (x 0 , y 0 ) represent the upper left coordinates of the block. The cumulative residual r MAD (x, y) is the cumulative value of the absolute value difference between the displacement (x, y) of the input image g (x, y) of the previous frame and the input image f (x, y) of the current frame. Matching is performed by finding r MAD (x, y) that takes the minimum value in the range −S x ≦ x ≦ S x , −S y ≦ y ≦ S y . Note that x and y are coordinates in units of one pixel.
Sx,Syは、それぞれ、横方向及び縦方向の探索範囲を表し、例えば、Sx=Sy=50画素とする。この最小値を取る(x,y)は、テンプレートの動きベクトルを示す。rMAD(x,y)は、前フレームの入力画像g(x,y)と現フレームの入力画像f(x,y)が完全に一致している場合には、0となる。また、正規化相関係数rCORR(x,y)は、前フレームの入力画像g(x,y)と現フレームの入力画像f(x,y)の変位(x,y)における正規化された相関を表し、−Sx≦x≦Sx,−Sy≦y≦Syにおいて最大値を取るrCORR(x,y)を見つけることでマッチングが行われる。 S x and S y represent search ranges in the horizontal direction and the vertical direction, respectively. For example, S x = S y = 50 pixels. (X, y) taking the minimum value indicates a motion vector of the template. r MAD (x, y) is 0 when the input image g (x, y) of the previous frame completely matches the input image f (x, y) of the current frame. Further, the normalized correlation coefficient r CORR (x, y) is normalized in the displacement (x, y) of the input image g (x, y) of the previous frame and the input image f (x, y) of the current frame. Matching is performed by finding r CORR (x, y) that represents the maximum correlation in −S x ≦ x ≦ S x and −S y ≦ y ≦ S y .
rCORR(x,y)は、前フレームの入力画像g(x,y)と現フレームの入力画像f(x,y)が完全に一致している場合には、1となる。以上のブロックマッチング処理によって、各ブロックにおける動きベクトルが算出される。例えば、図3で表わされる場面では、図5のような各ブロックにおける動きベクトル(オプティカルフロー701)が得られる。 r CORR (x, y) is 1 when the input image g (x, y) of the previous frame completely matches the input image f (x, y) of the current frame. The motion vector in each block is calculated by the above block matching processing. For example, in the scene shown in FIG. 3, a motion vector (optical flow 701) in each block as shown in FIG. 5 is obtained.
なお、第1実施形態では、ブロックマッチングを用いた動きベクトルの算出方法を説明したが、動きベクトルが算出できれば別の方法を適用することが可能で、例えば、ブロックマッチング以外にも勾配法と呼ばれる方法を用いて動きベクトルを算出するようにしてもよい。図3の場面では、多数の人型の物体が左から右に向かって移動しているため、得られる動きベクトルも、右向きのベクトルが多数となる。 In the first embodiment, the motion vector calculation method using block matching has been described. However, if a motion vector can be calculated, another method can be applied. For example, the gradient method is called other than block matching. A motion vector may be calculated using a method. In the scene of FIG. 3, since many humanoid objects are moving from the left to the right, the motion vectors obtained are also many rightward vectors.
今、位置(i,j)のブロック(左上から、右にi番目、下にj番目のブロック)の動きベクトル702をvi,j=(xi,j,yi,j)とすると、
Now, assuming that the
ここで、図2のステップS103でのブロックマッチング処理は、画像上におけるブロックの動きを検出する手法であるため、画像上の見かけの大きさの違いの影響を受ける。具体的には、画像下部に存在する被写体は、画像上部に存在する被写体に比べ、撮像装置401からの距離が近いため、画像上の見かけの大きさが大きい。すなわち、画像下部の被写体ほど、得られる動きが大きく計測されてしまうという問題がある。
Here, the block matching process in step S103 of FIG. 2 is a method of detecting the motion of the block on the image, and is therefore affected by the difference in the apparent size on the image. Specifically, the subject existing in the lower part of the image has a larger apparent size on the image because it is closer to the
ここで、撮像装置401として、1/3インチのCCD固体撮像素子(素子サイズ4.8mm×3.6mm)を使用し、焦点距離を12mm、撮像装置401の取り付け高さをH=10m、撮像装置401の俯角をθTとした場合、視野角はθV=17.060、LA=25.05m、LB=88.76mとなる。すなわち、このような撮像条件であれば、画像上の見かけの大きさ、及び得られる動きベクトルも画像の上部下部で最大で約3.5倍の誤差が生じる。なお、画像上の任意の点C(x,y)における、撮像装置からの距離LC(x,y)は、下記の式(8)となる。
Here, a 1/3 inch CCD solid-state imaging device (element size: 4.8 mm × 3.6 mm) is used as the
すなわち、被写体と撮像装置401との距離の差を補正するためには、得られた動きベクトルに対して、下記の式(9)となる距離補正係数rL(x,y)を乗ずれば、被写体と撮像装置401との距離の違いによる誤差が画像上の任意の位置で0になる。
That is, in order to correct the difference in distance between the subject and the
また、上述の被写体の高さ方向の動き(画像の縦方向の動き)は、撮像装置401の俯角の違いによる誤差を含む。今、画像上の任意の点C(x,y)において、軸rの方向に距離Rだけ移動したとすると、画像上は、R×tan(θT−θV/2+θV・y/480)分だけ移動したように観測される。すなわち、被写体の画像の縦方向の動きにおける撮像装置401の俯角の差を補正するためには、得られた動きベクトルに対して、下記の式(10)となる距離補正係数rθ(x,y)を乗ずれば、俯角の違いによる誤差が画像上の任意の位置で0になる。
Further, the above-described movement of the subject in the height direction (movement of the image in the vertical direction) includes an error due to a difference in depression angle of the
すなわち、図2のステップS104の動き補正処理において、ステップS103のブロックマッチング処理で得られた動きベクトルvi,j=(xi,j,yi,j)を被写体と撮像装置401の距離の違いや、撮像装置401の俯角による誤差をキャンセルした補正した
That is, in the motion correction process in step S104 of FIG. 2, the motion vector v i, j = (x i, j , y i, j ) obtained in the block matching process in step S103 is set to the distance between the subject and the
ここで、点(x0,y0)は対象となるブロックの左上の座標を表し、N,Mはそれぞれブロックの横方向の画素数及び縦方向の画素数を表している。このような補正を行うことで、図5で表わされるようなオプティカルフロー701は、図6で表わされるオプティカルフロー80lのように補正される。
Here, the point (x 0 , y 0 ) represents the upper left coordinates of the target block, and N and M represent the number of pixels in the horizontal direction and the number of pixels in the vertical direction, respectively. By performing such correction, the
すなわち、従来の方法では、得られる動きベクトルが、画像上の見かけの大きさの違いの影響を受ける。具体的には、画像下部に存在する被写体は、画像上部に存在する被写体に比べ、撮像装置401からの距離が近いため、画像上の見かけの大きさが大きく、画像下部の被写体ほど、得られる動きが大きく計測されてしまうという問題がある。
That is, in the conventional method, the obtained motion vector is affected by the difference in the apparent size on the image. Specifically, the subject present in the lower part of the image is closer to the
次に、動き変化検出処理(ステップS105)では、動きベクトルの時間変化を検出する。動きくクトルの時間変化dは、現在のフレームにおける平均動きベクトル805v(−)T0と、ワークメモリ405に記録された前フレームの動きベクトル(後述する)v(−)T0−1の差で表わされる。すなわち、下記の式(13)として検出する。
Next, in the motion change detection process (step S105), a time change of the motion vector is detected. The time change d of the motion vector is expressed by the difference between the average motion vector 805v (−) T0 in the current frame and the motion vector (described later) v (−) T0-1 recorded in the
なお、第1実施形態では、平均動きベクトルの時間変化を検出するようにしているが、次に、動き変化判定(ステップS106)では、ステップS105の動き変化検出において検出された動きベクトル時間変化dを所定のしきい値T(例えば、10画素)と比較し、時間変化dがしきい値Tより大きい場合に、動きベクトルに変化があったと判断し、処理結果出力処理(ステップS107)へ分岐し、時間変化dがしきい値T以下であった場合に、入力画像記録処理(ステップS108)へ分岐する。 In the first embodiment, the time change of the average motion vector is detected. Next, in the motion change determination (step S106), the motion vector time change d detected in the motion change detection in step S105. Is compared with a predetermined threshold value T (for example, 10 pixels), and if the time change d is larger than the threshold value T, it is determined that the motion vector has changed, and the process branches to the processing result output process (step S107). If the time change d is equal to or less than the threshold value T, the process branches to the input image recording process (step S108).
ステップS107の処理結果出力では、情報出力I/F407を介して、情報表示装置408に監視領域内の動きベクトルに変化が発生したことを表示する。なお、第1実施形態では、処理結果の提示方法として情報表示装置408を用いているが、動きベクトルに変化が発生したことを外部に提示できればよく、音声、警告灯等の手段によって、動きベクトルの変化を知らせるようにしてもよい。
In the processing result output in step S107, the
次に、ステップS108の入力画像記録処理では、ワークメモリ405に現在の入力画像を記録し、ステップS103のフレームのブロックマッチング処理で使用できるようにする。動き記録処理(ステップS109)では、ステップS104の動き補正処理によって補正された動きベクトルを記録し、ステップS105のフレームの動き変化検出処理で使用できるようにする。
Next, in the input image recording process in step S108, the current input image is recorded in the
以上のようにすることで、従来の監視装置において、被写体と撮像装置401との距離の違いによって発生する動きベクトルの見かけの大きさの誤差の問題を解決し、監視領城内の状態変化を高精度に監視することができる。
As described above, in the conventional monitoring device, the problem of the error in the apparent magnitude of the motion vector caused by the difference in the distance between the subject and the
このように、第1実施形態では、画像処理手段である画像処理プロセッサ406の動き検出手段(ステップS103のブロックマッチング処理)により入力画像の少なくとも2個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、画像処理プロセッサ406の動き補正手段(ステップS103の動き補正処理)により動きベクトルが撮像装置401の撮像条件に基づいて補正され、画像処理プロセッサ406により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定されるようにしたので、被写体と撮像装置401との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることが解消されることから、効果的な監視を行うことができる。
As described above, in the first embodiment, the motion detection unit (block matching process in step S103) of the
また、画像処理手段である画像処理プロセッサ406に、動きベクトルの時間的な変化を検出する動き変化検出手段(ステップS105の動き変化検出処理)が設けられているため、動きベクトルの時間変化を確実に検出することができる。
In addition, since the
(第2実施形態)
次に、第2実施形態について、図8及び図9を用いて説明する。第2実施形態では、入力画像の変化を差分法を用いて検出するようにしたものである。ここで、図8は画像処理プロセッサ406で実行される処理を説明するためのフローチャートであり、図9は差分法の基本的な処理の様子を示す図である。なお、監視装置の構成としては、図1と同等であるため、その図示及び説明を省略する。
(Second Embodiment)
Next, 2nd Embodiment is described using FIG.8 and FIG.9. In the second embodiment, a change in the input image is detected using a difference method. Here, FIG. 8 is a flowchart for explaining the processing executed by the
すなわち、第2実施形態では、第1実施形態で行っていた入力画像のブロック分割の代わりに、入力画像の変化を検出して得られた領域に対し、図2のステップS103でのブロックマッチング処理を適用するようにしたものである。 That is, in the second embodiment, instead of the block division of the input image performed in the first embodiment, the block matching process in step S103 of FIG. 2 is performed on the region obtained by detecting the change of the input image. Is applied.
また、第2実施形態での画像処理プロセッサ406で実行される処理は、図8に示すようになっている。すなわち、同図では、図2のステップS102のブロック分割処理の代わりに、差分処理(ステップS201)、二値化処理(ステップS202)、ラベリング処理(ステップS203)が追加され、さらに、背景画像更新処理(ステップS204)が追加されている。これら以外の処理は、第1実施形態と同等のものであるため、その説明は適宜行うものとする。
Further, the processing executed by the
ここで、差分法による入力画像の変化を検出する方法の概略を表している図9において、符号1101は入力画像を表し、符号1103はワークメモリ405に記録された背景画像を表している。
Here, in FIG. 9, which represents an outline of a method for detecting a change in an input image by the difference method,
そして、の差分処理(ステップS201)では、図9の差分器1104によって、入力画像1101と背景画像1103の画素毎の差分を計算し、差分画像1105を算出する。ここで、入力画像1101に映る人型の物体1102は、差分画像1105中で、変化が生じた領域1106として検出される。
In the difference process (step S201), the difference between the
次に、二値化処理(ステップS202)では、図9の二値化器(th)1107によって、差分画像1105の各画素の値と所定のしきい値(例えば20、1画素8ビットを仮定)とを比較し、しきい値以上の画素を“255”、しきい値未満の画素を“0”とする変換を行う。
Next, in the binarization process (step S202), the binarizer (th) 1107 in FIG. 9 assumes the value of each pixel of the
これによって、二値化画像1108を得る。ここで、差分画像1105で、差分が生じた領域1106は、二値化された画素1109として検出され、さらにラベリング処理(ステップS203)によって、二値化された画素の塊を番号付けすることで、物体の存在する領域1110を得る。
Thereby, a
さらに、ブロックマッチング処理(ステップS103)では、ステップS203のラベリング処理によって得られた変化の生じた領域としての物体をテンプレートとしてマッチングが実行される。また、背景画像更新処理(ステップS204)では、ワークメモリ405に記録した現在フレームの背景画像1103と、現在フレームの入力画像1101とを例えば移動平均等の手法によって、新しい背景画像1103に更新し、ワークメモリ405に記録する。このようにすることで、各フレームにおいて、背景画像1103が更新され、常に最新の背景画像1103との差分処理が実行されることになる。
Further, in the block matching process (step S103), the matching is executed using the object as the changed area obtained by the labeling process in step S203 as a template. In the background image update process (step S204), the
このように、第2実施形態では、画像の変化が生じた部分についてのみブロックマッチングを実行することができるようにしたので、画像処理プロセッサ406で実行される計算の負荷を軽減することができ、効率よく監視することができる。
As described above, in the second embodiment, since block matching can be executed only for a portion where an image change has occurred, the load of calculation executed by the
(第3実施形態)
次に、第3実施形態について、図10〜図12等を用いて説明する。ここで、図10は画像処理プロセッサ406で実行される処理を説明するためのフローチャートであり、図11及び図12は図1の画像処理プロセッサ406の画像解析におけるオプティカルフローを示す図である。また、監視装置の構成としては、図1と同等であるため、その図示及び説明を省略する。
(Third embodiment)
Next, a third embodiment will be described with reference to FIGS. Here, FIG. 10 is a flowchart for explaining the processing executed by the
第3実施形態では、第1実施形態で得られた補正した動きベクトルを用いて、特定の位置から発散する動き、もしくは、特定の位置に集中する動きを検出する。そして、このような特定の位置(注目点)が存在した場合には、撮像装置401の撮像条件を制御して、自動的に注目点を捉えるようにしている。
In the third embodiment, using the corrected motion vector obtained in the first embodiment, a movement that diverges from a specific position or a movement that concentrates at a specific position is detected. When such a specific position (attention point) exists, the imaging condition of the
また、画像処理プロセッサ406で実行される処理においては、図10に示すように、図2の処理に、注目点算出処理(ステップS301)と、注目点判定処理(ステップS302)と、撮像装置制御処理(ステップS303)とが追加されている。
In the processing executed by the
そして、図10において、注目点算出処理(ステップS301)では、発散する動きの中心点(放射点)、もしくは、集中する動きの中心点(収束点)を注目点として算出する。ここで、放射点及び収束点の算出方法を、図11及び図12を用いて説明する。 In FIG. 10, in the attention point calculation process (step S <b> 301), the center point (radiation point) of the diverging motion or the center point (convergence point) of the concentrated motion is calculated as the attention point. Here, the calculation method of a radiation point and a convergence point is demonstrated using FIG.11 and FIG.12.
ます、図11のオプテイカノレフロー901は、ある特定の位置から発散する動きを示している。ここで、前述の通り、図10のステップS104の動き補正処理では、撮像装置401の撮像条件に応じて動きベクトルの補正が行われ、
First, the
ここで、特定の位置から発散する動きがある場合、オプティカルフロー901は、画面上部では上向きの動き、画面下部では下向きの動きを持ち、さらに、画面左部では左向きの動き、画面右部では右向きの動きを持つ。
Here, when there is a movement that diverges from a specific position, the
また、第3実施形態では、放射点をブロックの位置909で表わしているが、X,Y成分がマイナスからプラスに変化する2点において、それぞれの平均動きベクトルのY,X成分の絶対値の大小に基づく重みにより、放射点を決定してもよい。 In the third embodiment, the radiation point is represented by the block position 909. However, at the two points where the X and Y components change from minus to plus, the absolute values of the Y and X components of the respective average motion vectors are represented. The radiation point may be determined by a weight based on the magnitude.
ここで、動きベクトルが発散するということは、ある位置で、例えばナイフ等を振り回す人物が現れる等の危険事象が発生し、周囲の人物が逃げる行動を表しており、第3実施形態によれば、このような危険事象を発見することができる。 Here, the divergence of the motion vector represents a behavior in which a dangerous event such as the appearance of a person swinging a knife or the like occurs at a certain position and the surrounding persons escape, according to the third embodiment. Such a dangerous event can be found.
次に、図12のオプティカルフロー1001は、ある特定の位置に集中する動きを示している。ここで、前述の通り、図10のステップS104の動き補正処理では、撮像装置401の撮像条件に応じて動きベクトルの補正が行われ、
Next, an
ここで、特定の位置に集中する動きがある場合、オプティカルフロー1001は、画面上部では下向きの動き、画面下部では上向きの動きを持ち、さらに、画面左部では右向きの動き、画面右部では左向きの動きを持つ。
Here, when there is a movement concentrated at a specific position, the
また、第3実施形態では、収束点1009をブロックの位置で表わしているが、X,Y成分がマイナスからプラスに変化する2点において、それぞれの平均動きベクトルのY,X成分の絶対値の大小に基づく重みによって、収束点を決定してもよい。ここで、動きベクトルが収束するということは、ある位置で、例えば転倒者が現れる等の危険事象が発生し、周囲の人物が集まる行動を表しており、第3実施形態によれば、このような危険事象を発見することができる。
In the third embodiment, the
次に、図10の注目点判定(ステップS302)では、放射点もしくは収束点の注目点を見つけた場合、撮像装置制御処理(ステップS303)へ分岐し、見つけられなかった場合には、入力画像記録処理ステップ108に分岐する。ここで、ステップS302の注目点判定において、発散もしくは収束の度合いが一定以上であった場合に、ステップS303の撮像装置制御処理に分岐するようにしてもよい。
Next, in the attention point determination (step S302) in FIG. 10, when the attention point of the radiation point or the convergence point is found, the process branches to the imaging device control process (step S303). The process branches to the
次に、ステップS303の撮像装置制御処理では、注目点が検出された場合に、制御回路I/F404を制御して、撮像装置401の撮像条件を変える。ここで、撮像条件とは、撮像装置401の焦点距離や、撮像装置401を取り付ける電動雲台の向き等であり、上記危険事象が発生している位置をズームアップして監視することが可能となる。
Next, in the imaging device control processing in step S303, when a point of interest is detected, the control circuit I /
このように、第3実施形態では、画像処理手段である画像処理プロセッサ406に、動き検出手段(ステップS105の動き変化検出処理)によって検出された動きベクトルから、放射点又は収束点のいずれかの注目点を算出する注目点算出手段(ステップS301の注目点算出処理)と設け、放射点又は収束点のいずれかの注目点が見つかった場合に、情報表示装置408に該注目点の情報が出力されるようにしたので、従来の方法で課題となる、通常状態において、各画素の画素値変化が大きい場合適用できず、背景部分が激しく動く場合や、人混み等での使用や、検出すべき物体を比較的大きく写すような画角が必要となる問題を解決することができる。
Thus, in the third embodiment, the
また、上記同様に、撮像装置401の画角を広角に設定することで発生する撮像装置401と撮像対象までの距離の違いによって、動きベクトルの見かけの大きさに誤差が発生するという問題や、監視領域を広角で撮像することによる監視領域内の状態の変化の原因を特定することが困難であるという問題を解決することができ、従来の監視装置の適用範囲をさらに広げることができる。
Similarly to the above, there is a problem that an error occurs in the apparent magnitude of the motion vector due to a difference in distance between the
また、画像処理手段である画像処理プロセッサ406に、放射点又は収束点のいずれかの注目点が見つかった場合に、該注目点に基づいて撮像装置401の撮像条件を変更する撮像装置制御手段(ステップS303の撮像装置制御処理)を設けるようにしているので、例えば危険事象が発生している位置をズームアップして監視することが可能となる。
In addition, when an attention point of either a radiation point or a convergence point is found in the
401 撮像装置
402 映像入力I/F
403 プログラムメモリ
404 制御回路I/F
405 ワークメモリ
406 画像処理プロセッサ
407 情報出力I/F
408 情報表示装置
401
403
405
408 Information display device
Claims (1)
前記画像処理手段は、入力画像の少なくとも2個以上の部分画像に対してそれぞれの部分画像の時間的な動きを動きベクトルとして検出する動き検出手段と、
該動きベクトルを前記撮像装置の撮像条件に基づいて補正する動き補正手段とを備え、
前記画像処理手段は、前記動き補正手段によって検出された動きベクトルに基づき監視領域の状態を判定する
ことを特徴とする監視装置。 An imaging device that images the monitoring area, an image processing unit that processes an input image captured by the imaging device to determine the state of the monitoring area, and information based on a determination result of the state of the monitoring area of the image processing unit A monitoring device comprising an information output device for outputting,
The image processing means includes a motion detection means for detecting a temporal motion of each partial image as a motion vector with respect to at least two partial images of the input image;
Motion correction means for correcting the motion vector based on the imaging condition of the imaging device,
The monitoring apparatus, wherein the image processing unit determines a state of a monitoring region based on a motion vector detected by the motion correction unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008293144A JP5155110B2 (en) | 2008-11-17 | 2008-11-17 | Monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008293144A JP5155110B2 (en) | 2008-11-17 | 2008-11-17 | Monitoring device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010124028A true JP2010124028A (en) | 2010-06-03 |
JP2010124028A5 JP2010124028A5 (en) | 2011-12-15 |
JP5155110B2 JP5155110B2 (en) | 2013-02-27 |
Family
ID=42325003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008293144A Active JP5155110B2 (en) | 2008-11-17 | 2008-11-17 | Monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5155110B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234285A (en) * | 2011-04-28 | 2012-11-29 | Dainippon Printing Co Ltd | Image analysis device, image analysis method, image analysis program, and recording medium |
JP2014164446A (en) * | 2013-02-22 | 2014-09-08 | Kddi Corp | Background model construction device, background model construction method, and program |
JP2015179438A (en) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | Image processing device, movement velocity determination method and movement velocity determination program |
JP2016146601A (en) * | 2015-02-09 | 2016-08-12 | キヤノン株式会社 | Image processing apparatus and control method therefor |
JP2017191608A (en) * | 2016-04-15 | 2017-10-19 | 株式会社リコー | Object recognition method, object recognition device, and classifier training method |
JP2019200816A (en) * | 2013-05-16 | 2019-11-21 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JPWO2019053789A1 (en) * | 2017-09-12 | 2020-11-12 | 日本電気株式会社 | Information processing systems, control methods, and programs |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000333183A (en) * | 1999-05-25 | 2000-11-30 | Matsushita Electric Ind Co Ltd | Method for detecting motion vector |
JP2002374521A (en) * | 2001-06-13 | 2002-12-26 | Mitsubishi Heavy Ind Ltd | Method and device for monitoring mobile object |
JP2003051016A (en) * | 2001-05-11 | 2003-02-21 | Honda Motor Co Ltd | System, method and program for detecting approach |
JP2006180200A (en) * | 2004-12-22 | 2006-07-06 | Matsushita Electric Ind Co Ltd | Monitoring device |
JP2007317052A (en) * | 2006-05-29 | 2007-12-06 | Japan Airlines International Co Ltd | System for measuring waiting time for lines |
-
2008
- 2008-11-17 JP JP2008293144A patent/JP5155110B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000333183A (en) * | 1999-05-25 | 2000-11-30 | Matsushita Electric Ind Co Ltd | Method for detecting motion vector |
JP2003051016A (en) * | 2001-05-11 | 2003-02-21 | Honda Motor Co Ltd | System, method and program for detecting approach |
JP2002374521A (en) * | 2001-06-13 | 2002-12-26 | Mitsubishi Heavy Ind Ltd | Method and device for monitoring mobile object |
JP2006180200A (en) * | 2004-12-22 | 2006-07-06 | Matsushita Electric Ind Co Ltd | Monitoring device |
JP2007317052A (en) * | 2006-05-29 | 2007-12-06 | Japan Airlines International Co Ltd | System for measuring waiting time for lines |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234285A (en) * | 2011-04-28 | 2012-11-29 | Dainippon Printing Co Ltd | Image analysis device, image analysis method, image analysis program, and recording medium |
JP2014164446A (en) * | 2013-02-22 | 2014-09-08 | Kddi Corp | Background model construction device, background model construction method, and program |
JP2019200816A (en) * | 2013-05-16 | 2019-11-21 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP2015179438A (en) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | Image processing device, movement velocity determination method and movement velocity determination program |
JP2016146601A (en) * | 2015-02-09 | 2016-08-12 | キヤノン株式会社 | Image processing apparatus and control method therefor |
JP2017191608A (en) * | 2016-04-15 | 2017-10-19 | 株式会社リコー | Object recognition method, object recognition device, and classifier training method |
CN107305635A (en) * | 2016-04-15 | 2017-10-31 | 株式会社理光 | Object identifying method, object recognition equipment and classifier training method |
JPWO2019053789A1 (en) * | 2017-09-12 | 2020-11-12 | 日本電気株式会社 | Information processing systems, control methods, and programs |
US11314968B2 (en) | 2017-09-12 | 2022-04-26 | Nec Corporation | Information processing apparatus, control method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5155110B2 (en) | 2013-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5155110B2 (en) | Monitoring device | |
JP5414405B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US8004570B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
JP6395506B2 (en) | Image processing apparatus and method, program, and imaging apparatus | |
JP5644097B2 (en) | Image processing apparatus, image processing method, and program | |
JP5680524B2 (en) | Image processing device | |
JP2008113071A (en) | Automatic tracking device | |
US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
KR20090062881A (en) | A moving robot and a moving object detecting method thereof | |
JPH08172566A (en) | Camera-shake correction device and video camera using it | |
JP2017098884A (en) | Movement detection device, movement detection method, and program | |
JP2017097767A (en) | Movement information acquisition device, movement information acquisition method, and program | |
JP2011097217A (en) | Motion correction device and method therefor | |
JP6282133B2 (en) | Imaging device, control method thereof, and control program | |
JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
JP5710230B2 (en) | Monitoring system and monitoring method | |
JP4985569B2 (en) | Imaging apparatus and imaging method | |
KR102107137B1 (en) | Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera | |
CN106454066B (en) | Image processing apparatus and control method thereof | |
JP2004289709A (en) | Image pickup device, and image pickup method | |
JP3625442B2 (en) | Object detection method, object detection apparatus, and object detection program | |
JP2012147083A (en) | Image processor, image processing method, and program | |
US20200186716A1 (en) | Imaging device and method for correcting shake of captured image | |
JP5132705B2 (en) | Image processing device | |
JP7031570B2 (en) | Vibration detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5155110 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |