JP2008257382A - Movement detection device, movement detection method and movement detection program - Google Patents
Movement detection device, movement detection method and movement detection program Download PDFInfo
- Publication number
- JP2008257382A JP2008257382A JP2007097313A JP2007097313A JP2008257382A JP 2008257382 A JP2008257382 A JP 2008257382A JP 2007097313 A JP2007097313 A JP 2007097313A JP 2007097313 A JP2007097313 A JP 2007097313A JP 2008257382 A JP2008257382 A JP 2008257382A
- Authority
- JP
- Japan
- Prior art keywords
- energy distribution
- velocity vector
- function
- luminance
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、悪天候の画像から、移動対象の動きを正確に検出する技術に関する。 The present invention relates to a technique for accurately detecting movement of a moving object from an image of bad weather.
従来、自然環境の変化や、車両,船舶,人などの移動対象の動きを把握するには、通常、監視カメラを屋外の所定場所に設置し、そのカメラで撮影された映像を生で監視する方法や、その映像に画像処理を施した画像をチェックする方法が用いられている。特に、後者の場合、移動対象の動きを正確に把握するには、その画像を処理する技術の性能に大きく左右されることになる。 Conventionally, in order to grasp changes in the natural environment and movements of moving objects such as vehicles, ships, and people, a surveillance camera is usually installed at a predetermined outdoor location, and the images captured by the camera are monitored live. A method and a method of checking an image obtained by performing image processing on the video are used. In particular, in the latter case, in order to accurately grasp the movement of the moving object, it greatly depends on the performance of the technology for processing the image.
画像処理を行う技術に関し、MPEG(Moving Picture Experts Group)に代表される符号化の分野で用いられている相互相関法(「CC法」、「パターンマッチング法」とも称される)を用いて処理する技術が有名である。このCC法は、連続する2枚の画像間の類似性を相互相関関数等により評価して、類似する領域を画像間の移動距離(ベクトル)とみなす方法である。 Regarding image processing technology, processing using the cross-correlation method (also referred to as “CC method” or “pattern matching method”) used in the field of coding represented by MPEG (Moving Picture Experts Group) The technology to do is famous. This CC method is a method in which similarity between two consecutive images is evaluated by a cross-correlation function or the like, and a similar region is regarded as a movement distance (vector) between images.
しかしながら、相互相関法は、その画像間で輝度変動がないことを前提条件とする処理方法であるため、輝度変動が激しい自然環境下における移動対象の動きを検知する場合には適用性が低いものと考えられる。 However, the cross-correlation method is a processing method on the premise that there is no luminance fluctuation between the images, and therefore has low applicability when detecting the movement of a moving object in a natural environment where the luminance fluctuation is severe. it is conceivable that.
そこで、非特許文献1では、カメラで撮影した映像や画像の輝度変動を利用して、オプティカルフロー法に基づく移動対象の動きを推定する方法が試みられている。また、非特許文献2では、樹木の揺らぎなどの背景から、前景に存在する車両などの移動対象を検出する技術が開示されている。更に、非特許文献3では、天候が霧の場合における画像処理技術が開示されている。
しかしながら、非特許文献1に記載されたオプティカルフロー法は、映像や画像の輝度変動のみ用いて動きを検出する方法であり、気象現象に関する動きモデルが考慮されていないため、天候の変化を考慮した移動対象の動きを正確に検出できないという問題があった。 However, the optical flow method described in Non-Patent Document 1 is a method that detects motion using only luminance fluctuations of video and images, and does not consider a motion model related to weather phenomena, and therefore considers changes in weather. There was a problem that the movement of the moving object could not be detected accurately.
また、非特許文献2に記載された推定方法は、天候を晴れとする条件で移動対象を検出する方法であるため、背景と前景とを覆うような雨や雪に覆われた天候の場合には、移動対象の動きを正確に検出できないという問題があった。 In addition, the estimation method described in Non-Patent Document 2 is a method of detecting a moving object under conditions where the weather is clear, so in the case of weather covered with rain or snow that covers the background and the foreground. However, there is a problem that the movement of the moving object cannot be accurately detected.
更に、非特許文献3では、ビルなどを見え易くする処理方法のみが開示されているため、移動対象の動きを推定できないという問題があった。 Furthermore, since Non-Patent Document 3 discloses only a processing method that makes it easy to see a building or the like, there has been a problem that the movement of the moving object cannot be estimated.
なお、非特許文献4では、これらの問題を解決するために、光源の移動モデルなどの物理現象に基づく輝度変動モデルを適用している。しかしながら、風や雪などの降雪現象のように、複数の現象が同時に発生する場合における複合的な物理モデルを考慮していないので、複雑な天候の変化を考慮した場合における移動対象の動きを正確に検知できないという問題があった。 In Non-Patent Document 4, in order to solve these problems, a luminance variation model based on a physical phenomenon such as a light source movement model is applied. However, it does not consider complex physical models when multiple phenomena occur at the same time, such as snowfall phenomena such as wind and snow. There was a problem that could not be detected.
本発明は、上記を鑑みてなされたものであり、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することを課題とする。 The present invention has been made in view of the above, and an object of the present invention is to stably and accurately detect the movement of a moving object even in bad weather.
第1の本発明に係る動き検出装置は、天候を含む画像を入力する画像入力手段と、入力された前記画像を時系列に蓄積する画像蓄積手段と、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する目的関数導出手段と、連続する2枚の画像を前記画像蓄積手段から読み出して、当該2枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する速度ベクトル推定手段と、推定された当該速度ベクトルを表示する表示手段と、を有することを要旨とする。 A motion detection apparatus according to a first aspect of the present invention includes an image input means for inputting an image including weather, an image storage means for storing the input image in time series, and an anisotropic diffusion function indicating a luminance diffusion phenomenon. And a luminance variation equation with the velocity vector of the moving object as a variable based on an exponential function indicating diffused reflection of luminance and a sine function indicating a wave of luminance, and the luminance variation equation and the parallel mobility of the moving target are derived. An objective function deriving means for deriving an objective function obtained by substituting a constraint condition expression based on a robust function based on robust statistics, and reading two consecutive images from the image accumulating means, and the density of the two images The gist of the invention is to have a speed vector estimating means for substituting a value into the objective function and estimating the speed vector, and a display means for displaying the estimated speed vector.
本発明にあっては、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、この輝度変動方程式と移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を用いて、連続する2枚の画像の濃淡値から移動対象の速度ベクトルを推定するため、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することができる。 In the present invention, based on an anisotropic diffusion function indicating a luminance diffusion phenomenon, an exponential function indicating irregular luminance reflection, and a sine function indicating a luminance wave, the luminance using a velocity vector of a moving object as a variable Move from the gray value of two consecutive images using an objective function that derives a variation equation and substitutes this luminance variation equation and the constraint equation based on the parallel mobility of the moving object into a robust function based on robust statistics Since the speed vector of the target is estimated, the movement of the moving target can be detected stably and accurately even in bad weather.
第2の本発明に係る動き検出装置は、請求項1に記載の発明であって、前記速度ベクトル推定手段は、前記2枚の画像を同じ数のサブブロックにそれぞれ分割して、当該サブブロックごとに前記速度ベクトルを推定し、更に、前記2枚の画像を前記サブブロック数とは異なる数のサブブロックに分割して前記速度ベクトルを推定することを繰り返し行うものであって、推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるエネルギー分布導出手段と、前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定する判定手段と、を更に有し、前記表示手段は、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを要旨とする。 A motion detection apparatus according to a second aspect of the present invention is the motion detection apparatus according to claim 1, wherein the velocity vector estimation unit divides the two images into the same number of sub-blocks, and The speed vector is estimated every time, and the two images are divided into a number of sub-blocks different from the number of sub-blocks, and the speed vector is estimated repeatedly. Based on the velocity vector, energy distribution deriving means for obtaining the energy distribution of the moving object, and determination for sequentially determining the similarity between the energy distribution and the predetermined energy distribution from the energy distribution of the image having a small number of sub-blocks And when the similarity reaches a predetermined level, the display means determines the number of sub-blocks having the energy distribution. And summarized in that displaying a velocity vector of the split image.
本発明にあっては、2枚の画像を同じ数のサブブロックにそれぞれ分割して、このサブブロックごとに速度ベクトルを推定し、更に、この2枚の画像をこのサブブロック数とは異なる数のサブブロックに分割して速度ベクトルを推定することを繰り返し行うものであって、推定された速度ベクトルに基づいて、移動対象のエネルギー分布を求め、このエネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定し、類似度が所定の水準に到達した場合に、このエネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示するため、より妥当性のある移動対象の動きを検出することができる。なお、一般の画像処理では、サブブロック数は経験的に決定されるが、本発明では、動き検出装置により、所定のエネルギー分布に近似したサブブロック数の画像を決定することも可能となる。 In the present invention, the two images are divided into the same number of sub-blocks, the velocity vector is estimated for each sub-block, and the two images are different from the number of sub-blocks. It is repeatedly performed by dividing into sub-blocks and estimating the velocity vector. Based on the estimated velocity vector, the energy distribution of the moving object is obtained, and the energy distribution is similar to the predetermined energy distribution. In order to display the velocity vector of the image divided into the number of sub-blocks having this energy distribution when the degree of similarity is reached in order from the energy distribution of the image with a small number of sub-blocks and the similarity reaches a predetermined level, It is possible to detect a more appropriate movement of the moving object. In general image processing, the number of sub-blocks is determined empirically, but in the present invention, it is also possible to determine an image having the number of sub-blocks approximated to a predetermined energy distribution by the motion detection device.
第3の本発明に係る動き検出装置は、請求項1又は2に記載の発明であって、前記速度ベクトル推定手段は、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを要旨とする。 The motion detection apparatus according to a third aspect of the present invention is the motion detection apparatus according to claim 1 or 2, wherein the velocity vector estimation means uses a Lorentz function as the robust function used when calculating the objective function. This is the gist.
本発明にあっては、速度ベクトル推定手段が、目的関数を演算する際に用いるロバスト関数として、ローレンツ関数を用いるため、目的関数の計算速度を向上することができる。 In the present invention, since the speed vector estimation means uses the Lorentz function as the robust function used when calculating the objective function, the calculation speed of the objective function can be improved.
第4の本発明に係る動き検出装置は、請求項2又は3に記載の発明であって、前記所定のエネルギー分布は、Kolmogorovのエネルギー分布であることを要旨とする。 A motion detection apparatus according to a fourth aspect of the present invention is the invention according to claim 2 or 3, wherein the predetermined energy distribution is a Kolmogorov energy distribution.
第5の本発明に係る動き検出方法は、天候を含む画像を入力する第1のステップと、入力された前記画像を時系列に画像蓄積手段に蓄積する第2のステップと、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する第3のステップと、連続する2枚の画像を前記画像蓄積手段から読み出して、当該2枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する第4のステップと、推定された当該速度ベクトルを表示する第5のステップと、を有することを要旨とする。 A motion detection method according to a fifth aspect of the present invention includes a first step of inputting an image including weather, a second step of storing the input image in the image storage means in time series, and a luminance diffusion phenomenon. Based on the anisotropic diffusion function indicating the diffuse reflection of the brightness, the exponential function indicating the diffuse reflection of the brightness, and the sine function indicating the wave of the brightness, a brightness variation equation using the velocity vector of the moving object as a variable is derived, A third step of deriving an objective function obtained by substituting a constraint function expression based on the parallel mobility of the moving object into a robust function based on robust statistics, and reading out two consecutive images from the image storage means, Substituting the gray value of two images into the objective function and including a fourth step of estimating the velocity vector and a fifth step of displaying the estimated velocity vector That.
第6の本発明に係る動き検出方法は、請求項5に記載の発明であって、前記第4のステップは、前記2枚の画像を同じ数のサブブロックにそれぞれ分割して、当該サブブロックごとに前記速度ベクトルを推定し、更に、前記2枚の画像を前記サブブロック数とは異なる数のサブブロックに分割して前記速度ベクトルを推定することを繰り返し行うものであって、推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるステップと、前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定するステップと、を更に有し、前記第5のステップは、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを要旨とする。 A motion detection method according to a sixth aspect of the present invention is the motion detection method according to claim 5, wherein the fourth step divides the two images into the same number of sub-blocks, The speed vector is estimated every time, and the two images are divided into a number of sub-blocks different from the number of sub-blocks, and the speed vector is estimated repeatedly. Obtaining an energy distribution of the moving object based on the velocity vector; and determining a similarity between the energy distribution and a predetermined energy distribution in order from an energy distribution of an image having a small number of sub-blocks. The fifth step further includes the step of dividing the image into the number of sub-blocks having the energy distribution when the similarity reaches a predetermined level. And summarized in that displaying a velocity vector.
第7の本発明に係る動き検出方法は、請求項5又は6に記載の発明であって、前記第4のステップは、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを要旨とする。 The motion detection method according to a seventh aspect of the present invention is the invention according to claim 5 or 6, wherein the fourth step uses a Lorentz function as the robust function used when calculating the objective function. This is the gist.
第8の本発明に係る動き検出方法は、請求項6又は7に記載の発明であって、前記所定のエネルギー分布は、Kolmogorovのエネルギー分布であることを要旨とする。 The motion detection method according to an eighth aspect of the present invention is the invention according to claim 6 or 7, wherein the predetermined energy distribution is a Kolmogorov energy distribution.
第9の本発明に係る動き検出プログラムは、請求項5乃至8のいずれか1項に記載の動き検出方法における各ステップをコンピュータによって実行させることを要旨とする。 A gist of a motion detection program according to a ninth aspect of the present invention is to cause a computer to execute each step in the motion detection method according to any one of claims 5 to 8.
本発明によれば、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することができる。 According to the present invention, it is possible to detect the movement of a moving object stably and accurately even in bad weather.
以下、本発明の実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
〔動き検出装置の構成について〕
図1は、本発明の実施の形態に係る動き検出装置10を示した構成図である。動き検出装置10は、天候を含む画像を入力する画像入力部100と、入力された画像を時系列に蓄積する画像蓄積部110と、目的関数を導出する目的関数導出部120と、速度ベクトルを推定する速度ベクトル推定部130と、天候のエネルギー分布を求めるエネルギー分布導出部140と、求められたエネルギー分布の類似度を判定する判定部150と、判定結果に基づいて推定された速度ベクトルを表示する表示部160とを備えた構成である。
[Configuration of motion detection device]
FIG. 1 is a configuration diagram illustrating a motion detection apparatus 10 according to an embodiment of the present invention. The motion detection apparatus 10 includes an image input unit 100 that inputs an image including weather, an image storage unit 110 that stores the input image in time series, an objective function derivation unit 120 that derives an objective function, and a velocity vector. An estimated speed vector estimating unit 130, an energy distribution deriving unit 140 for determining the energy distribution of the weather, a determining unit 150 for determining the similarity of the obtained energy distribution, and a speed vector estimated based on the determination result are displayed. It is the structure provided with the display part 160 to perform.
なお、動き検出装置10は、コンピュータ本体を構成するCPU,メモリ,ハードディスクなどにより実現され、次に説明する各ステップの動作処理はプログラムで実行される。 The motion detection device 10 is realized by a CPU, a memory, a hard disk, and the like that constitute a computer main body, and an operation process of each step described below is executed by a program.
〔動き検出装置の処理について〕
続いて、動き検出装置10を構成する各部100〜160の処理について説明する。なお、画像の輝度値,強度値または濃淡値の意味するところは全て等価であり、計算する際に使用される画像データは画像の濃淡値として以下説明する。
[Processing of motion detection device]
Next, processing of each unit 100 to 160 configuring the motion detection device 10 will be described. Note that all the meanings of the luminance value, intensity value, and gray value of an image are equivalent, and image data used for calculation will be described below as the gray value of an image.
最初に、画像入力部100には、天候を含む連続した複数の画像が入力される(ステップS1)。ここで入力される画像は、雨,霧,雪などの悪天候下で撮影された画像であって、本実施の形態では、図2(a)で示す霧のシーンと、図2(b)で示す降雪シーンの画像を用いる。 First, a plurality of continuous images including weather are input to the image input unit 100 (step S1). The image input here is an image taken under bad weather such as rain, fog, and snow. In this embodiment, the fog scene shown in FIG. 2A and the image shown in FIG. The snow scene image shown is used.
次に、画像蓄積部110は、画像入力部100で入力された複数の画像を時系列に蓄積する(ステップS2)。時系列とは、時間とともに変動する現象の観測値を時間とともに記録した並びを意味するものである。 Next, the image accumulating unit 110 accumulates a plurality of images input by the image input unit 100 in time series (step S2). The time series means a sequence in which observed values of phenomena that change with time are recorded with time.
続いて、目的関数導出部120は、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、この輝度変動方程式と移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する(ステップS3)。なお、この目的関数の具体的な導出方法については後述する。 Subsequently, the objective function deriving unit 120 sets the velocity vector to be moved as a variable based on the anisotropic diffusion function indicating the luminance diffusion phenomenon, the exponential function indicating the irregular reflection of luminance, and the sine function indicating the wave of luminance. Then, an objective function is derived by substituting the luminance variation equation and the constraint condition formula based on the parallel mobility of the moving object into a robust function based on robust statistics (step S3). A specific method for deriving the objective function will be described later.
速度ベクトル推定部130は、連続する2枚の画像を画像蓄積部110から読み出して、この2枚の画像の濃淡値をステップ3で導出した目的関数に代入し、オプティカルフロー成分としての輝度変動方程式における速度ベクトルと、気象物理に関する未知数としての異方拡散関数の異方拡散係数,指数関数の指数係数,正弦関数の方向(角度)とを推定する(ステップS4)。 The velocity vector estimation unit 130 reads two consecutive images from the image storage unit 110, substitutes the gray values of the two images into the objective function derived in step 3, and calculates the luminance variation equation as an optical flow component. And the anisotropic diffusion coefficient of the anisotropic diffusion function as an unknown related to meteorological physics, the exponential coefficient of the exponential function, and the direction (angle) of the sine function are estimated (step S4).
具体的には、速度ベクトル推定部130は、読み出した連続する2枚の画像を同じ数のサブブロックにそれぞれ分割して、同じ場所に位置するサブブロックの濃淡値を用いて、サブブロックごとに上述の速度ベクトル等を最急降下法における最小化計算を行うことで推定し、更に、この2枚の画像を先のサブブロック数とは異なる数のサブブロックに分割して、同様の方法で速度ベクトル等を推定することを繰り返し行う。 Specifically, the speed vector estimation unit 130 divides the two consecutive read images into the same number of sub-blocks, and uses the gray values of the sub-blocks located at the same location for each sub-block. The above velocity vector is estimated by performing the minimization calculation in the steepest descent method. Further, the two images are divided into a number of sub-blocks different from the number of the previous sub-blocks, and the velocity is calculated in the same manner. It repeatedly performs estimation of vectors and the like.
例えば、最初に、連続する2枚の画像を3×3の計9個のサブブロックにそれぞれ分割して、サブブロックごとに速度ベクトル等を推定する。次に、その連続する2枚の画像を4×4の計16個のサブブロックにそれぞれ分割して、同様に速度ベクトル等を推定する。そして、次は、5×5の計25個の画像、6×6の計36個の画像、(以降、省略)、に対して、繰り返し速度ベクトル等を推定する。なお、画像の分割方法については、上記に限られるものではなく、例えば、3×5や5×3であっても、得られる効果に影響を与えるものではない。 For example, first, two continuous images are divided into a total of nine sub-blocks of 3 × 3, and a velocity vector or the like is estimated for each sub-block. Next, the two continuous images are divided into a total of 16 sub-blocks of 4 × 4, and the velocity vector and the like are similarly estimated. Next, a repetitive speed vector or the like is estimated for a total of 25 images of 5 × 5 and a total of 36 images of 6 × 6 (hereinafter omitted). Note that the image dividing method is not limited to the above. For example, even 3 × 5 or 5 × 3 does not affect the obtained effect.
エネルギー分布導出部140は、ステップS4で推定された速度ベクトルに基づいて、移動対象のエネルギー分布を求める(ステップS5)。なお、このエネルギー分布を求める方法については後述する。 The energy distribution deriving unit 140 obtains the energy distribution of the movement target based on the velocity vector estimated in step S4 (step S5). A method for obtaining this energy distribution will be described later.
判定部150は、ステップS5で求められたエネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定する(ステップS6)。 The determination unit 150 determines the similarity between the energy distribution obtained in step S5 and the predetermined energy distribution in order from the energy distribution of the image with the smaller number of sub-blocks (step S6).
なお、本実施の形態で用いる所定のエネルギー分布とは、後述する風の統計分布の一つであるKolmogorovのエネルギー分布である。また、類似性の度合いを判定する方法は、例えば、相互相関関数を利用する。 The predetermined energy distribution used in the present embodiment is a Kolmogorov energy distribution, which is one of the wind statistical distributions described later. Further, as a method for determining the degree of similarity, for example, a cross-correlation function is used.
最後に、表示部160は、類似度が所定の水準に到達した場合に、その水準に到達したエネルギー分布を有するサブブロック数に分割された画像の動きベクトル(速度ベクトル)を矢印記号として画面に表示する(ステップS7)。 Finally, when the similarity reaches a predetermined level, the display unit 160 displays the motion vector (velocity vector) of the image divided into the number of sub-blocks having the energy distribution reaching the level as an arrow symbol on the screen. Display (step S7).
〔目的関数の導出方法について〕
次に、ステップS3で説明した目的関数の具体的な導出方法について、その理由を踏まえながら説明する。
[Derivation method of objective function]
Next, a specific method for deriving the objective function described in step S3 will be described based on the reason.
一般的に、天候シーンにおける連続する2枚の時系列画像間の輝度変動は非常に複雑である。図2(a)で示す霧シーンでは、平均輝度が高く、時間に対する輝度変動は緩やかである。また、奥行き方向への視認性が低く、コントラストが局所的に低いことも特徴である。従い、輝度の拡散現象や波状の濃淡値変化が顕著なので、輝度変動の要因として、拡散現象を示す異方拡散モデルと、波動を示す波モデルを考慮する必要がある。 In general, the luminance fluctuation between two consecutive time-series images in a weather scene is very complicated. In the fog scene shown in FIG. 2A, the average luminance is high, and the luminance variation with respect to time is moderate. In addition, it is also characterized by low visibility in the depth direction and locally low contrast. Accordingly, since the luminance diffusion phenomenon and the wavy shade value change are remarkable, it is necessary to consider the anisotropic diffusion model indicating the diffusion phenomenon and the wave model indicating the wave as factors of the luminance fluctuation.
また、図2(b)で示す降雪シーンや積雪シーンでは、雪が積もった道路や雪粒からの光の乱反射を伴うので、輝度の指数関数モデルを考慮する必要がある。なお、晴天シーンの場合であっても、乾いた道路からの輝度の乱反射が存在するのは言うまでも無い。 Further, in the snowfall scene and the snowfall scene shown in FIG. 2B, since there is irregular reflection of light from the road and snow particles where snow has accumulated, it is necessary to consider an exponential function model of luminance. Needless to say, even in the case of a clear sky scene, there is irregular reflection of luminance from a dry road.
従って、気象物理に関する輝度変動モデルとして、異方拡散モデル,波モデル,指数関数モデルを考慮した目的関数を導出する。 Therefore, an objective function taking into account an anisotropic diffusion model, a wave model, and an exponential function model is derived as a luminance variation model related to meteorological physics.
最初に、異方拡散モデルについて説明する。異方拡散モデルは、時間の変化に対する輝度の拡散現象を示すものであって、式(1)で表現することができる。これは、空間中において様々な方向に気流の動きが存在し、例えば、霧の濃度は風の影響を強く受けることから、拡散の等方性を仮定できないので、輝度の拡散現象としてモデル化するものである。
なお、Iは2次元の画像輝度を示し、Ixx,Ixy,Iyyはそれぞれ水平方向,垂直方向,斜め方向における空間の2次微分である。また、λ1,λ2,λ3はそれぞれ水平方向,垂直方向,斜め方向の拡散係数である。そして、左辺は、輝度の時間変化を表している。 Note that I indicates a two-dimensional image luminance, and I xx , I xy , and I yy are second-order derivatives of the space in the horizontal direction, the vertical direction, and the oblique direction, respectively. Further, λ 1 , λ 2 , and λ 3 are diffusion coefficients in the horizontal direction, the vertical direction, and the oblique direction, respectively. The left side represents a change in luminance over time.
次に、指数関数モデルについて説明する。指数関数モデルは、時間の変化に対する輝度の乱反射を示すものであって、式(2)で表現することができる。
なお、κは指数係数である。また、δtはサンプリング時間である。 Note that κ is an exponential coefficient. Further, δt is a sampling time.
続いて、波モデルについて説明する。波モデルは、時間の変化に対する輝度の波動を示すものであって、式(3)に示すように、三角関数の時間変化として近似することができる。なお、低周波数と高周波数の2つの成分のみを考慮し、波の方向(角度)θは、べき乗で定義するものとする。また、右辺のI,I2は振幅に対応するものである。
ここで、撮影された映像に含まれる車や電車などの剛体性を備えた移動対象の動きは、霧や雪の動きよりも、明らかに平行成分を多く含み、且つ、一定以上の面積を有している。従い、上記モデル群により導出される目的関数に対して、更に、剛体の大きさと動きの平行移動性に関する拘束条件としての拘束モデルを与える。 Here, the movement of a moving object with a rigid body, such as a car or train, included in the photographed image clearly includes more parallel components than the movement of fog or snow, and has a certain area or more. is doing. Accordingly, a constraint model as a constraint condition regarding the size of the rigid body and the parallel movement of the motion is further given to the objective function derived by the model group.
剛体の大きさとは、画像の位置(i,j)と、その近傍の位置(i+1,j+1)等との連結数で表現することができる。また、例えば近傍の2本の速度ベクトルa=(a1,a2)と、b=(b1,b2)とが平行である条件は、式(4)で表現することができる。
従い、位置(i,j)に対する上下左右,斜上斜下の8点近傍連結の拘束条件e1は、式(5)で表現することができる。
なお、8点近傍連結以外にも、上下左右の4点近傍連結や、左右の2点近傍連結などの拘束条件を利用することも可能である。 In addition to the eight-point vicinity connection, it is also possible to use constraint conditions such as four-point vicinity connection on the top, bottom, left and right, and two-point vicinity connection on the left and right.
以上説明した式(1)〜式(3)に基づいて、(u,v)を移動対象の速度ベクトルとする輝度変動方程式e0を導き、この輝度変動方程式e0と、式(5)で示す拘束条件e1とをロバスト統計学に基づくロバスト関数に代入した式(6)に示す目的関数を導出する。
なお、γは拘束条件e1に対する強さの制御を意味しており、本実施の形態では1.0とする。また、ロバスト関数には、ローレンツ関数ρを用いている。 Note that γ means strength control with respect to the constraint condition e 1 and is 1.0 in the present embodiment. The Lorentz function ρ is used as the robust function.
この目的関数から、オプティカルフロー成分としての速度ベクトル(u,v)と、気象物理に関する未知数としての異方拡散係数λ1,λ2,λ3,指数係数κ,正弦関数の方向(角度)θとを計算する。この目的関数を計算する際には、前述したように、式(7)で示す最急降下法を用いて最小化計算を行う。
なお、pは反復回数を示す。 Note that p indicates the number of iterations.
式(7)で示す非線形計算における反復過程では、異方拡散係数と指数係数とは負の値として不自然に算出される可能性がある。そのため、反復過程において、式(8)に示すように、正の値のみとする制約条件を更に与える。
上述したロバスト推定法を適用することで、ノイズや不連続成分、オクルージョンなどの輝度変動を生じさせる他の要因を外れ値とみなすので、一定水準の精度を有する速度ベクトル等を推定することができる。 By applying the robust estimation method described above, other factors that cause luminance fluctuations such as noise, discontinuous components, and occlusion are regarded as outliers, so that a velocity vector having a certain level of accuracy can be estimated. .
〔移動対象のエネルギー分布を求める方法〕
霧シーン及び降雪シーンでは、風の影響により霧や雪の舞いが発生する。故に、以下の風モデルを取り入れることで、オプティカルフローの推定精度を更に向上することができる。
[Method of obtaining energy distribution of moving object]
In a fog scene and a snowfall scene, fog and snow dance occur due to the influence of the wind. Therefore, the accuracy of optical flow estimation can be further improved by incorporating the following wind model.
ここで、風モデルを取り入れるため、目的関数から推定された速度ベクトルを用いて、移動対象のエネルギー分布を算出する。移動対象のエネルギーとは、霧や雪が風の影響を受けてその運動エネルギーが決定されると仮定するものであり、1つの粒子が質量m,速度uを持っている場合には、式(9)で表現することができる。
ここで、mは霧や雪といった微粒子なので、本実施の形態では0.001とする。これにより、各速度における画素数を粒子数とみなして、それぞれの速度で積分した結果をエネルギーとして計算する。 Here, since m is a fine particle such as fog or snow, it is set to 0.001 in the present embodiment. Thus, the number of pixels at each speed is regarded as the number of particles, and the result of integration at each speed is calculated as energy.
〔判定方法について〕
風の統計分布として既に知られたKolmogorovのエネルギー分布を用いる。この分布によれば、風の変動(速度)とエネルギーとの関係を両対数表示した場合に、エネルギーは、式(10)に示すように、波数kについて−2.0乗で近似することが統計上確認されている。ただし、この近似は、低周波数帯域、即ち、低速度領域においてのみに得られる特性である。本実施の形態では、推定された天候のエネルギー分布が、このエネルギー分布にどれだけ近くなるかについて評価を行う。
The Kolmogorov energy distribution already known as the wind statistical distribution is used. According to this distribution, when the relationship between wind fluctuation (velocity) and energy is displayed in log-log form, the energy can be approximated to the power of −2.0 with respect to the wave number k as shown in Equation (10). It has been confirmed statistically. However, this approximation is a characteristic obtained only in the low frequency band, that is, in the low speed region. In this embodiment, an evaluation is made as to how close the estimated energy distribution of the weather is to this energy distribution.
〔推定結果について〕
最初に、移動対象の動きの推定結果について説明する。図3は、図2で示す2種類の天候の画像を従来法で推定した速度ベクトルを矢印で表示した図である。図4は、図2で示す2種類の天候の画像を本実施の形態で推定した速度ベクトルを矢印で表示した図である。なお、図3及び図4は、図2で示す○で囲まれた領域のみを拡大して表示するものである(以降、全ての図で同様とする)。また、本実施の形態における従来法とは、HS(Horn&Schunck)法、又は、LK(Lucus&Kanade)法を用いる方法である(非特許文献5参照)。
[About estimation results]
First, the estimation result of the movement target movement will be described. FIG. 3 is a diagram in which speed vectors obtained by estimating the two types of weather images shown in FIG. FIG. 4 is a diagram in which speed vectors obtained by estimating the two types of weather images shown in FIG. 2 according to the present embodiment are displayed with arrows. 3 and 4 show an enlarged view of only the region surrounded by circles shown in FIG. 2 (hereinafter the same applies to all the drawings). In addition, the conventional method in the present embodiment is a method using the HS (Horn & Schunkck) method or the LK (Lucus & Kanade) method (see Non-Patent Document 5).
従来法の場合、移動対象である走行車両が存在する領域では、進行方向に対してかなり乱れた動きベクトルが検出されており、その走行車両の移動方向を正確に把握することができない。しかしながら、本実施の形態で推定された全ての動きベクトルは、走行車両の進行方向に対して略平行となる方向で表示されており、悪天候の場合であっても、霧や雪の動きの影響を受けることなく、移動対象の動きを従来よりも正確に検出可能であることを確認することができる。 In the case of the conventional method, a motion vector that is considerably disturbed with respect to the traveling direction is detected in an area where a traveling vehicle that is a moving object exists, and the traveling direction of the traveling vehicle cannot be accurately grasped. However, all the motion vectors estimated in the present embodiment are displayed in a direction substantially parallel to the traveling direction of the traveling vehicle. Even in bad weather, the influence of the movement of fog or snow It is possible to confirm that the movement of the moving object can be detected more accurately than before.
次に、移動対象の移動方向(角度)の推定結果について説明する。図5は、降雪シーンの画像を本実施の形態で推定した方向(角度)を表示した図である。図5(a)は、上下左右の4点近傍の速度ベクトルが互いになす角度の平均を計算し、SIN関数で評価した結果の3次元表示である。上方向を示す縦軸は角度の大きさを示しており、その値が大きいほど非方向性、即ち、移動方向にバラツキがあることを意味している。走行車両が存在する領域は、白抜きで表現されており、上方向の大きさは略ゼロなので、平行に移動していることを把握することができる。なお、図5(b)は、図5(a)の3次元表示を2次元化したものである。 Next, the estimation result of the moving direction (angle) of the moving object will be described. FIG. 5 is a diagram showing the direction (angle) estimated from the snowfall scene image in the present embodiment. FIG. 5A is a three-dimensional display of the result of calculating the average of the angles formed by the velocity vectors in the vicinity of four points in the vertical and horizontal directions and evaluating with the SIN function. The vertical axis indicating the upward direction indicates the magnitude of the angle. The larger the value, the more non-directional, that is, the variation in the moving direction. The area where the traveling vehicle is present is expressed in white and the size in the upward direction is substantially zero, so that it can be understood that the vehicle is moving in parallel. FIG. 5B is a two-dimensional representation of the three-dimensional display of FIG.
一方、図6は、降雪シーンの画像を従来法で推定した方向(角度)を表示した図である。図6(a)はHS法で推定し、図6(b)はLK法で推定した結果である。従来法の場合、図5(a)の白抜きに対応する走行車両が存在する領域には、平行なベクトルが存在しないことが確認できる。即ち、従来法では、車と雪との違いが分からないが、本実施の形態では、その差異を明確に把握することが可能である。これは、従来法において、動きの平行性に関する拘束条件を考慮していないためであり、上記結果により、本実施の形態で用いた平行移動性の拘束条件の有効性を確認することができる。 On the other hand, FIG. 6 is a diagram showing the direction (angle) estimated from the image of the snowfall scene by the conventional method. FIG. 6A shows the result estimated by the HS method, and FIG. 6B shows the result estimated by the LK method. In the case of the conventional method, it can be confirmed that there is no parallel vector in the region where the traveling vehicle corresponding to the white outline in FIG. That is, in the conventional method, the difference between a car and snow is not known, but in the present embodiment, the difference can be clearly grasped. This is because the conventional method does not consider the constraint condition regarding the parallelism of the movement, and the effectiveness of the constraint condition of the parallel mobility used in the present embodiment can be confirmed from the above result.
続いて、拘束条件に対する評価結果について説明する。図7は、降雪シーンの画像を本実施の形態で推定した速度ベクトルにおいて、4点近傍の速度ベクトルが互いになす角度の平均値に対する画素の生起確率を表した図である。また、図7(b)は、拘束条件の近傍連結数を、2,6,8と変えた場合を評価したものである。 Next, the evaluation result for the constraint condition will be described. FIG. 7 is a diagram showing the pixel occurrence probability with respect to the average value of the angles formed by the velocity vectors in the vicinity of four points in the velocity vector estimated in the present embodiment for the snowfall scene image. Further, FIG. 7B evaluates the case where the number of neighboring connections in the constraint condition is changed to 2, 6, and 8.
図7(a)によれば、本実施の形態における推定結果は、従来法よりも平行性が高いことが明確に把握可能であり、図7(b)によれば、連結数を増やすことで、走行車両の領域をより反映した結果となることが確認できる。 According to FIG. 7 (a), it can be clearly understood that the estimation result in the present embodiment has higher parallelism than the conventional method, and according to FIG. 7 (b), by increasing the number of connections. It can be confirmed that the result more reflects the area of the traveling vehicle.
次に、異方拡散係数及び指数係数の評価結果について説明する。図8は、降雪シーンの画像を本実施の形態で推定した平均化拡散係数分布を表示した図である。また、図9は、降雪シーンの画像を本実施の形態で推定した平均化指数係数分布を表示した図である。図8及び図9によれば、局所的に輝度変動が著しい走行車両の領域において、拡散係数及び指数係数が相対的に高くなっていることが確認することができる。 Next, the evaluation results of the anisotropic diffusion coefficient and the exponential coefficient will be described. FIG. 8 is a diagram displaying the averaged diffusion coefficient distribution obtained by estimating the snowfall scene image according to the present embodiment. FIG. 9 is a diagram showing an averaged index coefficient distribution obtained by estimating the snowfall scene image in the present embodiment. According to FIGS. 8 and 9, it can be confirmed that the diffusion coefficient and the exponential coefficient are relatively high in the region of the traveling vehicle where the luminance variation is locally significant.
続いて、エネルギー分布の評価結果について説明する。図10は、本実施の形態で推定した速度に対するエネルギーの生起確率を示す図である。図10(a)は、霧シーンの画像を本実施の形態で推定した速度に基づき、式(9)を用いてエネルギーを計算したエネルギーの生起確率を示す図であり、図10(b)は、降雪シーンの場合の分布図である。なお、図10には、−2.0乗で近似されたKolmogorovのエネルギー分布(統計モデル)についても明示している。 Then, the evaluation result of energy distribution is demonstrated. FIG. 10 is a diagram showing the probability of energy occurrence with respect to the speed estimated in the present embodiment. FIG. 10A is a diagram showing the energy occurrence probability obtained by calculating the energy using the equation (9) based on the speed of the fog scene image estimated in the present embodiment, and FIG. It is a distribution map in the case of a snowfall scene. FIG. 10 also clearly shows the Kolmogorov energy distribution (statistical model) approximated to the power of −2.0.
なお、図10に示す推定結果は、サブブロック数を3×3の計9個から20×20の計400個までの範囲で可変させ、それぞれの画像に対して速度ベクトルを推定し、類似度が最も高い10×10の計100個のサブブロック数を用いて推定した結果を記載している。 Note that the estimation results shown in FIG. 10 are obtained by varying the number of sub-blocks from a total of 9 × 3 × 3 to a total of 400 × 20 × 20, estimating the velocity vector for each image, The results of estimation using the total number of 100 sub-blocks of 10 × 10, which is the highest, are described.
本実施の形態における推定結果のエネルギーは、両シーンの場合共に、低い速度領域(1.E−03〜1.E−01)からべき乗を計算すると、約−1.9乗で近似されるので、Kolmogorovのエネルギー分布との類似性が高いことが確認できる。なお、霧シーンと降雪シーンとに基づいて得られたこれらのエネルギー分布が統計モデルと類似していることから、推定された動き成分には、霧と降雪に対して風の変動成分が含まれていることを示唆している。 The energy of the estimation result in the present embodiment is approximated by about -1.9 power when the power is calculated from the low speed region (1.E-03 to 1.E-01) in both scenes. It can be confirmed that the similarity with the energy distribution of Kolmogorov is high. Since these energy distributions obtained based on fog scenes and snowfall scenes are similar to the statistical model, the estimated motion components include wind fluctuation components for fog and snowfall. Suggests that
一方、LK法の場合、グラフが全体的に高い速度側に分布しているので、風モデルとは異なるものと判断することができる。また、HS法の場合、霧シーンでは風モデルに近似しているが、降雪シーンではやや高い速度の領域に分布しており、天候の違いによっては、正確に動きを検出できないと判断することができる。本実施の形態で得られた推定結果と従来法とのずれは、走行車両を精度よく検出できないだけでなく、周りの霧や雪の動きについても推定誤差が大きいことを推察可能とするものである。 On the other hand, in the case of the LK method, since the graph is distributed on the high speed side as a whole, it can be determined that it is different from the wind model. In the case of the HS method, it is approximated to a wind model in a fog scene, but is distributed in a slightly high speed region in a snowfall scene, and it may be determined that the motion cannot be detected accurately depending on the difference in weather. it can. The deviation between the estimation result obtained in the present embodiment and the conventional method is not only capable of detecting a traveling vehicle with high accuracy, but also enabling estimation of a large estimation error for the movement of fog and snow around. is there.
最後に、本実施の形態で説明した動き検出装置は、天候を霧や雪の場合とするだけではなく、雨や晴天の場合であっても適用可能であり、得られる効果に差異を奏するものではない。また、適用範囲については、流体力学やコンピュータビジョン分野だけではなく、人流や交通流などの一般的な監視や、災害監視などの分野にも適用可能である。 Finally, the motion detection device described in the present embodiment is applicable not only in the case of fog and snow but also in the case of rain and fine weather, and has a difference in the obtained effect. is not. The applicable range is applicable not only to the fields of fluid dynamics and computer vision, but also to general monitoring such as human flow and traffic flow, and disaster monitoring.
本実施の形態によれば、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、この輝度変動方程式と移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を用いて、連続する2枚の画像の濃淡値から移動対象の速度ベクトルを推定するので、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することができる。 According to the present embodiment, based on the anisotropic diffusion function indicating the luminance diffusion phenomenon, the exponential function indicating the luminance irregular reflection, and the sine function indicating the luminance wave, the velocity vector to be moved is used as a variable. Using an objective function that derives a luminance variation equation and substitutes this luminance variation equation and a constraint condition expression based on the parallel mobility of the moving object into a robust function based on robust statistics, from the gray values of two consecutive images Since the speed vector of the moving object is estimated, the movement of the moving object can be detected stably and accurately even in bad weather.
本実施の形態によれば、2枚の画像を同じ数のサブブロックにそれぞれ分割して、このサブブロックごとに速度ベクトルを推定し、更に、この2枚の画像をこのサブブロック数とは異なる数のサブブロックに分割して速度ベクトルを推定することを繰り返し行うものであって、推定された速度ベクトルに基づいて、移動対象のエネルギー分布を求め、このエネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定し、類似度が所定の水準に到達した場合に、このエネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示するので、より妥当性のある移動対象の動きを検出することができる。なお、一般の画像処理では、サブブロック数は経験的に決定されるが、本実施の形態では、動き検出装置10により、所定のエネルギー分布に近似したサブブロック数の画像を決定することも可能となる。 According to the present embodiment, two images are divided into the same number of sub-blocks, the velocity vector is estimated for each sub-block, and the two images are different from the number of sub-blocks. It is repeatedly performed to divide into a number of sub-blocks and estimate the velocity vector. Based on the estimated velocity vector, the energy distribution of the movement target is obtained, and this energy distribution and a predetermined energy distribution Since the similarity is determined in order from the energy distribution of the image with the smaller number of sub-blocks, and the similarity reaches a predetermined level, the velocity vector of the image divided into the number of sub-blocks having this energy distribution is displayed. Therefore, it is possible to detect the movement of the moving object more appropriately. In general image processing, the number of sub-blocks is determined empirically, but in the present embodiment, the motion detection device 10 can also determine an image with the number of sub-blocks approximated to a predetermined energy distribution. It becomes.
本実施の形態によれば、速度ベクトル推定部130が、目的関数を演算する際に用いるロバスト関数として、ローレンツ関数を用いるので、目的関数の計算速度を向上することができる。 According to the present embodiment, the speed vector estimation unit 130 uses the Lorentz function as the robust function used when calculating the objective function, so the calculation speed of the objective function can be improved.
10…動きベクトル検出装置
100…画像入力部
110…画像蓄積部
120…目的関数導出部
130…速度ベクトル推定部
140…エネルギー分布導出部
150…判定部
160…表示部
S1〜S7…ステップ
DESCRIPTION OF SYMBOLS 10 ... Motion vector detection apparatus 100 ... Image input part 110 ... Image storage part 120 ... Objective function derivation part 130 ... Speed vector estimation part 140 ... Energy distribution derivation part 150 ... Determination part 160 ... Display part S1-S7 ... Step
Claims (9)
入力された前記画像を時系列に蓄積する画像蓄積手段と、
輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する目的関数導出手段と、
連続する2枚の画像を前記画像蓄積手段から読み出して、当該2枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する速度ベクトル推定手段と、
推定された当該速度ベクトルを表示する表示手段と、
を有することを特徴とする動き検出装置。 An image input means for inputting an image including the weather;
Image storage means for storing the input image in time series;
Based on the anisotropic diffusion function that indicates the diffusion phenomenon of luminance, the exponential function that indicates diffuse reflection of luminance, and the sine function that indicates the wave of luminance, a luminance variation equation using the velocity vector of the moving object as a variable is derived. An objective function deriving means for deriving an objective function by substituting a variation equation and a constraint condition expression based on the parallel mobility of the moving object into a robust function based on robust statistics;
Speed vector estimation means for reading two consecutive images from the image storage means, substituting the gray values of the two images into the objective function, and estimating the speed vector;
Display means for displaying the estimated velocity vector;
A motion detection apparatus comprising:
推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるエネルギー分布導出手段と、
前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定する判定手段と、を更に有し、
前記表示手段は、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを特徴とする請求項1に記載の動き検出装置。 The velocity vector estimation means divides the two images into the same number of sub-blocks, estimates the velocity vector for each sub-block, and further determines the two images as the number of sub-blocks. Dividing the number of sub-blocks into different numbers and estimating the velocity vector repeatedly,
Energy distribution deriving means for obtaining an energy distribution of the moving object based on the estimated velocity vector;
Determination means for sequentially determining the degree of similarity between the energy distribution and the predetermined energy distribution from the energy distribution of an image having a small number of sub-blocks;
The motion detection according to claim 1, wherein the display unit displays a velocity vector of an image divided into the number of sub-blocks having the energy distribution when the similarity reaches a predetermined level. apparatus.
入力された前記画像を時系列に画像蓄積手段に蓄積する第2のステップと、
輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する第3のステップと、
連続する2枚の画像を前記画像蓄積手段から読み出して、当該2枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する第4のステップと、
推定された当該速度ベクトルを表示する第5のステップと、
を有することを特徴とする動き検出方法。 A first step of inputting an image including weather;
A second step of storing the input image in the image storage means in time series;
Based on the anisotropic diffusion function that indicates the diffusion phenomenon of luminance, the exponential function that indicates diffuse reflection of luminance, and the sine function that indicates the wave of luminance, a luminance variation equation using the velocity vector of the moving object as a variable is derived. A third step of deriving an objective function by substituting a variation equation and a constraint condition expression based on the parallel mobility of the moving object into a robust function based on robust statistics;
A fourth step of reading two successive images from the image storage means, substituting the gray values of the two images into the objective function, and estimating the velocity vector;
A fifth step of displaying the estimated velocity vector;
A motion detection method comprising:
推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるステップと、
前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定するステップと、を更に有し、
前記第5のステップは、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを特徴とする請求項5に記載の動き検出方法。 The fourth step divides the two images into the same number of sub-blocks, estimates the velocity vector for each sub-block, and further determines the two images as the number of sub-blocks. Dividing the number of sub-blocks into different numbers and estimating the velocity vector repeatedly,
Obtaining an energy distribution of the moving object based on the estimated velocity vector;
Further determining the degree of similarity between the energy distribution and the predetermined energy distribution in order from the energy distribution of an image with a small number of sub-blocks,
The said 5th step displays the velocity vector of the image divided | segmented into the number of subblocks which have the said energy distribution, when the said similarity reaches a predetermined level. Motion detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007097313A JP4553915B2 (en) | 2007-04-03 | 2007-04-03 | Motion detection device, motion detection method, and motion detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007097313A JP4553915B2 (en) | 2007-04-03 | 2007-04-03 | Motion detection device, motion detection method, and motion detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008257382A true JP2008257382A (en) | 2008-10-23 |
JP4553915B2 JP4553915B2 (en) | 2010-09-29 |
Family
ID=39980912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007097313A Expired - Fee Related JP4553915B2 (en) | 2007-04-03 | 2007-04-03 | Motion detection device, motion detection method, and motion detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4553915B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011248704A (en) * | 2010-05-28 | 2011-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Optical flow estimation device, optical flow estimation method and optical flow estimation program |
JP2017151875A (en) * | 2016-02-26 | 2017-08-31 | 三菱電機株式会社 | Residence determination device and residence determination program |
KR101841123B1 (en) | 2011-10-05 | 2018-03-23 | 엘지전자 주식회사 | Block-based optical flow estimation of motion pictures using an approximate solution |
WO2018123202A1 (en) * | 2016-12-28 | 2018-07-05 | シャープ株式会社 | Moving-image processing device, display device, moving-image processing method, and control program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0374782A (en) * | 1989-08-16 | 1991-03-29 | Nippon Telegr & Teleph Corp <Ntt> | Estimation processing method for two-dimensional movement field |
JP2003256844A (en) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | Pattern estimating method, pattern estimating device, program for the same method and recording medium with its program recorded |
-
2007
- 2007-04-03 JP JP2007097313A patent/JP4553915B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0374782A (en) * | 1989-08-16 | 1991-03-29 | Nippon Telegr & Teleph Corp <Ntt> | Estimation processing method for two-dimensional movement field |
JP2003256844A (en) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | Pattern estimating method, pattern estimating device, program for the same method and recording medium with its program recorded |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011248704A (en) * | 2010-05-28 | 2011-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Optical flow estimation device, optical flow estimation method and optical flow estimation program |
KR101841123B1 (en) | 2011-10-05 | 2018-03-23 | 엘지전자 주식회사 | Block-based optical flow estimation of motion pictures using an approximate solution |
JP2017151875A (en) * | 2016-02-26 | 2017-08-31 | 三菱電機株式会社 | Residence determination device and residence determination program |
WO2018123202A1 (en) * | 2016-12-28 | 2018-07-05 | シャープ株式会社 | Moving-image processing device, display device, moving-image processing method, and control program |
Also Published As
Publication number | Publication date |
---|---|
JP4553915B2 (en) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10254845B2 (en) | Hand gesture recognition for cursor control | |
US10354129B2 (en) | Hand gesture recognition for virtual reality and augmented reality devices | |
JP6244407B2 (en) | Improved depth measurement quality | |
Roser et al. | Realistic modeling of water droplets for monocular adherent raindrop recognition using bezier curves | |
TWI420906B (en) | Tracking system and method for regions of interest and computer program product thereof | |
KR101507333B1 (en) | Slope Monitoring Method, System Using The Method and Recording Medium For Performing The Method | |
US20120155744A1 (en) | Image generation method | |
KR20150027291A (en) | Optical flow tracking method and apparatus | |
JP5834933B2 (en) | Vehicle position calculation device | |
US20190332939A1 (en) | Learning method and recording medium | |
JP6217635B2 (en) | Fall detection device, fall detection method, fall detection camera, and computer program | |
Chen et al. | A new vanishing point detection algorithm based on Hough transform | |
CN104794737A (en) | Depth-information-aided particle filter tracking method | |
Li et al. | Photo-realistic simulation of road scene for data-driven methods in bad weather | |
KR102295183B1 (en) | object tracking method for CCTV video by use of CCTV projection model | |
JP4553915B2 (en) | Motion detection device, motion detection method, and motion detection program | |
JP4841652B2 (en) | Apparatus and method for detecting motion of translucent object | |
CN106778822B (en) | Image straight line detection method based on funnel transformation | |
JP2009182624A (en) | Target tracking device | |
JP2008269218A (en) | Image processor, image processing method, and image processing program | |
JP2010097507A (en) | Device, method, and program for extracting movement object | |
CN111553342A (en) | Visual positioning method and device, computer equipment and storage medium | |
KR101241813B1 (en) | Apparatus and method for detecting objects in panoramic images using gpu | |
JP6163732B2 (en) | Image processing apparatus, program, and method | |
JP5903901B2 (en) | Vehicle position calculation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100713 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |