JP2001012946A - Dynamic image processor and processing method - Google Patents
Dynamic image processor and processing methodInfo
- Publication number
- JP2001012946A JP2001012946A JP11187020A JP18702099A JP2001012946A JP 2001012946 A JP2001012946 A JP 2001012946A JP 11187020 A JP11187020 A JP 11187020A JP 18702099 A JP18702099 A JP 18702099A JP 2001012946 A JP2001012946 A JP 2001012946A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- dimensional position
- cameras
- moving image
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、一連の画像を解析
することにより、例えば交通流の計測や、交通事故など
の災害発生の有無、不法侵入者の出現、生理状態の変化
などを監視する際に、対象の認識や状況の変化を安定に
検知する動画像処理装置及び方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention analyzes a series of images to monitor, for example, the measurement of traffic flow, the occurrence of disasters such as traffic accidents, the appearance of illegal intruders, and the change of physiological conditions. In this case, the present invention relates to a moving image processing apparatus and method for stably detecting target recognition and changes in status.
【０００２】[0002]
【従来の技術】近年、ＴＶカメラの民生化による普及と
共に、ＰＣの普及に伴う小型化、高速化が進行し、従来
は専用ハードウェアを用いて実現していた画像処理応用
機能がＰＣをベースにしたシステムで安価に実現できる
環境が整ってきた。一方で、交通事故や空き巣などの不
在時における犯罪などは増加傾向にあり、画像を用いた
監視システムの要求が高まってきている。このような監
視・モニタシステムにおいては、ＴＶカメラを監視区域
に一台または複数台設置し、人間がこの画像を見て状況
の変化をモニタリングする製品が一般的である。2. Description of the Related Art In recent years, with the spread of TV cameras due to their commercialization, the spread of PCs has led to the miniaturization and speeding up. Image processing application functions that were conventionally realized using dedicated hardware are based on PCs. An environment that can be realized inexpensively with a system that has been developed has been established. On the other hand, crimes in the absence of traffic accidents, burglars, and the like are on an increasing trend, and the demand for surveillance systems using images is increasing. In such a surveillance / monitor system, a product in which one or more TV cameras are installed in a surveillance area, and a human observes the image and monitors a change in situation is generally used.
【０００３】また、この状況変化検出を自動化するため
に、予め標準的な状態の画像を記録しておき、時々刻々
得られる画像との差分を取って認識対象の動きや状況の
変化を検出する方式、または連続する画像間の明度変化
を差分により検出することにより認識対象の動きや状況
の変化を検出する方式が提案されている。In order to automate the situation change detection, an image in a standard state is recorded in advance, and the movement of the recognition target and the change in the situation are detected by taking the difference from the image obtained every moment. There has been proposed a method or a method of detecting a change in the movement or situation of a recognition target by detecting a change in brightness between successive images based on a difference.
【０００４】更に、画像から局所的な動きベクトル（オ
プティカルフロー）を検出することにより、認識対象の
状況の変化を検出する方式も提案されている。一方、認
識対象や状況変化領域の位置情報を得るためには、複数
のカメラで撮影したシーン間の対応づけを行い、三角測
量の原理を用いて３次元位置を計算するステレオ法が一
般的に用いられている。Further, there has been proposed a method of detecting a change in a situation of a recognition target by detecting a local motion vector (optical flow) from an image. On the other hand, in order to obtain position information of a recognition target or a situation change area, a stereo method is generally used in which correspondence between scenes captured by a plurality of cameras is calculated and a three-dimensional position is calculated using the principle of triangulation. Used.
【０００５】[0005]
【発明が解決しようとする課題】上記ステレオ法により
３次元位置を求める場合には、異なる位置に設置された
カメラ間で対応する位置を求めるという対応付けが必要
であり、このために多大な計算量を必要とする。When a three-dimensional position is determined by the above-mentioned stereo method, it is necessary to associate corresponding positions between cameras installed at different positions. Need quantity.
【０００６】従来の、認識対象の動きや状況の変化を検
出する方式においては、カメラ配置から規定されるエピ
ポーラ平面と画像平面の交線であるエピポーラ直線の近
傍領域を対応づけの候補として限定し、差分値、相関値
などの類似指標を用いて対応探索を行っていた。図１に
は、カメラの配置とエピポーラ平面、エピポーラ直線の
関係が示されている。これによると、片方のカメラ上に
おいて対応基準点を選択した場合、中心投影下でのエピ
ポーラ平面は、両カメラのレンズ中心とこの基準点の３
点を通る平面として一意に与えられ、もう片方のカメラ
上の対応点は、このエピポーラ平面と画像平面の交線で
あるエピポーラ直線上に存在する。従って、原理的には
このエピポーラ直線の近傍領域を探索すれば、対応点が
決定でき、各々の画像平面上の対応点とレンズ中心とを
結ぶ直線の交点として、空間中の注視点の３次元位置が
求められることになる。しかしながら、エピポーラ平面
が高精度に求まらない場合、対象と背景の明度的な差が
少ない場合などに対応誤りが発生し易く、正しい３次元
位置が求められないという問題点があった。[0006] In the conventional method for detecting the movement of a recognition target or a change in a situation, an area near an epipolar straight line which is an intersection of an epipolar plane and an image plane defined by a camera arrangement is limited as a candidate for association. A correspondence search is performed using similar indices such as a difference value, a correlation value, and the like. FIG. 1 shows the relationship between the camera arrangement, the epipolar plane, and the epipolar straight line. According to this, when the corresponding reference point is selected on one of the cameras, the epipolar plane under the central projection is defined by the lens center of both cameras and 3 of the reference point.
The corresponding point on the other camera, which is uniquely given as a plane passing through the points, exists on the epipolar straight line which is the intersection of the epipolar plane and the image plane. Therefore, in principle, if a region near the epipolar straight line is searched, a corresponding point can be determined, and a three-dimensional gazing point in space is defined as an intersection of a straight line connecting the corresponding point on each image plane and the lens center. The position will be determined. However, if the epipolar plane is not determined with high accuracy, a corresponding error is likely to occur when the difference in brightness between the target and the background is small, and there is a problem that a correct three-dimensional position cannot be determined.
【０００７】認識対象や状況変化領域の３次元位置を、
安定かつ高信頼に検知するための、効率的な動画像処理
装置及び方法を提供することを目的とする。[0007] The three-dimensional position of the recognition target or the situation change area is
An object of the present invention is to provide an efficient moving image processing device and method for performing stable and highly reliable detection.
【０００８】[0008]
【課題を解決するための手段】本発明は、監視区域に配
置される複数台のカメラ画像を各々処理して得られるオ
プティカルフローの相互関係を解析しステレオ対応づけ
することにより、対象物または変化領域の３次元位置検
出を行う動画像処理装置及び方法を提供する。SUMMARY OF THE INVENTION According to the present invention, an object or a change is analyzed by analyzing the correlation between optical flows obtained by processing a plurality of camera images arranged in a monitoring area and stereo-correlating them. A moving image processing apparatus and method for detecting a three-dimensional position of a region are provided.
【０００９】本発明では、複数台のカメラ間のステレオ
対応づけを行う際に、オプティカルフローが求まった領
域のみを対応づけの候補として選択する。In the present invention, when performing stereo correspondence between a plurality of cameras, only a region where an optical flow is obtained is selected as a candidate for correspondence.
【００１０】本発明では、複数台のカメラ間のステレオ
対応づけを行う際に、オプティカルフローが求まった領
域のうち、カメラ間の位置関係により推定されるオプテ
ィカルフローベクトルに類似したオプティカルフローベ
クトルを有する領域を対応づけの候補として選択する。According to the present invention, when performing stereo correspondence between a plurality of cameras, an optical flow vector similar to an optical flow vector estimated from a positional relationship between cameras is included in a region where an optical flow is obtained. An area is selected as a candidate for association.
【００１１】この発明は、各カメラ毎にオプティカルフ
ローを推定する手段と、カメラ間のオプティカルフロー
の相互関係を解析することにより、対応探索領域を設定
する手段と、設定された対応探索領域においてステレオ
対応づけを行い、３次元位置を算出する手段を有する動
画像処理装置を提供する。According to the present invention, there is provided a means for estimating an optical flow for each camera, a means for setting a correspondence search area by analyzing an interrelationship between optical flows between cameras, and a stereo for the set correspondence search area. Provided is a moving image processing device having means for performing correspondence and calculating a three-dimensional position.
【００１２】[0012]
【発明の実施の形態】以下、本発明の実施の形態につい
て、図２〜図７を用いて説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below with reference to FIGS.
【００１３】図２に、本発明全体の構成を示す。同図に
示すように動画像処理装置は、オプティカルフロー推定
部１１と、対応候補選択部１２と、３次元位置算出部１
３により構成される。FIG. 2 shows the overall configuration of the present invention. As shown in FIG. 1, the moving image processing apparatus includes an optical flow estimating unit 11, a correspondence candidate selecting unit 12, and a three-dimensional position calculating unit 1.
3.
【００１４】オプティカルフロー推定部１１は、図１に
示されるように監視区域に配置される複数のカメラの各
カメラ毎に画面上の動きベクトル（オプティカルフロ
ー）を推定し、対応候補選択部１２は、オプティカルフ
ロー推定部１１の推定結果を用いて、３次元位置を求め
るべき候補点群を選択する。３次元位置算出部１３は、
各カメラ毎の候補点群を認識対象に対応づけを行い、３
次元位置を算出する。The optical flow estimating unit 11 estimates a motion vector (optical flow) on the screen for each of a plurality of cameras arranged in the monitoring area as shown in FIG. Then, using the estimation result of the optical flow estimation unit 11, a candidate point group from which a three-dimensional position is to be obtained is selected. The three-dimensional position calculation unit 13
The candidate point group of each camera is associated with the recognition target, and 3
Calculate the dimensional position.
【００１５】以下、各部の具体的な構成を説明する。Hereinafter, a specific configuration of each section will be described.
【００１６】図３に示す様に、カメラの光軸をＺ軸、撮
像面をｘ−ｙ平面、原点を光軸中心となるように座標系
を初期設定した場合、質点Ｐ（Ｘ，Ｙ，Ｚ）の３次元空
間内の動きベクトルｖ（ｐ（ｔ），Ｑ（ｔ），Ｒ
（ｔ））を中心投影した結果は、下式に示すような画面
上の動きベクトル（オプティカルフロー）（ｕ（ｔ），
ｖ（ｔ））となる。As shown in FIG. 3, when the coordinate system is initially set so that the optical axis of the camera is the Z axis, the imaging plane is the xy plane, and the origin is the center of the optical axis, the mass point P (X, Y, Z) motion vector v (p (t), Q (t), R
The result of central projection of (t)) is a motion vector (optical flow) (u (t),
v (t)).
【００１７】（ｕ（ｔ），ｖ（ｔ））≡（Ｚ（ｔ）ｐ
（ｔ）−Ｘ（ｔ）Ｒ（ｔ）／Ｚ（ｔ）（Ｚ（ｔ）＋Ｒ
（ｔ）），Ｚ（ｔ）Ｑ（ｔ）−Ｙ（ｔ）Ｒ（ｔ）／Ｚ
（ｔ）（Ｚ（ｔ）＋Ｒ（ｔ））） このオプティカルフローの推定方式としては、連続時点
での明度が保存されるという前提の下で、局所相関値を
用いて逐次移動後の点の位置を探索する相関法、時空間
微分方程式を連立して解くことにより推定する勾配法な
どが提案されている。本実施例では、勾配法を用いてオ
プティカルフロー推定部１１を実施する例について説明
する。(U (t), v (t)) ≡ (Z (t) p
(T) -X (t) R (t) / Z (t) (Z (t) + R
(T)), Z (t) Q (t) -Y (t) R (t) / Z
(T) (Z (t) + R (t))) As a method of estimating the optical flow, on the premise that the brightness at successive points in time is preserved, the points after the successive movement using the local correlation values are used. A correlation method for searching for a position, a gradient method for estimating by solving simultaneous spatiotemporal differential equations, and the like have been proposed. In the present embodiment, an example will be described in which the optical flow estimating unit 11 is implemented using the gradient method.
【００１８】移動する認識対象に含まれる点の明度Ｉが
連続時点で変化しないとすると、以下の時空間微分方程
式が成立する。Assuming that the lightness I of the point included in the moving recognition object does not change at successive time points, the following spatio-temporal differential equation is established.
【００１９】[0019]
【数１】 (Equation 1)
【００２０】ここで、Ix、Iy、Itは各々、明度の水平方
向、垂直方向、時間方向の偏微分値、ｕ，ｖはこの点の
オプティカルフローである。未知数がｕ，ｖの２つある
のに対し、時空間微分方程式により与えられる拘束式は
１つであるので、このままでは解が一意に求められな
い。そこで、この点を含む近傍領域は同一の対象に属
し、ｕ，ｖが共通であると仮定して、この近傍領域内の
ｎ点の時空間微分方程式を以下の様に連立させて解く。[0020] Here, I x, I y, I t are each horizontal brightness, vertical, time direction partial differential values, u, v is the optical flow of the point. While there are two unknowns, u and v, there is one constraint equation given by the spatiotemporal differential equation, and a solution cannot be uniquely obtained as it is. Therefore, assuming that the neighboring regions including this point belong to the same object and u and v are common, the spatiotemporal differential equations at n points in this neighboring region are solved simultaneously as follows.
【００２１】[0021]
【数２】 (Equation 2)
【００２２】（）内はこの近傍領域に含まれる特定の候
補点を示す番号である。The numbers in parentheses indicate the specific candidate points included in the neighboring area.
【００２３】この連立方程式の解は、Ｂ'Ｂの逆行列が
存在する場合に求められ、以下の式で与えられる。ここ
でＢ′はＢの転置行列、（Ｂ'Ｂ）-1はＢＢ′の逆行列
である。The solution of this simultaneous equation is obtained when the inverse matrix of B'B exists, and is given by the following equation. Here, B 'is the transposed matrix of B, and (B'B) -1 is the inverse matrix of BB'.
【００２４】 ｕ＝−（Ｂ'Ｂ）-1 Ｂ'Ｉｔ ・・・（３） オプティカルフロー推定部１１は、オプティカルフロー
推定処理を各カメラの各点毎に行い、解が求まった画像
中の点の位置及びオプティカルフローベクトル値を記憶
する。図４に、このオプティカルフロー推定部１１の具
体的構成例が示されている。U = − (B′B) −1 B′I t (3) The optical flow estimating unit 11 performs an optical flow estimating process for each point of each camera, and calculates a solution in the image. And the optical flow vector value are stored. FIG. 4 shows a specific configuration example of the optical flow estimating unit 11.
【００２５】これによると、オプティカルフロー推定部
１１は、空間微分行列作成部１４、時間微分行列作成部
１５、フロー算出部１６および記憶部１７により構成さ
れる。空間微分行列作成部１４および時間微分行列作成
部１５はそれぞれＢ、Ｉｔを計算し、フロー算出部１６
は、（３）式に基づきフロー値ｕを算出する。記憶部１
７は、フローの求まった点の位置及びオプティカルフロ
ーベクトル値をローカルメモリに格納する。上記の処理
を画像中の各点に対し繰り返し実施する。According to this, the optical flow estimating unit 11 includes a spatial differential matrix creating unit 14, a time differential matrix creating unit 15, a flow calculating unit 16, and a storage unit 17. Each spatial differential matrix creating unit 14 and the time derivative matrix creation unit 15 of B, computes the I t, the flow computing unit 16
Calculates the flow value u based on equation (3). Storage unit 1
Numeral 7 stores the position of the point at which the flow is found and the optical flow vector value in the local memory. The above processing is repeatedly performed for each point in the image.
【００２６】次に、対応候補選択部１２の具体的構成に
ついて２つの例を説明する。Next, two examples of the specific configuration of the correspondence candidate selection unit 12 will be described.
【００２７】第１の例は、オプティカルフロー推定部１
１においてフローの求まった点群全体を対応づけの候補
として選択するものである。この方式は、カメラ間の位
置関係、つまりエピポーラ条件が正しく求まっていない
場合に特に有効である。この手法を用いることにより、
従来は図５（ａ）に示すようにエピポーラ直線の近傍領
域全体を対応づけ候補として探索していたのに対し、図
５（ｂ）に示すように探索領域をオプティカルフローが
求まった領域に限定できるため、大幅な計算時間の短
縮、対応誤りの抑制が実現できる。In the first example, the optical flow estimating unit 1
In step 1, the entire point group for which the flow has been determined is selected as a candidate for association. This method is particularly effective when the positional relationship between the cameras, that is, the epipolar condition is not correctly determined. By using this technique,
Conventionally, as shown in FIG. 5A, the entire area near the epipolar straight line was searched as a correspondence candidate, but as shown in FIG. 5B, the search area was limited to the area where the optical flow was obtained. Because of this, it is possible to significantly reduce the calculation time and suppress the correspondence error.
【００２８】第２の例は、動きが小さく、カメラ間の位
置関係が求まっている場合に利用される方式である。図
６がこの第２の例の対応候補選択部１２の構成を示して
いる。The second example is a method used when the movement is small and the positional relationship between the cameras is determined. FIG. 6 shows the configuration of the correspondence candidate selection unit 12 of the second example.
【００２９】これによると、あるカメラの画像平面を異
なる位置のカメラの画像平面に重ねるための移動は、回
転行列Ｒと並進行列Ｔの積として記述される。オプティ
カルフローベクトル選択部１８は、基準となるカメラ上
でオプティカルフローの求まった１点を選択する。投影
ベクトル推定部１９は、選択した点にＲ、Ｔを乗ずるこ
とにより、この選択した点のオプティカルフローベクト
ルの対応探索を行うカメラの画像平面上に投影した場合
の予測ベクトル値を推定する。候補選択部２０は、この
カメラにおけるオプティカルフローの求まった点群に対
応するオプティカルフローベクトルを逐次選択し、予測
ベクトルとの差ベクトルを計算し、この差ベクトルの長
さが一定値以下の点を候補点群として選択する。According to this, a movement for superimposing an image plane of a certain camera on an image plane of a camera at a different position is described as a product of a rotation matrix R and a translation sequence T. The optical flow vector selection unit 18 selects one point where the optical flow has been determined on the reference camera. The projection vector estimating unit 19 multiplies the selected point by R and T to estimate a predicted vector value when the selected point is projected on an image plane of a camera that performs a corresponding search for an optical flow vector. The candidate selection unit 20 sequentially selects an optical flow vector corresponding to a point group of the camera in which an optical flow is obtained, calculates a difference vector from the prediction vector, and determines a point whose length of the difference vector is equal to or less than a certain value. Select as a candidate point group.
【００３０】次に、３次元位置算出部３の具体的構成例
を説明する。Next, a specific configuration example of the three-dimensional position calculation unit 3 will be described.
【００３１】図７に示すように３次元位置算出部３は、
対応候補点選択部２１と、類似指標計算部２２と、３次
元位置計算部２３とにより構成される。As shown in FIG. 7, the three-dimensional position calculator 3
It is composed of a corresponding candidate point selection unit 21, a similarity index calculation unit 22, and a three-dimensional position calculation unit 23.
【００３２】対応候補点選択部２１では、対応候補選択
部１２により得られた対応探索候補点の対を選択する。
類似指標計算部２２では、この候補点を含む近傍領域の
明度情報、オプティカルフロー情報などを用いて設定さ
れた類似指標関数を計算し、３次元位置計算部２３で対
応点対を選択し、３次元位置をステレオ計算する。類似
指標関数としては例えば、各候補点の近傍領域間の明度
相関値を用いることが可能である。この場合は、基準点
に対して明度相関値が１．０に近く最も大きい点を候補
点として選択する。The correspondence candidate point selection unit 21 selects a pair of correspondence search candidate points obtained by the correspondence candidate selection unit 12.
The similarity index calculation unit 22 calculates a similarity index function set using the brightness information, optical flow information, and the like of the neighboring area including the candidate point, and the three-dimensional position calculation unit 23 selects a corresponding point pair. Performs a stereo calculation of the dimension position. As the similarity index function, for example, a lightness correlation value between neighboring regions of each candidate point can be used. In this case, a point having a lightness correlation value close to 1.0 and the largest relative to the reference point is selected as a candidate point.
【００３３】また、対応候補選択部１２で述べた様に、
各候補点の近傍領域に含まれる各オプティカルフローと
この投影ベクトルとの差ベクトル長の和を用いることが
可能である。この場合は、差ベクトル長の和が最も小さ
い点を候補点として選択する。As described in the correspondence candidate selection unit 12,
It is possible to use the sum of the difference vector length between each optical flow included in the area near each candidate point and this projection vector. In this case, a point having the smallest sum of the difference vector lengths is selected as a candidate point.
【００３４】更に、両者を組合せた指標を用いることも
可能である。３次元位置の計算は例えば、予め３次元位
置が既知な複数の点（Ｘｉ，Ｙｉ，Ｚｉ）の各カメラｔ
上の投影点の位置（ｘｉ（ｔ），ｙｉ（ｔ））を抽出
し、投影点対ベクトルと３次元座標ベクトル間の変換行
列Ｈを推定しておき、３次元位置計算部２３にて求まっ
た対応点対に施すことにより、実施することが可能であ
る。Further, it is also possible to use an index in which both are combined. The calculation of the three-dimensional position is performed, for example, at each camera t of a plurality of points (X i , Y i , Z i ) whose three-dimensional positions are known in advance.
The position (x i (t), y i (t)) of the above projected point is extracted, and a transformation matrix H between the projected point pair vector and the three-dimensional coordinate vector is estimated. It is possible to implement by applying it to the corresponding point pairs determined in this way.
【００３５】[0035]
【発明の効果】本発明を用いることにより、火災などの
災害の発生や、不法侵入者の出現、生理状態の変化など
の様々な状況において、認識対象や状況変化領域の３次
元位置を安定かつ高信頼に算出するための、効率的な動
画像処理装置及び方法を提供することが可能となり、こ
の杜会的・実用的効果は多大である。By using the present invention, in various situations such as occurrence of disasters such as fires, appearance of illegal intruders, and changes in physiological conditions, the three-dimensional position of the recognition target and the situation change area can be stably and stably. It is possible to provide an efficient moving image processing apparatus and method for performing calculation with high reliability, and this technical and practical effect is enormous.
【図１】カメラの配置とエピポーラ平面、エピポーラ直
線の関係を示す図。FIG. 1 is a diagram showing the relationship between the arrangement of cameras, an epipolar plane, and an epipolar straight line.
【図２】本発明の一実施形態の動画像処理装置を示すブ
ロック図。FIG. 2 is a block diagram showing a moving image processing apparatus according to an embodiment of the present invention.
【図３】質点の動きの画像上への投影を示す図。FIG. 3 is a diagram showing projection of a motion of a mass point onto an image.
【図４】オプティカルフロー推定部の構成を示すブロッ
ク図。FIG. 4 is a block diagram showing a configuration of an optical flow estimation unit.
【図５】対応探索領域を説明する図。FIG. 5 is a diagram illustrating a correspondence search area.
【図６】対応候補選択部の構成を示すブロック図。FIG. 6 is a block diagram showing a configuration of a correspondence candidate selection unit.
【図７】３次元位置算出部の構成を示すブロック図。FIG. 7 is a block diagram showing a configuration of a three-dimensional position calculation unit.
１１…オプティカルフロー推定部 １２…対応候補選択部 １３…３次元位置算出部 １４…空間微分行列作成部 １５…時間微分行列 １６…フロー算出部 １７…記憶部 １８…オプティカルフローベクトル選択部 １９…投影ベクトル推定部 ２０…候補選択部 ２１…対応候補点選択部 ２２…類似指標計算部 ２３…類似指標計算部 DESCRIPTION OF SYMBOLS 11 ... Optical flow estimation part 12 ... Correspondence candidate selection part 13 ... Three-dimensional position calculation part 14 ... Spatial differentiation matrix creation part 15 ... Time differentiation matrix 16 ... Flow calculation part 17 ... Storage part 18 ... Optical flow vector selection part 19 ... Projection Vector estimation unit 20: candidate selection unit 21: correspondence candidate point selection unit 22: similarity index calculation unit 23: similarity index calculation unit
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） ９Ａ００１ Ｆターム(参考） 2F065 AA04 BB05 BB15 CC11 CC16 DD06 FF05 JJ03 JJ05 QQ00 QQ13 QQ23 QQ25 QQ27 QQ29 QQ38 QQ41 UU05 2F112 AC06 BA05 BA20 CA05 CA08 FA19 FA38 FA41 FA50 5B057 DA07 DB03 5C054 AA04 CA04 CC03 FD01 FD02 HA18 HA30 5L096 AA09 CA05 FA69 FA76 HA02 9A001 HH20 HH29 KK37 LL03 Continued on the front page (51) Int.Cl. 7 Identification code FI Theme coat II (Reference) 9A001 F term (Reference) 2F065 AA04 BB05 BB15 CC11 CC16 DD06 FF05 JJ03 JJ05 QQ00 QQ13 QQ23 QQ25 QQ27 QQ29 QQ38 QQ41 UU05 2F112 CA06 BA06 CA08 FA19 FA38 FA41 FA50 5B057 DA07 DB03 5C054 AA04 CA04 CC03 FD01 FD02 HA18 HA30 5L096 AA09 CA05 FA69 FA76 HA02 9A001 HH20 HH29 KK37 LL03
Claims (7)
の認識や状況の変化の検出を行う動画像処理装置におい
て、 複数台のカメラ画像を各々処理して得られるオプティカ
ルフローの相互関係を解析しステレオ対応づけすること
により、対象物または変化領域の３次元位置検出を行う
手段を有することを特徴とする動画像処理装置。1. A moving image processing apparatus for recognizing an object and detecting a change in a situation by processing a series of images, analyzing an interrelationship between optical flows obtained by processing a plurality of camera images. A moving image processing apparatus having means for detecting a three-dimensional position of an object or a change area by performing stereo correspondence.
行う際に、オプティカルフローが求まった領域のみを対
応づけの候補として選択する手段を有することを特徴と
する請求項１に記載の動画像処理装置。2. The moving image according to claim 1, further comprising means for selecting only a region where an optical flow is obtained as a candidate for association when performing stereo association between a plurality of cameras. Processing equipment.
行う際に、オプティカルフローが求まった領域のうち、
カメラ間の位置関係により推定されるオプティカルフロ
ーベクトルに類似したオプティカルフローベクトルを有
する領域を対応づけの候補として選択する手段を有する
ことを特徴とする請求項１に記載の動画像処理装置。3. When performing stereo correspondence between a plurality of cameras, an area in which an optical flow is determined
2. The moving image processing apparatus according to claim 1, further comprising: means for selecting a region having an optical flow vector similar to an optical flow vector estimated from a positional relationship between cameras as a candidate for association.
する手段と、カメラ間のオプティカルフローの相互関係
を解析することにより、対応探索領域を設定する手段
と、設定された対応探索領域においてステレオ対応づけ
を行い、３次元位置を算出する手段を有する動画像処理
装置。4. A means for estimating an optical flow for each camera, a means for setting a correspondence search area by analyzing a correlation between optical flows between cameras, and a stereo correspondence in the set correspondence search area. And a moving image processing apparatus having means for calculating a three-dimensional position.
の認識や状況の変化の検出を行う動画像処理方法におい
て、 複数台のカメラ画像を各々処理して得られるオプティカ
ルフローの相互関係を解析しステレオ対応づけすること
により、対象物または変化領域の３次元位置検出を行う
ことを特徴とする動画像処理方法。5. A moving image processing method for recognizing an object or detecting a change in a situation by processing a series of images, wherein an interrelationship between optical flows obtained by processing a plurality of camera images is analyzed. A moving image processing method characterized by performing three-dimensional position detection of a target object or a change area by performing stereo association.
行う際に、オプティカルフローが求まった領域のみを対
応づけの候補として選択することを特徴とする請求項５
に記載の動画像処理方法。6. The method according to claim 5, wherein when performing stereo correspondence between a plurality of cameras, only an area where an optical flow is obtained is selected as a candidate for correspondence.
5. The moving image processing method according to item 1.
行う際に、オプティカルフローが求まった領域のうち、
カメラ間の位置関係により推定されるオプティカルフロ
ーベクトルに類似したオプティカルフローベクトルを有
する領域を対応づけの候補として選択することを特徴と
する請求項５に記載の動画像処理方法。7. When a stereo correspondence between a plurality of cameras is performed, an area where an optical flow is determined
The moving image processing method according to claim 5, wherein a region having an optical flow vector similar to an optical flow vector estimated based on a positional relationship between cameras is selected as a candidate for association.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11187020A JP2001012946A (en) | 1999-06-30 | 1999-06-30 | Dynamic image processor and processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11187020A JP2001012946A (en) | 1999-06-30 | 1999-06-30 | Dynamic image processor and processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001012946A true JP2001012946A (en) | 2001-01-19 |
Family
ID=16198799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11187020A Pending JP2001012946A (en) | 1999-06-30 | 1999-06-30 | Dynamic image processor and processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001012946A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004255074A (en) * | 2003-02-27 | 2004-09-16 | Toyota Motor Corp | Gazing direction detecting device and its method |
| KR100544677B1 (en) * | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | Apparatus and method for the 3D object tracking using multi-view and depth cameras |
| JP2006349586A (en) * | 2005-06-17 | 2006-12-28 | Omron Corp | Three-dimensional measurement method and three-dimensional measuring device |
| JP2007187524A (en) * | 2006-01-12 | 2007-07-26 | Shimadzu Corp | Magnetic mapping device |
| JP2007263669A (en) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | Three-dimensional coordinates acquisition system |
| WO2009157714A3 (en) * | 2008-06-24 | 2010-03-25 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three dimensional video data |
| JP2011112507A (en) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | Apparatus and method for three-dimensional position measurement |
| US20180089838A1 (en) * | 2016-09-29 | 2018-03-29 | The Regents Of The University Of Michigan | Optical flow measurement |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262375A (en) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | Mobile object detector |
| JPH07325924A (en) * | 1994-06-02 | 1995-12-12 | Canon Inc | Compound eye image pickup device |
| JPH10222665A (en) * | 1997-01-31 | 1998-08-21 | Fujitsu Ten Ltd | Picture recognizing device |
-
1999
- 1999-06-30 JP JP11187020A patent/JP2001012946A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262375A (en) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | Mobile object detector |
| JPH07325924A (en) * | 1994-06-02 | 1995-12-12 | Canon Inc | Compound eye image pickup device |
| JPH10222665A (en) * | 1997-01-31 | 1998-08-21 | Fujitsu Ten Ltd | Picture recognizing device |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004255074A (en) * | 2003-02-27 | 2004-09-16 | Toyota Motor Corp | Gazing direction detecting device and its method |
| KR100544677B1 (en) * | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | Apparatus and method for the 3D object tracking using multi-view and depth cameras |
| JP2006349586A (en) * | 2005-06-17 | 2006-12-28 | Omron Corp | Three-dimensional measurement method and three-dimensional measuring device |
| JP2007187524A (en) * | 2006-01-12 | 2007-07-26 | Shimadzu Corp | Magnetic mapping device |
| JP2007263669A (en) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | Three-dimensional coordinates acquisition system |
| WO2009157714A3 (en) * | 2008-06-24 | 2010-03-25 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three dimensional video data |
| JP2011112507A (en) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | Apparatus and method for three-dimensional position measurement |
| US20180089838A1 (en) * | 2016-09-29 | 2018-03-29 | The Regents Of The University Of Michigan | Optical flow measurement |
| US10515455B2 (en) * | 2016-09-29 | 2019-12-24 | The Regents Of The University Of Michigan | Optical flow measurement |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| Hu et al. | Moving object detection and tracking from video captured by moving camera | |
| US7860162B2 (en) | Object tracking method and object tracking apparatus | |
| EP1859411B1 (en) | Tracking objects in a video sequence | |
| JP3054681B2 (en) | Image processing method | |
| US7120277B2 (en) | Segmentation unit for and method of determining a second segment and image processing apparatus | |
| CA2540084A1 (en) | Estimation system, estimation method, and estimation program for estimating object state | |
| KR20050066400A (en) | Apparatus and method for the 3d object tracking using multi-view and depth cameras | |
| EP1857978A1 (en) | Method, system and computer product for deriving three-dimensional information progressivly from a streaming video sequence | |
| Li et al. | Structuring lecture videos by automatic projection screen localization and analysis | |
| KR100950617B1 (en) | Method for estimating the dominant motion in a sequence of images | |
| JP3577875B2 (en) | Moving object extraction device | |
| JPH11257931A (en) | Object recognizing device | |
| JP2001012946A (en) | Dynamic image processor and processing method | |
| KR20220029946A (en) | Apparatus, method and computer program for tracking object included in video | |
| CA2543978A1 (en) | Object tracking within video images | |
| JP2017068375A (en) | Device, method and program for tracking person using plural cameras | |
| JP2002027480A (en) | Dynamic image processing method and apparatus thereof | |
| Lin et al. | Collaborative pedestrian tracking with multiple cameras: Data fusion and visualization | |
| KR102356165B1 (en) | Method and device for indexing faces included in video | |
| JPH11328365A (en) | Device and method for monitoring image | |
| JP2017182295A (en) | Image processor | |
| KR101777058B1 (en) | Apparatus and method for normalized metadata generation | |
| Ghita et al. | Epipolar line extraction using feature matching | |
| CN111191524A (en) | Sports people counting method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040506 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040615 |