JPH10255057A - Mobile object extracting device - Google Patents
Mobile object extracting deviceInfo
- Publication number
- JPH10255057A JPH10255057A JP9051323A JP5132397A JPH10255057A JP H10255057 A JPH10255057 A JP H10255057A JP 9051323 A JP9051323 A JP 9051323A JP 5132397 A JP5132397 A JP 5132397A JP H10255057 A JPH10255057 A JP H10255057A
- Authority
- JP
- Japan
- Prior art keywords
- template
- processing means
- moving
- moving object
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、監視装置等におい
て動画像から動領域を検出して正確に移動物体を抽出す
るための技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for detecting a moving area from a moving image and accurately extracting a moving object in a monitoring apparatus or the like.
【０００２】[0002]
【従来の技術】近年、広域の監視や設備監視のために、
多数のカメラを用いた監視システムが増大している。こ
のため、観測者が複数の映像をモニタリングする非効率
な監視作業を排除して、対象物体の動き等を捉えて状況
把握が行える自動監視システムの開発が期待されてい
る。特に、複数のカメラ映像で広域の観測区域の移動物
体を追跡する手法としては、映像内での対象物体の領域
を正確に抽出し、その対象物体の足元位置を求めて、そ
の位置を観測空間の平面位置に変換し、対象物体の追跡
を行ったり、同一の観測区域を２台のカメラで撮影して
２つの映像に写る同一の物体の対応付けを行い、その２
台のカメラの視差を利用して対象物体の奥行き距離を求
めるステレオ処理を行う方法等がある。2. Description of the Related Art In recent years, for wide area monitoring and facility monitoring,
Surveillance systems using a large number of cameras are increasing. For this reason, the development of an automatic monitoring system capable of grasping the situation by capturing the movement of the target object by excluding an inefficient monitoring operation in which the observer monitors a plurality of images is expected. In particular, as a method of tracking a moving object in a wide observation area with multiple camera images, an area of the target object in the image is accurately extracted, a foot position of the target object is obtained, and the position is determined in the observation space. Of the target object, and the same observation area is photographed with two cameras and the same object is associated with two images.
There is a method of performing stereo processing for obtaining the depth distance of a target object using the parallax of two cameras.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、前記従
来の技術では、大きな課題が残されている。例えば、対
象物体の足元位置を算出手法では、対象物体の重なりや
停止物体の位置および対象の下部が遮蔽物で隠れた場合
に足元位置を求めることが難しい。また、ステレオ処理
では、映像内の同一パターンマッチングは、エッジ情報
が少ないものや視差によりパターンのマッチングがとれ
ない対象物体の存在等の難しさがある。However, the conventional technique described above has a large problem. For example, in the method of calculating the foot position of the target object, it is difficult to obtain the foot position when the overlapping of the target object, the position of the stationary object, and the lower part of the target are hidden by a shield. Further, in the stereo processing, the same pattern matching in an image has difficulty such as the presence of a target object having a small amount of edge information and a target object for which pattern matching cannot be performed due to parallax.
【０００４】本発明は前記従来の問題点に鑑みてなされ
たもので、複数映像の統合方法として処理負荷が少ない
自動生成型のテンプレートマッチング法に基づくテンプ
レートの位置から多視点的な処理を導入することにより
正確に移動物体を抽出することを目的とする。The present invention has been made in view of the above-mentioned conventional problems, and introduces a multi-viewpoint process from a template position based on an automatic generation type template matching method with a small processing load as a method of integrating a plurality of videos. It is intended to extract a moving object accurately by using this method.
【０００５】[0005]
【課題を解決するための手段】課題を解決するために本
発明は、カメラ映像を入力する入力手段と、前記の入力
手段から得られた映像データから動領域を検出する動領
域抽出手段と、前記の動領域抽出手段から得られた動領
域から各動領域別に領域の大きさや画素数等の動領域の
情報を検出するラベリング処理手段と、前記ラベリング
処理手段より検出された各動領域の情報を用いて、その
動領域が対象とする物体にどの程度似ているかを示す情
報を抽出する形状情報抽出手段と、前記入力手段から得
られた映像データと前記形状特徴抽出手段から得られた
動領域の情報に基づいてテンプレートの操作を行うテン
プレート処理手段とを備えたカメラ映像処理系と、前記
複数のカメラ映像処理系からの情報を統合する統合処理
手段と、前記統合処理手段から得られた移動物体の位置
や分類情報を処理してデスプレイ等に表示する出力処理
手段より構成されている。In order to solve the problem, the present invention provides an input means for inputting a camera image, a moving area extracting means for detecting a moving area from video data obtained from the input means, Labeling processing means for detecting information on a moving area such as the size and number of pixels for each moving area from the moving area obtained from the moving area extracting means, and information on each moving area detected by the labeling processing means Shape information extraction means for extracting information indicating how much the moving area is similar to the target object, video data obtained from the input means, and motion information obtained from the shape feature extraction means. A camera video processing system including template processing means for operating a template based on region information; an integration processing means for integrating information from the plurality of camera video processing systems; It is constructed from the output processing means for displaying Desupurei like to process the position and classification information of the moving object obtained from the management unit.
【０００６】これにより、本発明では上記の課題を動画
像処理の特徴を生かすような処理手順で空間位置と各画
像内の画素位置との写像関数が既知の複数のカメラ映像
を用い、対象領域の大まかな足元位置情報を抽出し、こ
の不安定な情報を多視点的処理と時系列処理を施すこと
により、精度の高い対象領域の運動軌跡（トレース）を
求めることができ正確に移動物体を抽出することができ
る。Accordingly, in the present invention, a plurality of camera images having a known mapping function between a spatial position and a pixel position in each image are used in a processing procedure that makes use of the feature of the moving image processing to solve the above-mentioned problem, and By extracting the rough foot position information of, and applying this multi-viewpoint processing and time-series processing to the unstable information, it is possible to obtain a highly accurate motion trajectory (trace) of the target area, and accurately determine the moving object. Can be extracted.
【０００７】[0007]
【発明の実施の形態】本発明の請求項１に記載の発明
は、複数のカメラ映像を入力し、そのカメラ映像で撮影
できる観測区域の移動物体を追尾する装置において、カ
メラ映像を入力する入力手段と、前記の入力手段から得
られた映像データから動領域を検出する動領域抽出手段
と、前記の動領域抽出手段から得られた動領域から各動
領域別に領域の大きさや画素数等の動領域の情報を検出
するラベリング処理手段と、前記ラベリング処理手段よ
り検出された各動領域の情報を用いて、その動領域が対
象とする物体にどの程度似ているかを示す情報を抽出す
る形状情報抽出手段と、前記入力手段から得られた映像
データと前記形状特徴抽出手段から得られた動領域の情
報に基づいてテンプレートの操作を行うテンプレート処
理手段とを備えたカメラ映像処理系と、前記複数のカメ
ラ映像処理系の情報を統合する統合処理手段と、前記統
合処理手段から得られた移動物体の位置や分類情報を処
理してデスプレイ等に表示する出力処理手段より構成さ
れる移動物体抽出装置としたものであり、本構成により
移動物体の追跡に形状特徴抽出手段とテンプレートマッ
チング法を組み合わせたテンプレート処理を用いて多視
点的な移動物体情報の統合・同定処理することにより動
画像処理の特徴を生かした簡易な処理で、精度の高い移
動物体の追跡を行うことができるという作用を有する。DESCRIPTION OF THE PREFERRED EMBODIMENTS The invention according to claim 1 of the present invention is directed to an apparatus for inputting a plurality of camera images and tracking a moving object in an observation area which can be photographed by the camera images. Means, a moving area extracting means for detecting a moving area from the video data obtained from the input means, and a moving area obtained from the moving area extracting means, such as the size of the area and the number of pixels for each moving area. Labeling processing means for detecting information of a moving area, and a shape for extracting information indicating how similar the moving area is to a target object using information of each moving area detected by the labeling processing means Information extraction means; and a template processing means for operating a template based on video data obtained from the input means and information on a moving area obtained from the shape feature extraction means. Video processing system, integrated processing means for integrating information of the plurality of camera video processing systems, and output processing means for processing position and classification information of a moving object obtained from the integrated processing means and displaying the information on a display or the like This is a moving object extraction device composed of multi-viewpoint moving object information integration and identification processing using template processing that combines shape feature extraction means and template matching method for tracking moving objects. By doing so, there is an effect that highly accurate tracking of a moving object can be performed by simple processing utilizing characteristics of moving image processing.
【０００８】本発明の請求項２に記載の発明は、複数の
カメラで撮影される観測区域は、どの区域も２台以上の
カメラ映像により重複して撮影されていることを特徴と
する請求項１記載の移動物体抽出装置としたものであ
り、請求項１記載の発明効果をより大きくできるという
作用を有する。According to a second aspect of the present invention, in the observation area photographed by a plurality of cameras, each area is photographed by two or more camera images in an overlapping manner. The moving object extraction device according to the first aspect has the effect of increasing the effect of the first aspect of the invention.
【０００９】本発明の請求項３に記載の発明は、複数の
カメラを設置する場合に４台を一組として、これらのカ
メラをカメラ１、カメラ２、カメラ３、カメラ４とした
場合に、カメラ１とカメラ２およびカメラ３とカメラ４
を並列又は内側に向いた方向に、カメラ１、２とカメラ
３、４は対向に設置しながら、どの観測区域も２台以上
のカメラ映像により重複して撮影できるようにカメラを
増やしてゆくことを特徴とする請求項１、２記載の移動
物体抽出装置としたものであり、請求項１、２記載の発
明効果を高速道路等の長く伸びた領域でだせるという作
用を有する。According to a third aspect of the present invention, when a plurality of cameras are installed, a set of four cameras is used, and when these cameras are used as a camera 1, a camera 2, a camera 3, and a camera 4, Camera 1 and Camera 2 and Camera 3 and Camera 4
Cameras 1 and 2 and Cameras 3 and 4 are installed facing each other in parallel or inward, and the number of cameras must be increased so that any observation area can be photographed with two or more cameras. The moving object extraction device according to claims 1 and 2 has an effect that the effects of the invention described in claims 1 and 2 can be obtained in a long stretched area such as a highway.
【００１０】本発明の請求項４に記載の発明は、入力手
段が、可視カメラや赤外線カメラまたはそれらの組み合
わせによることを特徴とする請求項１〜３記載の移動物
体抽出装置としたものであり、請求項１〜３までの記載
の発明効果をだすための入力手段の限定であり、可視カ
メラと赤外線カメラの双方の長所・短所を補って効果を
引き出すことができるという作用を有する。According to a fourth aspect of the present invention, there is provided the moving object extracting apparatus according to any one of the first to third aspects, wherein the input means is a visible camera, an infrared camera, or a combination thereof. This is a limitation of the input means for achieving the effects of the invention described in the first to third aspects, and has an effect that the advantages can be obtained by compensating for the advantages and disadvantages of both the visible camera and the infrared camera.
【００１１】本発明の請求項５に記載の発明は、統合処
理手段では、各カメラ映像処理系のテンプレート処理手
段からテンプレートの位置、テンプレートの対象分類、
テンプレートの通し番号およびテンプレートの位置に存
在する対象の映像内における領域の推定下限位置情報を
用いて観測区域の移動物体の位置を算出することを特徴
とする請求項１〜４記載の移動物体抽出装置としたもの
であり、請求項１〜４記載の発明効果をだすための各カ
メラ映像処理系からの情報を統合する場合に多くの数や
種類の移動物体を追跡できるという作用を有する。According to a fifth aspect of the present invention, in the integrated processing means, the position of the template, the target classification of the template,
5. The moving object extracting apparatus according to claim 1, wherein the position of the moving object in the observation area is calculated using the serial number of the template and the information about the estimated lower limit position of the area in the target image existing at the position of the template. In the case where information from each camera image processing system for achieving the effects of the first to fourth aspects is integrated, a large number and types of moving objects can be tracked.
【００１２】本発明の請求項６に記載の発明は、統合処
理手段では、各カメラの観測空間における設置位置と映
像内の画素と観測空間の平面位置の写像関数が既知であ
り、各映像処理系のテンプレート処理で抽出されたテン
プレートの中心点Ａとそのテンプレートが示す対象領域
の推定下限点Ｂを観測空間の平面位置にプロットし、点
Ａと点Ｂを直線で結ぶ。そして、複数の映像処理系から
得られる前記の直線の交点を対象物体の位置候補とする
ことを特徴とする請求項１〜５記載の移動物体抽出装置
としたものであり、本発明の多視点的な移動物体情報の
統合・同定処理するために統合処理手段で移動物体の位
置精度を高めることができるという作用を有する。According to a sixth aspect of the present invention, in the integrated processing means, a mapping function of an installation position of each camera in an observation space, a pixel in an image, and a plane position of the observation space is known. The center point A of the template extracted by the template processing of the system and the estimated lower limit point B of the target area indicated by the template are plotted at a plane position in the observation space, and the points A and B are connected by a straight line. The moving object extraction device according to claim 1, wherein intersections of the straight lines obtained from a plurality of video processing systems are set as candidate positions of the target object. There is an effect that the position accuracy of the moving object can be improved by the integration processing means in order to integrate and identify the moving object information.
【００１３】本発明の請求項７に記載の発明は、統合処
理手段から得られた対象物体の位置候補とそれまで得ら
れた対象物体の位置およびテンプレートの対象分類の情
報を用いて観測空間における最短距離処理にて対応付け
を時間軸に従って行うことを出力処理手段で行うことを
特徴とする請求項６記載の移動物体抽出装置としたもの
であり、本発明の多視点的な移動物体情報の統合・同定
処理するために出力処理手段で時間軸での移動物体の誤
認識を減少させることができるという作用を有する。According to a seventh aspect of the present invention, the position of the target object obtained from the integration processing means, the position of the target object obtained so far, and the information of the target classification of the template are used in the observation space. 7. The moving object extraction device according to claim 6, wherein the association is performed in accordance with the time axis in the shortest distance processing by the output processing means. This has the effect that the output processing means can reduce erroneous recognition of a moving object on the time axis for the integration / identification processing.
【００１４】本発明の請求項８に記載の発明は、テンプ
レート処理手段がカメラ映像から２次元フィルタ処理を
行い、エッジ映像データを抽出するエッジ情報抽出手段
と前記エッジ情報抽出手段から得られたエッジ映像デー
タに基づいてテンプレートマッチング処理を行うマッチ
ング処理手段およびテンプレート内のエッジ特徴を抽出
するエッジ特徴処理手段、形状情報抽出手段から抽出さ
れた情報に基づいてテンプレートを生成や位置変更を行
うテンプレート生成・位置変更処理手段およびテンプレ
ートの位置変更後にテンプレートの移動ベクトルを用い
て消去するテンプレートを決定し、消去処理を行うテン
プレート後処理手段を備えていることを特徴とする請求
項１〜７記載の移動物体抽出装置としたものであり、本
発明で記載のテンプレート処理手段でエッジ情報を用い
ることによりパターンマッチング処理が効果的に行うこ
とができるという作用を有する。According to an eighth aspect of the present invention, the template processing means performs two-dimensional filter processing from the camera image to extract edge video data, and the edge information obtained from the edge information extracting means. A matching processing means for performing template matching processing based on video data, an edge feature processing means for extracting edge features in the template, and a template generation / repositioning means for generating a template or changing a position based on information extracted from the shape information extracting means. 8. The moving object according to claim 1, further comprising: a position change processing unit and a template post-processing unit that determines a template to be erased using a template movement vector after the template position is changed, and performs an erasing process. The extraction device was used as the extraction device. An effect that the pattern matching process by using the edge information can be carried out effectively at a rate processing unit.
【００１５】本発明の請求項９に記載の発明は、形状特
徴手段は、ラベリング処理手段より抽出された各動領域
別の領域の大きさを示す画素数や領域のサイズより対象
とする物体の類似度を計算し、その類似度に基づいて、
対象物体を示すテンプレートを生成する適切な位置情報
等を抽出することを特徴とする請求項１〜８記載の移動
物体抽出装置としたものであり、本発明において多くの
数や種類の移動物体を追跡できるという作用を有する。[0015] According to a ninth aspect of the present invention, the shape feature means is characterized by the number of pixels indicating the size of each moving area extracted by the labeling processing means and the size of the target object. Calculate the similarity, and based on the similarity,
The moving object extracting apparatus according to claim 1, wherein appropriate position information or the like for generating a template indicating the target object is extracted. Has the effect of being able to track.
【００１６】本発明の請求項１０に記載の発明は、形状
特徴手段から抽出される類似度は、人間と車などの複数
の対象物体の類似度を算出することを特徴とする請求項
１〜９記載の移動物体抽出装置としたものであり、本発
明において多くの種類の移動物体を追跡できるという作
用を有する。According to a tenth aspect of the present invention, the degree of similarity extracted from the shape characteristic means is a degree of similarity between a plurality of target objects such as a person and a car. According to the present invention, there is provided a moving object extracting apparatus according to the present invention, which has an effect that many kinds of moving objects can be tracked in the present invention.
【００１７】本発明の請求項１１に記載の発明は、テン
プレート処理手段では、テンプレートの生成、マッチン
グ、位置移動、テンプレートの更新および消去すること
を実行することを特徴とする請求項１〜１０記載の移動
物体抽出装置としたものであり、テンプレートの生成・
消滅型の処理を導入することによりテンプレート処理を
簡易に実現できるという作用を有する。According to an eleventh aspect of the present invention, the template processing means executes template generation, matching, position movement, template update and deletion. Moving object extraction device,
There is an effect that the template processing can be easily realized by introducing the disappearance type processing.
【００１８】本発明の請求項１２に記載の発明は、テン
プレート処理手段では、テンプレートの生成時にテンプ
レートの属性を示すために、テンプレートの番号、テン
プレートの生成時に対象物体が何であったかを示す対象
物体、テンプレートの現在の位置、位置更新をした場合
の元の位置、更新した回数を示す更新回数、テンプレー
トが消滅対象となった場合に消滅を示す消滅フラグおよ
びテンプレートの内容を示すＴＸＳ＊ＴＹＳの画素値
（ＴＸＳ、ＴＹＳはテンプレートの大きさを示す）を持
つように設定することを特徴とする請求項１１記載の移
動物体抽出装置としたものであり、本発明における多数
の種類や量および処理の柔軟性を持たせることができる
作用を有する。According to a twelfth aspect of the present invention, in the template processing means, a template number, a target object indicating what the target object was when the template was generated, The current position of the template, the original position when the position is updated, the number of updates indicating the number of updates, the disappearance flag indicating the disappearance when the template is to be erased, and the pixel value of TXS * TYS indicating the contents of the template 12. The moving object extracting apparatus according to claim 11, wherein the setting is made so that TXS and TYS indicate the size of the template. It has the effect of giving the property.
【００１９】本発明の請求項１３に記載の発明は、テン
プレート処理手段では、テンプレートの生成は、形状特
徴手段より抽出された類似度が適切な閾値以上の場合に
テンプレートの属性を設定したテンプレートを生成させ
ることを特徴とする請求項１１、１２記載の移動物体抽
出装置としたものであり、形状特徴手段からの類似度を
テンプレート処理の生成に活用して、テンプレートの生
成を行うことができる作用を有する。According to a thirteenth aspect of the present invention, in the template processing means, the template is generated by setting a template having a template attribute set when the similarity extracted by the shape characteristic means is equal to or more than an appropriate threshold value. 13. A moving object extracting apparatus according to claim 11, wherein the similarity from the shape characteristic means is utilized for generating a template process, and a template can be generated. Having.
【００２０】本発明の請求項１４に記載の発明は、テン
プレート処理手段では、テンプレートの生成は、形状特
徴手段より抽出された類似度が適切な閾値以上の場合に
テンプレートの生成する適切な位置を形状特徴手段より
抽出されたテンプレート設定位置にテンプレートを生成
させることを特徴とする請求項１１〜１３記載の移動物
体抽出装置としたものであり、本発明において形状特徴
手段から類似度以外にテンプレートの生成位置情報を出
力し、精度の高いテンプレート生成が行えることができ
る作用を有する。According to a fourteenth aspect of the present invention, in the template processing means, the template is generated by determining an appropriate position where the template is generated when the similarity extracted by the shape feature means is equal to or more than an appropriate threshold value. 14. A moving object extraction apparatus according to claim 11, wherein a template is generated at a template setting position extracted by the shape feature means. This has the effect of outputting the generated position information and performing highly accurate template generation.
【００２１】本発明の請求項１５に記載の発明は、テン
プレート処理手段では、抽出された動領域において形状
特徴手段より抽出された類似度が適切な閾値以上の場合
に、その動領域の周辺を探索して、対象となる物体と同
一のテンプレートが存在する場合には、そのテンプレー
トの位置を更新し、テンプレートの内容を移動した位置
の画素値に入れ替える、更新回数も０に設定し直すこと
を特徴とする請求項１１〜１４記載の移動物体抽出装置
としたものであり、一つの対象物体に重複してテンプレ
ートの生成を防ぐことができる作用を有する。According to a fifteenth aspect of the present invention, in the template processing means, when the similarity extracted by the shape feature means in the extracted moving area is equal to or more than an appropriate threshold, the periphery of the moving area is extracted. When searching, if the same template as the target object exists, update the position of the template, replace the contents of the template with the pixel value of the moved position, and reset the update count to 0. A moving object extracting apparatus according to claims 11 to 14, characterized in that the moving object extracting apparatus has an effect of preventing generation of a template overlapping one target object.
【００２２】本発明の請求項１６に記載の発明は、テン
プレート処理手段では、入力手段から映像信号が転送さ
れる毎に、テンプレートの位置更新がされないテンプレ
ートについては、テンプレートの現在の位置を中心にテ
ンプレートマッチング処理を実行し、誤差が最も少ない
位置にテンプレートを移動し、テンプレートの属性を示
す更新回数を増加したり、移動前の位置を元の位置等に
設定することを行うことを特徴とする請求項１１〜１５
記載の移動物体抽出装置としたものであり、テンプレー
トマッチング法の有効な使用が行えることができる作用
を有する。According to a sixteenth aspect of the present invention, in the template processing means, each time a video signal is transferred from the input means, a template whose position is not updated is centered on the current position of the template. The template matching process is performed, the template is moved to a position having the least error, the number of updates indicating the attribute of the template is increased, or the position before the movement is set to the original position or the like. Claims 11 to 15
The moving object extraction device described above has an effect that the template matching method can be effectively used.
【００２３】本発明の請求項１７に記載の発明は、テン
プレート処理手段では、入力手段から映像信号が転送さ
れる毎に、全てのテンプレートに対して、位置更新の処
理を行った後に、テンプレートの動きベクトルを求め
て、同一動きベクトルがもつテンプレートが複数存在し
た場合には、その複数のテンプレートのなかから位置や
更新回数に応じて、一つのテンプレートに消滅フラグを
立てて、消滅対象となったことを示す。そして、この消
滅フラグが立っているテンプレートが連続して消滅対象
となった場合には、このテンプレートを消滅させること
を特徴とする請求項１１〜１６記載の移動物体抽出装置
としたものであり、不要なテンプレートを消滅させて精
度の高いテンプレート処理を行えることができる作用を
有する。According to a seventeenth aspect of the present invention, in the template processing means, every time a video signal is transferred from the input means, the position of all templates is updated, and then the template is updated. When a motion vector is obtained, if there are a plurality of templates having the same motion vector, a deletion flag is set for one template according to the position and the number of updates from among the plurality of templates, and the template becomes a deletion target. Indicates that 17. The moving object extracting apparatus according to claim 11, wherein when the template on which the disappearance flag is set is a target to be continuously eliminated, the template is erased. This has the effect of eliminating unnecessary templates and performing highly accurate template processing.
【００２４】以下に、本発明の実施の形態について、図
１から図６を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１の移動
物体抽出装置のブロック構成図を示す。図１において、
７から９はカメラ映像処理系を示し、１はカメラ映像を
入力する入力手段、２は入力手段１から得られた映像デ
ータから動領域を検出する動領域抽出手段、３は動領域
抽出手段２から得られた動領域から各動領域別に領域の
大きさや画素数等の動領域の情報を検出するラベリング
処理手段、４はラベリング処理手段３より検出された各
動領域の情報を用いて、その動領域が対象とする物体に
どの程度似ているかを示す情報を抽出する形状情報抽出
手段、５は入力手段１から得られた映像データと形状特
徴抽出手段４から得られた動領域の情報に基づいてテン
プレートの操作を行うテンプレート処理手段とから構成
され、６は複数のカメラ映像処理系７から９からの情報
を統合する統合処理手段、１０は統合処理手段６から得
られた移動物体の位置や分類情報を処理してデスプレイ
等に表示する出力処理手段より構成される。An embodiment of the present invention will be described below with reference to FIGS. (Embodiment 1) FIG. 1 is a block diagram showing a moving object extracting apparatus according to Embodiment 1 of the present invention. In FIG.
Reference numerals 7 to 9 denote camera video processing systems, 1 denotes input means for inputting a camera video, 2 denotes a moving area extracting means for detecting a moving area from video data obtained from the input means 1, and 3 denotes a moving area extracting means 2. The labeling processing means 4 detects the information of the moving area such as the size of the area and the number of pixels for each moving area from the moving area obtained from the processing area 4, using the information of each moving area detected by the labeling processing means 3, Shape information extracting means 5 for extracting information indicating how much the moving area is similar to the target object is used for the video data obtained from the input means 1 and the information on the moving area obtained from the shape feature extracting means 4. 6 is an integrated processing means for integrating information from a plurality of camera video processing systems 7 to 9, and 10 is a moving object obtained from the integrated processing means 6. Composed of output processing means for displaying Desupurei such processes the location or classification information.
【００２５】本発明のカメラ映像処理系７〜９である入
力手段１からテンプレート処理手段５までの大きな流れ
は、形状特徴を用いた対象物体の判別法とテンプレート
マッチング法を組み合わせた処理である。テンプレート
マッチングは、撮影環境の変化に対して安定した処理で
あるとともに、計算負荷が比較的軽い処理であるが、テ
ンプレートの生成方法、テンプレートによる移動物体の
追跡を行った場合に対象物体の動きや大きさの変動に対
して追跡が不安定となる。そこで、本発明では移動物体
の形状特徴から対象物体の類似度を求めて、その類似度
を用いてテンプレート生成/位置更新およびテンプレー
トマッチングを行い、移動物体の追跡をすることで、処
理負荷が少なく、高精度の移動物体のテンプレートマッ
チング法にしている。The large flow from the input means 1 to the template processing means 5, which are the camera video processing systems 7 to 9 of the present invention, is a process in which a target object discriminating method using shape features and a template matching method are combined. Template matching is a process that is stable against changes in the shooting environment and has a relatively light computational load.However, when a template generation method and tracking of a moving object using the template are performed, Tracking becomes unstable with respect to size fluctuations. Therefore, in the present invention, the similarity of the target object is obtained from the shape characteristics of the moving object, template generation / position update and template matching are performed using the similarity, and the moving object is tracked, so that the processing load is reduced. , A highly accurate moving object template matching method.
【００２６】以下に各処理手段毎に詳細に説明する。入
力手段１は、カメラとして例えば可視カメラまたは赤外
線カメラ等を用いるものとする。本発明では複数のカメ
ラが存在するが、同一種類のカメラのみでも、異なる種
類のカメラが混在する場合もある。その用途に応じて選
択が可能とする。Hereinafter, each processing means will be described in detail. The input means 1 uses, for example, a visible camera or an infrared camera as a camera. Although a plurality of cameras exist in the present invention, different types of cameras may be mixed even with only the same type of camera. Selection can be made according to the application.
【００２７】また、複数のカメラで撮影される観測区域
は、どの区域も２台以上のカメラ映像により重複して撮
影されていることを条件として、設置の例としては、図
２に示すように４台を一組として、これらのカメラをカ
メラ１、カメラ２、カメラ３、カメラ４とした場合に、
カメラ１とカメラ２およびカメラ３とカメラ４を並列又
は内側に向いた方向に、カメラ１、２とカメラ３、４は
対向に設置しながら、どの観測区域も２台以上のカメラ
映像により重複して撮影できるようにカメラを増やして
ゆく方法もある。図２の監視エリアとしては、高速道路
を含めた自動車道路等が想定される。The observation area photographed by a plurality of cameras may be installed as shown in FIG. 2 on condition that every area is photographed by two or more cameras. When these four cameras are used as a set, and these cameras are referred to as camera 1, camera 2, camera 3, and camera 4,
Cameras 1 and 2 and cameras 3 and 4 are arranged side by side or inward. Cameras 1 and 2 and cameras 3 and 4 are installed facing each other, and any observation area overlaps with two or more camera images. There are also ways to increase the number of cameras so that you can take pictures. As the monitoring area in FIG. 2, an automobile road including an expressway is assumed.
【００２８】動領域抽出処理手段２は、本発明では対象
物体の全体の検出が重要で、足元まで含めた全体領域が
１つの領域として抽出されることが望ましく、このた
め、入力手段１からの映像データから動領域を抽出する
際、対象物体の領域の分離する割合が少ないのであれば
映像の１フレーム間の差分する方法や背景映像を算出し
て、その背景を用いて現時点での映像との差分をとる方
法を用いるものとする。また、前記の方法で対象物体の
領域が分離するような場合には、映像の１フレーム間の差分
結果を数フレームに渡って累積するフレーム間累積差分
を行ってから最適な閾値で２値化し、動き領域抽出する
方法を用いるものとする。In the present invention, it is important for the moving area extraction processing means 2 to detect the entire target object, and it is desirable that the entire area including the foot is extracted as one area. When extracting a moving area from video data, if the rate of separation of the area of the target object is small, a method of subtracting one frame of the video or a background video is calculated, and the background is used to calculate the current video. Is used. Further, when the region of the target object is separated by the above-described method, an inter-frame cumulative difference that accumulates a difference result between one frame of the video over several frames is performed, and then binarized with an optimal threshold. And a method of extracting a motion region.
【００２９】ラベリング処理手段３は、動領域抽出手段
２で検出された２値化された動き領域からラベリング処
理により対象物体（例えば、人物や車）の領域を区分す
るのものである。一般的には、動領域抽出手段２で検出
された動き領域には対象物体以外の領域が含まれること
があり、影や映り込みおよび映像に上乗されたノイズが
これらの例である。そこで、本手段では、これらの不要
な部分を除去して実際の対象物体の領域に近い部分を一
つの領域として抽出する領域整形としての役目も含まれ
ている。The labeling processing means 3 separates the area of the target object (for example, a person or a car) from the binarized moving area detected by the moving area extracting means 2 by labeling processing. In general, the motion area detected by the motion area extraction unit 2 may include an area other than the target object, and examples thereof include a shadow, reflection, and noise added to the video. Therefore, the present means also has a role as an area shaping that removes these unnecessary parts and extracts a part close to the actual target object area as one area.
【００３０】形状情報抽出処理手段４は、ラベリング処
理手段３で検出される動領域には、対象物体の重なり、
分離や影を含む場合も含まれる。従って、本発明で後述
するテンプレートを用いて対象物体を追尾を行う場合、
新たな動領域に対してテンプレートを生成させるための
ルールが必要となる。形状情報抽出処理４では、動領域
のサイズやフェレ比・全体の傾きなどの形状特徴を用い
て、動領域が追尾すべき対象物体であるかどうかの確か
らしさを示す“類似度”を算出し、これによって判別を
行うルールを設定した。室内では人物を対象として監視
・追尾を行う。The shape information extraction processing means 4 overlaps the moving object detected by the labeling processing means 3 with the target object,
Includes cases including separation and shadows. Therefore, when tracking a target object using a template described later in the present invention,
A rule for generating a template for a new moving area is required. In the shape information extraction process 4, “similarity” indicating the likelihood that the moving region is a target object to be tracked is calculated using the shape characteristics such as the size of the moving region, the Feret ratio, and the overall inclination. , A rule for making a determination is set. In the room, monitoring and tracking is performed for a person.
【００３１】この場合には、動領域が単一の人物かそれ
以外の物体（複数の人物が重なったものや影など）かが
問題となる。これは人物の実サイズがほぼ決まっている
ことから判別できる。この判別ルールについて以下に説
明する。In this case, there is a problem whether the moving area is a single person or another object (such as a plurality of overlapping persons or shadows). This can be determined from the fact that the actual size of the person is substantially determined. This determination rule will be described below.
【００３２】画像上での人物のサイズSizeはカメラから
の距離を介して射影変換によって実サイズと関係づけら
れる。The size Size of the person on the image is related to the actual size by projective transformation via the distance from the camera.
【００３３】そこで、この射影変換を一次式Size = a x
Ｙbottom + bで近似できる。ここでＹbottom は動領域
下端の画像上の座標であり、人物であれば足元の位置に
ほぼ対応する。長さの次元を持つサイズとしては動領域
の外接矩形の幅w・高さh、動領域の面積（画素数）の平
方根rなどがある。w、h、rはいずれも上記の一次式でよ
く近似できる。従ってw、h、rは主成分分析により一つ
の量に情報圧縮できる。そこでSizeをSize = αwxw +
αhxh + αrxrと定義する。ここで αw 、αh、αrは第
一主成分軸への射影係数で αw 2+αh 2+αr 2=1を満た
す。Sizeは前述の一次式でよく近似できるので、適切な
フィッティング方法（最小二乗法など）により前記式の
係数a、bを求め、この式によって「足元がにある人物の
標準サイズ」を決定した。Therefore, this projective transformation is represented by the linear expression Size = ax
It can be approximated by Y bottom + b. Here, Y bottom is the coordinate of the lower end of the moving area on the image, and almost corresponds to the position of the foot in the case of a person. The size having the length dimension includes the width w and height h of the circumscribed rectangle of the moving area, the square root r of the area (number of pixels) of the moving area, and the like. Each of w, h, and r can be approximated well by the above-described linear expression. Therefore, w, h, and r can be compressed into one quantity by principal component analysis. Then, change the Size to Size = α w xw +
α h xh + α r xr Here, α w , α h , and α r are projection coefficients onto the first principal component axis, and satisfy α w 2 + α h 2 + α r 2 = 1. Since the size can be well approximated by the above-mentioned linear expression, the coefficients a and b of the above expression are obtained by an appropriate fitting method (least square method or the like), and the “standard size of the person at the feet” is determined by this expression.
【００３４】この標準サイズを用いて判別ルールを次の
ように定めた。動領域の人物類似度LをL=100(1-|Size-S
ize0|/Size0)と定義し、L≧Thを満たす場合に人物とす
る。ただし、ここでSize0は動領域のYbottomから求めた
標準サイズ（a xＹbottom +b）、Thは適切なしきい値
である。Using the standard size, a discrimination rule is determined as follows. When the person similarity L in the moving area is L = 100 (1- | Size-S
ize 0 | / Size 0 ), and a person is determined when L ≧ Th is satisfied. Here, Size 0 is a standard size (a × Y bottom + b) obtained from Y bottom of the moving area, and Th is an appropriate threshold.
【００３５】なお、上記は人物についてのルールを示し
たが、車と人の判断等では、Ｙbott om と動領域の面積
の平方根ｒの一次近似式を用いて、その近似式の上下関
係で人か車の判断を行う方法もある。Although the rules for persons have been described above, in the judgment between a car and a person, a linear approximation of Y bott om and the square root r of the area of the moving region is used, and the upper and lower relations of the approximation are used. There are also ways to make judgments about people or vehicles.
【００３６】テンプレート処理手段５のテンプレート処
理は、形状情報抽出処理手段４で算出された類似度を用
いて類似度が高い場合にテンプレートの作成候補位置を
用いてテンプレートの生成および位置修正を行う。ま
た、類似度が低い場合には、テンプレートマッチングを
実施し、テンプレートの位置を変更する。In the template processing by the template processing means 5, when the similarity calculated by the shape information extraction processing means 4 is high, the template is generated and the position is corrected by using the template creation candidate position. If the similarity is low, template matching is performed to change the position of the template.
【００３７】図３にテンプレートの生成や位置変更の例
を示す。具体的なテンプレートの生成や位置変更は、検
出された動領域の類似度が適当な閾値以上である場合に
（図３（１））形状情報抽出処理手段４から得られる位
置（人の場合には頭部）を中心にテンプレートを探索し
（図３（２））、その範囲にテンプレートがない場合に
新しくテンプレートを発生させる。また、探索範囲に既
にテンプレートが存在する場合には、最も近いテンプレ
ートを形状情報抽出処理手段４で指示された更新位置に
移動し（図３（３））、テンプレートの画素値を移動し
た位置の画素値に全て入れ替える。FIG. 3 shows an example of template generation and position change. The specific template generation or position change is performed when the similarity of the detected moving area is equal to or more than an appropriate threshold (FIG. 3A). (FIG. 3 (2)), and a template is newly generated when there is no template in that range. If a template already exists in the search range, the closest template is moved to the update position designated by the shape information extraction processing means 4 (FIG. 3 (3)), and the pixel value of the position where the template pixel value is moved is moved. All are replaced with pixel values.
【００３８】テンプレートマッチングは、各フレーム画
像からＳｏｂｅｌフィルタ処理で抽出したエッジ画像に
対して行う。このため、テンプレートに保存される画素
値はエッジ画像から抽出された値である。なお、テンプ
レートマッチング法において、テンプレートに似たパタ
ーンを探索する手法としては、最短距離法・ＳＳＤＡ
（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅ
ｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）・相関法・統計
的手法等がある。本発明では高速性も兼ねそろえたＳＳ
ＤＡを用いた。しかし、ＳＳＤＡではパターンが大きく
変化した場合にテンプレートがエッジの少ないエリアに
外れる。これを防ぐため、テンプレート内のエッジ情報
の加算値と参照パターンのエッジ情報の加算値との差の
絶対値をＳＳＤＡを実行時の誤差に加えている。The template matching is performed on an edge image extracted from each frame image by Sobel filter processing. Therefore, the pixel value stored in the template is a value extracted from the edge image. In the template matching method, as a method of searching for a pattern similar to a template, the shortest distance method / SSDA
(Sequential Similarity De
protection algorithm, correlation method, statistical method, and the like. In the present invention, SS that also has high speed
DA was used. However, in SSDA, when the pattern changes significantly, the template falls out of an area with few edges. To prevent this, the absolute value of the difference between the added value of the edge information in the template and the added value of the edge information of the reference pattern is added to the error when SSDA is executed.
【００３９】また、本手段ではテンプレ−トの消滅があ
る。各テンプレートは位置変更時に算出される移動ベク
トルが同一のテンプレートが複数存在する場合には該当
のテンプレートは消滅対象となる。Further, in this means, there is a disappearance of the template. If there are a plurality of templates having the same movement vector calculated when the position is changed, the corresponding template is to be deleted.
【００４０】次に、テンプレート処理手段５の内部のブ
ロック構成図を図４に示す。テンプレート処理手段５
は、エッジ抽出処理手段１１、テンプレート生成・位置
変更処理手段１４、テンプレートマッチング処理手段１
２、エッジ特徴処理手段１３およびテンプレート後処理
手段１５により構成される。Next, FIG. 4 shows a block diagram of the inside of the template processing means 5. Template processing means 5
Are edge extraction processing means 11, template generation / position change processing means 14, template matching processing means 1
2. It is composed of edge feature processing means 13 and template post-processing means 15.
【００４１】処理の流れを以下に説明する。エッジ抽出
手段１１は、入力手段１から入力されるカメラ映像１０
４をフレーム毎にエッジ抽出処理を行う。このエッジ抽
出手段で得られた情報は、テンプレートの現在の位置を
中心に決められた範囲でマッチング処理手段１２による
前述したマッチング処理やエッジ特徴処理手段１３でエ
ッジ特徴処理を施される。エッジ特徴処理では前述した
ようにテンプレート内のエッジ値の合計値とエッジ画像
のテンプレートが合わせられる領域のエッジ値の合計値
との差を行う処理等のエッジパターンとテンプレートが
持つパターンとのマッチングが行われる。テンプレート
マッチング処理とエッジ特徴処理の誤差は、テンプレー
ト後処理手段１５で加算され、加算値が最も少ない位置
にテンプレートは更新される。The processing flow will be described below. The edge extracting means 11 is a camera image input from the input means 1.
4 performs edge extraction processing for each frame. The information obtained by the edge extracting means is subjected to the above-described matching processing by the matching processing means 12 and edge feature processing by the edge feature processing means 13 in a range determined around the current position of the template. In the edge feature processing, as described above, matching between an edge pattern and a pattern included in the template, such as a process of performing a difference between a total value of edge values in the template and a total value of edge values in an area where the template of the edge image is matched, is performed. Done. An error between the template matching process and the edge feature process is added by the template post-processing means 15, and the template is updated to a position where the added value is the smallest.
【００４２】また、形状情報抽出処理手段４からの得ら
れた動領域の位置やサイズ情報とその類似度は、テンプ
レート生成・位置変更処理手段１４に入力され、類似度
が適当な閾値以上の場合については図３で示した処理が
施される。類似度が適当な閾値よりも大きい場合にはこ
の手段での処理が優先される。なお、テンプレート後処
理手段１５では前述したテンプレートの消滅処理を行
う。The position and size information of the moving area and the similarity thereof obtained from the shape information extraction processing means 4 are input to the template generation / position change processing means 14, and when the similarity is equal to or more than an appropriate threshold value. Is subjected to the processing shown in FIG. If the similarity is larger than an appropriate threshold value, the processing by this means has priority. Note that the template post-processing means 15 performs the above-described template disappearance processing.
【００４３】次に、本発明におけるテンプレート処理手
段５のテンプレートの構造を図５に示す。テンプレート
は、生成される時に以下の属性とテンプレートが生成さ
れた場所のエッジパターンを持つようにつくられる。つ
まり、テンプレートには、テンプレートの通し番号、テ
ンプレートの映像内の現在位置、変更前の位置、対象物
体（これは対象物体の識別子である。）、減点flag、静
／動flag、更新回数およびエッジパターンである。Next, FIG. 5 shows the structure of the template of the template processing means 5 according to the present invention. When a template is created, it is created to have the following attributes and edge patterns where the template was created. That is, the template includes the template serial number, the current position of the template in the video, the position before the change, the target object (this is the identifier of the target object), the deduction flag, the still / moving flag, the number of updates, and the edge pattern. It is.
【００４４】各属性について以下に説明する。各テンプ
レートは現在の画像上の座標と前回の座標とを保持して
いる。前回の座標を保持するのは、移動量ベクトルを求
めるためである。移動量ベクトルは同一方向に動くテン
プレートを見付けるためのもので、同一方向に連続して
動くテンプレートは消滅対象となる。更新回数は生成時
点で０が設定され、更新される度に１ずつ増える。更新
回数はテンプレートの強度を示す値でもあり、この値が
低いものは消滅対象になりやすい。減点flagは移動量ベ
クトルが同一方向に動くテンプレートが２枚以上あった
場合にonとなり、後述する処理で更新回数が減少される
か、消滅処理が行われる。静/動flagは類似度が適当な
閾値以上を示す領域を示すテンプレートについてonとな
る。このflagにより更新時のテンプレートの更新の割合
を変える。Each attribute will be described below. Each template holds the coordinates on the current image and the previous coordinates. The reason why the previous coordinates are held is to obtain the movement amount vector. The movement amount vector is for finding a template that moves in the same direction, and templates that move continuously in the same direction are to be deleted. The number of updates is set to 0 at the time of generation, and increases by one each time it is updated. The number of updates is also a value indicating the strength of the template, and the one with a low value is likely to disappear. The deduction flag is turned on when there are two or more templates in which the moving amount vector moves in the same direction, and the number of updates is reduced in the processing described later, or the deletion processing is performed. The static / dynamic flag is turned on for a template indicating a region in which the similarity is equal to or more than an appropriate threshold. The update rate of the template at the time of update is changed by this flag.
【００４５】テンプレートの更新方法を説明する。基本
的には前回のテンプレートの画素値と新たにマッチング
したパターンの画素値との重み付き加算により行う。更
新式を次に示す。ここで、はテンプレート内座標の新し
い画素値、は前回までのテンプレート画素値、はテンプ
レートがマッチングしたパターンのテンプレート内画素
値である。重みは、静／動flagによって以下のように変
更される。A method of updating a template will be described. Basically, this is performed by weighted addition of the pixel value of the previous template and the pixel value of the newly matched pattern. The update formula is shown below. Here, is the new pixel value of the coordinates in the template, is the template pixel value up to the previous time, and is the pixel value in the template of the pattern matched with the template. The weight is changed as follows depending on the static / dynamic flag.
【００４６】静／動flag = ON … 静／動flag = OFF … つまり、対象物体が静止状態に近いときに更新量を増や
す。更新を行った場合、消滅flagがOFFであれば更新回
数が＋１される。Static / dynamic flag = ON ... Static / dynamic flag = OFF ... In other words, the update amount is increased when the target object is close to the stationary state. When updating is performed, if the disappearance flag is OFF, the number of updates is incremented by one.
【００４７】最後にテンプレートの消滅について説明す
る。前述した移動量ベクトルが同一のテンプレートが複
数存在する場合に消滅flagをONとする。消滅flagがONの
場合、テンプレート更新時に更新回数を次のように変更
する。Finally, the disappearance of the template will be described. When a plurality of templates having the same movement amount vector exist, the disappearance flag is set to ON. When the disappearance flag is ON, the number of updates is changed as follows when updating the template.
【００４８】 更新回数 ＞ T1 の場合 更新回数 ＝ T2 T1 ＞ 更新回数 ＞ T2 の場合 更新回数 ＝ T3 更新回数 ＞ T3 の場合 消滅 ここで、Ｔ１、Ｔ２、Ｔ３の関係がある閾値を示す。従
って、３回連続して消滅flagが立つ場合にはテンプレー
トを消滅させる。なお、テンプレートの対象物体（対象
の識別子）は、屋外シーンのように人物や車両の判別が
必要な場合に使用する。In the case of the number of updates> T1 The number of updates = T2 T1> The number of updates> T2 In the case of the number of updates = T3 The number of updates> T3 The extinction indicates a threshold having a relationship between T1, T2, and T3. Therefore, when the disappearance flag is set three times in succession, the template is erased. The target object (target identifier) of the template is used when it is necessary to distinguish a person or a vehicle as in an outdoor scene.
【００４９】統合処理手段６は、各カメラ映像処理系７
〜９を前述した処理にて生成されたテンプレートの位置
を多視点的な手法にて統合を行っている。具体的な例を
図６に示す。図６において、カメラ１とカメラ２は、ほ
ぼ同一の観測エリアを違う角度から撮影している。この
とき、カメラ１の映像とカメラ２の映像はそれぞれテン
プレート処理にて移動物体を追跡している。この追跡は
テンプレートにて行っており、テンフ゜レートの位置は対象
の一部(人の場合には頭部）を示す。このため、カメラ
が実空間に対してどの様に設置されているか既知の場合
でも対象物体の床面の位置（人の場合には足元位置）が
正確に求められない。そこで、形状情報抽出処理手段４
で示したように、人物の高さｈは、人物の動領域の下端
のＹ座標Ｙ bottomとの関係は一次式で近似できるので、
各カメラ映像内のテンプレートの中心点から、その中心
点を床面方向に垂直に延ばした点で対象の推定ボトム位
置をこの一次式から近似的に推測することができる。The integrated processing means 6 includes a camera video processing system 7
9 to 9 are the positions of the template generated by the processing described above.
Is integrated by a multi-view method. Specific examples
As shown in FIG. In FIG. 6, camera 1 and camera 2 are
The same observation area is photographed from different angles. this
At this time, the images of camera 1 and camera 2 are
Moving objects are tracked by plate processing. This tracking
Performed by template, template position is subject
(In the case of a person, the head). Because of this, the camera
Is known how is installed in the real space
But the position of the floor of the target object (foot position in the case of a person)
Not exactly determined. Therefore, the shape information extraction processing means 4
As shown by, the height h of the person is the lower end of the moving area of the person.
Y coordinate of bottomCan be approximated by a linear equation,
From the center point of the template in each camera image, its center
Estimated bottom position of the object by extending the point perpendicular to the floor direction
The position can be approximately inferred from this linear equation.
【００５０】例えば、図６においては、カメラ映像１
（図６（ａ））ではテンプレートの中心点Ａ、対象の推
定ボトム点Ｂ、カメラ映像２（図（ｂ））ではカメラ映
像１のＡ、Ｂに対応する点としてＡ｀、Ｂ｀となる。こ
の各映像から抽出された各点をカメラの設置位置が既知
とすると映像歪みがそれ程大きく無い場合には線形の式
にて変換できる。For example, in FIG.
In FIG. 6A, the center point A of the template, the estimated bottom point B of the object, and the camera image 2 (FIG. 6B) are A ｀ and B ｀ as points corresponding to A and B of the camera image 1. . If it is assumed that the camera installation position is known for each point extracted from each image, if the image distortion is not so large, it can be converted by a linear equation.
【００５１】図６の右側に対象のトレースを行う実空間
のイメージ図（図６（ｃ））を示す。この実空間におい
てＡ、Ｂ点およびＡ｀、Ｂ｀点を繋いだ直線を実空間に
プロットする。この場合には、各映像のテンプレート処
理が正確に行われていると仮定すると、対象物体が２台
のカメラを結ぶ線上にある場合を除けば、対応する対象
物体の実空間の位置に交点を持つことが幾何学的に証明
できる。そこで、この交点を対象物体の実空間の位置と
することができる。FIG. 6C shows an image (FIG. 6C) of the real space for tracing the object. In this real space, a straight line connecting points A and B and points A ｀ and B ｀ is plotted in the real space. In this case, assuming that the template processing of each video is correctly performed, an intersection is set at the position of the corresponding target object in the real space except when the target object is on a line connecting the two cameras. It can be proved geometrically to have. Therefore, this intersection can be set as the position of the target object in the real space.
【００５２】出力処理手段１０は、統合処理手段６で交
点を求めた後、時間軸に従って、過去に存在した対象物
体の位置と交点との最短距離による対応付けを行いなが
ら実空間の位置をプロットすることにより各対象物体の
トレースが行える。テンプレートマッチング処理では、
必ずしもテンプレートの位置が正確に対象物体の位置を
示していない場合も存在するが、最短距離による対応付
けにてロバスト性を確保している。また、交点が定まら
ない場合や複数の対象物体が存在した場合に架空の交点
が発生する可能性があるが、過去の履歴を用いた対応付
けにて処理を行っている。The output processing means 10 obtains the intersection by the integration processing means 6, and then plots the position in the real space while associating the position of the target object existing in the past with the shortest distance according to the time axis. By doing so, it is possible to trace each target object. In the template matching process,
There are cases where the position of the template does not always accurately indicate the position of the target object, but robustness is ensured by associating with the shortest distance. In addition, when an intersection is not determined or a plurality of target objects exist, a fictitious intersection may occur, but the processing is performed by association using past histories.
【００５３】次に、本発明の具体例を以下に説明する。
図１の実施例としては、室内での人物の監視を行うシス
テムがある。このとき、一台のカメラでは正しく人物を
抽出して追跡するが難しい場合が多々ある。例えば、床
面積が大きかったり、机等で対象物体の下部が隠蔽した
り、床面に対象の映り込みや影があったりする場合であ
る。そこで、２台以上のカメラを設置し、複数の移動物
体の追跡を自動生成型のテンプレートマッチング法を用
いて多視点的な移動物体情報の統合・同定処理すること
により、精度が高く、簡易なシステムが実現できる。Next, specific examples of the present invention will be described below.
As an example of FIG. 1, there is a system for monitoring a person indoors. At this time, it is often difficult to correctly extract and track a person with one camera. For example, the floor area is large, the lower part of the target object is concealed by a desk or the like, or the target surface is reflected or shadowed on the floor surface. Therefore, two or more cameras are installed, and the tracking and tracking of a plurality of moving objects is performed by integrating and identifying multi-viewpoint moving object information using an automatically generated template matching method. The system can be realized.
【００５４】また、屋外の映像監視システムでは広域の
監視エリアでの車や人などの混在する場面が多い。この
場合にも、２台以上のカメラを設置し、複数の移動物体
の追跡を自動生成型のテンプレートマッチング法を用い
て多視点的な移動物体情報の統合・同定処理することに
より、精度が高く、簡易なシステムが実現できる。In an outdoor video surveillance system, there are many scenes in which a car and a person are mixed in a wide monitoring area. In this case as well, two or more cameras are installed, and tracking of a plurality of moving objects is performed by integrating and identifying multi-viewpoint moving object information using an automatically generated template matching method. , A simple system can be realized.
【００５５】また、図２に示したように幅はそれ程広く
無いが、横に広く伸びた高速道路や一般道における監視
システムではカメラの設置を図２に示すようにしながら
規則的に監視エリアを重複して撮影し、その撮影した映
像を用いて複数の車の追跡を自動生成型のテンプレート
マッチング法を用いて多視点的な車情報の統合・同定処
理することにより、精度が高く、簡易なシステムが実現
できる。Although the width is not so wide as shown in FIG. 2, in a surveillance system on an expressway or a general road which extends horizontally, the surveillance area is regularly arranged while installing cameras as shown in FIG. By taking multiple shots and using the shot video to track and track multiple cars, using an auto-generated template matching method to integrate and identify multi-view car information, high accuracy and simple The system can be realized.
【００５６】[0056]
【発明の効果】以上説明したように、本発明では、自動
監視システムなどにおける移動物体の追跡に自動生成型
のテンプレートマッチング法を用いて多視点的な移動物
体情報の統合・同定処理することにより動画像処理の特
徴を生かした簡易な処理で、精度の高い移動物体の追跡
を行うことができ、自動生成型のテンプレートマッチン
グ法により対象物体の重なりや停止物体の位置を簡単に
求められるために簡易な処理で、精度の高い移動物体の
追跡を行うことができる。As described above, according to the present invention, multi-viewpoint moving object information is integrated and identified by using an automatically generated template matching method for tracking a moving object in an automatic monitoring system or the like. Because it is possible to track moving objects with high accuracy by simple processing that takes advantage of the features of moving image processing, and it is easy to find the overlapping of target objects and the position of stationary objects using an automatically generated template matching method With a simple process, a highly accurate tracking of a moving object can be performed.
【００５７】また、ステレオ処理に見られるパターンマ
ッチングの難しさや非効率性を省略できる。さらに、カ
メラの設置位置を分散させて広い区域の観測ができる。Further, it is possible to omit the difficulty and inefficiency of pattern matching found in stereo processing. In addition, a wide area can be observed by dispersing the installation positions of the cameras.
【図１】本発明の実施の形態１の移動物体抽出装置のブ
ロック構成図FIG. 1 is a block diagram of a moving object extracting apparatus according to a first embodiment of the present invention;
【図２】本発明の実施の形態１の移動物体抽出装置にお
ける複数カメラの配置例図FIG. 2 is a layout example of a plurality of cameras in the moving object extraction device according to the first embodiment of the present invention;
【図３】本発明の実施の形態１の移動物体抽出装置のテ
ンプレート処理手段における生成時や位置変更時におけ
るテンプレートの探索例を示す図FIG. 3 is a diagram showing an example of searching for a template when generating or changing a position in the template processing means of the moving object extraction device according to the first embodiment of the present invention;
【図４】本発明の実施の形態１の移動物体抽出装置のテ
ンプレート処理手段のブロック構成図FIG. 4 is a block diagram showing a template processing unit of the moving object extracting apparatus according to the first embodiment of the present invention;
【図５】本発明の実施の形態１の移動物体抽出装置のテ
ンプレートの構造図FIG. 5 is a structural diagram of a template of the moving object extraction device according to the first embodiment of the present invention;
【図６】本発明の実施の形態１の移動物体抽出装置の統
合処理手段の処理例を示す図FIG. 6 is a diagram illustrating a processing example of an integrated processing unit of the moving object extraction device according to the first embodiment of the present invention.
１ 入力手段 ２ 動領域抽出手段 ３ ラベリング処理手段 ４ 形状情報抽出処理手段 ５ テンプレート処理手段 ６ 統合処理手段 ７、８、９ カメラ映像処理系 １０ 出力処理手段 １１ エッジ抽出処理手段 １２ マッチング処理手段 １３ エッジ特徴処理手段 １４ テンプレート生成・位置変更処理手段 １５ テンプレート後処理手段 DESCRIPTION OF SYMBOLS 1 Input means 2 Moving area extraction means 3 Labeling processing means 4 Shape information extraction processing means 5 Template processing means 6 Integration processing means 7, 8, 9 Camera video processing system 10 Output processing means 11 Edge extraction processing means 12 Matching processing means 13 Edge Feature processing means 14 Template generation / position change processing means 15 Template post-processing means
───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 武久 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Takehisa Tanaka 3-10-1 Higashi-Mita, Tama-ku, Kawasaki-shi, Kanagawa Prefecture Matsushita Giken Co., Ltd.
Claims (17)
映像で撮影できる観測区域の移動物体を追尾する装置に
おいて、カメラ映像を入力する入力手段と、前記の入力
手段から得られた映像データから動領域を検出する動領
域抽出手段と、前記の動領域抽出手段から得られた動領
域から各動領域別に領域の大きさや画素数等の動領域の
情報を検出するラベリング処理手段と、前記ラベリング
処理手段より検出された各動領域の情報を用いて、その
動領域が対象とする物体にどの程度似ているかを示す情
報を抽出する形状情報抽出手段と、前記入力手段から得
られた映像データと前記形状情報抽出手段から得られた
動領域の情報に基づいてテンプレートの操作を行うテン
プレート処理手段とを備えたカメラ映像処理系と、前記
複数のカメラ映像処理系からの情報を統合する統合処理
手段と、前記統合処理手段から得られた移動物体の位置
や分類情報を処理してデスプレイ等に表示する出力処理
手段より構成される移動物体抽出装置。1. An apparatus for inputting a plurality of camera images and tracking a moving object in an observation area which can be photographed by the camera images, comprising: an input unit for inputting a camera image; and video data obtained from the input unit. Moving area extracting means for detecting a moving area; labeling processing means for detecting information on the moving area such as the size of the area and the number of pixels for each moving area from the moving area obtained from the moving area extracting means; Shape information extracting means for extracting information indicating how similar the moving area is to a target object using information on each moving area detected by the processing means, and video data obtained from the input means A camera video processing system comprising: a template processing unit for performing a template operation based on information on a moving region obtained from the shape information extraction unit; A moving object extracting apparatus comprising: integrating processing means for integrating information from a science system; and output processing means for processing position and classification information of a moving object obtained from the integrating processing means and displaying the information on a display or the like.
どの区域も２台以上のカメラ映像により重複して撮影さ
れていることを特徴とする請求項１記載の移動物体抽出
装置。2. The observation area photographed by a plurality of cameras,
2. The moving object extraction device according to claim 1, wherein each area is photographed in an overlapping manner by two or more camera images.
組として、これらのカメラをカメラ１、カメラ２、カメ
ラ３、カメラ４とした場合に、カメラ１とカメラ２およ
びカメラ３とカメラ４を並列又は内側に向いた方向に、
カメラ１、２とカメラ３、４は対向に設置しながら、ど
の観測区域も２台以上のカメラ映像により重複して撮影
できるようにカメラを増やしてゆくことを特徴とする請
求項１または２記載の移動物体抽出装置。3. When a plurality of cameras are installed, a set of four cameras is used as a camera 1, a camera 2, a camera 3, and a camera 4, and the cameras 1 and 2 and the cameras 3 and 4 4 in parallel or inward,
3. The camera according to claim 1, wherein the cameras 1 and 2 and the cameras 3 and 4 are arranged opposite to each other, and the number of cameras is increased so that any observation area can be photographed with two or more cameras. Moving object extraction device.
またはそれらの組み合わせによることを特徴とする請求
項１乃至３のいずれかに記載の移動物体抽出装置。4. The moving object extracting apparatus according to claim 1, wherein the input means is a visible camera, an infrared camera, or a combination thereof.
のテンプレート処理手段からテンプレートの位置、テン
プレートの対象分類、テンプレートの通し番号およびテ
ンプレートの位置に存在する対象の映像内における領域
の推定下限位置情報を用いて観測区域の移動物体の位置
を算出することを特徴とする請求項１乃至４のいずれか
に記載の移動物体抽出装置。5. The integrated processing means receives from the template processing means of each camera video processing system the position of the template, the target classification of the template, the serial number of the template, and the estimated lower limit position information of the region in the target video existing at the position of the template. The moving object extraction device according to any one of claims 1 to 4, wherein the position of the moving object in the observation area is calculated by using (1).
における設置位置と映像内の画素と観測空間の平面位置
の写像関数が既知であり、各映像処理系のテンプレート
処理で抽出されたテンプレートの中心点Ａとそのテンプ
レートが示す対象領域の推定下限点Ｂを観測空間の平面
位置にプロットし、点Ａと点Ｂを直線で結ぶ。そして、
複数の映像処理系から得られる前記の直線の交点を対象
物体の位置候補とすることを特徴とする請求項１乃至５
のいずれかに記載の移動物体抽出装置。6. The integrated processing means has a known mapping function of an installation position of each camera in an observation space, a pixel in an image, and a plane position of the observation space, and a template of a template extracted in the template processing of each image processing system. The center point A and the estimated lower limit point B of the target area indicated by the template are plotted at a plane position in the observation space, and the points A and B are connected by a straight line. And
6. The method according to claim 1, wherein intersections of the straight lines obtained from a plurality of video processing systems are set as position candidates of the target object.
The moving object extraction device according to any one of the above.
置候補とそれまで得られた対象物体の位置およびテンプ
レートの対象分類の情報を用いて観測空間における最短
距離処理にて対応付けを時間軸に従って行うことを出力
処理手段で行うことを特徴とする請求項６記載の移動物
体抽出装置。7. Using the position candidate of the target object obtained from the integration processing means, the position of the target object obtained so far, and information on the target classification of the template, the correspondence is established in the shortest distance processing in the observation space on the time axis. The moving object extraction device according to claim 6, wherein the output processing means performs the operation according to (1).
２次元フィルタ処理を行い、エッジ映像データを抽出す
るエッジ情報抽出手段と前記エッジ情報抽出手段から得
られたエッジ映像データに基づいてテンプレートマッチ
ング処理を行うマッチング処理手段およびテンプレート
内のエッジ特徴を抽出するエッジ特徴処理手段、形状情
報抽出手段から抽出された情報に基づいてテンプレート
を生成や位置変更を行うテンプレート生成・位置変更処
理手段およびテンプレートの位置変更後にテンプレート
の移動ベクトルを用いて消去するテンプレートを決定
し、消去処理を行うテンプレート後処理手段を備えてい
ることを特徴とする請求項１乃至７のいずれかに記載の
移動物体抽出装置。8. A template processing means for performing a two-dimensional filtering process from a camera video, and performing a template matching process based on edge information extracting means for extracting edge video data and the edge video data obtained from the edge information extracting means. Template generation / position change processing means for generating or changing a template based on information extracted from the matching processing means, edge feature processing means for extracting edge features in the template, and shape information extraction means, and after the position of the template is changed 8. The moving object extracting apparatus according to claim 1, further comprising a template post-processing unit that determines a template to be deleted using a movement vector of the template and performs a deletion process.
り抽出された各動領域別の領域の大きさを示す画素数や
領域のサイズより対象とする物体の類似度を計算し、そ
の類似度に基づいて、対象物体を示すテンプレートを生
成する適切な位置情報等を抽出することを特徴とする請
求項１乃至８いずれかに記載の移動物体抽出装置。9. The shape feature means calculates the similarity of the target object from the number of pixels indicating the size of each moving area and the size of the area extracted by the labeling processing means, and calculates the similarity of the object. 9. The moving object extraction device according to claim 1, wherein appropriate position information for generating a template indicating the target object is extracted based on the information.
は、人間と車などの複数の対象物体の類似度を算出する
ことを特徴とする請求項１乃至９のいずれかに記載の移
動物体抽出装置。10. The moving object extraction according to claim 1, wherein the similarity extracted from the shape feature means is calculated by calculating the similarity between a plurality of target objects such as a human and a car. apparatus.
ートの生成、マッチング、位置移動、テンプレートの更
新および消去することを実行することを特徴とする請求
項１乃至１０のいずれかに記載の移動物体抽出装置。11. The moving object extraction apparatus according to claim 1, wherein the template processing means executes template generation, matching, position movement, template update and deletion.
ートの生成時にテンプレートの属性を示すために、テン
プレートの番号、テンプレートの生成時に対象物体が何
であったかを示す対象物体、テンプレートの現在の位
置、位置更新をした場合の元の位置、更新した回数を示
す更新回数、テンプレートが消滅対象となった場合に消
滅を示す消滅フラグおよびテンプレートの内容を示すＴ
ＸＳ＊ＴＹＳの画素値（ＴＸＳ、ＴＹＳはテンプレート
の大きさを示す）を持つように設定することを特徴とす
る請求項１１記載の移動物体抽出装置。12. The template processing means updates a template number, a target object indicating what the target object was when generating the template, a current position of the template, and a position in order to indicate the attribute of the template when generating the template. Original position of the case, the number of updates indicating the number of updates, the disappearance flag indicating the disappearance when the template is to be erased, and T indicating the contents of the template
12. The moving object extracting apparatus according to claim 11, wherein the moving object extracting apparatus is set to have a pixel value of XS * TYS (TXS, TYS indicates the size of the template).
ートの生成は、形状特徴手段より抽出された類似度が適
切な閾値以上の場合にテンプレートの属性を設定したテ
ンプレートを生成させることを特徴とする請求項１１ま
たは１２記載の移動物体抽出装置。13. The template processing unit according to claim 11, wherein the template is generated by setting a template attribute when the similarity extracted by the shape characteristic unit is equal to or more than an appropriate threshold value. Or the moving object extraction device according to 12.
ートの生成は、形状特徴手段より抽出された類似度が適
切な閾値以上の場合にテンプレートの生成する適切な位
置を形状特徴手段より抽出されたテンプレート設定位置
にテンプレートを生成させることを特徴とする請求項１
１乃至１３のいずれかに記載の移動物体抽出装置。14. The template processing means according to claim 1, wherein, when the similarity extracted by the shape feature means is equal to or more than an appropriate threshold value, an appropriate position for generating the template is set to a template setting position extracted by the shape feature means. 2. The method according to claim 1, further comprising: generating a template.
14. The moving object extraction device according to any one of 1 to 13.
た動領域において形状特徴手段より抽出された類似度が
適切な閾値以上の場合に、その動領域の周辺を探索し
て、対象となる物体と同一のテンプレートが存在する場
合には、そのテンプレートの位置を更新し、テンプレー
トの内容を移動した位置の画素値に入れ替える、更新回
数も０に設定し直すことを特徴とする請求項１１乃至１
４のいずれかに記載の移動物体抽出装置。15. When the similarity extracted by the shape feature means in the extracted moving area is equal to or more than an appropriate threshold, the template processing means searches the periphery of the moving area to find the same as the target object. Wherein the template is updated, the content of the template is updated, the content of the template is replaced with the pixel value of the moved position, and the number of updates is reset to zero.
5. The moving object extraction device according to any one of 4.
から映像信号が転送される毎に、テンプレートの位置更
新がされないテンプレートについては、テンプレートの
現在の位置を中心にテンプレートマッチング処理を実行
し、誤差が最も少ない位置にテンプレートを移動し、テ
ンプレートの属性を示す更新回数を増加したり、移動前
の位置を元の位置等に設定することを行うことを特徴と
する請求項１１乃至１５のいずれかに記載の移動物体抽
出装置。16. The template processing unit executes a template matching process centering on the current position of a template for a template whose position is not updated every time a video signal is transferred from the input unit, and the error is minimized. 16. The method according to claim 11, wherein the template is moved to a small position, the number of updates indicating the attribute of the template is increased, or the position before the movement is set to the original position. Moving object extraction device.
から映像信号が転送される毎に、全てのテンプレートに
対して、位置更新の処理を行った後に、テンプレートの
動きベクトルを求めて、同一動きベクトルがもつテンプ
レートが複数存在した場合には、その複数のテンプレー
トのなかから位置や更新回数に応じて、一つのテンプレ
ートに消滅フラグを立てて、消滅対象となったことを示
す。そして、この消滅フラグが立っているテンプレート
が連続して消滅対象となった場合には、このテンプレー
トを消滅させることを特徴とする請求項１１乃至１６い
ずれかに記載の移動物体抽出装置。17. The template processing means obtains a template motion vector after performing position update processing for all templates every time a video signal is transferred from the input means, and obtains the same motion vector. When a plurality of templates exist, one template is set to a deletion flag in accordance with the position and the number of updates from among the plurality of templates to indicate that the template is to be deleted. 17. The moving object extraction apparatus according to claim 11, wherein when the template with the disappearance flag set is a target to be continuously eliminated, the template is erased.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05132397A JP3577875B2 (en) | 1997-03-06 | 1997-03-06 | Moving object extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05132397A JP3577875B2 (en) | 1997-03-06 | 1997-03-06 | Moving object extraction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10255057A true JPH10255057A (en) | 1998-09-25 |
| JP3577875B2 JP3577875B2 (en) | 2004-10-20 |
Family
ID=12883719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05132397A Expired - Fee Related JP3577875B2 (en) | 1997-03-06 | 1997-03-06 | Moving object extraction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577875B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044859A (en) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Device for tracing movement and method for tracing person |
| WO2006080355A1 (en) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | Object tracing device, microscope system, and object tracing program |
| JP2006221610A (en) * | 2004-12-14 | 2006-08-24 | Samsung Electronics Co Ltd | Person tracking device and method, recording medium recording program for performing the method, and mobile electronic equipment equipped with the device |
| WO2007099762A1 (en) * | 2006-03-01 | 2007-09-07 | Nikon Corporation | Object-seeking computer program product, object-seeking device, and camera |
| JP2009070387A (en) * | 2007-09-12 | 2009-04-02 | Core Logic Inc | Video processing device, method, and recording medium thereof |
| JP2010206404A (en) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | Image monitoring device |
| JP2010206405A (en) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | Image monitoring device |
| WO2011001514A1 (en) * | 2009-06-30 | 2011-01-06 | 株式会社 日立製作所 | Image analysis device and image analysis program |
| WO2011010490A1 (en) * | 2009-07-22 | 2011-01-27 | オムロン株式会社 | Surveillance camera terminal |
| JP2012010006A (en) * | 2010-06-23 | 2012-01-12 | Nikon Corp | Imaging apparatus |
| WO2013172491A1 (en) * | 2012-05-16 | 2013-11-21 | 전자부품연구원 | Method and device for recognizing object by using depth information |
| JP2014016839A (en) * | 2012-07-09 | 2014-01-30 | Nippon Telegr & Teleph Corp <Ntt> | Mobile object tracking device |
| JP2014229068A (en) * | 2013-05-22 | 2014-12-08 | 株式会社 日立産業制御ソリューションズ | People counting device and person flow line analysis apparatus |
| JP2016177757A (en) * | 2015-03-23 | 2016-10-06 | 日本電気株式会社 | Information processing system, information processing method and program for detecting foot position |
| JPWO2020188746A1 (en) * | 2019-03-19 | 2020-09-24 |
-
1997
- 1997-03-06 JP JP05132397A patent/JP3577875B2/en not_active Expired - Fee Related
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044859A (en) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Device for tracing movement and method for tracing person |
| JP2006221610A (en) * | 2004-12-14 | 2006-08-24 | Samsung Electronics Co Ltd | Person tracking device and method, recording medium recording program for performing the method, and mobile electronic equipment equipped with the device |
| WO2006080355A1 (en) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | Object tracing device, microscope system, and object tracing program |
| JP2006209698A (en) * | 2005-01-31 | 2006-08-10 | Olympus Corp | Target tracking device, microscope system and target tracking program |
| US8131014B2 (en) | 2006-03-01 | 2012-03-06 | Nikon Corporation | Object-tracking computer program product, object-tracking device, and camera |
| WO2007099762A1 (en) * | 2006-03-01 | 2007-09-07 | Nikon Corporation | Object-seeking computer program product, object-seeking device, and camera |
| JP5018767B2 (en) * | 2006-03-01 | 2012-09-05 | 株式会社ニコン | Subject tracking program, subject tracking device, and camera |
| JP2009070387A (en) * | 2007-09-12 | 2009-04-02 | Core Logic Inc | Video processing device, method, and recording medium thereof |
| JP2010206404A (en) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | Image monitoring device |
| JP2010206405A (en) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | Image monitoring device |
| JP5355691B2 (en) * | 2009-06-30 | 2013-11-27 | 株式会社日立製作所 | Image analysis apparatus and image analysis program |
| WO2011001514A1 (en) * | 2009-06-30 | 2011-01-06 | 株式会社 日立製作所 | Image analysis device and image analysis program |
| WO2011010490A1 (en) * | 2009-07-22 | 2011-01-27 | オムロン株式会社 | Surveillance camera terminal |
| US8503727B2 (en) | 2009-07-22 | 2013-08-06 | Omron Corporation | Monitoring camera terminal |
| JP5453429B2 (en) * | 2009-07-22 | 2014-03-26 | オムロン株式会社 | Surveillance camera terminal |
| JP2012010006A (en) * | 2010-06-23 | 2012-01-12 | Nikon Corp | Imaging apparatus |
| US9420167B2 (en) | 2010-06-23 | 2016-08-16 | Nikon Corporation | Imaging apparatus |
| WO2013172491A1 (en) * | 2012-05-16 | 2013-11-21 | 전자부품연구원 | Method and device for recognizing object by using depth information |
| JP2014016839A (en) * | 2012-07-09 | 2014-01-30 | Nippon Telegr & Teleph Corp <Ntt> | Mobile object tracking device |
| JP2014229068A (en) * | 2013-05-22 | 2014-12-08 | 株式会社 日立産業制御ソリューションズ | People counting device and person flow line analysis apparatus |
| JP2016177757A (en) * | 2015-03-23 | 2016-10-06 | 日本電気株式会社 | Information processing system, information processing method and program for detecting foot position |
| JPWO2020188746A1 (en) * | 2019-03-19 | 2020-09-24 | ||
| WO2020188746A1 (en) * | 2019-03-19 | 2020-09-24 | 日本電気株式会社 | Information processing device, estimation method, and non-transitory computer-readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3577875B2 (en) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11232326B2 (en) | System and process for detecting, tracking and counting human objects of interest | |
| Hu et al. | Principal axis-based correspondence between multiple cameras for people tracking | |
| Javed et al. | Tracking and object classification for automated surveillance | |
| Khan et al. | Consistent labeling of tracked objects in multiple cameras with overlapping fields of view | |
| Senior et al. | Appearance models for occlusion handling | |
| US8942425B2 (en) | Airport target tracking system | |
| US7003136B1 (en) | Plan-view projections of depth image data for object tracking | |
| US9275472B2 (en) | Real-time player detection from a single calibrated camera | |
| JP3577875B2 (en) | Moving object extraction device | |
| JP2009055139A (en) | Person tracking system, apparatus, and program | |
| CN106647742A (en) | Moving path planning method and device | |
| JPH1166319A (en) | Method and device for detecting traveling object, method and device for recognizing traveling object, and method and device for detecting person | |
| Snidaro et al. | Automatic camera selection and fusion for outdoor surveillance under changing weather conditions | |
| Buch et al. | Vehicle localisation and classification in urban CCTV streams | |
| Kim et al. | Real-time system for counting the number of passing people using a single camera | |
| Michael et al. | Fast change detection for camera-based surveillance systems | |
| JP3419919B2 (en) | Moving object detection device | |
| JP2001357489A (en) | Traveling vehicle detector | |
| Xu et al. | Cast shadow removal in motion detection by exploiting multiview geometry | |
| Xu et al. | Robust object detection with real-time fusion of multiview foreground silhouettes | |
| Doulamis | Dynamic background modeling for a safe road design | |
| Sun et al. | A simulation application in facility expansion decision-making | |
| Ren et al. | Multi-view pedestrian detection using statistical colour matching | |
| Wang et al. | Occlusion robust and environment insensitive algorithm for vehicle detection and tracking using surveillance video cameras | |
| Turk | A homography-based multiple-camera person-tracking algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |