JP2009205695A - 対象個数検出装置および対象個数検出方法 - Google Patents
対象個数検出装置および対象個数検出方法 Download PDFInfo
- Publication number
- JP2009205695A JP2009205695A JP2009141781A JP2009141781A JP2009205695A JP 2009205695 A JP2009205695 A JP 2009205695A JP 2009141781 A JP2009141781 A JP 2009141781A JP 2009141781 A JP2009141781 A JP 2009141781A JP 2009205695 A JP2009205695 A JP 2009205695A
- Authority
- JP
- Japan
- Prior art keywords
- data
- factor
- objects
- learning
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 238000000611 regression analysis Methods 0.000 claims description 11
- 238000013075 data extraction Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 abstract description 46
- 238000000556 factor analysis Methods 0.000 abstract description 14
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005311 autocorrelation function Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】対象個数検出装置は、検出対象を撮影した動画像データからフレーム間差分データを生成し、2値化する手段、画素毎に直近の複数のフレーム間差分2値化データから立体高次局所自己相関によって特徴データを抽出する手段、予め学習により生成された、1つの検出対象について複数の因子ベクトルを並べた因子行列を使用し、特徴データの因子分析によって各因子ベクトルの係数を求める手段、1つの検出対象についての複数の係数を加算し、四捨五入することにより個数を生成する手段とを備える。係数の和の変動が小さく、かつ認識したい対象の個数と高精度で一致するので、対象のスケールや速度の違いやこれらの動的変化にロバストな認識が可能となる。
【選択図】図2
Description
(1)カメラの画像内には複数の人が存在したり、自転車などといったさまざまな種類の移動物体が存在する。
(2)同じ移動物体でもさまざまな方向や速度の動きが存在する。
(3)カメラと対象の距離や大人と子供、身長差などのため画面内での対象のスケール(大きさ)がさまざまである。
また、本発明者らは、画像全体から対象物の動きの違いを認識する異常動作認識の研究を行い、本発明者らが出願した下記の特許文献2には、立体高次局所自己相関特徴(以下、CHLACデータとも記す)を用いて異常動作認識を行う技術が開示されている。
本発明の目的は、上記したような従来例の問題点を解決し、動画像を取り込んで立体高次局所自己相関特徴を用いて所定の方向に移動する人や車などの複数種の対象物の個数を種類別に高精度で検出することができる対象個数検出装置および対象個数検出方法を提供する点にある。
(1)1つの検出対象について、予め因子分析を使用した学習によってスケールや移動速度の異なる対象と対応する複数の因子ベクトルを並べた因子行列を用意し、認識時において各因子ベクトルの係数を加算してから四捨五入して整数化することにより個数を生成するようにしたので、係数の和の変動が小さく、かつ認識したい対象の個数と高精度で一致する。従って対象のスケール、速度、方向の違いやこれらの動的変化にロバストな認識が可能となり、個数の検出精度が向上する。
(2)対象物の切り出しを行わずに複数の対象物を同時に認識するので、特徴抽出や個数識別判定のための計算量が少ない。また、計算量は対象物の個数に依らず一定である。従って実時間処理が可能である。
(3)予めスケール、移動速度、方向の異なる対象の画像を用いた重回帰分析に基づく学習によって係数行列を生成し、直接的かつ高速に個数を算出することができる。速度や方向、スケールにロバストな個数の検出が可能となる。
モニタ装置12はコンピュータ11の周知の出力装置であり、例えば対象の検出個数をオペレータに表示するために使用される。キーボード13およびマウス14は、オペレータが入力に使用する周知の入力装置である。なお、実施例においては、例えばビデオカメラ10から入力された動画像データを実時間で処理してもよいし、一旦動画像ファイルに保存してから順次読み出して処理してもよい。また、ビデオカメラ10は任意の通信網を介してコンピュータ11と接続されていてもよい。
取り込まれたフレームデータ(a)から直前のフレームの同じ画素の輝度値との差分の絶対値を求め、この値が例えば所定の閾値以上である場合に1、そうでない場合に0とする差分2値化フレームデータ(c)を得る。次に、直近の3枚の差分2値化フレームデータ(d)から後述する方法で、画素毎にCHLACデータを計算し、この画素対応CHLACデータを1フレーム分加算してフレーム対応CHLACデータ(f)を得る。以上の処理は学習モードと認識モード共通の処理である。
個数推定処理(N)においては、個々の因子ベクトルの係数を求め、1つの対象と対応する複数の係数を加算してから小数点未満を四捨五入して個数を算出する。この処理によって、対象のスケールや速度の違いやこれらの動的変化にロバストな認識が可能となる。
大津展之、"判別および最小2乗規準に基づく自動しきい値選定法"電子通信学会論文誌D、J63-D-4、P349-356、1980年。
ここで、立体高次局所自己相関(CHLAC)特徴について説明する。N次自己相関関数は次の数式1のように表せる。
ここで立体データとしての動画像がm個の因子ベクトルfj(0≦j≦m-1)の組み合わせから成るとすると、その立体データから得られる立体高次局所自己相関特徴zはその加法性および位置不変性により、fjの線形結合によって以下のように表現される。
(1)個々の対象を切り出して教示する必要がない。
(2)画面内にいる対象の個数を教示するだけで認識に必要な因子をシステムが自動的かつ適応的に獲得する。
(3)解は線形代数の範囲で陽に求まるので、解の収束性や局所解への収束を考える必要がなく、計算量が少ない。
S28においては、係数の合計の小数点未満を四捨五入して整数化し、各対象毎の個数として出力する。S29においては、処理終了か否かが判定され、判定結果が否定の場合にはS20に移行するが、肯定の場合には処理を終了する。
S34においては、相関値は1か否かが判定され、判定結果が肯定の場合にはS35に移行するが、否定の場合にはS36に移行する。S35においては、マスクパターンと対応する相関値データに1を加算する。S36においては、全てのマスクパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはS37に移行するが、否定の場合にはS32に移行する。
重回帰分析を用いて、スケールやスピードに対して頑健な認識を行うためには、因子分析の場合と同様に様々なスケールやスピードの対象を含んだ学習データを用いて学習を行う。ただし、学習データに対する教師信号については因子分析とは異なる与え方をする。
学習データとして用いる立体データの数、すなわち学習データ数をN、i番目(1≦i≦N)の立体データに対応する立体高次局所自己相関特徴をzi、教師信号をai=[ai0,ai1,・・・,ai(m-1)]Tとする。教師信号は学習データがスケールやスピードが様々な「右に歩く人」と「左に歩く人」がいるデータであっても、スケールやスピードの違いを無視し、a=(右に歩く人の数、左に歩く人の数)Tとする。教師信号aiと出力yi=BTziの平均2乗誤差は以下のようになる。
認識においては、得られた特徴ベクトルに対し学習フェーズで得られた係数行列Bを以下のように掛け合わせることで直接的に対象の個数を得ることができる。
11…コンピュータ
12…モニタ装置
13…キーボード
14…マウス
Claims (3)
- 検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、2値化する差分2値化データ生成手段と、
直近の複数の前記フレーム間差分2値化データからなる3次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
予め、画面上の対象のスケール、移動速度、移動方向の内の少なくとも1つが異なる複数の学習データから得られた前記特徴データを用いて重回帰分析によって生成された係数行列を使用して、認識すべきデータから得られた特徴データから個数を求める個数生成手段と、
前記個数生成手段の出力値の小数点未満を四捨五入して整数化する整数化手段と
を備えたことを特徴とする対象個数検出装置。 - 更に、画面上の対象のスケール、移動速度、移動方向の内の少なくとも1つが異なる複数の学習データから得られた特徴データに基づいて重回帰分析によって検出対象の個数を算出するための前記係数行列を生成する学習手段を備えたことを特徴とする請求項1に記載の対象個数検出装置。
- 検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、2値化するステップ、
直近の複数の前記フレーム間差分2値化データからなる3次元データから立体高次局所自己相関によって特徴データを抽出するステップ、
予め、画面上の対象のスケール、移動速度、移動方向の内の少なくとも1つが異なる複数の学習データから得られた前記特徴データを用いて重回帰分析によって生成された係数行列を使用して、認識すべきデータから得られた特徴データから個数を求めるステップ、
前記個数生成手段の出力値の小数点未満を四捨五入して整数化するステップ
を含むことを特徴とする対象個数検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009141781A JP4674920B2 (ja) | 2009-06-15 | 2009-06-15 | 対象個数検出装置および対象個数検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009141781A JP4674920B2 (ja) | 2009-06-15 | 2009-06-15 | 対象個数検出装置および対象個数検出方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006222462A Division JP4429298B2 (ja) | 2006-08-17 | 2006-08-17 | 対象個数検出装置および対象個数検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010294428A Division JP4918615B2 (ja) | 2010-12-29 | 2010-12-29 | 対象個数検出装置および対象個数検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009205695A true JP2009205695A (ja) | 2009-09-10 |
JP4674920B2 JP4674920B2 (ja) | 2011-04-20 |
Family
ID=41147820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009141781A Active JP4674920B2 (ja) | 2009-06-15 | 2009-06-15 | 対象個数検出装置および対象個数検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4674920B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009140247A (ja) * | 2007-12-06 | 2009-06-25 | United Technologies Institute | 異常動作監視装置 |
KR101844928B1 (ko) | 2016-11-24 | 2018-04-03 | (주) 테크로스 | 샘플수 분석장치 및 방법 |
CN111967479A (zh) * | 2020-07-27 | 2020-11-20 | 广东工业大学 | 基于卷积神经网络思想的图像目标识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02101586A (ja) * | 1988-10-11 | 1990-04-13 | Agency Of Ind Science & Technol | 適応学習型汎用画像計測方式 |
JP2005092346A (ja) * | 2003-09-12 | 2005-04-07 | National Institute Of Advanced Industrial & Technology | 3次元データからの特徴抽出方法および装置 |
-
2009
- 2009-06-15 JP JP2009141781A patent/JP4674920B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02101586A (ja) * | 1988-10-11 | 1990-04-13 | Agency Of Ind Science & Technol | 適応学習型汎用画像計測方式 |
JP2005092346A (ja) * | 2003-09-12 | 2005-04-07 | National Institute Of Advanced Industrial & Technology | 3次元データからの特徴抽出方法および装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009140247A (ja) * | 2007-12-06 | 2009-06-25 | United Technologies Institute | 異常動作監視装置 |
JP4654347B2 (ja) * | 2007-12-06 | 2011-03-16 | 株式会社融合技術研究所 | 異常動作監視装置 |
KR101844928B1 (ko) | 2016-11-24 | 2018-04-03 | (주) 테크로스 | 샘플수 분석장치 및 방법 |
CN111967479A (zh) * | 2020-07-27 | 2020-11-20 | 广东工业大学 | 基于卷积神经网络思想的图像目标识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4674920B2 (ja) | 2011-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
Hu et al. | Moving object detection and tracking from video captured by moving camera | |
EP2858008B1 (en) | Target detecting method and system | |
JP4215781B2 (ja) | 異常動作検出装置および異常動作検出方法 | |
CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
CN103093198A (zh) | 一种人群密度监测方法及装置 | |
CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
US20230206594A1 (en) | System and method for correspondence map determination | |
CN112381132A (zh) | 一种基于多个摄像头融合的目标物跟踪方法和系统 | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
Bulugu | Algorithm for license plate localization and recognition for tanzania car plate numbers | |
CN111028263A (zh) | 一种基于光流颜色聚类的运动物体分割方法及其系统 | |
CN114613006A (zh) | 一种远距离手势识别方法及装置 | |
JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
CN117475355A (zh) | 基于监控视频的安全预警方法及装置、设备、存储介质 | |
JP4459162B2 (ja) | 速度計測装置、方法及びプログラム | |
Bharath et al. | Moving object detection, classification and its parametric evaluation | |
Balcilar et al. | Extracting vehicle density from background estimation using Kalman filter | |
CN113628251B (zh) | 一种智慧酒店终端监测方法 | |
KR101357581B1 (ko) | 깊이 정보 기반 사람의 피부 영역 검출 방법 | |
JP2009076094A (ja) | 移動物体監視装置 | |
JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム | |
KR20150033047A (ko) | 객체를 검출하기 위한 전처리 장치 및 방법 | |
JP2006010652A (ja) | 物体検出装置 | |
Tupper et al. | Pedestrian proximity detection using RGB-D data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100609 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100706 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100917 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20101015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110121 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4674920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |