JP2009510827A - 動き検出装置 - Google Patents

動き検出装置 Download PDF

Info

Publication number
JP2009510827A
JP2009510827A JP2008531874A JP2008531874A JP2009510827A JP 2009510827 A JP2009510827 A JP 2009510827A JP 2008531874 A JP2008531874 A JP 2008531874A JP 2008531874 A JP2008531874 A JP 2008531874A JP 2009510827 A JP2009510827 A JP 2009510827A
Authority
JP
Japan
Prior art keywords
processing unit
video
speed
sequence
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008531874A
Other languages
English (en)
Inventor
ヘー ペー ハー ベンテン,ハロルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009510827A publication Critical patent/JP2009510827A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、映像フレームのシーケンスから動き情報を取り出す装置、方法及びコンピュータプログラムに関する。映像フレームのシーケンスから動き情報を取り出す既存の方法は、実時間システムの実施を困難且つ高価なものとする大規模な演算能力を必要とする。従って、本発明は、このような装置を簡単化し、実時間の内蔵システムを提供することを目的とする。デジタルビデオカメラ1を有する装置を設けることが提案される。ビデオカメラ1は、ビデオカメラ1によって取り込まれた映像フレームを処理する処理ユニット3を有する。この処理は、映像フレームから動き情報を取り出すために3次元の帰納的な探索ブロックアルゴリズムを使用する。装置は、例えば、通り及び道路上の車両速度を決定するために、交通監視用途に使用され得る。

Description

本発明は、映像処理の分野に関し、映像フレームのシーケンスから動き情報を取り出す装置、対応する方法及びコンピュータプログラムプロダクトを提供する。本発明は、例えば交通監視用途のような監視用途において及び建物又は土地への侵入の検出のために使用され得る。
動き情報は、交通監視、人々の追跡、セキュリティ及び監視を含む多数の用途で非常に重要なものである。例えば、道路に自動車が増えたことで、多くの都市は交通渋滞に関する重大な課題に直面している。世界中の大部分の都市は、現在、このような状況を改善し、より有効に既存の基幹設備を使用するために交通ガイドシステムを使用している。それを行うためには、システムは、実時間で且つ低コストで多数の自動車を同時に監視する必要がある。
デジタル映像処理は、ここ数年間で大いに発展した。多くの文献は、例えば車両又は人といった対象の動きを検出するという問題に取り組んできた。例えば自動車の速度推定といった比較的簡単な課題に関してさえ、既存の解決法は、メモリ集中アルゴリズム及び/又は大容量の計算能力を必要とするアルゴリズムの組み合わせを使用する。その目的のために知られているアルゴリズムは、対象認識若しくは対象追跡を使用し、あるいは、異なる時点に撮られた画像の比較を行う。従って、このような用途のための実時間システムを実行することは困難且つ高価である。
実際の動きの検出は、高性能のテレビ受像機に適用される映像処理技術である。このようなテレビ受像機は、標準の50Hzの代わりに、100Hzのフレームレートを使用する。これは、補間によって新しい映像フレームを生成することを必要とする。それを行うために、高いフレーム品質により、2次元フレーム内の画素ブロックの動きが推定される。これは、1993年10月に発行されたIEEE transactions on circuits and systems of video technology、第3巻、No.5、“True motion estimation with 3D-recursive search block matching”、Gerard de Haan等の文献に記載される3次元帰納探索ブロック整合アルゴリズムによって行われ得る。このアルゴリズムは、フレームを8×8画素に分け、次のフレームでこのブロックの位置を識別するよう試みる。これらの場所の比較は、フレーム間の時間及びブロックの画素位置の比を含む各画素ブロックへ運動ベクトルを割り当てることを可能にする。
US6,757,328B1は、映像シーケンスから動き情報を取り出す方法を開示する。この特許文献で使用される映像シーケンスは、映像ストリーム、例えばMPEGストリームに固有の運動ベクトルを予め有する。この運動ベクトルは、符号化された映像ストリームから取り出される。MPEGストリームにおけるこれらの運動ベクトルは、符号化処理によって生成される。従って、それらは、実際の動きを表さない。一例として、MPEGストリームは、対象が右へ動くことができるとしても、左向きの運動ベクトルを有する。この問題を解決するために、フィルタリングステップが運動ベクトルの質の悪さを改善するために実行される。フィルタリングステップの後に、この特許文献の出願人は、交通監視用途のために動き情報を使用する。
US6,757,328B1 Gerard de Haan等、"True motion estimation with 3D-recursive search block matching"、IEEE transactions on circuits and systems of video technology、第3巻、No.5
本発明は、符号化されていない映像フレームに使用され得る、映像フレームのシーケンスから動き情報を取り出す装置、方法及びコンピュータプログラムプロダクトを提供することを目的とする。
本発明は、実時間処理が可能であるように簡単且つ極めて効率的な動き情報の抽出を実行することを他の目的とする。
上記及びその他の目的は、独立請求項の特徴事項によって達成される。本発明の好ましい実施形態は、従属請求項の特徴事項によって記載される。留意すべきは、特許請求の範囲における如何なる参照符号も、本発明の適用範囲を限定するように解釈されるべきではない点である。
本発明の第1の態様に従って、上記目的は、映像フレームのシーケンスから動き情報を取り出す装置であって、映像フレームを取り込むデジタルビデオカメラを有する装置によって達成される。更に、当該装置は、前記ビデオカメラによって提供される前記映像フレームを処理する処理ユニットを有し、これによって、前記処理ユニットは、前記映像フレームが動いている対象又は人を示しているかどうかを判断するために3次元の帰納的な探索ブロックアルゴリズムを使用するよう構成される。
本発明に従って、動き情報の抽出は、符号化されない映像シーケンスによって行われる。それは、映像シーケンスが、例えばMPEG映像ストリームであるために、予め符号化されている場合は、最初に復号化される必要があることを意味する。それは、以下で詳細に論じられる動き情報を取り出すためのアルゴリズムが映像フレームの画素に作用するためである。
当該装置を作動させると、デジタルビデオカメラは映像フレームのシーケンスを取り込み、前記処理ユニットは、動き情報を取り出すために、前記デジタルビデオカメラからのデジタル映像フレームを処理する。この処理は、映像フレームが動いている対象又は人を示しているかどうかを判断するために帰納的な探索ブロックアルゴリズムを使用することによって行われる。
言うまでもなく、当該方法は、基礎を成すアルゴリズムを用いるコンピュータプログラムプロダクトを使用することによって実行され得る。このコンピュータプログラムプロダクトは、読み込まれる場合に、コンピュータに、映像フレームが動いている対象又は人を示しているかどうかを判断させ、あるいは、概して、より詳細に以下で説明される方法を実行させるコンピュータプログラムコードを記憶するコンピュータ読取可能な媒体を有する。
映像フレームのシーケンスは、固定式又は移動式の、例えば、CMOS、CCD、又は赤外線ビデオカメラといった任意の形式のデジタルビデオカメラによって提供される。前記デジタルビデオカメラは、本発明の一部ではなく、従って、更なる説明は不要である。
前記処理ユニットは、
a)処理装置及び対応するコンピュータプログラムであっても良い。一例として、処理装置は、例えばTM1300プロセッサを備えたフィリップスPNX1300チップといった、フィリップスのXetalプロセッサ又はTrimediaプロセッサであっても良い。
b)例えばASIC又はFPGAといった専用チップであっても良い。
c)ビデオカメラハードウェアの既存のチップの不可欠な経路であっても良い。あるいは、
d)前出の可能性の組み合わせであっても良い。
好ましい選択は、システム態様及び製品要求に依存する。前記処理ユニットの好ましい実施形態は、180mm×125mmの大きさを有し且つフィリップスPNX1300チップを備えたデジタルビデオカメラに挿入されるべき特別のカードを使用する。フィリップスPNX1300チップ自体は、フィリップスTN1300プロセッサを有する。更に、カードは、2つのフレームメモリ及び1つのベクトルメモリのためにRAMの1MBを使用する。
前記処理ユニットは、映像フレームから動き情報を取り出すために3次元の帰納探索ブロック(3DRS)アルゴリズムを使用する。このアルゴリズムは、1993年10月に発行されたIEEE transactions on circuits and systems of video technology、第3巻、No.5、“True motion estimation with 3D-recursive search block matching”、Gerard de Haan等の文献に記載されるように動作する。この文献は、参照することによって本願に援用される。
本発明に従う装置は、符号化されていない映像シーケンスに広く適用され得るという利点を有する。従って、映像シーケンスを処理する前にそれらを符号化する必要はなく、対応するソフトウェア又はハードウェアに財政投資を行う必要もない。
当該装置の他の利点は、3DRSアルゴリズムによって計算される運動ベクトルが、対象又は人の実際の動きを表すことである。従って、その品質を許容可能なレベルへ改善するために、取得した運動ベクトルを後処理する必要はない。なお、これは、当該装置の用途にとって重要である。即ち、当該装置が速度測定に使用される場合は、速度値の信頼性及び正確性は、運動ベクトルが実際の動きを表す場合には高く、運動ベクトルの後処理が必要である場合にはより低い。
当該装置の更なる他の利点は、3DRSアルゴリズムが、他の既知のブロック整合アルゴリムと比較しても、極めて有効である点である。従って、実時間で動作している装置の設計は端的となる。その際、前記処理ユニットの選択が憂慮される限り、高い自由度が存在する。従って、3DRSアルゴリズムの実行は、ハードウェア及びソフトウェアで実施可能である。
本発明の好ましい実施形態に従って、前記処理ユニットは、映像シーケンスの映像フレームによって捕捉される対象又は人の速度を決定するよう構成される。これは以下のように行われ得る。3DRSアルゴリズムは、画素のブロック(例えば、8×8画素/ブロック)にある全てのフレームを処理する。3DRSアルゴリズムは、8×8の画素ブロック毎に1つの運動ベクトルを出力する。夫々のベクトルはx成分及びy成分を有する。ここで、x及びyは、図3を参照して、右に向かう水平なx軸及び上に向かう垂直なy軸を有する2次元デカルト座標システムを表す。運動ベクトルの絶対値は、画素又は画素の一部、例えば、4分の1の画素で測定された速度を表す。
一例として、例えば、フレーム内の8×8画素のブロックに関し、ある位置で、運動ベクトルのx値は12であり、運動ベクトルのy値が−37であるとする。更に、4分の1の画素精度が仮定される。これは、x値が正であるから、この特定のブロックが12×0.25=4画素の速度を有して右へ動いていており、y値が負であるから、37×0.25=9.25画素を有して下降していることを意味する。
実際の速さ又は速度への運動ベクトルの変換は以下の通りである。第1のステップで、x成分及びy成分は、(画素の単位で)
Figure 2009510827
によって与えられる運動ベクトルの方向で、veclengthによって表される運動ベクトルの長さを計算するために使用される。ここで、νxは当該速度のx成分であり、νyは当該速度のy成分である。
フレーム周波数、例えば25Hzは、デジタルビデオカメラから知られるので、毎秒画素(pps)での対象の速度は、
Figure 2009510827
によって計算される。ここで、frame_freqはフレーム周波数を表す。
毎秒画素での速度は、speed_ppsによって示され、
Figure 2009510827
に従って変換係数で割り算することによって、speed_mpsによって示される毎秒メートル(mps)での実際の速度に変換される。ここで、conv_factorは画素における距離をメートルにおける距離に変換する役目を果たす変換係数を示す。最後に、m/sの速度は、より容易な解釈のために、km/h又はマイル/hで表される。
変換係数は、当該装置が構成される場合に1度だけ決定される。その値は、対象、例えば自動車のフレーム内の場所に依存する。夫々の場所は、それ自体の変換係数を有する。ここで、その値は、フレーム自体に存在する情報から取り出され得る。これは、例えばメートルでは既知の距離が、画素で測定される場合に実行され得る。一例は、道路の中央にある隣接する車線マークの間の距離を、例えばメートルで測定し、その測定された距離を、画素における対応する距離と比較することである。その目的のために使用される他の対象は、道路に隣接する2つの対象、自動車自体などの間の距離である。
このようにして決定された速度は、2つのフレームの間の平均速度である。用語“速度”は、本明細書中の用語“速さ”と同意語として使用される。2つのフレームの間の時間差が非常に小さい場合は、測定される速度は、適切な近似において、所与の時点での現在の速度である。しかし、フレームからフレームへと速度追跡を実行するために、多くの2つの連続したフレームの間の速度を計算することも可能である。言い換えると、これにより、かかる速度値の平均値を計算することを可能にする。
本発明の好ましい実施形態に従って、前記処理ユニットは多数の対象又は人の速度を同時に決定するよう構成される。3DRSアルゴリズムは、フレームによって捕捉され、かかるフレーム内で動いている全ての対象又は人が処理されるように、フレーム全体を処理する。これは、交通監視用途に本発明を使用することを可能にする。このとき、多数の自動車の速度が確認されるべきである。望ましくは、速度は、速度制限が守られているかどうかを効果的に制御するよう同時に確認されるべきである。
本発明を用いると、自動車がカメラに近づいているかどうか又は自動車がカメラから遠ざかっているかどうかを区別することが可能となる。更に、多数の車線上の自動車の速度を監視すること及び車線上の自動車の平均速度を決定することが可能である。前記多数の自動車の平均速度を決定することにより、道路に交通渋滞が存在するかどうかに関してインジケータを有することが可能となる。
本発明の好ましい実施形態に従って、前記処理ユニットは前記ビデオカメラの筐体に配置される。このように、システムは、持ち運び及び使用が容易である組み込みシステムとなる。その目的のためのハードウェア要求は、用途及び所望の装置精度に極めて依存する。一例として、当該装置は、フィリップスTM1300プロセッサを備えたフィリップスPNX1300チップを有し且つ1MBのRAMを有する180×125mmのサイズを有するメインボードを有することができる。この特別のカードは、高速道路上の交通を監視すべくビデオカメラに組み込まれ得る。しかし、ハードウェア要求は、人が建物又は土地に侵入しているかどうかを確認するよう設計された装置に関しては、より低い。後者の例では、低解像度のカメラで十分であり、従って、ハードウェア要求もより低い。
更なる好ましい実施形態では、前記処理ユニットは実時間システムとして実施される。実時間実施の実現はハードウェアの性能に依存する。例えばフィリップスTM1300プロセッサのような既存のハードウェアでさえ、3DRSアルゴリズムが、オフライン処理のために大量のデータを記憶する必要がないように実時間で動作することを保証することができる。第1の理由として、3DRSアルゴリズムは極めて効率的且つロバストであり、実際の実施及び必要条件に依存して画素ごとに7から10の動作しか必要としないためである。
本発明の更なる好ましい実施形態では、前記処理ユニットは、動いている対象又は動いている人の位置を示すよう構成される。この機能は、3DRSアルゴリズムによって得られた多数の運動ベクトルを後処理することによって提供される。最も簡単な場合では、動いている対象、例えば、道路上を移動中の自動車は、ゼロになることのない運動ベクトルを有する領域を定める。一方、その周囲の領域はゼロに近い運動ベクトルを有する。このように、対象の位置は、ゼロになることのない運動ベクトルを有する前記領域の中央であるよう定められ得る。
他の好ましい実施形態では、前記処理ユニットは対象認識を実行するよう構成される。これを実行することは、例えば、人を車両と区別するために、及び、例えば自動車と大型トラックとの間を区別するといったように車両同士を区別するために、先行技術で知られているアルゴリズムによってフレーム内の対象の大きさ及び形状を比較することを意味する。
本発明の他の実施形態では、前記処理ユニットはナンバープレート認識を実行するよう構成される。このナンバープレート認識は、いわゆる当業者にはよく知られている光学式文字認識に基づく周知のアルゴリズムにより実行され得る。ナンバープレート認識は、当該装置が、赤信号を通った車両を特定するために又は速度検出のために使用され得る場合の当該装置の有用な機能である。
本発明の第2の態様は、映像フレームのシーケンスから動き情報を取り出す方法を参照する。この方法の第1のステップでは、映像フレームのシーケンスが取り込まれる。第2のステップでは、ビデオカメラによって取り込まれたデジタル映像フレームが処理される。この処理は、帰納的な探索ブロックアルゴリズムを使用することによって行われ、前記映像フレームが動いている対象又は人を示しているかどうかを判断する。先と同じく、このアルゴリズムは、1993年10月に発行されたIEEE transactions on circuits and systems of video technology、第3巻、No.5、“True motion estimation with 3D-recursive search block matching”、Gerard de Haan等の文献に記載されるように動作する。この文献は、参照することによって本願に援用される。
本発明に従う方法は、符号化されていない映像シーケンスに広く適用され得るという利点を有する。従って、当該方法は、映像シーケンスを処理する前にそれらを符号化することはない。対照的に、符号化された映像シーケンスが処理されるべき場合は、当該方法は3DRSアルゴリズムを用いてフレームの画素を処理するので、その符号化された映像シーケンスを最初に復号化する必要がある。
当該方法の他の利点は、3DRSアルゴリズムによって計算される運動ベクトルが対象又は人の実際の動きを表す点である。従って、それらの品質を許容可能なレベルへと改善するために、取得した運動ベクトルを後処理する必要はない。
当該発明の更なる他の利点は、3DRSアルゴリズムが、他の既知のブロック整合アルゴリムと比較しても、極めて有効である点である。従って、当該方法は、特に高速である。このことは、取り込んだ映像シーケンスを実時間で処理することを可能にする。
上述された方法により、前記対象又は人の速度が決定される。更には、多数の対象又は人の速度でさえ同時に決定され得る。当該方法は、交通監視のような監視用途のために使用され得る。当該方法が使用される他の範囲は、特に速度カメラ又は赤色ランプカメラとしての交通規則実施カメラに関する。
本発明のこれらの及び他の態様は、以下に記載される実施例を参照して説明され、明らかとなるであろう。留意すべきは、参照符号の使用は本発明の適用範囲を限定するよう解釈されるべきでない点である。
以下、一例として、本発明の好ましい実施形態を、図面を参照して説明する。
図1は、本発明に従う装置を示す。この装置は、処理ユニット3を含む筐体2を有するデジタルビデオカメラ1を備える。更に、デジタルビデオカメラ1は、例えばイーサネット(登録商標)ケーブル5を介して、外部のコンピュータ(図示せず。)と通信するための出力ポート4を有する。外部のコンピュータは、警察署に配置され得る。加えて、デジタルビデオカメラ1は、遠くのコンピュータへの取得データの無線送信のために、任意的な送受信機6を有する。
実現可能性の検討のために、システムは、図1に示されるように、デジタルビデオカメラ1を踏み出して使用される。デジタルカメラ1は、市販されており、更なる説明が不要であるパナソニック(登録商標)製NV−DX110EGの民生ビデオカメラである。このビデオカメラ1は、25Hzのフレームレートで映像フレームを取り込み、それらを4ピンのiリンク入出力ポートを介して出力する。
出力された映像フレームは、従来のノート型コンピュータ(図示せず。)へ送られ、25HzでAVIフォワードに記憶される。3DRSアルゴリズムを使用するために、このような圧縮映像フォーマットは、YUV422標準へと送られるように、最初に復号化される必要がある。復号化された映像シーケンスは、720×576画素の解像度と、25Hzのフレームレートとを有する。3DRSアルゴリズムに基づくコンピュータプログラムは、如何なる前処理又は後処理も伴うことなく、符号化された映像シーケンスを処理するために使用される。このアルゴリズムは、前出のノート型コンピュータで実行される。それにより、真の運動ベクトルは信頼できる速度値を生じさせる。更に、真の運動ベクトルは、ロバストな3DRSアルゴリズムを有効に且つ極めて速く動作させることができる。従って、装置は、前処理又は後処理を伴わずに実時間でフレームを処理する。
動作において、第1のステップは、デジタルビデオカメラを組み込む段階と、それを高速道路にかかる橋に取り付ける段階とを有する。第2のステップでは、デジタルビデオカメラが映像シーケンスを生成して、適切に機能するかどうかが試験される。第3のステップでは、前出のノート型コンピュータは、アプリケーションソフトウェアによって装置を較正するために使用される。言い換えると、本発明に従う装置は、実現可能性の検討のための構造において、デジタルビデオカメラ及びノート型コンピュータを有する。ノート型コンピュータは、前出の代替案a)の意味で、処理装置及び関連するメモリを有する処理ユニットを表す。
最初の較正ステップは、速度確認が実行されるべき高速道路の場所を選択する段階を有する。これは、図2を用いて表される。図2は、ビデオカメラに近づく自動車がある三車線の高速道路を示す。車線ごとに、測定場所8、9及び10が選択される。3DRSアルゴリズムは、対象がフレーム/画像に入ってくると直ぐに、その全ての対象の速度を推定するが、適切な位置を選択することに幾らかの注意が必要である。良好な位置は、画像の境界に近すぎず、且つ、背景まで遠すぎない。
次なる較正ステップでは、式3を用いて自動車の速度を計算するための変換係数conv_factorが決定される。これは、測定場所8、9及び10ごとに行われる。そのために、二重矢印によって示される最も左の車線の間の4つの連続した幅広い縞の距離は、メートル単位でアプリケーションソフトウェアに入力される。同じ距離が、画素単位で計算される。即ち、Δx=172.2画素。この値画素から、x軸(Δx=73画素)上及びy軸(Δy=156画素)上へのかかる長さの対応する投影が計算される。変換係数は、x及びy方向の距離を画素からメートルへ変換するために処理ユニットによって使用される。変換係数は、表1の列6に列挙される。
装置を較正した後に、速度測定が実行される。ノート型コンピュータは、処理ユニットとしての役割を果たし、如何なる前処理又は後処理も伴うことなく基本的な3DRSアルゴリズムを使用する。アルゴリズムはフレームを処理し、そのフレームを画素のブロック、即ち、ブロックごとに8×8画素に分割する。
1つのこのような測定は、図4を用いて表される。カメラに近づく2台の自動車は、画素ブロックがゼロになることのない運動ベクトルを有するよう示されている領域11及び12を示すために、目下、丸で囲まれている。領域11及び12での平均運動ベクトルは、夫々、式1を用いて運動ベクトルの長さを計算するために使用される。フレームレートは25Hzを有し、従って、自動車の速度は式2及び3並びに表1に列挙される変換係数を用いて計算される。その結果は表1に示される。
注目すべきは、このような実験的な設定による測定値は、
Figure 2009510827
を用いて計算され得る極めて高い精度を有する点である。ここで、εは運動ベクトルの誤差であり、かかる設定ではε=0.25画素である。
変換係数が表1における最悪値である7.50であって、フレームレートが25Hzであるとした場合は、速度誤差はたった0.33km/hである。この簡単化された実験的な設定に関してさえ、精度は極めて良好であると考えられる。
較正が行われると、装置の使用は図5のフローチャートを用いて表される。ステップ1では、映像フレームのシーケンスの取り込みが実行される。これらの映像フレームはステップ6で処理されて、その結果はステップ5で出力される。
第1の処理ステップ2では、フレームは、図2に示される測定場所8、9又は10のいずれかにある動いている対象を識別するよう3DRSアルゴリズムを用いて解析される。動いている対象、例えば自動車は、この領域でゼロになることのない運動ベクトルを有する画素ブロックが存在する場合には、かかる領域に存在する。ステップ3で、この動いている画素ブロックに関連する速度は決定され、この速度が許容値、例えば高速道に関しては100km/hと比較して速度超過していないかどうかが判断される。速度超過している場合には、車両のナンバープレートが、ステップ4で、映像フレームから取り出される。これは、先行技術で知られる更なるコンピュータプログラムモジュールによって行われる。ステップ5で、データは、警察署に設置され得る外部コンピュータへ出力される。このデータは、速度超過をしている車両のナンバープレート、速度、及び、場合によりフレーム/画像を含む。
動き情報を取り出すデジタルビデオカメラを示す。 速度照合のための場所の選択を表す。 速度照合場所に対する装置の較正を表す。 運動ベクトルがゼロになることのない領域を示す測定である。 本発明を実施するフローチャートを示す。
[表1]測定値及び較正のための変換係数を含む。

Claims (14)

  1. 映像フレームのシーケンスから動き情報を取り出す装置であって:
    a)映像フレームのシーケンスを取り込むデジタルビデオカメラ,
    b)前記ビデオカメラによって提供される前記映像フレームを処理する処理ユニット,及び
    c)前記映像フレームが動いている対象又は人を示しているかどうかを判断するために帰納的な探索ブロックアルゴリズムを使用するよう構成される前記処理ユニット,
    を有する装置。
  2. 前記処理ユニットは前記対象又は人の速度を決定するよう構成される、ことを特徴とする請求項1記載の装置。
  3. 前記処理ユニットは多数の対象又は人の速度を同時に決定するよう構成される、ことを特徴とする請求項2記載の装置。
  4. 前記処理ユニットは前記ビデオカメラの筐体に配置される、ことを特徴とする請求項1記載の装置。
  5. 前記処理ユニットは実時間システムとして実施される、ことを特徴とする請求項1記載の装置。
  6. 前記処理ユニットは、動いている対象又は動いている人の位置を示すよう構成される、ことを特徴とする請求項1記載の装置。
  7. 前記処理ユニットは対象認識を実行するよう構成される、ことを特徴とする請求項1記載の装置。
  8. 前記処理ユニットはナンバープレート認識を実行するよう構成される、ことを特徴とする請求項1記載の装置。
  9. 映像フレームのシーケンスから動き情報を取り出すことによる方法であって:
    a)映像フレームのシーケンスを取り込むステップ,及び
    b)前記映像フレームが動いている対象又は人を示しているかどうかを判断するために帰納的な探索ブロックアルゴリズムを使用することによって、前記デジタル映像フレームを処理するステップ,
    を有する方法。
  10. 前記対象又は人の速度が決定される、ことを特徴とする請求項9記載の方法。
  11. 多数の対象又は人の速度が同時に決定される、ことを特徴とする請求項9記載の方法。
  12. 交通監視のような監視用途のために又は建物若しくは土地への侵入を検出するために使用される、ことを特徴とする請求項9記載の方法。
  13. 特に速度カメラ又は赤色ランプカメラとしての交通規則実施カメラに使用される、ことを特徴とする請求項9記載の方法。
  14. コンピュータプログラムコード手段を有するコンピュータ読取可能な媒体を有するコンピュータプログラムであって、
    読み込まれる場合に、コンピュータに、請求項9乃至13のうちいずれか一項記載の方法を実行させるコンピュータプログラム。
JP2008531874A 2005-09-27 2006-09-26 動き検出装置 Withdrawn JP2009510827A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05108908 2005-09-27
PCT/IB2006/053488 WO2007036873A2 (en) 2005-09-27 2006-09-26 Motion detection device

Publications (1)

Publication Number Publication Date
JP2009510827A true JP2009510827A (ja) 2009-03-12

Family

ID=37807867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008531874A Withdrawn JP2009510827A (ja) 2005-09-27 2006-09-26 動き検出装置

Country Status (7)

Country Link
US (1) US8135177B2 (ja)
EP (1) EP1932352A2 (ja)
JP (1) JP2009510827A (ja)
KR (1) KR20080049063A (ja)
CN (1) CN101273634A (ja)
TW (1) TW200721041A (ja)
WO (1) WO2007036873A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010135575A2 (en) * 2009-05-20 2010-11-25 Express Imaging Systems, Llc Long-range motion detection for illumination control
KR20160112612A (ko) * 2015-03-20 2016-09-28 황영채 선박용 탐조등

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042802A (zh) 2006-03-23 2007-09-26 安捷伦科技有限公司 交通信息传感器、交通信息检测方法和系统
US8213685B2 (en) 2007-01-05 2012-07-03 American Traffic Solutions, Inc. Video speed detection system
TWI338241B (en) * 2007-08-23 2011-03-01 Pixart Imaging Inc Interactive image system, interactive device and operative method thereof
US8118456B2 (en) 2008-05-08 2012-02-21 Express Imaging Systems, Llc Low-profile pathway illumination system
US8926138B2 (en) 2008-05-13 2015-01-06 Express Imaging Systems, Llc Gas-discharge lamp replacement
US8175332B2 (en) * 2008-05-22 2012-05-08 International Business Machines Corporation Upper troposphere and lower stratosphere wind direction, speed, and turbidity monitoring using digital imaging and motion tracking
EP3032922B1 (en) 2008-11-17 2018-09-19 Express Imaging Systems, LLC Electronic control to regulate power for solid-state lighting and methods thereof
US8284996B2 (en) 2008-12-17 2012-10-09 Automated Speed Technologies, LLC Multiple object speed tracking system
TWI450590B (zh) * 2009-04-16 2014-08-21 Univ Nat Taiwan 嵌入式系統及其中移動評估的資料讀取之方法
WO2010127138A2 (en) 2009-05-01 2010-11-04 Express Imaging Systems, Llc Gas-discharge lamp replacement with passive cooling
WO2010135582A2 (en) 2009-05-20 2010-11-25 Express Imaging Systems, Llc Apparatus and method of energy efficient illumination
CN101854547B (zh) * 2010-05-25 2013-05-08 无锡中星微电子有限公司 视频采集传输系统中运动帧及前景检测的方法及装置
WO2011163334A1 (en) 2010-06-22 2011-12-29 Express Imaging Systems, Llc Solid state lighting device and method employing heat exchanger thermally coupled circuit board
US20120033123A1 (en) * 2010-08-06 2012-02-09 Nikon Corporation Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program
US8901825B2 (en) 2011-04-12 2014-12-02 Express Imaging Systems, Llc Apparatus and method of energy efficient illumination using received signals
US8610358B2 (en) 2011-08-17 2013-12-17 Express Imaging Systems, Llc Electrostatic discharge protection for luminaire
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
EP2781138A4 (en) 2011-11-18 2015-10-28 Express Imaging Systems Llc SOLID BULB WITH SAFETY FEATURES AND ADAPTED OUTPUT
US9360198B2 (en) 2011-12-06 2016-06-07 Express Imaging Systems, Llc Adjustable output solid-state lighting device
TW201328359A (zh) * 2011-12-19 2013-07-01 Ind Tech Res Inst 基於壓縮域的移動物件偵測方法及裝置
US9497393B2 (en) 2012-03-02 2016-11-15 Express Imaging Systems, Llc Systems and methods that employ object recognition
CN102637361A (zh) * 2012-04-01 2012-08-15 长安大学 一种基于视频的车型判别方法
US9210751B2 (en) 2012-05-01 2015-12-08 Express Imaging Systems, Llc Solid state lighting, drive circuit and method of driving same
US9204523B2 (en) 2012-05-02 2015-12-01 Express Imaging Systems, Llc Remotely adjustable solid-state lamp
US9131552B2 (en) 2012-07-25 2015-09-08 Express Imaging Systems, Llc Apparatus and method of operating a luminaire
US8878440B2 (en) 2012-08-28 2014-11-04 Express Imaging Systems, Llc Luminaire with atmospheric electrical activity detection and visual alert capabilities
US9582722B2 (en) * 2012-08-31 2017-02-28 Xerox Corporation Video-based vehicle speed estimation from motion vectors in video streams
US8896215B2 (en) 2012-09-05 2014-11-25 Express Imaging Systems, Llc Apparatus and method for schedule based operation of a luminaire
US9301365B2 (en) 2012-11-07 2016-03-29 Express Imaging Systems, Llc Luminaire with switch-mode converter power monitoring
US9210759B2 (en) 2012-11-19 2015-12-08 Express Imaging Systems, Llc Luminaire with ambient sensing and autonomous control capabilities
US9288873B2 (en) 2013-02-13 2016-03-15 Express Imaging Systems, Llc Systems, methods, and apparatuses for using a high current switching device as a logic level sensor
US9466443B2 (en) 2013-07-24 2016-10-11 Express Imaging Systems, Llc Photocontrol for luminaire consumes very low power
US9414449B2 (en) 2013-11-18 2016-08-09 Express Imaging Systems, Llc High efficiency power controller for luminaire
US9185777B2 (en) 2014-01-30 2015-11-10 Express Imaging Systems, Llc Ambient light control in solid state lamps and luminaires
TWI595450B (zh) 2014-04-01 2017-08-11 能晶科技股份有限公司 物件偵測系統
US9572230B2 (en) 2014-09-30 2017-02-14 Express Imaging Systems, Llc Centralized control of area lighting hours of illumination
US9445485B2 (en) 2014-10-24 2016-09-13 Express Imaging Systems, Llc Detection and correction of faulty photo controls in outdoor luminaires
US9462662B1 (en) 2015-03-24 2016-10-04 Express Imaging Systems, Llc Low power photocontrol for luminaire
US9538612B1 (en) 2015-09-03 2017-01-03 Express Imaging Systems, Llc Low power photocontrol for luminaire
US10015394B2 (en) 2015-10-06 2018-07-03 Genetec Inc. Camera-based speed estimation and system calibration therefor
US9924582B2 (en) 2016-04-26 2018-03-20 Express Imaging Systems, Llc Luminaire dimming module uses 3 contact NEMA photocontrol socket
US9985429B2 (en) 2016-09-21 2018-05-29 Express Imaging Systems, Llc Inrush current limiter circuit
US10230296B2 (en) 2016-09-21 2019-03-12 Express Imaging Systems, Llc Output ripple reduction for power converters
US10098212B2 (en) 2017-02-14 2018-10-09 Express Imaging Systems, Llc Systems and methods for controlling outdoor luminaire wireless network using smart appliance
US10568191B2 (en) 2017-04-03 2020-02-18 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
US11375599B2 (en) 2017-04-03 2022-06-28 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
US10904992B2 (en) 2017-04-03 2021-01-26 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
US10219360B2 (en) 2017-04-03 2019-02-26 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
US10164374B1 (en) 2017-10-31 2018-12-25 Express Imaging Systems, Llc Receptacle sockets for twist-lock connectors
US11234304B2 (en) 2019-05-24 2022-01-25 Express Imaging Systems, Llc Photocontroller to control operation of a luminaire having a dimming line
US11317497B2 (en) 2019-06-20 2022-04-26 Express Imaging Systems, Llc Photocontroller and/or lamp with photocontrols to control operation of lamp
US11212887B2 (en) 2019-11-04 2021-12-28 Express Imaging Systems, Llc Light having selectively adjustable sets of solid state light sources, circuit and method of operation thereof, to provide variable output characteristics
CN117223029A (zh) 2021-04-26 2023-12-12 巴斯夫欧洲公司 用于确定至少一个移动物体的绝对速度的计算机实现的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2847682B2 (ja) * 1991-11-22 1999-01-20 松下電器産業株式会社 交通信号無視取締り装置
WO1997016806A1 (en) * 1995-11-01 1997-05-09 Carl Kupersmit Vehicle speed monitoring system
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
WO2000031706A1 (en) * 1998-11-23 2000-06-02 Nestor, Inc. Traffic light collision avoidance system
SG89282A1 (en) * 1999-05-28 2002-06-18 Kent Ridge Digital Labs Motion information extraction system
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
JP3702260B2 (ja) * 2002-09-19 2005-10-05 株式会社東芝 目標角速度計測装置および目標角速度計測方法
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US6970102B2 (en) * 2003-05-05 2005-11-29 Transol Pty Ltd Traffic violation detection, recording and evidence processing system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010135575A2 (en) * 2009-05-20 2010-11-25 Express Imaging Systems, Llc Long-range motion detection for illumination control
WO2010135575A3 (en) * 2009-05-20 2011-02-03 Express Imaging Systems, Llc Long-range motion detection for illumination control
KR20160112612A (ko) * 2015-03-20 2016-09-28 황영채 선박용 탐조등
KR101720408B1 (ko) * 2015-03-20 2017-03-27 황영채 선박용 탐조등

Also Published As

Publication number Publication date
WO2007036873A2 (en) 2007-04-05
KR20080049063A (ko) 2008-06-03
CN101273634A (zh) 2008-09-24
US8135177B2 (en) 2012-03-13
TW200721041A (en) 2007-06-01
EP1932352A2 (en) 2008-06-18
WO2007036873A3 (en) 2007-07-05
US20080205710A1 (en) 2008-08-28

Similar Documents

Publication Publication Date Title
JP2009510827A (ja) 動き検出装置
EP3722992B1 (en) System and method for pre-processing images captured by a vehicle
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP6282193B2 (ja) 物体検出装置
US9286516B2 (en) Method and systems of classifying a vehicle using motion vectors
US6757328B1 (en) Motion information extraction system
JP4451330B2 (ja) 圧縮ビデオにおいて交通事象を検出する方法
GB2507395B (en) Video-based vehicle speed estimation from motion vectors in video streams
US8331617B2 (en) Robot vision system and detection method
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
US20150117704A1 (en) Bus lane infraction detection method and system
JP7104916B2 (ja) 移動物体検出装置および移動物体検出方法
JP2007172540A (ja) 移動体判定システム、移動体判定方法、及びコンピュータプログラム
JP6915219B2 (ja) コンピュータ実施方法、撮像システム、及び画像処理システム
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
Luo et al. Vehicle flow detection in real-time airborne traffic surveillance system
KR102163774B1 (ko) 영상 인식 장치 및 그 방법
KR101073053B1 (ko) 자동 교통정보추출 시스템 및 그의 추출방법
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
JP2018151999A (ja) 物体距離検出装置
JP2009205695A (ja) 対象個数検出装置および対象個数検出方法
CN105930807A (zh) 基于视频序列影像特征分析的云台移动与复位检测算法
JP2007148647A (ja) 二輪車検出装置、信号制御システム、二輪車検出システム、二輪車検出方法及びコンピュータプログラム
WO2007072370A2 (en) Method and apparatus for estimating object speed
KR102523637B1 (ko) 교통 데이터 프로세서, 교통 관제 시스템 및 교통 데이터 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20091113