JP2002519949A - ビデオにおける動きの検出のための方法および装置 - Google Patents

ビデオにおける動きの検出のための方法および装置

Info

Publication number
JP2002519949A
JP2002519949A JP2000557607A JP2000557607A JP2002519949A JP 2002519949 A JP2002519949 A JP 2002519949A JP 2000557607 A JP2000557607 A JP 2000557607A JP 2000557607 A JP2000557607 A JP 2000557607A JP 2002519949 A JP2002519949 A JP 2002519949A
Authority
JP
Japan
Prior art keywords
difference
frame
value
input video
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000557607A
Other languages
English (en)
Other versions
JP4422334B2 (ja
Inventor
ハンコ,ジェイムズ・ジイ
ノースカット,ジェイ・デュアン
ウォール,ジェラルド・エイ
ブッチャー,ローレンス・エル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Microsystems Inc
Original Assignee
Sun Microsystems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Microsystems Inc filed Critical Sun Microsystems Inc
Publication of JP2002519949A publication Critical patent/JP2002519949A/ja
Application granted granted Critical
Publication of JP4422334B2 publication Critical patent/JP4422334B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 本発明は、ビデオにおける動きの検出のための方法および装置を含み、入力ビデオ・ストリームからのフレームがデジタル化される。各入力デジタル化フレームの画素が、参照フレームの対応する画素と比較され、入力画素と参照画素の間の差分が決定される。画素についての画素差分が適用される画素差分しきい値を超える場合、画素が「異なる」と見なされる。フレームのための「異なる」画素の数が適用されるフレーム差分しきい値を超える場合、動きが起こったと見なされ、動き検出信号が出される。1つまたは複数の他の実施形態では、適用されるフレーム差分しきい値が、最新のフレームによって提示されている現在の平均動きに応じて調整され、それによって「周囲の」動きを考慮し、位相のずれの効果を最小にする。1つまたは複数の実施形態では、異なる画素差分しきい値を、異なる画素または画素のグループに割り当てることができ、それによってカメラの視野のある領域を、動きに対して多少感度が高くなるようにする。本発明の1つまたは複数の実施形態では、動きを提示しない第1のフレームが、動きを提示する1つまたは複数のフレームの後に起こるとき、新しい参照フレームが選択される。

Description

【発明の詳細な説明】
【0001】 (発明の背景) 1.発明の分野 本発明は、ビデオにおける動きを検出する方法および装置に関する。
【0002】 2.背景技術 動き検出器が使用されて、動きが検出されるかあるいは検出されないときにイ
ベントをトリガする、多数の状況がある。いくつかの応用例には、誰かが部屋に
入るときにライトを点灯すること、または、部屋内で動きがないときにライトを
消灯することなどがある。他の使用には、セキュリティ、自動車窃盗防止、アラ
ーム、自動ドア、および他のものが含まれる。現在の動き検出システムにはいく
つかの欠点があり、コスト、複雑さ、性能の低さ、および他のものが含まれる。
【0003】 従来技術には、動き検出のための2つの手法、すなわち「能動」および「受動
」がある。能動技術は、ある形式のエネルギー(たとえば、音または電磁放射)
を出し、返された信号に基づいて動きを検出する。これらの技術は、より電力を
必要とし、より環境破壊的であり、かつ検出かつ無効にすることが容易である傾
向がある。受動技術は信号を出さずに、その代りに監視中の環境を受動的に観察
し、観察された動きに対して反応する。いくつかの受動動き検出技術では、ビデ
オ・カメラが使用される。
【0004】 ビデオ・カメラの視野内の動きを検出するためのいくつかの技術が開発されて
きた。これらの技術は、アナログおよびデジタル技術を含む。アナログ技術は、
典型的には、カメラによって生成されたアナログ・ビデオ信号を見て、信号にお
ける変化を検査することによって動きを検出する。簡素な従来技術のアナログ技
術の例には、光電セルをテレビ・モニタ上に置いて値の変化を検出すること、ワ
ンショット・タイマを使用してビデオ信号における固定位置をサンプリングする
こと、および、様々な回路を使用してビデオ信号を統合することが含まれる。こ
れらの簡素な技術は、ベースライン値に対して比較することができる信号を生成
して、おそらく動きによって引き起こされるビデオ信号における変化を検出する
。他の従来技術のアナログ技術は、入力ビデオ信号をフィルタリングあるいは統
合し、信号の特性における著しい変化を探して動きを検出する。
【0005】 これらのアナログ手法は安価な傾向があるが、粗悪で簡素化されたバージョン
のビデオ信号を利用するので不十分な結果を提供する。信号の大量の情報内容が
廃棄される。わずかな情報内容の信号で作業するので、達成できる最高のものは
、入力信号が特定の方法において変化するときに動きがその場面において起こっ
たという仮定である。
【0006】 これらの従来技術のアナログ技術のすべては、これらが測定するものにおいて
不正確である傾向がある。したがって、これらは、実際の動きに対する感度に関
して固有の制限を有する。これらは、誤ったトリガの影響も受けやすい。
【0007】 デジタル技術は、誤った積極的な(何もないときに動きを検出すること)、か
つ、誤った消極的な(動きが存在するときに動きを検出しないこと)動き検出出
力の両方を減らすことにおいて、よりよい傾向がある。デジタル手法は、正確か
つ繰り返し可能に、数値をビデオ・カメラの視野の物理的部分と関連付けること
ができる。空間における領域から入ってくる光を正確に計量する能力によって、
観察中の場面において動きが起こるときを、アナログ技術を使用して行うことが
できるよりも正確に決定することが可能となる。
【0008】 (従来技術のデジタル技術) デジタル動き検出技術は、2つの一般的なタイプの応用例に使用される。すな
わち、ビデオ・インターレースの問題を処理するのに信号処理を利用できるよう
にするために、ビデオ・フレーム間の動きを決定すること、および、物理的なセ
キュリティのためにビデオに基づいた監視を行うことである。ビデオ・インタレ
ース信号処理のために開発された技術は、はるかにより計算集中的である傾向が
あり、したがって、ビデオ・セキュリティ監視のために開発された技術よりコス
トがかかる傾向がある。加えて、ビデオ・インタレース処理技術は、わずかの動
きを検出するために適しておらず、したがって、セキュリティ・ビデオの応用例
ではうまく動きしない。これらの2つの応用例の領域はかなり異なる要件を有す
るので、それぞれのために開発されたデジタル処理技術は性質において異なる。
たとえば、ある領域のビデオ監視のための動き検出の場合、動きをうまく検出す
る能力が重要な目的である。視野においてどの特定の被写体がどれだけ移動した
かについての厳密な情報は、より重要性が低い。しかし、ビデオ・インタレース
処理では、どの被写体がどれだけ移動したかを知ることが重要である。ビデオ・
インタレース処理のために設計されたビデオ動き検出技術の一例が、Miyaz
aki他の米国特許第4,851,904号において開示されている。
【0009】 画像理解技術が、ビデオ・インタレース処理に使用するために開発されている
。これらの画像理解技術は、ビデオ画像を、ビデオ・カメラの視野内の被写体に
対応する画素の領域に自動的に区分する。次いで、これらの被写体の動きが検出
され、追跡される。これらの技術は計算集中的であり、高価である。これらは、
めったにリアルタイムで動きするようにすることができない。したがって、これ
らは典型的には、デジタル・ビデオ・セキュリティ応用例のために使用すること
ができない。
【0010】 従来技術の、動きを検出するための計算集中的な手法の一例は、画素の領域(
典型的にはN×Mの方形)を入力ビデオ・ストリームから取り、それらを参照画
像における対応する画素の領域と相関させることである。この手法は、上述の汎
用画像理解手法に近似するものと見ることができる。入力画像が方形に分割され
る。これらの方形が、参照画像の対応する方形に対して比較される。画像をこの
方法で方形に分割して方形を比較することは、入力画像において個々の被写体を
識別しようとすること、および、これらの被写体の位置を参照画像における対応
する被写体の位置と比較しようと試みることよりも、著しく簡素である。この技
術はMPEGビデオ圧縮規格の一部として使用され、「動き補償」として知られ
ている。この手法は、動きを検出するのに有効であり、いくつかの他の画像理解
技術よりも複雑ではないが、なお時間がかかり、典型的には大規模で高価なカス
タム集積回路の使用が必要である。加えて、これは入力画像の品質に対して感度
が高い傾向がある。入力ビデオ信号におけるいかなる雑音によっても、参照画像
における対応する領域を位置付けることが非常に困難になる。
【0011】 セキュリティ・ビデオ応用例における動き検出のための他のデジタル技術は、
ビデオ画像におけるエッジの検出に基づいている。すなわち、ある領域から別の
領域へ線引きする、色または輝度における急な移行である。エッジ検出は、移行
の検出および格納のみを必要とすることによって画像の処理を簡素化し、多数の
画素の値を処理して格納することとは対照的である。エッジ検出は、ビデオ画像
におけるピクセルの間に高度の相関がある(すなわち、画素の広い領域が類似の
値を共有する傾向がある)という事実を利用する。
【0012】 エッジ検出を使用するデバイスは、採光における変化によって引き起こされた
誤ったトリガ・イベントに対して非常に感度が高い傾向がある。静止した場面は
、採光が一日の経過にわたって場面における影の位置を変化させるので、動いて
いるように見える可能性がある。エッジ検出システムの一例が、Aschwan
den他の米国特許第4,894,716号において開示されている。Asch
wanden他によって開示されたシステムは、フレームからフレームへのエッ
ジの位置での変化を探す。このシステムは、トリガを引き起こすためにある程度
の垂直なコヒーレンスを必要とする。すなわち、検出される動きのための多数の
線にわたるエッジの所与の量の位相偏移がなければならない。格納される参照デ
ータは、エッジが以前のフレームの垂直走査線のどこに存在するかを指示する、
1組のカウントを含む。
【0013】 エッジは、入力ビデオの走査線を低域フィルタリングし、信号をしきい値処理
し、次いで、フィルタリングされしきい値処理された信号を使用してワンショッ
トをトリガすることによって検出される。ワンショットは、最後の値が走査線に
おけるエッジの位置であるカウンタをゲートするために使用される。
【0014】 このエッジ検出技術は動き検出のための簡素な方法を提供するが、これは、動
作しているビデオ信号の領域に関して制約され、以前のフレームのみを参照とし
て使用する。結果として、著しく低速で移動中の被写体が検出されない。この手
法はまた、それ自体が十分にエッジ検出に適さない環境において、うまく動作も
しない。たとえば、エッジを発見するのに不十分な対照がある場合、あるいは、
著しく大量の高周波構成要素が場面にあり、それらが多すぎるエッジを作成する
場合である。
【0015】 エッジ検出を使用する別の動き検出方式が、Watanabeの米国特許第5
,272,527号において記載されている。Watanabeによって記載さ
れたシステムでは、古典的な信号処理技術が、入力画像からエッジを抽出するた
めに適用され、雑音低減技術が適用され、入力画像データを2値しきい値処理す
るために平均化機構が使用される。以前の2つの2値画像が保持され、一連の論
理演算がこれらの画像上で実行されて、入力2値画像が比較される参照が作成さ
れる。本質において、以前の2つのフレームが使用されて参照マスクが生成され
(それらの結合を反転させることによる)、次いで、2値のものの母集団カウン
トが、入力画像のマスクされたバージョンに適用される。結果は、入力画像と以
前の2つの画像の間の差分の推定である。Watanabeの手法は、非常に複
雑で費用がかかり、有効性も疑わしいものである。
【0016】 大多数のビデオ動き検出技術は、入力ビデオ信号を、格納された参照信号と比
較する原理で動作する。いくつかのデバイスは、以前のフレームを参照として使
用するのみに制約される。以前のフレームのみを参照として使用することには、
少ない記憶を必要とする利点があり、低速で変化する採光による誤ったトリガ・
イベントに対してそれほど感度が高くなく、それ自体がより簡素な実施に適する
が、低速の変化のイベントを検出することができないという欠点がある。
【0017】 デジタル・ドメインでは、動きを検出するための共通の方法は、入力フレーム
の各画素の値を、参照フレームにおける対応する画素から引き、結果として得ら
れる差分を累積し、累積された差分信号がある所定の量を超えるときに動き指示
を生成することである。この手法での問題は、画像の領域全体にわたる変化が互
いに相殺する可能性があり、それによって誤った読み取りを与えることである。
たとえば、所与の画素がその対応する参照画素よりも量Nだけ明るくなる可能性
があり、別の画素がその参照画素より−Nだけ暗くなる可能性がある。このよう
な環境では、変化が相殺され、著しい動きが検出されない可能性がある。
【0018】 加えて、対応する画素の値の差分を単に計算することは、有効な動き検出を提
供しない。さらに、ビデオ・カメラの出力では、典型的には、ある雑音がビデオ
信号上に加えられる。結果として、不変の場面における画素について報告された
値が、フレームからフレームへ、単に雑音により、ある量をプラスかつマイナス
して変動する可能性がある。大抵の既存の動き検出方法は、この雑音を補償しな
い。したがって、ビデオ信号上の雑音が、誤った積極的な応答の一因となり、動
き検出者が、追加の誤った負数が生成される点まで感度を減らされることが必要
となる。
【0019】 これらの問題のいくつかを欠点として持つ動き検出システムの一例が、Bro
wnの米国特許第5,455,561号に開示されている。Brownによって
開示されたシステムでは、ハイブリッドのアナログ/デジタル手法が使用され、
入力フレームが、格納された参照フレームの反転されたバージョンに追加される
。結果として得られる差分値がしきい値処理され、しきい値処理された値が、所
与の数のクロック・サイクルに対してあらかじめ設定された量を超えるときに、
動き指示が生成される。Brownのシステムは、カメラによって観察中のアク
ティビティの現在のレベルに関わらず、新しい参照フレームを周期的に所定の時
間の増分で選択する。Brownのシステムでは、使用中のしきい値が定数であ
り(すなわち、入力値に従って変動しない)、著しい動きを構成すると見られる
異なる画素の数も定数である。
【0020】 動き検出のための別の手法は、低減されたデータ・セットを得るためのビデオ
画像のデジタル・デシメーション(サブサンプリングおよび低域フィルタリング
による)を含む。低減されたデータ・セットが、同様に低減された参照画像と比
較される。デシメーションが元のデータの低域フィルタリングを含むので、結果
として得られるデシメーションされた画像の画素が、サブサンプリング中に選択
されなかった元の画像における他の画素からの効果を含む。デシメーションは、
比較される必要のある画素の数を低減することができるが、なお、視野内の動き
を検出することができる。デシメーション手法の一例が、本発明の譲受人に譲渡
された、1996年5月30日出願の米国特許出願第08/655,562号に
おいて記載されている。
【0021】 いくつかの既存の動き検出デバイスでは、カメラの視野内で関心領域を指定さ
せる。たとえば、ビデオ・カメラのアクティブな画像領域の周囲の境界を、動き
検出機構から除外されるように決めることができる。同様に、カメラの視野内の
領域全体をマスクして、これらの領域内の(あるいは、別法として、外側の)動
きが無視されるようにすることができる。これらのマスキング方式の挙動は、以
前は厳密に2つであった。すなわち、画素が動き計算に含まれるか、含まれない
かである。
【0022】 Hongの米国特許第5,339,104号は、ウィンドウ機構を使用して、
関心領域をビデオ・フレーム全体内の方形に制限するシステムを記載している。
Hongのシステムは、参照フレームをデジタル化して格納し、これを入力ビデ
オに対して比較する。画素毎の比較機能が、EPROMにおけるテーブル・ルッ
クアップによって実行される。(6ビット)の入力画素値および参照画素値が連
結されて、EPROMへアドレスとして提示される。結果として得られるEPR
OMの出力は、差分値である。差分値が、マイクロプロセッサを制御することに
よって提供された基数および制限値と比較され、2値の出力が生成されて、この
差分が所与の範囲の値内であるかどうかが指示される。所与の範囲内に収まる差
分の数のカウントが維持され、このカウントが所与の値を超えるときに動き指示
が生成される。
【0023】 (発明の概要) 本発明は、入力ビデオ・ストリームからのフレームがデジタル化されるビデオ
における動きを検出する方法および装置を含む。各入力デジタル化フレームの画
素が、参照フレームの対応する画素と比較され、入力画素と参照画素の間の差分
が決定される。本発明の1つまたは複数の実施形態は、(画素が、異なると見な
されるためにその対応する参照画素から変動しなければならない程度を(絶対値
で)定義する)画素差分しきい値と、(動き検出指示が与えられるために異なら
なければならない画素の数を定義する)フレーム差分しきい値を共に使用する。
画素に対する画素差分が適用される画素差分しきい値を超える場合、画素が「異
なる」とされる。フレームのための「異なる」画素の数が適用されるフレーム差
分しきい値を超える場合、動きが起こったとされ、動き検出信号が出される。簡
素なしきい値処理機構を使用することができる。たとえば、一実施態様では、入
力フレームにおけるM個の画素のうちN個以上が参照フレームと異なる場合、動
きが起こったと宣言される。1つまたは複数の他の実施形態では、適用されるフ
レーム差分しきい値が、最新のフレームによって提示されている現在の平均動き
に応じて調整され、それによって「周囲の」動きを考慮し、位相のずれの効果を
最小にする。
【0024】 1つまたは複数の実施態様では、異なる画素差分しきい値を、異なる画素また
は画素のグループに割り当てることができ、それによってカメラの視野のある領
域を、動きに対して多少感度が高くなるようにする。本発明の1つまたは複数の
実施形態では、動きのない第1のフレームが、動きのある1つまたは複数のフレ
ームの後に起こるとき、新しい参照フレームが選択される。
【0025】 本発明は、有効で信頼性のある動き検出システムを提供する。
【0026】 (発明の詳細な説明) ビデオにおける動きを検出する方法および装置が記載される。以下の説明では
、多数の特定の詳細が述べられて、本発明の完全な説明が提供される。しかし、
これらの特定の詳細なしに本発明を実施できることが、当業者には明らかになる
であろう。他の場合では、よく知られた特徴は、本発明を不明瞭にしないように
するため、詳細に記載されていない。
【0027】 本発明は、ビデオ信号における実際の動きを、簡素で低コストの回路により信
頼可能に検出する有効な手段を提供する。本発明の一実施形態は、ビデオ・カメ
ラからの信号をデジタル化して復号することによって動作する。デジタル技術を
使用して、画像における各画素位置が正確かつ繰り返し可能に測定され、「値」
が各画素に割り当てられる。たとえば、YUVカラー・スキームでは、2つの色
成分値および1つの輝度(「luma」)値が各画素に割り当てられる。他のカ
ラー・スキームでは、他の値を使用することができる。本明細書で画素に関して
使用される「値」という語は、デジタル化処理中に画素に割り当てられるか、あ
るいは、割り当てられた値から導出される、1つまたは複数の値のいずれかを指
す。
【0028】 各画素がデジタル化されるとき、これが参照フレームにおける対応する画素と
比較される。これらの2つの画素がいかに異なるかについての決定が行われる。
理想的な場合では、場面が変化していない場合、ビデオのフレーム内の同じ位置
の画素の値が、連続するフレームにわたって同じ値を有するべきである。しかし
、実際には、ビデオ・カメラにおけるセンサが雑音を受け、場面が変化しないと
きでさえ、ビデオ・フレームにおけるいかなる位置の画素の値も、フレームから
フレームへと幾分変動する。
【0029】 本発明は、雑音によりフレームからフレームへと起こる画素値の変動の程度は
(少なくとも所与のビデオ・カメラでは)ほぼ決まっており、かつそれほどでも
ない傾向があるという観察を利用し、しきい値処理機構を使用して雑音の効果を
なくす。一実施形態では、このしきい値処理が、入力画素とその参照画素の間の
差分の絶対値を取り、この絶対値を所与のしきい値と比較することによって実施
される。差分の絶対値がしきい値よりも小さい場合、画素値における変動は雑音
に帰し、入力画素が本質的に参照画素から変わっていないとする。
【0030】 画素差分の絶対値を取ることによって、本発明は、入力画素がその参照画素と
異なる方法(たとえば、入力画素がその参照画素より明るいかあるいは暗いか)
を考慮しない。その代りに、差分の方向ではなく、差分の大きさに焦点を置く。
【0031】 一実施形態は、動きがフレームにおいて存在するかどうかを、入力フレームと
参照フレームの間で著しい差分を有する画素の数を計数することによって決定す
る。各入力ビデオ・フレーム毎に、それらの参照画素から著しく異なるとされた
画素のカウントが維持される。このフレーム毎の画素差分カウントが使用されて
、動きが入力および参照フレームの間で起こったかどうかが決定される。
【0032】 従来技術とは異なり、本発明は、現在の「周囲の」レベルの動きを検出し、現
在観察中である動きの量に比例して動き検出器の感度を減ずる能力を有する。こ
れは、最近すぎた時間間隔にわたる平均動きを、最近のフレーム毎の累積画素差
分カウントの長い履歴を維持しないで、これらの値にわたるスライディング・ウ
ィンドウ平均を行わずに、計算する方法で行われる。終了指数平均として知られ
る技術が使用されて、フレームからフレームへと変化している画素の平均数が生
成される。現在のフレームの画素差分カウントが平均画素差分カウントに追加さ
れ、結果として得られる和が2で除算される(これは、たとえば、固定長シフト
・レジスタにおいて和の2値を右に1桁シフトすることによって、容易に実施す
ることができる)。結果は、以前のフレームの値が連続的にさほど現在の平均に
寄与しない、平均となる。この技術は、スライディング・ウィンドウ平均の十分
な近似値を、はるかに低いコストで、より簡素な実施により提供できる。
【0033】 平均計算は実際上、低域フィルタであり、これは位相のずれ、すなわち、計算
された平均値が実際の値に遅れることとして知られる問題を欠点として持ってい
る。この位相のずれの潜在的な効果は、実際の動きにおいて急な下降があるとき
に起こる可能性のある、反応時間の「影」(図3に例示)である。この環境では
、画素差分カウントの計算された平均値が、ある期間について、実際の画素差分
カウントよりはるかに高いままとなり、計算された平均より低い画素差分カウン
トを生成する動きにおける変化にシステムを過度に鈍感にしておく。この位相の
ずれにより、動きセンサが、より高い動きの継続された期間の後に続く著しい動
きを検出することに失敗することがある。
【0034】 本発明は、非対称の方法において、観察中の動きの量の変化に応答することに
よって、この潜在的な問題に対処する。一実施形態では、フレームのための現在
の差分カウントが現在の平均より著しく少ないとき、現在の値が、平均を計算す
る際により多く重み付けされる。これは、平均値をより急速に実際の値まで下げ
る効果を有し、それによって感度の「影」を低減する。したがって、本発明は、
様々な異なる状態および環境に動的に適合することができる。
【0035】 ビデオ動き検出システムでは、採光における変化が動きにより混乱されないこ
とが重要である。システムの、著しい動きを他の人為的なものから区別する能力
は、参照フレームを選択するために使用された方針に大幅に依存する。共通の手
法は、常に、先に受信されたフレームを参照フレームとして使用することである
。そのようにすることは、デバイスが、非常に遅い早さで移動する被写体を検出
できないようにする効果を有する。
【0036】 本発明の1つまたは複数の実施形態では、以前のフレームを参照フレームとし
て使用する代りに、新しい参照フレームが、指定された参照フレーム選択基準に
基づいて周期的に選択される。このようにして、低速で移動する被写体の動き効
果が、入力画素が徐々にそれぞれの参照画素から離れるにつれて累積され、つい
に動きイベントをトリガさせる。一実施形態では、選択される参照フレームは、
検出された最後の動きを表しているビデオの最後のフレームである。参照フレー
ムを選択するための他の方針も使用することができる。
【0037】 誤った動き情報も、標準のビデオ符号化フォーマットにおけるクロミナンス情
報の位相変化によって、ビデオ信号に導入される可能性がある。この位相変化は
アナログ・ドメインにおいて有用であるが、人為的なシフトを、フレームからフ
レームへの所与の画素位置の値に導入する。本発明の1つまたは複数の実施形態
は、位相変化の効果を考慮して、誤った動きの出現を作成しないようにする。こ
れらの実施形態では、比較が、同じ位相グループに参照フィールドとして属する
入力フレームに対してのみ行われる。
【0038】 本発明の1つまたは複数の実施形態では、異なるしきい値を、各画素位置また
は画素位置のグループに適用することができる。そのようにすることは、各画素
または画素のグループを、変動に対して多少感度が高くなるようにすることがで
きる効果を有する。一実施形態では、画像編集インタフェースが使用されて、画
素値における変化に対して多少感度が高くなるべき領域が指定される。対応する
値が、画素しきい値重みの配列にロードされる。これらの重みが、所与の画素が
変化したと見られる前に必要とされる変化の程度を定義する。画素重みを使用し
て、動き検出システムを、ビデオ・カメラの視野においていくつかの領域にあま
り注意を払わず、他の領域により注意を払うようにすることができる。たとえば
、継続的に移動する被写体(たとえば、時計または扇風機)を含む領域がある場
合、この領域における感度を減ずることもできる。同様に、いくつかの領域(た
とえば、一貫して明るいドアまたは机上)を、変化に対して過度の感度を有する
ように決めることができる。
【0039】 1つまたは複数の実施形態では、本発明の動き検出システムが、動きが検出さ
れたことを指示する2値を出す。この動き検出出力を使用して、アラームをオン
またはオフにし、ビデオ・テープ・レコーダのスイッチをオンまたはオフにし、
電子メッセージを送信し、あるいは、いくつかの他のスイッチ、デバイスまたは
アクチュエータを使用可能あるいは使用不可能にすることができる。
【0040】 本発明を、カラーまたはモノクロのカメラで使用することができる。カラー・
ビデオ入力では、本発明の動き検出システムが、使用中のカラー・スキームに応
じて画素に割り当てられた1つまたは複数の値のいずれかに対して演算すること
ができる。たとえば、動き検出システムが、各画素のフル・カラー値に対して演
算することができ、あるいは、これが、ビデオ信号の輝度部分のみに対して演算
することができる。各ビデオ画素の輝度値のみに対して演算することによって、
本発明を実施するシステムのコストおよび複雑さを、フル・カラー処理を実行す
るシステムに比較して低減することができる。輝度情報のみを処理することは有
効な最適化であり、これは、そうすることが動き検出システムの有効性を減らさ
ないからである。
【0041】 図1は、本発明の一実施形態の概略図である。図1に示された構成要素を、ハ
ードウェア、ソフトウェア、および/またはそれらの組み合わせにおいて実施す
ることができる。
【0042】 図1の実施形態では、ビデオ・カメラ110が、デジタイザ/復号器130に
よってデジタル化され復号されるアナログ・ビデオ・ストリームを提供する。入
力ビデオ・フレームのデジタル化に加えて、デジタイザ/復号器130が、画素
、画素の列(すなわち、ビデオ走査線)、および画素の配列(すなわち、ビデオ
・フレーム/フィールド)がシステムの他の構成要素で使用可能であるときを指
示する、1組の同期化信号も生成する。
【0043】 デジタル化されたビデオ・データ(現在の入力ビデオ・フレームの画素からな
る)は、同時に画素差分器150およびフレーム記憶装置140へ送信される。
画素差分器150が、現在の画素の値を、現在の参照フレーム144における対
応する画素の値から引き、結果の絶対値を2値しきい値処理ユニット160へ送
信する。2値しきい値処理ユニット160が、入力画素と参照画素の間の差分の
絶対値をしきい値と比較し、差分が著しいかどうかを指示する2値を出す。この
2値が差分カウンタ165へ送信され、これが、現在の参照フレームにおける対
応する画素と著しく異なる各フレームのための画素の数のカウントを保つ。
【0044】 入力ビデオ・フレームの最後の画素が到着したとき、デジタイザ/復号器13
0が、フレームの終了を指示する同期化信号を生成する。フレーム信号の終了を
受信したとき、動き検出器180は現在のフレームを解析して、動きが起こった
かどうかを判定する。動き検出器180が、入力フレームの差分カウント(差分
カウンタ165から)、および現在の動き底値(適応的動き底計算ユニット19
0から)を見て、最新のフレームが(参照フレームに関して)著しい動きを有す
るかどうかを判定する。フレームの差分カウントの値が現在の動き底値を、所与
のしきい値より大きい量だけ上回る場合、動き指示信号が動き検出器180によ
って生成される。動き指示信号が、動きが後続のフレームについて検出されない
ようになるまで、生成される。
【0045】 ビデオ・フレームのための動き検出機能の完了の後に続いて、差分カウンタ1
65がゼロにリセットされ、適応的動き底計算ユニット190がその値を更新し
、新参照フレーム選択器170が、現在の参照フレーム144が次の参照フレー
ム142と置換されるべきかどうかを指示する。一実施形態では、動きが検出さ
れたフレームの後に動きが検出されないフレームが続くときは、新参照フレーム
選択器170が新しいフレームを選択する。次いで、動きが検出されなかったフ
レームが新しい参照フレームとして選択される。
【0046】 適応的動き底計算ユニット190が、現在のフレームに先行するフレームの数
のための差分カウントのレコードを維持し、ビデオ・シーケンスにおける動きの
平均の現在量の有効な測度を決定する。この動き値の現在の平均量が、動き検出
器180に、どれだけの活動が現在の「標準」であるかの測度を提供する。動き
の現在の平均量を知ることにより、本発明が、変化する長期的な動き状態に適合
することができる。すなわち、ある期間に多くの動きがあったときに、動きに対
してあまり感度が高くなくなり、ほとんど動きがなかったときに、より感度が高
くなる。
【0047】 入力フレームの画素が、フレーム記憶装置140の次の参照フレーム位置14
2に格納される。画素をフレーム記憶装置140に格納する、適切な画素アドレ
スの生成が、画素アドレス生成ロジック120によって行われ、これが、デジタ
イザ130によって生成された入力画素のクロック信号で調整して画素アドレス
を順番付ける。新参照フレーム選択器170が、次および現在の参照フレームが
交換されるべきであると指示する場合、次の参照フレーム142に格納された現
在のフレームが、現在の参照フレーム140へ転送される。新参照フレーム選択
器170が、次および現在の参照フレームが交換されるべきであると指示しない
場合、次の参照フレーム142が、次の入力フレームの画素によって上書きされ
る。
【0048】 図2は、本発明の一実施形態を例示し、これは重みを特定の画素および/また
は画素のグループに割り当てる能力を含む。図1の実施形態では、画素差分器1
50が入力と参照画素の間の差分を一定のしきい値に対して比較していた。図2
の実施形態では、各画素位置に、異なるしきい値を割り当てることができる。入
力画素の値と参照画素の値の間の差分がその画素のための特定のしきい値を超え
る場合にのみ、各入力画素がそれに対応する参照画素と異なるとされる。図2の
実施形態では、したがって、2値しきい値ユニット160が各画素につき2つの
値を受信する。すなわち、入力画素の値とそれに対応する参照画素の値の間の差
分の絶対値、および、画素重みユニット200からのその画素に適用可能なしき
い値である。画素差分器ユニット150によって提供された差分が、画素重みユ
ニット200によって提供されたしきい値を超えるときにのみ、2値しきい値ユ
ニット160が差分の指示を差分カウンタ165に出す。
【0049】 図4は、本発明の1つまたは複数の実施形態で使用される処理のブロック図で
ある。
【0050】 図4に示すように、ステップ400でビデオ・ストリームが受信される。ビデ
オ・ストリームは、たとえば、ビデオ・カメラから受信することができる。ステ
ップ405で、ビデオ・ストリームの次のフレームがデジタル化される。ステッ
プ410で、デジタル化されたビデオ・フレームの次の画素が画素差分器へ、か
つ、フレーム記憶装置へ提供される。ステップ415で、画素の値、および、参
照フレームにおけるその対応する画素の値における差分が決定される。同時に、
ステップ420で、画素が、フレーム記憶装置の「次の参照フレーム」部分にお
ける適切な位置に格納される。
【0051】 ステップ415で画素差分が決定された後、ステップ425で、画素差分が著
しいかどうかについての決定が行われる。図1および図2の実施形態に関して記
載された方法、または他の適切な方法を使用して、画素差分が著しいかどうかを
判定することができる。画素差分が著しいと決定される場合、ステップ430で
、現在のフレームの著しく異なる画素の数を計数する画素差分カウンタが増分さ
れ、処理がステップ435へ進行する。画素差分が著しくないと決定される場合
、処理が直接ステップ435へ進行する。
【0052】 ステップ435で、現在の画素が現在のフレームの最後の画素であるかどうか
についての決定が行われる。このような決定は、たとえば、図1および図2の実
施形態のデジタイザ/復号器130によって生成されたフレーム信号の終了に基
づいて行うことができる。現在の画素が現在のフレームの最後の画素でないと決
定される場合、処理がステップ410へ戻り、次の画素が画素差分器およびフレ
ーム記憶装置へ提供される。現在の画素が最後の画素であると決定される場合、
処理がステップ440へ進行する。
【0053】 ステップ440で、画素差分カウンタによって生成された現在のフレームのた
めの差分カウントが、システムによって使用された動き検出基準と比較されて、
動きが起こったかどうかが決定される。先に記載された動き検出基準のいずれも
、他の基準と同様に使用することできる。
【0054】 ステップ445で、動き検出基準に従って、動きが検出されたかどうかについ
ての決定が行われる。動きが検出された場合、ステップ450で動き検出信号が
出され、処理がステップ455へ進行する。動きが検出されなかった場合、処理
が直接ステップ455へ進行する。
【0055】 ステップ455で、新しい参照フレームが選択されるかどうかについての決定
が行われる。たとえば、動きが検出されたフレームの後の、動きが検出されなか
った第1のフレームの発生に応じて、新しい参照フレームを選択する、先に記載
された方法を使用することができる。新しい参照フレームが選択されると決定さ
れる場合、フレーム記憶装置の新しい参照フレーム位置における現在のフレーム
が、新しい参照フレームとして選択され、処理がステップ465へ進行する。新
しい参照フレームが選択されないと決定される場合、処理が直接ステップ465
へ進行する。
【0056】 ステップ465で、動き底値が、現在のフレームによって提示された動きの量
に基づいて再計算される。ステップ470で、画素差分カウンタがゼロにされ、
処理がステップ405へ戻り、そこでビデオ・ストリームの次のフレームがデジ
タル化される。
【0057】 本発明の1つまたは複数の実施形態のすべてまたは一部を、図5に例示したコ
ンピュータ500などの汎用コンピュータ上で実行されるコンピュータ可読コー
ドの形式において、あるいは、このようなコンピュータ上で動作するJavaTM 実行時間環境内で実行可能なバイトコード・クラス・ファイルの形式において、
コンピュータ・ソフトウェアとして実施することができる。キーボード510お
よびマウス511が、双方向システム・バス518に結合される。キーボードお
よびマウスは、ユーザ入力をコンピュータ・システムへ導入し、このユーザ入力
をプロセッサ513へ送るためのものである。他の適した入力デバイスを、マウ
ス511およびキーボード510に加えて、あるいはそれらの代りに使用するこ
とができる。双方向システム・バス518に結合されたI/O(入力/出力)ユ
ニット519が、プリンタ、A/V(オーディオ/ビデオ)I/O、ビデオ・キ
ャプチャおよびデジタイザ・ボードなどのようなI/O要素を表す。
【0058】 コンピュータ500が、ビデオ・メモリ514、メイン・メモリ515および
大容量記憶装置512を含み、すべてが双方向システム・バス518へ、キーボ
ード510、マウス511およびプロセッサ513と共に結合される。大容量記
憶装置512は、磁気、光学または光磁気記憶システム、または他のいかなる使
用可能な大容量記憶技術など、固定および取外し可能媒体を共に含むことができ
る。バス518は、たとえば、ビデオ・メモリ514またはメイン・メモリ51
5をアドレス指定するための32本のアドレス線を含むことができる。システム
・バス518は、たとえば、プロセッサ513、メイン・メモリ515、ビデオ
・メモリ514および大容量記憶装置512などの構成要素の間でデータを転送
するための、32ビット・データ・バスも含む。別法として、多重データ/アド
レス線を、別々のデータおよびアドレス線の代りに使用することができる。
【0059】 本発明の一実施形態では、プロセッサ513は、Motorolaによって製
造された、680×0プロセッサなどのマイクロプロセッサ、または、Inte
lによって製造された、80×86などのマイクロプロセッサ、またはPent
iumプロセッサ、または、Sun MicrosystemsTM,Inc.に
よるSPARCTMマイクロプロセッサである。しかし、他のいかなる適したマイ
クロプロセッサまたはマイクロコンピュータも利用することができる。メイン・
メモリ515は、ダイナミック・ランダム・アクセス・メモリ(DRAM)から
なる。ビデオ・メモリ514は、デュアル・ポートのビデオ・ランダム・アクセ
ス・メモリである。ビデオ・メモリ514の一方のポートがビデオ増幅器516
に結合される。ビデオ増幅器516は、陰極線管(CRT)ラスタ・モニタ51
7を駆動するために使用される。ビデオ増幅器516は当技術分野でよく知られ
ており、いかなる適した装置によっても実施することができる。この回路が、た
とえば、スライダの1つまたは複数の実施形態を表す画素データおよび本発明の
データ・フィールドを含むことができる、ビデオ・メモリ514に格納された画
素データを、モニタ517によって使用するために適したラスタ信号に変換する
。モニタ517は、グラフィック画像を表示するために適したモニタのタイプで
ある。
【0060】 コンピュータ500は、バス518に結合された通信インタフェース520も
含むことができる。通信インタフェース520が、ネットワーク・リンク521
を介してローカル・ネットワーク522に結合する双方向データ通信を提供する
。たとえば、通信インタフェース520が総合サービス・デジタル網(ISDN
)カードまたはモデムである場合、通信インタフェース520が、対応するタイ
プの電話回線へのデータ通信接続を提供し、これがネットワーク・リンク521
の一部を含む。通信インタフェース520がローカル・エリア・ネットワーク(
LAN)カードである場合、通信インタフェース520が、ネットワーク・リン
ク521を介して、互換性のあるLANへのデータ通信接続を提供する。無線リ
ンクも可能である。このようないかなる実装においても、通信インタフェース5
20が電気、電磁または光信号を送受信し、これが様々なタイプの情報を表すデ
ジタル・データ・ストリームを搬送する。
【0061】 ネットワーク・リンク521は、典型的には、1つまたは複数のネットワーク
を通じて他のデータ・デバイスへのデータ通信を提供する。たとえば、ネットワ
ーク・リンク521が、ローカル・ネットワーク522を通じてローカル・サー
バ・コンピュータ523へ、あるいは、インターネット・サービス・プロバイダ
(ISP)524によって操作されたデータ装置へ接続することができる。IS
P524は、現在一般に「インターネット」と呼ばれる、全世界のパケット・デ
ータ通信ネットワーク525を通じてデータ通信サービスを提供する。ローカル
・ネットワーク522とインターネット525が共に、電気、電磁または光信号
を使用し、これがデジタル・データ・ストリームを搬送する。様々なネットワー
クを通じた信号およびネットワーク・リンク521上かつ通信インタフェース5
20を通じた信号は、デジタル・データをコンピュータ500へ、かつ、そこか
ら搬送し、情報を移送する搬送波の例示的形式である。
【0062】 コンピュータ500が、ネットワーク、ネットワーク・リンク521、および
通信インタフェース520を通じて、プログラム・コードを含むメッセージを送
信してデータを受信することができる。インターネットの例では、リモート・サ
ーバ・コンピュータ526が、アプリケーション・プログラムのために要求され
たコードを、インターネット525、ISP524、ローカル・ネットワーク5
22および通信インタフェース520を通じて伝送することができる。本発明に
よれば、1つのこのようなダウンロードされたアプリケーションが、本明細書に
記載されたデータを選択する方法を実施するアプリケーションである。
【0063】 受信されたコードは、受信されるときにプロセッサ513によって実行される
ことが可能であり、かつ/または、大容量記憶装置512または他の不揮発性記
憶装置において後の実行のために格納される。この方法で、コンピュータ500
が、アプリケーション・コードを搬送波の形式で得ることができる。
【0064】 アプリケーション・コードを、いかなる形式のコンピュータ・プログラム製品
にも組み込むことができる。コンピュータ・プログラム製品は、コンピュータ可
読コードを格納あるいは移送するように構成されているか、あるいは、コンピュ
ータ可読コードを組み込むことができる、媒体を含む。コンピュータ・プログラ
ム製品のいくつかの例は、CD−ROMディスク、ROMカード、フロッピー・
ディスク、磁気テープ、コンピュータ・ハード・ドライブ、ネットワーク上のサ
ーバ、および搬送波である。
【0065】 上述のコンピュータ・システムは、例のためのものにすぎない。本発明の一実
施形態は、組込みプロセッサおよびコントローラおよびLCDディスプレイを使
用する器具および電子デバイスを含むいかなるタイプのコンピュータ・システム
またはプログラミングまたは処理環境においても実施することができる。
【0066】 したがって、ビデオにおける動きを検出する方法および装置を提示した。本発
明をある例の実施形態に関して記載したが、本発明がこれらの特定の実施形態に
限定されないことが、当業者には明らかになるであろう。たとえば、本発明を画
像フレームの画素に操作を加えることとして記載したが、本発明は他の画像要素
、たとえば、画素のグループなどに操作を加えることができる。さらに、ある実
施形態の動きを、ある詳細な処理ステップを使用して詳細に記載したが、本発明
の範囲から逸脱することなく、ステップのいくつかを省略することができ、ある
いは、他の類似のステップを代りに使用することができる。本発明の発明の特徴
を組み込む他の実施形態が、当業者には明らかになるであろう。本発明は、特許
請求の範囲およびそれらの全範囲の等価物によって定義される。
【図面の簡単な説明】
【図1】 本発明の一実施形態の概略図である。
【図2】 本発明の一実施形態の概略図である。
【図3】 位相のずれの図である。
【図4】 本発明の一実施形態で使用された処理を示す流れ図である。
【図5】 本発明を実施するために使用することができるコンピュータ・システムの概略
図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,UG,ZW),E A(AM,AZ,BY,KG,KZ,MD,RU,TJ ,TM),AE,AL,AM,AT,AU,AZ,BA ,BB,BG,BR,BY,CA,CH,CN,CU, CZ,DE,DK,EE,ES,FI,GB,GD,G E,GH,GM,HR,HU,ID,IL,IN,IS ,JP,KE,KG,KP,KR,KZ,LC,LK, LR,LS,LT,LU,LV,MD,MG,MK,M N,MW,MX,NO,NZ,PL,PT,RO,RU ,SD,SE,SG,SI,SK,SL,TJ,TM, TR,TT,UA,UG,UZ,VN,YU,ZA,Z W (71)出願人 2550 Garcia Avenue,MS PAL1−521,Mountain V iew,California 94043− 1100,United States of America (72)発明者 ノースカット,ジェイ・デュアン アメリカ合衆国・94025・カリフォルニア 州・メンロ パーク・セミナリー ドライ ブ・184 (72)発明者 ウォール,ジェラルド・エイ アメリカ合衆国・95136・カリフォルニア 州・サン ホゼ・クロッカス ドライブ・ 4514 (72)発明者 ブッチャー,ローレンス・エル アメリカ合衆国・94040・カリフォルニア 州・マウンテン ビュー・コリンズ コー ト・4315・アパートメント 8 Fターム(参考) 5C021 PA53 PA66 PA79 PA87 RA01 RB06 SA24 【要約の続き】 のフレームの後に起こるとき、新しい参照フレームが選 択される。

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 入力ビデオ信号をデジタル化して、画像要素を含むデジタル
    化された入力ビデオ・フレームを生成するステップと、 第1の入力ビデオ・フレームの前記画像要素の値を参照フレームの対応する画
    像要素の値と比較することによって、前記第1の入力ビデオ・フレームの複数の
    前記画像要素の各々の差分値を得るステップと、 前記差分値を前記画像要素の差分値しきい値と比較するステップと、 差分値が前記画像要素の前記差分値しきい値を超える、各画像要素のカウント
    を維持するステップと、 前記画像要素のカウントが、前記第1の入力ビデオ・フレームに適用可能な第
    1の差分カウントしきい値を超えるとき、動き検出指示を生成するステップと を含むビデオにおける動きを検出する方法。
  2. 【請求項2】 差分値を得る前記ステップが、負数でない差分値を得ること
    を含む請求項1に記載の方法。
  3. 【請求項3】 前記得る、比較する、および維持するステップを第2の入力
    ビデオ・フレームについて繰り返すステップと、 前記第1の入力ビデオ・フレームの前記画像要素のカウントが、前記第1の差
    分カウントしきい値を超え、前記第2の入力ビデオ・フレームの前記画像要素の
    カウントが、前記第2の入力ビデオ・フレームに適用可能な第2の差分カウント
    しきい値よりも小さいとき、前記第2の入力ビデオ・フレームを参照フレームと
    して選択するステップとをさらに含む請求項1に記載の方法。
  4. 【請求項4】 前記画像要素が画素のグループを含む請求項1に記載の方法
  5. 【請求項5】 前記画像要素が単一画素を含む請求項1に記載の方法。
  6. 【請求項6】 同じ差分値しきい値が、前記第1の入力ビデオ・フレームの
    複数の隣接する画像要素に適用可能である請求項1に記載の方法。
  7. 【請求項7】 前記第2の差分カウントしきい値を前記第1の差分カウント
    しきい値から導出するステップをさらに含む請求項3に記載の方法。
  8. 【請求項8】 ビデオ入力を得るビデオ入力デバイスと、 前記ビデオ入力を受信するため、および画像要素を含むデジタル化されたビデ
    オ入力フレームを生成するデジタイザと、 前記入力フレームの複数の画像要素と、対応する参照フレームの対応する画像
    要素との間の差分値を得る差分器と、 前記各差分値について、前記差分値が対応する差分しきい値を超えるかどうか
    を判定するしきい値処理器と、 前記差分値が前記対応する差分しきい値を超える、前記画像要素の数を計数す
    る差分カウンタと、 前記画像要素の前記数が対応する差分カウントしきい値を超えるとき、動き検
    出インジケータを出す動き検出器と を含む動き検出システム。
  9. 【請求項9】 前記ビデオ入力デバイスがビデオ・カメラを含む請求項8に
    記載の動き検出システム。
  10. 【請求項10】 前記差分値が輝度差分値を含む請求項8に記載の動き検出
    システム。
  11. 【請求項11】 差分カウントしきい値生成器をさらに含む請求項8に記載
    の動き検出システム。
  12. 【請求項12】 適応的差分カウントしきい値生成器をさらに含む請求項8
    に記載の動き検出システム。
  13. 【請求項13】 画像要素を選択するため、および差分しきい値を前記選択
    された要素に割り当てるための画像要素選択器をさらに含む請求項8に記載の動
    き検出システム。
  14. 【請求項14】 ビデオにおける動きを検出するコンピュータ・プロセッサ
    可読プログラム・コードを組み込んでいるコンピュータ・プロセッサ使用可能媒
    体を含み、前記コンピュータ・プロセッサ可読プログラム・コードは、 コンピュータ・プロセッサに、入力ビデオ信号をデジタル化して、画像要素を
    含むデジタル化された入力ビデオ・フレームを生成させるように構成された、コ
    ンピュータ・プロセッサ可読プログラム・コードと、 コンピュータ・プロセッサに、第1の入力ビデオ・フレームの前記画像要素の
    値を参照フレームの対応する画像要素の値と比較することによって、前記第1の
    入力ビデオ・フレームの複数の前記画像要素の各々の差分値を得させるように構
    成された、コンピュータ・プロセッサ可読プログラム・コードと、 コンピュータ・プロセッサに、前記差分値を前記画像要素の差分値しきい値と
    比較させるように構成された、コンピュータ・プロセッサ可読プログラム・コー
    ドと、 コンピュータ・プロセッサに、差分値が前記画像要素の前記差分値しきい値を
    超える、各画像要素のカウントを維持させるように構成された、コンピュータ・
    プロセッサ可読プログラム・コードと、 コンピュータ・プロセッサに、前記画像要素のカウントが、前記第1の入力ビ
    デオ・フレームに適用可能な第1の差分カウントしきい値を超えるとき、動き検
    出指示を生成させるように構成された、コンピュータ・プロセッサ可読プログラ
    ム・コードと を含むコンピュータ・プログラム製品。
  15. 【請求項15】 コンピュータ・プロセッサに差分値を得させるように構成
    された前記コンピュータ・プロセッサ可読プログラム・コードが、コンピュータ
    ・プロセッサに負数でない差分値を得させるように構成されたコンピュータ・プ
    ロセッサ可読プログラム・コードを含む請求項14に記載のコンピュータ・プロ
    グラム製品。
  16. 【請求項16】 コンピュータ・プロセッサに、第2の入力ビデオ・フレー
    ムの複数の前記各画像要素の差分値を、前記第2の入力ビデオ・フレームの前記
    画像要素の値を参照フレームの対応する画像要素の値と比較することによって得
    させるように構成されたコンピュータ・プロセッサ可読プログラム・コードと、 コンピュータ・プロセッサに、前記差分値を前記画像要素の差分値しきい値と
    比較させるように構成された、コンピュータ・プロセッサ可読プログラム・コー
    ドと、 コンピュータ・プロセッサに、差分値が前記画像要素の前記差分値しきい値を
    超える各画像要素のカウントを維持させるように構成された、コンピュータ・プ
    ロセッサ可読プログラム・コードと、 コンピュータ・プロセッサに、第1の入力ビデオ・フレームの複数の前記各画
    像要素の差分値を、前記第1の入力ビデオ・フレームの前記画像要素の値を参照
    フレームの対応する画像要素の値と比較することによって得させるように構成さ
    れた、コンピュータ・プロセッサ可読プログラム・コードと、 コンピュータ・プロセッサに、前記差分値を前記画像要素の差分値しきい値と
    比較させるように構成された、コンピュータ・プロセッサ可読プログラム・コー
    ドと、 コンピュータ・プロセッサに、前記第1の入力ビデオ・フレームの前記画像要
    素のカウントが、前記第1の差分カウントしきい値を超え、前記第2の入力ビデ
    オ・フレームの前記画像要素のカウントが、前記第2の入力ビデオ・フレームに
    適用可能な第2の差分カウントしきい値よりも小さいとき、前記第2の入力ビデ
    オ・フレームを参照フレームとして選択させるように構成された、コンピュータ
    ・プロセッサ可読プログラム・コードとをさらに含む請求項14に記載のコンピ
    ュータ・プログラム製品。
  17. 【請求項17】 前記画像要素が画素のグループを含む請求項14に記載の
    コンピュータ・プログラム製品。
  18. 【請求項18】 前記画像要素が単一画素を含む請求項14に記載のコンピ
    ュータ・プログラム製品。
  19. 【請求項19】 同じ差分値しきい値が、前記第1の入力ビデオ・フレーム
    の複数の隣接する画像要素に適用可能である請求項14に記載のコンピュータ・
    プログラム製品。
  20. 【請求項20】 コンピュータ・プロセッサに、前記第2の差分カウントし
    きい値を前記第1の差分カウントしきい値から導出させるように構成された、コ
    ンピュータ・プロセッサ可読プログラム・コードをさらに含む請求項16に記載
    のコンピュータ・プログラム製品。
JP2000557607A 1998-06-30 1999-06-30 ビデオにおける動きの検出のための方法および装置 Expired - Lifetime JP4422334B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/108,066 US6493041B1 (en) 1998-06-30 1998-06-30 Method and apparatus for the detection of motion in video
US09/108,066 1998-06-30
PCT/US1999/014917 WO2000001140A1 (en) 1998-06-30 1999-06-30 Method and apparatus for the detection of motion in video

Publications (2)

Publication Number Publication Date
JP2002519949A true JP2002519949A (ja) 2002-07-02
JP4422334B2 JP4422334B2 (ja) 2010-02-24

Family

ID=22320094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000557607A Expired - Lifetime JP4422334B2 (ja) 1998-06-30 1999-06-30 ビデオにおける動きの検出のための方法および装置

Country Status (7)

Country Link
US (1) US6493041B1 (ja)
EP (1) EP1095506B1 (ja)
JP (1) JP4422334B2 (ja)
AT (1) ATE354251T1 (ja)
AU (1) AU5087299A (ja)
DE (1) DE69935144T2 (ja)
WO (1) WO2000001140A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139753A (ja) * 2004-11-10 2006-06-01 Lg Electronics Inc 移動ロボットの動き追跡装置及びその動き追跡方法
JP2007053697A (ja) * 2005-08-19 2007-03-01 Toshiba Corp デジタルノイズ低減装置及び方法及び映像信号処理装置
JP2008511857A (ja) * 2004-09-03 2008-04-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Lcdビデオ/グラフィックスプロセッサ用の安価なモーションブラー低減(エコオーバドライブ)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3725784B2 (ja) * 1998-08-07 2005-12-14 コリア インスティテュート オブ サイエンス アンド テクノロジー 色フレームイメージシーケンスで移動体を検出する装置及び方法
JP3688489B2 (ja) * 1998-12-25 2005-08-31 株式会社東芝 画像認識方法および画像認識装置
US6707488B1 (en) * 1999-05-04 2004-03-16 Avtandil N. Anuashvili Method of detecting a moving target using background radiation
JP3241028B2 (ja) * 1999-12-22 2001-12-25 日本電気株式会社 画像撮像装置及びその画像撮像方法
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US20010035976A1 (en) * 2000-02-15 2001-11-01 Andrew Poon Method and system for online presentations of writings and line drawings
US6891566B2 (en) 2000-03-14 2005-05-10 Joseph Robert Marchese Digital video system using networked cameras
JP3487259B2 (ja) * 2000-05-22 2004-01-13 日本電気株式会社 映像表示装置とその表示方法
JP2002142192A (ja) * 2000-11-01 2002-05-17 Sony Corp 信号処理装置および方法、ならびに、記録装置および方法
IL160760A0 (en) * 2001-09-07 2004-08-31 Intergraph Hardware Tech Co Image stabilization using color matching
KR20040099250A (ko) * 2002-04-17 2004-11-26 마츠시타 덴끼 산교 가부시키가이샤 모션검출장치, 화상처리 시스템, 모션검출방법, 프로그램및 기록매체
BR0312458A (pt) 2002-07-05 2005-04-19 Aspectus Ltd Método e sistema para efetuar a detecção de eventos e rastreamento de objetos em fluxos de imagens
US7269220B2 (en) * 2002-07-16 2007-09-11 Broadcom Corporation Adaptive motion detection and control
US7362374B2 (en) * 2002-08-30 2008-04-22 Altera Corporation Video interlacing using object motion estimation
US7489802B2 (en) * 2002-09-10 2009-02-10 Zeev Smilansky Miniature autonomous agents for scene interpretation
US7274387B2 (en) * 2002-10-15 2007-09-25 Digicomp Research Corporation Automatic intrusion detection system for perimeter defense
WO2005017781A1 (en) * 2003-07-25 2005-02-24 Sony Electronics Inc. Video content scene change determination
US20050078747A1 (en) * 2003-10-14 2005-04-14 Honeywell International Inc. Multi-stage moving object segmentation
US7454068B2 (en) * 2003-11-12 2008-11-18 International Business Machines Corporation System and method for providing black white image compression
US20050105789A1 (en) * 2003-11-17 2005-05-19 Isaacs Hugh S. Method and apparatus for detecting, monitoring, and quantifying changes in a visual image over time
NZ536913A (en) * 2003-12-03 2006-09-29 Safehouse Internat Inc Displaying graphical output representing the topographical relationship of detectors and their alert status
US20050163345A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
GB2408879A (en) * 2003-12-03 2005-06-08 Safehouse Internat Inc Storing data recorded over a period of time
GB2456951B (en) * 2003-12-03 2009-12-16 Safehouse Internat Inc Recording a sequence of images
US7664292B2 (en) 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
AU2004233453B2 (en) * 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
US7515758B2 (en) * 2004-02-03 2009-04-07 International Business Machines Corporation Black white image compression having print density control
WO2005096215A1 (en) * 2004-03-24 2005-10-13 Cernium, Inc. Improvement in video analysis using segmentation gain by area
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
US20060062478A1 (en) * 2004-08-16 2006-03-23 Grandeye, Ltd., Region-sensitive compression of digital video
US20060114322A1 (en) * 2004-11-30 2006-06-01 Romanowich John F Wide area surveillance system
US7830552B2 (en) * 2005-04-15 2010-11-09 International Business Machines Corporation Black white image scaling having print density control and polarity detection
US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
KR20070047551A (ko) * 2005-11-02 2007-05-07 엘지전자 주식회사 플라즈마 디스플레이 장치
US9166883B2 (en) 2006-04-05 2015-10-20 Joseph Robert Marchese Network device detection, identification, and management
US20070252895A1 (en) * 2006-04-26 2007-11-01 International Business Machines Corporation Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images
US8045761B2 (en) * 2006-05-30 2011-10-25 Intelliview Technologies Inc. Detection of environmental conditions in a sequence of images
CN101166267B (zh) * 2006-10-20 2010-11-24 鸿富锦精密工业(深圳)有限公司 视频监控记录系统及方法
US20090041344A1 (en) * 2007-08-08 2009-02-12 Richard John Campbell Methods and Systems for Determining a Background Color in a Digital Image
TW200926011A (en) * 2007-09-04 2009-06-16 Objectvideo Inc Background modeling with feature blocks
US8630497B2 (en) * 2007-11-27 2014-01-14 Intelliview Technologies Inc. Analyzing a segment of video
US8831090B2 (en) 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
WO2010124062A1 (en) 2009-04-22 2010-10-28 Cernium Corporation System and method for motion detection in a surveillance video
EP2290628B1 (de) 2009-08-25 2017-03-08 ALDI SÜD Dienstleistungs-GmbH & Co. oHG Verfahren zur Videoüberwachung von Räumen
US8437505B2 (en) * 2009-12-17 2013-05-07 Lifesize Communications, Inc. Detection of local motion between image frames
US20110221895A1 (en) * 2010-03-10 2011-09-15 Vinay Sharma Detection of Movement of a Stationary Video Camera
TWI466068B (zh) * 2011-03-10 2014-12-21 Hon Hai Prec Ind Co Ltd 監控影像偵測系統及方法
US8989448B2 (en) * 2011-03-22 2015-03-24 Morpho, Inc. Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
WO2013056200A1 (en) * 2011-10-14 2013-04-18 Brightsentry, Inc. Method and apparatus for video compression of stationary scenes
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
JP2014071832A (ja) * 2012-10-01 2014-04-21 Toshiba Corp 物体検出装置及びその検出方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
CA2847707C (en) 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN106878668B (zh) * 2015-12-10 2020-07-17 微软技术许可有限责任公司 对物体的移动检测
WO2017099935A1 (en) * 2015-12-10 2017-06-15 Microsoft Technology Licensing, Llc Motion detection of object
TWI569212B (zh) 2015-12-10 2017-02-01 財團法人工業技術研究院 影像辨識方法
US11545013B2 (en) * 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
US10891839B2 (en) 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US12096156B2 (en) 2016-10-26 2024-09-17 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US20180204344A1 (en) * 2017-01-17 2018-07-19 Thika Holdings Llc Method and system for data encoding from media for mechanical output
WO2018220282A1 (en) * 2017-06-02 2018-12-06 Tampereen Yliopisto Analysis of myocyte contraction characteristics
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10593049B2 (en) 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion
US10497282B1 (en) 2018-10-31 2019-12-03 International Business Machines Corporation Physical movement simulation on a display device
EP3878187A4 (en) 2018-11-07 2022-08-10 Genetec Inc. METHODS AND SYSTEMS FOR DETECTING ABNORMAL MOTION IN A VIDEO STREAM AND PRODUCING A VIDEO SUMMARY
KR102584521B1 (ko) * 2019-02-15 2023-10-05 한화비전 주식회사 움직임 검출을 수행하는 방법 및 움직임 검출을 수행하는 영상처리장치
US11288819B2 (en) * 2019-06-28 2022-03-29 Cognex Corporation Systems and methods for detecting motion during 3D data reconstruction
US11893753B2 (en) * 2019-08-27 2024-02-06 Pixart Imaging Inc. Security camera and motion detecting method for security camera
US10839242B1 (en) * 2019-11-12 2020-11-17 Raymond Wu Single-chip solution with smart recognition by feature extraction of embedded image sensor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2031686B (en) * 1978-09-14 1983-02-02 Micro Consultants Ltd Movement detection
US4661853A (en) 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
JP2765674B2 (ja) * 1993-12-16 1998-06-18 インターナショナル・ビジネス・マシーンズ・コーポレイション データ供給装置
US5627905A (en) * 1994-12-12 1997-05-06 Lockheed Martin Tactical Defense Systems Optical flow detection system
US5886741A (en) * 1995-08-18 1999-03-23 Texas Instruments Incorporated Method and apparatus for improved video coding using a zero block predictor module
US5731832A (en) 1996-11-05 1998-03-24 Prescient Systems Apparatus and method for detecting motion in a video signal
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US6108041A (en) * 1997-10-10 2000-08-22 Faroudja Laboratories, Inc. High-definition television signal processing for transmitting and receiving a television signal in a manner compatible with the present system
US6061088A (en) * 1998-01-20 2000-05-09 Ncr Corporation System and method for multi-resolution background adaptation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008511857A (ja) * 2004-09-03 2008-04-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Lcdビデオ/グラフィックスプロセッサ用の安価なモーションブラー低減(エコオーバドライブ)
US8711072B2 (en) 2004-09-03 2014-04-29 Entropic Communications, Inc. Motion blur reduction for LCD video/graphics processors
JP2006139753A (ja) * 2004-11-10 2006-06-01 Lg Electronics Inc 移動ロボットの動き追跡装置及びその動き追跡方法
JP2007053697A (ja) * 2005-08-19 2007-03-01 Toshiba Corp デジタルノイズ低減装置及び方法及び映像信号処理装置
JP4693546B2 (ja) * 2005-08-19 2011-06-01 株式会社東芝 デジタルノイズ低減装置及び方法及び映像信号処理装置

Also Published As

Publication number Publication date
DE69935144D1 (de) 2007-03-29
ATE354251T1 (de) 2007-03-15
US6493041B1 (en) 2002-12-10
JP4422334B2 (ja) 2010-02-24
DE69935144T2 (de) 2007-10-31
AU5087299A (en) 2000-01-17
WO2000001140A1 (en) 2000-01-06
EP1095506B1 (en) 2007-02-14
EP1095506A1 (en) 2001-05-02

Similar Documents

Publication Publication Date Title
JP2002519949A (ja) ビデオにおける動きの検出のための方法および装置
US7015978B2 (en) System and method for real time insertion into video with occlusion on areas containing multiple colors
US7626639B2 (en) Method and apparatus for detecting noise in moving picture
US7466844B2 (en) Methods and apparatus to count people appearing in an image
US8224088B2 (en) Method for background generation and its system for video surveillance
US5072294A (en) Method and apparatus for analyzing a body having a marker located thereon
US6404461B1 (en) Method for detecting static areas in a sequence of video pictures
US20120213410A1 (en) Methods and apparatus for detecting a composition of an audience of an information presenting device
EP0823821A2 (en) System for analyzing movement patterns
US20030231787A1 (en) Monitoring system and monitoring method
JPH06121272A (ja) ビデオ順序の場面の変化を検出するシステムと方法
US20130162855A1 (en) Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
US7227897B2 (en) Motion vector detector and motion vector detecting method
KR20050086876A (ko) 모션 시퀀스 패턴 검출
JP4213035B2 (ja) オクルージョン領域を検出するオクルージョン検出器および方法
CN100375530C (zh) 一种运动检测方法
JPH08201464A (ja) テレビジョン映像信号のs/n値検出方法
US20040237096A1 (en) Automated in-home observation of user interactions with video devices
KR20050102126A (ko) 숏컷 검출
JP2011259324A (ja) 監視装置、監視プログラム及び監視方法
KR20050085567A (ko) 텔레비전 필드들에서 동시에 발생하는 필름 및 비디오의인식
JP2503613B2 (ja) 異常監視装置
CN112055168A (zh) 视频监控方法、系统及监控服务器
JPH04235489A (ja) 画像監視装置
JP2000101960A (ja) 静止画自動取込装置および静止画自動取込方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4422334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term