JP2000011134A - 移動量検出装置及びその方法 - Google Patents
移動量検出装置及びその方法Info
- Publication number
- JP2000011134A JP2000011134A JP17283898A JP17283898A JP2000011134A JP 2000011134 A JP2000011134 A JP 2000011134A JP 17283898 A JP17283898 A JP 17283898A JP 17283898 A JP17283898 A JP 17283898A JP 2000011134 A JP2000011134 A JP 2000011134A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving amount
- movement amount
- time
- minute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Abstract
(57)【要約】
【目的】 高速に得られる時系列画像から動き情報を求
める移動量検出装置を提供する。 【構成】 移動量検出装置１０は、画像入力部１２、画
像蓄積部１４、移動量検出部１６を有し、短い時間間隔
の画像間で近傍探索により微小移動量を求めるととも
に、この微小移動量を足し込むことによって長い時間間
隔の画像間での領域の移動量を安定に求める。
める移動量検出装置を提供する。 【構成】 移動量検出装置１０は、画像入力部１２、画
像蓄積部１４、移動量検出部１６を有し、短い時間間隔
の画像間で近傍探索により微小移動量を求めるととも
に、この微小移動量を足し込むことによって長い時間間
隔の画像間での領域の移動量を安定に求める。
Description
【０００１】
【発明の属する技術分野】本発明は、時系列画像を利用
して移動量を算出する移動量検出装置に係り、特に高速
撮影が可能なセンサによって撮影された画像から領域の
移動量を高精度に検出可能な移動量検出装置及びその方
法に関する。
して移動量を算出する移動量検出装置に係り、特に高速
撮影が可能なセンサによって撮影された画像から領域の
移動量を高精度に検出可能な移動量検出装置及びその方
法に関する。
【０００２】
【従来の技術】従来、外界の情報をコンピュータに入力
する手段としてはＣＣＤカメラが利用されることがほと
んどであり、カメラからコンピュータへのデータの転送
はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度
で行なわれていた。この為、計算機の能力が上がっても
画像の取り込み速度がネックとなり、画像情報に基づい
た高速な機器の制御を実現することは困難であった。
する手段としてはＣＣＤカメラが利用されることがほと
んどであり、カメラからコンピュータへのデータの転送
はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度
で行なわれていた。この為、計算機の能力が上がっても
画像の取り込み速度がネックとなり、画像情報に基づい
た高速な機器の制御を実現することは困難であった。
【０００３】これに対して、感度可変素子を利用した新
しいタイプのセンサを提案されている（特開平６−１３
９３６１号）。
しいタイプのセンサを提案されている（特開平６−１３
９３６１号）。
【０００４】この素子には画像処理回路が搭載されてお
り、簡単な画像処理を行なった結果を１秒間に１００枚
程度の割合で出力することが可能となっている。
り、簡単な画像処理を行なった結果を１秒間に１００枚
程度の割合で出力することが可能となっている。
【０００５】しかし、チップに搭載されているのはアナ
ログの処理回路であり、処理可能な演算は比較的簡単な
ものである。
ログの処理回路であり、処理可能な演算は比較的簡単な
ものである。
【０００６】例えば、ジェスチャー入力型インタラクテ
ィブゲーム（画像ラボ：１９９８年３月号）は、３２画
素×３２画素の人工網膜チップを利用して対象物体の動
きを求めているが、得られる動き情報は精度、個数とも
複雑な画像処理に利用するには不十分である。
ィブゲーム（画像ラボ：１９９８年３月号）は、３２画
素×３２画素の人工網膜チップを利用して対象物体の動
きを求めているが、得られる動き情報は精度、個数とも
複雑な画像処理に利用するには不十分である。
【０００７】また、スマート・ビジョン・センサが開発
されている（画像ラボ：１９９７年１２月号）。
されている（画像ラボ：１９９７年１２月号）。
【０００８】このセンサはデジタル回路を使って画像を
処理しており、領域のラベリングや重心計算などの簡単
な画像処理を高速に行なうことができる。しかし、この
センサはライン毎の並列処理性能に重点がおかれてお
り、２次元に広がる領域内の動き情報を高速に精度良く
求めることは困難である。
処理しており、領域のラベリングや重心計算などの簡単
な画像処理を高速に行なうことができる。しかし、この
センサはライン毎の並列処理性能に重点がおかれてお
り、２次元に広がる領域内の動き情報を高速に精度良く
求めることは困難である。
【０００９】これに対して、超並列・超高速視覚情報処
理システム（応用物理学会誌第６７巻第１号：石川他
著）は、デジタル処理を行なう回路をセンサに搭載して
２次元画像内の領域を１秒間に１０００枚の速度で追跡
することが可能である。しかし、このシステムは近傍演
算のみですべての画像処理をおこなうように設計されて
いるため、対象物体の複雑さや速度が増すと十分な精度
の演算結果を得ることが出来ない可能性がある。
理システム（応用物理学会誌第６７巻第１号：石川他
著）は、デジタル処理を行なう回路をセンサに搭載して
２次元画像内の領域を１秒間に１０００枚の速度で追跡
することが可能である。しかし、このシステムは近傍演
算のみですべての画像処理をおこなうように設計されて
いるため、対象物体の複雑さや速度が増すと十分な精度
の演算結果を得ることが出来ない可能性がある。
【００１０】今後はさらに前記のようなデジタル処理回
路を搭載したセンサの開発が進むと考えられ、１秒間に
１０００枚以上の速度でカラーや濃淡の画像を処理した
結果を出力できるようになると考えられる。
路を搭載したセンサの開発が進むと考えられ、１秒間に
１０００枚以上の速度でカラーや濃淡の画像を処理した
結果を出力できるようになると考えられる。
【００１１】このような事実を鑑みて、われわれは画像
を高速に取り込むと同時に処理することが可能なセンサ
に搭載可能である。時系列画像から高速に安定して領域
の移動量を検出するための手法を提案する。
を高速に取り込むと同時に処理することが可能なセンサ
に搭載可能である。時系列画像から高速に安定して領域
の移動量を検出するための手法を提案する。
【００１２】
【発明が解決しようとする課題】本発明は前記のような
点に鑑みなされたもので、高速画像入力が可能なセンサ
で道路などの背景と移動物体を撮影した際に、その画像
中の各領域の移動量を高精度に検出することのできる移
動量検出装置及びその方法を提供することを目的とす
る。
点に鑑みなされたもので、高速画像入力が可能なセンサ
で道路などの背景と移動物体を撮影した際に、その画像
中の各領域の移動量を高精度に検出することのできる移
動量検出装置及びその方法を提供することを目的とす
る。
【００１３】
【課題を解決するための手段】請求項１の発明は、時系
列画像を入力する画像入力手段と、前記画像入力手段に
入力した時系列画像における各画像中の所定領域の時系
列的な対応を、その所定領域の近傍部分の画像情報を用
いて求め、この求めた対応関係から所定領域の短い時間
間隔における微小移動量を算出し、この算出した前記所
定領域の微小移動量から、前記短い時間間隔より長い時
間間隔における前記所定領域の移動量を求める移動量検
出手段と、を具備したことを特徴とする移動量検出装置
である。
列画像を入力する画像入力手段と、前記画像入力手段に
入力した時系列画像における各画像中の所定領域の時系
列的な対応を、その所定領域の近傍部分の画像情報を用
いて求め、この求めた対応関係から所定領域の短い時間
間隔における微小移動量を算出し、この算出した前記所
定領域の微小移動量から、前記短い時間間隔より長い時
間間隔における前記所定領域の移動量を求める移動量検
出手段と、を具備したことを特徴とする移動量検出装置
である。
【００１４】請求項２の発明は、前記移動量検出手段
は、前記画像入力手段に入力した時系列画像の原寸の大
きさである原寸画像を利用して微小移動量を求め、前記
各原寸画像を縮小して縮小画像をそれぞれ形成し、前記
各縮小画像を利用して微小移動量を求め、前記原寸画像
の微小移動量と前記縮小画像の微小移動量との移動距離
を正規化して、これら正規化した微小移動量を足し合わ
せて微小移動量を求めることを特徴とする請求項１記載
の移動量検出装置である。
は、前記画像入力手段に入力した時系列画像の原寸の大
きさである原寸画像を利用して微小移動量を求め、前記
各原寸画像を縮小して縮小画像をそれぞれ形成し、前記
各縮小画像を利用して微小移動量を求め、前記原寸画像
の微小移動量と前記縮小画像の微小移動量との移動距離
を正規化して、これら正規化した微小移動量を足し合わ
せて微小移動量を求めることを特徴とする請求項１記載
の移動量検出装置である。
【００１５】請求項３の発明は、前記移動量検出手段
は、前記原寸画像の微小移動量と前記縮小画像の微小移
動量との移動距離を正規化する場合には、前記時系列画
像中の原寸画像の時間的な抽出間隔と、時系列画像中の
縮小画像の時間的な抽出間隔とを、前記原寸画像の微小
移動量と前記縮小画像の微小移動量とが同じなる抽出間
隔として正規化することを特徴とする請求項２記載の移
動量検出装置である。
は、前記原寸画像の微小移動量と前記縮小画像の微小移
動量との移動距離を正規化する場合には、前記時系列画
像中の原寸画像の時間的な抽出間隔と、時系列画像中の
縮小画像の時間的な抽出間隔とを、前記原寸画像の微小
移動量と前記縮小画像の微小移動量とが同じなる抽出間
隔として正規化することを特徴とする請求項２記載の移
動量検出装置である。
【００１６】請求項４の発明は、時系列画像を入力する
画像入力ステップと、前記画像入力ステップに入力した
時系列画像における各画像中の所定領域の時系列的な対
応を、その所定領域の近傍部分の画像情報を用いて求
め、 この求めた対応関係から所定領域の短い時間間隔
における微小移動量を算出し、この算出した前記所定領
域の微小移動量から、前記短い時間間隔より長い時間間
隔における前記所定領域の移動量を求める移動量検出ス
テップと、を具備したことを特徴とする移動量検出方法
である。
画像入力ステップと、前記画像入力ステップに入力した
時系列画像における各画像中の所定領域の時系列的な対
応を、その所定領域の近傍部分の画像情報を用いて求
め、 この求めた対応関係から所定領域の短い時間間隔
における微小移動量を算出し、この算出した前記所定領
域の微小移動量から、前記短い時間間隔より長い時間間
隔における前記所定領域の移動量を求める移動量検出ス
テップと、を具備したことを特徴とする移動量検出方法
である。
【００１７】請求項５の発明は、時系列画像を入力する
画像入力機能と、前記画像入力機能において入力した時
系列画像における各画像中の所定領域の時系列的な対応
を、その所定領域の近傍部分の画像情報を用いて求め、
この求めた対応関係から所定領域の短い時間間隔におけ
る微小移動量を算出し、この算出した前記所定領域の微
小移動量から、前記短い時間間隔より長い時間間隔にお
ける前記所定領域の移動量を求める移動量検出機能と、
を実現するプログラムを記録したことを特徴とする移動
量検出方法を記録した記録媒体である。
画像入力機能と、前記画像入力機能において入力した時
系列画像における各画像中の所定領域の時系列的な対応
を、その所定領域の近傍部分の画像情報を用いて求め、
この求めた対応関係から所定領域の短い時間間隔におけ
る微小移動量を算出し、この算出した前記所定領域の微
小移動量から、前記短い時間間隔より長い時間間隔にお
ける前記所定領域の移動量を求める移動量検出機能と、
を実現するプログラムを記録したことを特徴とする移動
量検出方法を記録した記録媒体である。
【００１８】このような構成によれば、高速に得られる
画像の中から必要な画像をすべて利用して、時系列画像
の局所的な動き（運動量）を検出し、画像中の領域の移
動量を安定に検出することが可能となる。
画像の中から必要な画像をすべて利用して、時系列画像
の局所的な動き（運動量）を検出し、画像中の領域の移
動量を安定に検出することが可能となる。
【００１９】
【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を説明する。
実施形態を説明する。
【００２０】図１は本発明の一実施形態に係る移動量検
出装置１０の構成を示すブロック図である。
出装置１０の構成を示すブロック図である。
【００２１】移動量検出装置１０は、時系列画像を利用
して領域の移動量を検出するものであり、画像入力部１
２、画像蓄積部１４、移動量検出部１６を有する。
して領域の移動量を検出するものであり、画像入力部１
２、画像蓄積部１４、移動量検出部１６を有する。
【００２２】画像入力部１２は、背景及び移動物体の撮
影により得られる時系列画像を入力する。この画像入力
部１２から入力された時系列画像は画像蓄積部１４に与
えれる。ここで、画像入力部１２は、固定または移動す
るセンサを用いて各種の物体を撮影することによって得
られる時系列画像を数百〜数千枚／秒の割合で高速に入
力する。また、ここで画像として入力される物体は、自
動車、道路及び看板などであり、これらの対象を検出す
るために特別な色や印などを付加する必要はない。
影により得られる時系列画像を入力する。この画像入力
部１２から入力された時系列画像は画像蓄積部１４に与
えれる。ここで、画像入力部１２は、固定または移動す
るセンサを用いて各種の物体を撮影することによって得
られる時系列画像を数百〜数千枚／秒の割合で高速に入
力する。また、ここで画像として入力される物体は、自
動車、道路及び看板などであり、これらの対象を検出す
るために特別な色や印などを付加する必要はない。
【００２３】画像蓄積部１４は、画像入力部１２から得
られる時系列入力画像を複数枚蓄積し、必要に応じて移
動量検出部１６に画像を与える。
られる時系列入力画像を複数枚蓄積し、必要に応じて移
動量検出部１６に画像を与える。
【００２４】移動量検出部１６は、画像蓄積部１４から
転送された画像を必要に応じて利用し、それぞれの画像
を格子状に分割した後、各格子領域が時系列画像間でど
のように移動したかを検出する。
転送された画像を必要に応じて利用し、それぞれの画像
を格子状に分割した後、各格子領域が時系列画像間でど
のように移動したかを検出する。
【００２５】次に、移動量検出装置１０の動作を説明す
る。
る。
【００２６】図２は、本装置１０によって実現される移
動量検出方法を説明するための図である。ここでは、道
路上を走行している自動車を移動物体として、これを走
行中の自動車や道路横の鉄塔などに搭載したカメラで撮
影した場合を想定する。
動量検出方法を説明するための図である。ここでは、道
路上を走行している自動車を移動物体として、これを走
行中の自動車や道路横の鉄塔などに搭載したカメラで撮
影した場合を想定する。
【００２７】図２（ａ）は、時刻ｔのときに得られた入
力画像、同図（ｂ）は時刻ｔ−１のときに得られた入力
画像である。これらの入力画像は、画像入力部１２から
時系列で順次得られる。
力画像、同図（ｂ）は時刻ｔ−１のときに得られた入力
画像である。これらの入力画像は、画像入力部１２から
時系列で順次得られる。
【００２８】一般的な画像処理では、画像入力部１２か
らビデオレートの３０枚／秒の割合で画像が得られるの
で、画像間での物体の移動量が大きく、高速に移動する
物体を追跡する場合には、非常に広い探索領域を設定す
る必要がある。
らビデオレートの３０枚／秒の割合で画像が得られるの
で、画像間での物体の移動量が大きく、高速に移動する
物体を追跡する場合には、非常に広い探索領域を設定す
る必要がある。
【００２９】しかし、ここで扱う画像入力部１２は、１
秒間に１０００枚程度の画像を高速に取得することが可
能であり、このように高速に画像を取得できれば物体追
跡の為の探索領域も小さくすることが可能である。
秒間に１０００枚程度の画像を高速に取得することが可
能であり、このように高速に画像を取得できれば物体追
跡の為の探索領域も小さくすることが可能である。
【００３０】例えば、１／１０００秒で１画素程度移動
する物体を撮影した場合、ビデオレートでこの物体を撮
影すると探索領域は±３３画素以上必要となる。しか
し、１秒間に１０００枚の画像を獲得できれば探索領域
は±２画素以下で済み、探索処理を非常に高速に行なう
ことが可能となる。
する物体を撮影した場合、ビデオレートでこの物体を撮
影すると探索領域は±３３画素以上必要となる。しか
し、１秒間に１０００枚の画像を獲得できれば探索領域
は±２画素以下で済み、探索処理を非常に高速に行なう
ことが可能となる。
【００３１】以下の説明では、連続する時系列画像間で
の物体の移動量が２画素以下である場合を考える。
の物体の移動量が２画素以下である場合を考える。
【００３２】なお、上記のように連続した時間の中から
１／１０００秒毎に画像を抽出することを、時間方向の
サンプリングとする。
１／１０００秒毎に画像を抽出することを、時間方向の
サンプリングとする。
【００３３】画像蓄積部１４ 画像入力部１２から高速に入力された画像は、まず画像
蓄積部１４に蓄積される。
蓄積部１４に蓄積される。
【００３４】画像蓄積部１４では図３に示すように、ま
ず、入力画像そのものの画像（以下、原寸画像という）
を蓄積する。そして、これらの画像を縮小率２-Mで縮小
した縮小画像を生成する。ここで、この原寸画像の縮小
が、いわゆる空間方向の変形となる。Ｍは、自然数であ
り、原寸画像の大きさや画像処理の能力やメモリー量に
併せて設定する。原寸画像の縮小方法としては、原寸画
像をＮ×Ｎ画素の格子状の領域に分割し、１／２に縮小
した画像を生成する場合には、各画素の大きさは原寸画
像と同じでＮ／２×Ｎ／２画素の画像を作成する。
ず、入力画像そのものの画像（以下、原寸画像という）
を蓄積する。そして、これらの画像を縮小率２-Mで縮小
した縮小画像を生成する。ここで、この原寸画像の縮小
が、いわゆる空間方向の変形となる。Ｍは、自然数であ
り、原寸画像の大きさや画像処理の能力やメモリー量に
併せて設定する。原寸画像の縮小方法としては、原寸画
像をＮ×Ｎ画素の格子状の領域に分割し、１／２に縮小
した画像を生成する場合には、各画素の大きさは原寸画
像と同じでＮ／２×Ｎ／２画素の画像を作成する。
【００３５】そして、最後にこれら縮小画像を蓄積す
る。
る。
【００３６】なお、縮小率を２-Mとすれば高速な画像縮
小が可能であるが、画像処理の能力やメモリー量が許せ
ば縮小率を任意の値に設定することも可能である。
小が可能であるが、画像処理の能力やメモリー量が許せ
ば縮小率を任意の値に設定することも可能である。
【００３７】移動量検出部１６ 移動量検出部１６では、図４に示した手順で処理を行な
う。
う。
【００３８】(1) 基本方法 まず、画像をＮ×Ｎ画素の格子状の領域に分割し、各分
割領域内のエッジの強さや密度などを求める。
割領域内のエッジの強さや密度などを求める。
【００３９】次に、エッジの特徴をもとに各領域が時系
列間で対応づけ可能かどうかを評価する。実際には、閾
値処理によって、領域内に強いエッジ成分が少ない領域
に関しては対応付けが不可能であると判断して対応探索
候補から外す。
列間で対応づけ可能かどうかを評価する。実際には、閾
値処理によって、領域内に強いエッジ成分が少ない領域
に関しては対応付けが不可能であると判断して対応探索
候補から外す。
【００４０】次に、対応探索候補となった領域が時系列
画像間でどのように移動したかを求める。
画像間でどのように移動したかを求める。
【００４１】ここでは、時系列画像間での物体の移動量
が２画素以下の場合について考えているので、探索領域
は図５のようになる。ここで、対象となる物体がさらに
高速である場合は探索領域が広くなることもある。移動
量が２画素以下の場合は、各格子領域は時系列画像間で
±２画素の探索領域内で対応の評価値が最も良い領域に
移動したと考える。ここで、評価値は領域内の各点の濃
淡情報や色情報の差分の絶対値和や自乗和または相関値
などを用いることが可能である。
が２画素以下の場合について考えているので、探索領域
は図５のようになる。ここで、対象となる物体がさらに
高速である場合は探索領域が広くなることもある。移動
量が２画素以下の場合は、各格子領域は時系列画像間で
±２画素の探索領域内で対応の評価値が最も良い領域に
移動したと考える。ここで、評価値は領域内の各点の濃
淡情報や色情報の差分の絶対値和や自乗和または相関値
などを用いることが可能である。
【００４２】例えば、領域の明るさの自乗和を評価値と
する場合は以下の値が最小となる領域を対応領域とす
る。
する場合は以下の値が最小となる領域を対応領域とす
る。
【００４３】
【数１】 ここで、最小となる評価値が閾値以下であれば、対応が
取れているとして、対応付けられた領域間の移動量を算
出する。
取れているとして、対応付けられた領域間の移動量を算
出する。
【００４４】最後に、連続した数回の処理で得られた微
小時間の移動量、すなわち、微小移動量を足し合わせる
ことによって、ビデオレート（１／３０秒毎）などの１
／１０００秒よりも長い時間間隔での移動量を算出す
る。
小時間の移動量、すなわち、微小移動量を足し合わせる
ことによって、ビデオレート（１／３０秒毎）などの１
／１０００秒よりも長い時間間隔での移動量を算出す
る。
【００４５】(2) 縮小画像の利用方法 大まかな流れは上記のようになるが、短い時間間隔で局
所的な探索を繰り返して長い時間の移動量を得る場合
は、ノイズの影響などを受ける可能性が大きくなる。
所的な探索を繰り返して長い時間の移動量を得る場合
は、ノイズの影響などを受ける可能性が大きくなる。
【００４６】そこで、本実施形態では図６に示すよう
に、画像蓄積部１４で蓄積した１／２縮小画像や１／４
縮小画像などを利用してより安定に領域の移動量を算出
する。なお、検出対象となる物体は等速度で移動してい
ると仮定する。
に、画像蓄積部１４で蓄積した１／２縮小画像や１／４
縮小画像などを利用してより安定に領域の移動量を算出
する。なお、検出対象となる物体は等速度で移動してい
ると仮定する。
【００４７】縮小画像の利用方法の着眼点 ここで、例えば、図６に示したように画像を１／２縮小
画像、１／４縮小画像に対して縮小していない原寸画像
と同様に移動量を求めた場合を考える。
画像、１／４縮小画像に対して縮小していない原寸画像
と同様に移動量を求めた場合を考える。
【００４８】１／２縮小画像の時刻ｔと時刻ｔ＋１の間
の移動量は、対応付けが正確に行われたとすれば、原寸
画像で得られる移動量の１／２になるはずである。
の移動量は、対応付けが正確に行われたとすれば、原寸
画像で得られる移動量の１／２になるはずである。
【００４９】同様に、１／４縮小画像では、得られる移
動量も原寸画像で得られる移動量の１／４になると考え
られる。
動量も原寸画像で得られる移動量の１／４になると考え
られる。
【００５０】縮小画像と原寸画像との関係 ここで、上記とは視点を変えて、１／２縮小画像に対し
ては、時刻ｔから時刻ｔ＋２までに移動した量を算出す
ることによって得られる移動量の大きさは、原寸画像で
求めた移動量と同じになるはずである。
ては、時刻ｔから時刻ｔ＋２までに移動した量を算出す
ることによって得られる移動量の大きさは、原寸画像で
求めた移動量と同じになるはずである。
【００５１】同様に、１／４縮小画像の場合は、時刻ｔ
と時刻ｔ＋４の間で移動量を求めれば、原寸画像で求め
た移動量と同じ大きさになるはずである。
と時刻ｔ＋４の間で移動量を求めれば、原寸画像で求め
た移動量と同じ大きさになるはずである。
【００５２】縮小画像と原寸画像との実際の利用方法 上記のように縮小画像と原寸画像との関係は明らかにな
ったが、実際にこれら関係をどのように利用するかが問
題となる。このために、ここで、(1) 基本方法における
「評価値」を使用する。すなわち、縮小画像の所定の時
刻の評価値と、原寸画像の所定の時刻の評価値を求め、
ここから両者を関係付ける。そして、最も本発明の特徴
となるのが、どの時刻の評価値を採用するかである。す
なわち、その特徴は、原寸画像で求めた移動量と同じ大
きさの移動量になる縮小画像の時刻の評価値を採用する
ことである。
ったが、実際にこれら関係をどのように利用するかが問
題となる。このために、ここで、(1) 基本方法における
「評価値」を使用する。すなわち、縮小画像の所定の時
刻の評価値と、原寸画像の所定の時刻の評価値を求め、
ここから両者を関係付ける。そして、最も本発明の特徴
となるのが、どの時刻の評価値を採用するかである。す
なわち、その特徴は、原寸画像で求めた移動量と同じ大
きさの移動量になる縮小画像の時刻の評価値を採用する
ことである。
【００５３】具体的には、１／２縮小画像に対しては、
原寸画像で求めた移動量と同じ大きさになる時刻ｔと時
刻ｔ＋２の画像の間で求められた評価値Ｈ２を用いる。
原寸画像で求めた移動量と同じ大きさになる時刻ｔと時
刻ｔ＋２の画像の間で求められた評価値Ｈ２を用いる。
【００５４】同様に、１／４縮小画像に対しては、時刻
ｔと時刻ｔ＋４の画像の間で求められた評価値Ｈ４を用
いる。
ｔと時刻ｔ＋４の画像の間で求められた評価値Ｈ４を用
いる。
【００５５】そして、これらを原寸画像で求められた評
価値Ｈ１に足し込むことによって、各領域の移動量を評
価値の和が最小になる移動量として安定に求めることが
可能となる。
価値Ｈ１に足し込むことによって、各領域の移動量を評
価値の和が最小になる移動量として安定に求めることが
可能となる。
【００５６】すべての縮小率の画像に対して、同じ大き
さの領域の対応をとった場合、図７に示すように１／４
縮小画像の領域は等価的に１６倍の大きさの領域とな
り、１／２縮小画像の領域は等価的に４倍の大きさの領
域となる。
さの領域の対応をとった場合、図７に示すように１／４
縮小画像の領域は等価的に１６倍の大きさの領域とな
り、１／２縮小画像の領域は等価的に４倍の大きさの領
域となる。
【００５７】そこで、領域Ａの移動量を求めるときに
は、１／４縮小画像の時刻ｔと時刻ｔ＋４の対応から得
られる評価値Ｈ４と、１／２−ａ縮小画像の時刻ｔと時
刻ｔ＋２の対応から得られる評価値Ｈ２と、原寸画像の
Ａ領域の評価値Ｈ１を足し併せることによって、最適な
移動量を求めることが可能となる。
は、１／４縮小画像の時刻ｔと時刻ｔ＋４の対応から得
られる評価値Ｈ４と、１／２−ａ縮小画像の時刻ｔと時
刻ｔ＋２の対応から得られる評価値Ｈ２と、原寸画像の
Ａ領域の評価値Ｈ１を足し併せることによって、最適な
移動量を求めることが可能となる。
【００５８】同様に、領域Ｂに対しては、１／４縮小画
像の評価値Ｈ４と，１／２−ｂ縮小画像の評価値Ｈ２
と，原寸画像の領域Ｂの評価値Ｈ１を足し併せればよ
い。
像の評価値Ｈ４と，１／２−ｂ縮小画像の評価値Ｈ２
と，原寸画像の領域Ｂの評価値Ｈ１を足し併せればよ
い。
【００５９】さらに、移動物体の等速性が仮定できる場
合には１／８や１／１６に縮小した画像なども利用可能
である。
合には１／８や１／１６に縮小した画像なども利用可能
である。
【００６０】ここで述べた手法は、移動物体が等速度で
移動しているという仮定が必要であるが、１／１０００
秒間隔などの高速で画像を撮影した場合には局所的な等
速性の仮定が殆どの場合は成り立つと考えられる。
移動しているという仮定が必要であるが、１／１０００
秒間隔などの高速で画像を撮影した場合には局所的な等
速性の仮定が殆どの場合は成り立つと考えられる。
【００６１】ここで、画像の縮小は、対応付けのための
窓領域のサイズを大きくすることと等価であり、この処
理は複数の大きさの窓を用いて、最適な大きさの窓で処
理した結果から得られる移動量の情報を引き出すことが
可能となり、より安定な移動量の算出を可能にする。
窓領域のサイズを大きくすることと等価であり、この処
理は複数の大きさの窓を用いて、最適な大きさの窓で処
理した結果から得られる移動量の情報を引き出すことが
可能となり、より安定な移動量の算出を可能にする。
【００６２】したがって、これらの画像で得られた移動
量を足し込むことによって安定に移動量を算出すること
が可能となる。一般には、画像を縮小すると移動量も小
さくなるが、ここでは時間方向の解像度も同時に変える
ことによって解像度に関係なく移動量を一定にすること
を可能とした。画像の縮小は、分割領域のサイズを大き
くすることと等価であり、この処理は複数の空間解像度
の画像から得られる移動量を足し込むことに相当し、よ
り安定な移動量の算出を可能にする。
量を足し込むことによって安定に移動量を算出すること
が可能となる。一般には、画像を縮小すると移動量も小
さくなるが、ここでは時間方向の解像度も同時に変える
ことによって解像度に関係なく移動量を一定にすること
を可能とした。画像の縮小は、分割領域のサイズを大き
くすることと等価であり、この処理は複数の空間解像度
の画像から得られる移動量を足し込むことに相当し、よ
り安定な移動量の算出を可能にする。
【００６３】なお、移動量検出装置１０をパソコンで実
現する場合には、高速ビデオカメラである画像入力部１
２をパソコンに接続し、画像蓄積部１４、移動量検出部
１６の機能を実現するプログラムをパソコンのハードデ
ィスク．ＦＤ，ＣＤ−ＲＯＭ，ＤＶＤに記録させておけ
ば良い。
現する場合には、高速ビデオカメラである画像入力部１
２をパソコンに接続し、画像蓄積部１４、移動量検出部
１６の機能を実現するプログラムをパソコンのハードデ
ィスク．ＦＤ，ＣＤ−ＲＯＭ，ＤＶＤに記録させておけ
ば良い。
【００６４】
【発明の効果】以上説明したように本発明によれば、高
速に得られる時系列画像から動き情報を求める場合に、
短い時間間隔の画像間で近傍探索により微小移動量を求
めるとともに、複数の時間間隔と解像度の画像群から得
られる微小移動量を足し込むことによって長い時間間隔
の画像間での領域の移動量を安定に求めることを可能と
する。
速に得られる時系列画像から動き情報を求める場合に、
短い時間間隔の画像間で近傍探索により微小移動量を求
めるとともに、複数の時間間隔と解像度の画像群から得
られる微小移動量を足し込むことによって長い時間間隔
の画像間での領域の移動量を安定に求めることを可能と
する。
【図１】本発明の一実施形態に係る移動量検出装置１０
の構成を示すブロック図である。
の構成を示すブロック図である。
【図２】移動物体検出の説明図である。
【図３】画像蓄積部１４のフローチャートである。
【図４】移動量検出部１６のフローチャートである。
【図５】近傍探索領域の説明図である。
【図６】サブサンプリング間隔の説明図である。
【図７】１／４縮小画像の評価値と，１／２縮小画像の
評価値と，原寸画像の評価値を足し併せた状態の図であ
る。
評価値と，原寸画像の評価値を足し併せた状態の図であ
る。
１０ 移動量検出装置 １２ 画像入力部 １４ 画像蓄積部 １６ 移動量検出部
Claims (5)
- 【請求項１】時系列画像を入力する画像入力手段と、 前記画像入力手段に入力した時系列画像における各画像
中の所定領域の時系列的な対応を、その所定領域の近傍
部分の画像情報を用いて求め、 この求めた対応関係から所定領域の短い時間間隔におけ
る微小移動量を算出し、 この算出した前記所定領域の微小移動量から、前記短い
時間間隔より長い時間間隔における前記所定領域の移動
量を求める移動量検出手段と、を具備したことを特徴と
する移動量検出装置。 - 【請求項２】前記移動量検出手段は、 前記画像入力手段に入力した時系列画像の原寸の大きさ
である原寸画像を利用して微小移動量を求め、 前記各原寸画像を縮小して縮小画像をそれぞれ形成し、 前記各縮小画像を利用して微小移動量を求め、 前記原寸画像の微小移動量と前記縮小画像の微小移動量
との移動距離を正規化して、これら正規化した微小移動
量を足し合わせて微小移動量を求めることを特徴とする
請求項１記載の移動量検出装置。 - 【請求項３】前記移動量検出手段は、 前記原寸画像の微小移動量と前記縮小画像の微小移動量
との移動距離を正規化する場合には、 前記時系列画像中の原寸画像の時間的な抽出間隔と、時
系列画像中の縮小画像の時間的な抽出間隔とを、前記原
寸画像の微小移動量と前記縮小画像の微小移動量とが同
じなる抽出間隔として正規化することを特徴とする請求
項２記載の移動量検出装置。 - 【請求項４】時系列画像を入力する画像入力ステップ
と、 前記画像入力ステップに入力した時系列画像における各
画像中の所定領域の時系列的な対応を、その所定領域の
近傍部分の画像情報を用いて求め、 この求めた対応関
係から所定領域の短い時間間隔における微小移動量を算
出し、 この算出した前記所定領域の微小移動量から、前記短い
時間間隔より長い時間間隔における前記所定領域の移動
量を求める移動量検出ステップと、を具備したことを特
徴とする移動量検出方法。 - 【請求項５】時系列画像を入力する画像入力機能と、 前記画像入力機能において入力した時系列画像における
各画像中の所定領域の時系列的な対応を、その所定領域
の近傍部分の画像情報を用いて求め、 この求めた対応関係から所定領域の短い時間間隔におけ
る微小移動量を算出し、 この算出した前記所定領域の微小移動量から、前記短い
時間間隔より長い時間間隔における前記所定領域の移動
量を求める移動量検出機能と、 を実現するプログラムを記録したことを特徴とする移動
量検出方法を記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283898A JP4124861B2 (ja) | 1998-06-19 | 1998-06-19 | 移動量検出装置及びその方法 |
| US09/334,950 US6373897B1 (en) | 1998-06-19 | 1999-06-17 | Moving quantity detection apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283898A JP4124861B2 (ja) | 1998-06-19 | 1998-06-19 | 移動量検出装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000011134A true JP2000011134A (ja) | 2000-01-14 |
| JP4124861B2 JP4124861B2 (ja) | 2008-07-23 |
Family
ID=15949281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17283898A Expired - Lifetime JP4124861B2 (ja) | 1998-06-19 | 1998-06-19 | 移動量検出装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6373897B1 (ja) |
| JP (1) | JP4124861B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7194141B1 (en) * | 2002-03-20 | 2007-03-20 | Ess Technology, Inc. | Image resolution conversion using pixel dropping |
| JP3868876B2 (ja) * | 2002-09-25 | 2007-01-17 | 株式会社東芝 | 障害物検出装置及び方法 |
| JP4545543B2 (ja) * | 2004-05-07 | 2010-09-15 | 任天堂株式会社 | ゲームシステムおよびゲームプログラム |
| US8406472B2 (en) * | 2010-03-16 | 2013-03-26 | Sony Corporation | Method and system for processing image data |
| JP2012253667A (ja) * | 2011-06-06 | 2012-12-20 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
| JP6351323B2 (ja) * | 2014-03-20 | 2018-07-04 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6365355B2 (ja) * | 2015-03-09 | 2018-08-01 | オムロン株式会社 | 画像生成装置および画像生成方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2809954B2 (ja) | 1992-03-25 | 1998-10-15 | 三菱電機株式会社 | 画像感知および処理のための装置および方法 |
| JP3569920B2 (ja) * | 1995-07-13 | 2004-09-29 | ソニー株式会社 | ディスクイジェクト装置及びディスクカートリッジのローディング装置 |
| JP3524250B2 (ja) * | 1995-11-27 | 2004-05-10 | キヤノン株式会社 | デジタル画像処理プロセッサ |
| US6304682B1 (en) * | 1998-10-02 | 2001-10-16 | Hewlett-Packard Company | Method for generated resolution enhanced still images from compressed video data |
-
1998
- 1998-06-19 JP JP17283898A patent/JP4124861B2/ja not_active Expired - Lifetime
-
1999
- 1999-06-17 US US09/334,950 patent/US6373897B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6373897B1 (en) | 2002-04-16 |
| JP4124861B2 (ja) | 2008-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2265023B1 (en) | Subject tracking device and subject tracking method | |
| KR101468351B1 (ko) | 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램 | |
| KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| EP2169945B1 (en) | Image processing apparatus and method for detection and correction of camera shake | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| EP2372654A1 (en) | Object tracking apparatus, object tracking method, and control program | |
| JP2001285695A (ja) | 移動体追尾方法及びその装置 | |
| JP2005128619A (ja) | 物体計測装置、物体計測方法、およびプログラム | |
| JP2010118862A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| US11070729B2 (en) | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus | |
| US20080291167A1 (en) | Pointing device and displacement estimation method | |
| Baldwin et al. | Inceptive event time-surfaces for object classification using neuromorphic cameras | |
| JP4848097B2 (ja) | 移動体の監視方法および装置 | |
| Koller et al. | Towards realtime visual based tracking in cluttered traffic scenes | |
| JP2000011134A (ja) | 移動量検出装置及びその方法 | |
| JP2009260671A (ja) | 画像処理装置及び撮像装置 | |
| CN104123716B (zh) | 检测图像稳定性的方法、装置和终端 | |
| JP2008206143A (ja) | 画像処理機能を備える撮像装置 | |
| CN106683113A (zh) | 特征点跟踪方法和装置 | |
| KR101438451B1 (ko) | 비고정 카메라 영상에 대한 이중모드 ｓｇｍ 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP4960442B2 (ja) | アップショット検出装置及び方法、電子機器、並びにコンピュータプログラム | |
| US10708501B2 (en) | Prominent region detection in scenes from sequence of image frames | |
| JP2009266169A (ja) | 情報処理装置及び方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |