JP2002232875A - 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体 - Google Patents
監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体Info
- Publication number
- JP2002232875A JP2002232875A JP2001029651A JP2001029651A JP2002232875A JP 2002232875 A JP2002232875 A JP 2002232875A JP 2001029651 A JP2001029651 A JP 2001029651A JP 2001029651 A JP2001029651 A JP 2001029651A JP 2002232875 A JP2002232875 A JP 2002232875A
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- view
- template
- shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
を調整せずに、その画角ずれの影響をなくして交通流の
計測を継続させること。 【解決手段】 監視用カメラ1から得られた撮像画像を
取り込む画像処理装置7と、画像処理装置7より新たに
得られた新テンプレートS1と既に記録されている旧テ
ンプレートS0とを比較し、その両テンプレートS1,
S0間のずれ量を算出し、新たに得られて来る撮像画像
のパラメータをその画角のずれ量に応じて補正し、その
補正により画角ずれの影響を取り除く画像処理部8を設
けた。これによれば、基準となる旧画像と現在の画像で
ある新画像とを比較し、その画角のずれ量を算出し、そ
のずれ量に応じて補正すべきパラメータを決定し、以後
は、入力画像データに対してそのパラメータに応じた補
正を加え、カメラの画角θを調整しなくても擬似的にず
れを補正する。
Description
自動車等の通行量を画像処理に基づいて計測するカメラ
の画角ずれを調整する方法と装置、及びその装置を制御
するためのプログラムを含む媒体とに関するものであ
る。
す位置に設置されたテレビカメラで路面上を撮影し、そ
の画像を一定時間毎に取り込んで画像処理することで、
走行している車両を認識し、自動車の通行量および車両
走行速度を計測する交通流計測の方法は知られている。
この種の交通流計測では、テレビカメラの向き(画角)
の誤差は精度に大きく影響するので、一般には許容誤差
は0.1〜0.2度の範囲に抑えられている。しかし、
大きな揺れ等でカメラ及び台座等が振動すると、その画
角に狂いが生じることも少なくない。したがって、従来
では、画角に狂いが生じた場合、その都度、テレビカメ
ラが設置されている場所に直接出向いて調整を行ってい
た。
調整方法では、一般にテレビカメラは遠隔地に設置され
ているため、現地に出向いて調整を行うのに時間がかか
り、リアルタイムな対応が困難であるという問題があっ
た。また、調整作業も、実際の画像を見ながら手動で調
整しているため作業が複雑で、復旧までに時間がかか
り、コスト増の原因になっているという問題もあった。
なされたもので、その目的はカメラの画角がずれたとき
に、カメラの画角を実際に調整しなくても、その画角ず
れの影響をなくして交通流の計測を継続させることがで
きる、監視用カメラの画角ずれを調整する方法と装置、
及びその装置を制御するための媒体を提供するものであ
る。
画角ずれを調整する方法は、対象を見下ろす位置に設置
された監視用カメラから得られた撮像画像を異なる時に
取り込み、新たに得られた画像と既に記録されている旧
画像とを比較し、前記新たに得られた画像と前記既に記
録されている旧画像の両画像間の画角のずれ量を算出
し、前記ずれ量の算出後、新たに得られる撮像画像のパ
ラメータを前記画角のずれ量に応じて補正し、その補正
により画角ずれの影響を取り除くようにしたものであ
る。これによれば、基準となる旧画像と現在の画像であ
る新画像とを比較し、その画角のずれ量を算出し、その
ずれ量に応じて補正すべきパラメータを決定し、以後
は、監視用カメラからの画像データに対してその補正を
加えることにより、監視用カメラにおける画角を実際に
調整しなくても画角のずれを擬似的に補正することがで
きる。したがって、カメラの画角がずれたときに、その
都度、現場に出向かなくても、その画角ずれが例えば交
通流計測等に大きな影響を与えることがないように調整
し、復旧させることができ、リアルタイムな対応が可能
となる。
る方法は、両画像間の画角のずれ量を算出する際、新た
に得られた撮影画像を新テンプレートとして登録し、そ
の新テンプレートと既に登録されている前記旧画像のテ
ンプレートとを含むマッチング範囲を設け、そのマッチ
ング範囲内で一方の前記テンプレートを他方の前記テン
プレートに対して所定画素ずづ移動し、この前記画素の
移動によりマッチング度合いを算出するようにしたもの
である。これによれば、画像間の差分をとるマッチング
方法を使用した画角ずれの算出が行える。
る方法は、旧画像のテンプレートと前記新テンプレート
とのマッチングは、対応する画素毎に輝度差を算出して
行うようにしたものである。これによれば、画像間の差
分を輝度差でとるマッチング方法を使用した画角ずれの
算出が行える。
る方法は、旧画像のテンプレートと前記新テンプレート
とのマッチングは、対応する画素毎の輝度平均を算出し
て相関値で行うようにしたものである。これによれば、
画像間相関をとるマッチング方法を使用した画角ずれの
算出が行える。
る方法は、両画像間の画角のずれ量を算出する際、新た
に撮影された画像を時系列方向に積分し、平均化された
画像のテンプレートと前記旧画像のテンプレートとをマ
ッチングさせるようにしたものである。これによれば、
旧画像と新画像で車両の走行状態に影響されない積分画
像での画角ずれの補正が可能になる。
は、対象を見下ろす位置に設置された監視用カメラから
の撮像画像を取り込む画像処理部と、前記画像処理部よ
り新たに得られた画像と既に記録されている旧画像とを
比較して両画像間の画角のずれ量を算出するとともに、
その後、新たに得られる撮像画像のパラメータを前記画
角のずれ量に応じて補正して前記画角ずれの影響を取り
除く画像処理部とを備えた構成としたものである。これ
によれば、基準となる旧画像と現在の画像である新画像
とを比較し、その画角のずれ量を算出し、そのずれ量に
応じて補正すべきパラメータを決定し、以後は、監視用
カメラからの画像データに対してその補正を加えること
により、監視用カメラにおける画角を実際に調整しなく
ても画角のずれを擬似的に補正することができる。した
がって、カメラの画角がずれたときに、その都度、現場
に出向かなくても、その画角ずれが例えば交通流計測等
に大きな影響を与えることがないように調整し、復旧さ
せることができ、リアルタイムな対応が可能となる。
は、監視用カメラから得られた撮像画像を二値化して取
り込むようにしたものである。これによれば、画像処理
を行なうのにデータ処理或いは比較操作を比較的容易に
実行することが可能になる。
は、前記画像処理部に、前記両画像間の画角のずれ量を
算出する際に、新たに得られた撮影画像を新テンプレー
トとして登録し、その新テンプレートと既に登録されて
いる前記旧画像のテンプレートとを含むマッチング範囲
を設け、そのマッチング範囲内で一方の前記テンプレー
トを他方の前記テンプレートに対して所定画素ずづ移動
し、この前記画素の移動によりマッチング度合いを算出
する手段を設けたものである。これによれば、画像間の
差分をとるマッチング方法を使用した画角ずれの算出が
行える。
は、前記画像処理部に、旧画像のテンプレートと前記新
テンプレートとのマッチングを行う際、対応する画素毎
に輝度差を算出してマッチングさせるマッチング手段を
設けたものである。これによれば、画像間の差分を輝度
差でとるマッチング方法を使用した画角ずれの算出が行
える。
は、前記画像処理部に、旧画像のテンプレートと前記新
テンプレートとのマッチングを行う際、対応する画素毎
の輝度平均を算出して相関値でマッチングさせるマッチ
ング手段を設けたものである。これによれば、画像間相
関をとるマッチング方法を使用した画角ずれの算出が行
える。
は、前記画像処理部に、新たに撮影された画像を時系列
方向に積分し、平均化された画像のテンプレートと前記
旧画像のテンプレートとをマッチングさせる手段を設け
たものである。これによれば、旧画像と新画像で車両の
走行状態に影響されない積分画像での画角ずれの補正が
可能になる。
は、対象を見下ろす位置に設置され、かつ、水平及び垂
直方向に旋回可能な監視用カメラからの撮像画像を取り
込む画像取込み部と、前記監視用カメラが特定の位置に
静止された時に、前記画像処理部より新たに得られた撮
影画像と既に記録されている旧画像とを比較して両画像
間の画角のずれ量を算出し、その後、新たに得られる撮
像画像のパラメータを前記画角のずれ量に応じて補正し
て前記画角ずれの影響を取り除く画像処理部とを備える
構成としたものである。これによれば、水平方向及び垂
直方向に旋回可能なカメラにおいても適用できる。すな
わち、特定の位置に静止されたとき、その位置での画角
のずれ量を算出し、そのずれ量に応じて補正すべきパラ
メータを決定し、以後は、監視用カメラからの画像デー
タに対してその補正を加えることにより、監視用カメラ
における画角を実際に調整しなくても画角のずれを擬似
的に補正することができる。
に設置された監視用カメラから得られた新たな撮像画像
を取り込むステップと、その新撮影画像と既に記録され
ている旧画像とを比較して前記両画像間の画角のずれ量
を算出するステップと、新たに得られた撮像画像のパラ
メータをその画角のずれ量に応じて補正し、その補正に
より画角ずれの影響を取り除くステップとを、順にコン
ピュータに実行させるためのプログラムを含む構成とし
たものである。これによれば、フロッピー(登録商標)
ディスクあるいはCD−ROM等の記録媒体、あるいは
通信ネットワークを利用してコンピュータにプログラム
を供給し、このプログラムをコンピュータで読み取らせ
ることにより、基準となる旧画像と現在の画像である新
画像とを比較して画角のずれ量を算出し、そのずれ量を
調整することができる装置を実現させることができる。
第1の実施の形態について、図面を用いて説明する。図
1は本発明を適用すべき交通流監視システムにおける系
統構成の一例を示すブロック図である。図1において、
テレビカメラ1は、自動車2が走行する路面3の上を撮
影レンズが見下ろす状態にして支柱4に設置されてい
る。そのテレビカメラ1はCCDカメラであり、撮影さ
れた画像データ21は、画像取込み部11を介して画像
処理装置7内に送られる。
ールするコンピュータとして構成されている画像処理部
(CPU)8と、その画像処理部8のプログラムを格納
するメモリになるとともに作業メモリとしても機能する
メインメモリ9が備えられている。画像処理部8は、メ
インメモリ9に予め格納されているプログラムを読み取
り、そのプログラムの決められた手順に従って装置全体
の処理操作を実行する。なお、画像処理部8で読み取り
可能な上記プログラムは、画像処理部8に接続されてい
る外部駆動装置101を介して読み取られる外部フロッ
ピーディスクやCD−ROM等の記録媒体102により
提供され、あるいは画像処理部8に接続されている通信
装置103を介してネットワーク等の伝送媒体104に
より提供され、これがメインメモリ9に格納される。
ログラムに従って実行される画像処理部8によりコント
ロールされる上記画像取込み部11の他に、画像取込み
部11で画像を一定時間毎に取り込んでテープレートと
して登録するテンプレート指定手段12と、既に登録さ
れているテンプレート(旧テンプレートS0)と新たに
登録されたテンプレート(新テンプレートS1)とのパ
ターンマッチングの処理を行うマッチング手段13と、
マッチング手段13からの信号により各テンプレートS
0,S1との間での画像のずれ量を算出するずれ量算出
手段14と、交通流計測に必要なパラメータをずれ量算
出手段14からの信号を利用して設定・変更を行うため
のパラメータ補正手段15と、画像データ21から監視
領域内の車両台数を計測する車両台数計測手段16と、
同じく画像データ21から監視領域内における車両の走
行速度を計測する車両走行速度計測手段17が設けられ
ている。そして、ずれ量算出手段14からのずれ量デー
タ22と、車両台数計測手段16からの車利用台数デー
タ23、及び車両走行速度計測手段17からの走行速度
データ24は、それぞれ出力装置18に出力される。
では、図2に示すように、テレビカメラ1で撮影される
画像領域105内に、例えば50メートル毎に線引きし
て複数の計測エリア106a〜106fを予め設定して
おき、計測エリア情報はメインメモリ内に格納されてい
る。また、各計測エリアを設定すると同時に、画像領域
105の垂直ライン毎にカメラからの距離情報もメイン
メモリ9内に格納されている。また、各計測エリア10
6a〜106cを設定したときの画像は「調整用標準テ
ンプレートS0」として予めメインメモリ9内に格納さ
れている。なお、その調整用標準テンプレートS0は、
通常の交通流計測では使用されない。
て得られた画像データ21から交通流計測のための画像
(以下、これを「交通流計測用画像」という)を一定時
間毎に取り込む。そして、交通流計測用画像に映ってい
る自動車の位置及び台数を車両台数計測手段16及び車
両走行速度計測手段17により検出し、それが車両台数
データ23及び走行速度データ24として出力装置18
に入力される。その出力装置18は、データ23,24
を所定の手順に従って処理し、例えば図示せぬ表示画面
上に表示するもので、この処理方法自体は交通流計測と
して従来から良く知られている方法である。このように
して交通流計測を行う方法では、カメラの向きがずれる
と画角θもずれ、同時に監視領域(計測エリア106a
〜106f)と距離情報もずれてしまう。本発明は、こ
のような交通監視システムにおいて、その画角θに多少
(通常、10画素程度)のずれが生じた場合に、実際の
テレビカメラ1の画角θを調整することなく、計測エリ
ア106a〜106fと距離情報を平行移動させること
によって、その画角θにおけるずれを擬似的に無くして
交通流の計測を継続させることができるようにした点に
特徴がある。
1の画角θのずれ量を調整する具体的な手順を示すフロ
ーチャートである。そこで、次に図1に示した交通流監
視システムにおいて、画角θにずれが生じた場合に、画
角θのずれを擬似的に無くし、そのずれによる影響を無
くすように調整するための手順を、図3のフローチャー
トを用いて説明する。この調整では、定期的なメンテナ
ンスや大きな揺れが発生したようなときに、画像補正モ
ードに一時的に切り替えられる(ステップST1)。画
像補正モードに切り替えられると、テレビカメラ1で撮
影されている現在の画像データ21の中から一部の画像
領域が指定され、その画像領域が調整用テンプレートS
1として取り込まれる(ステップST2)。続いて、予
めメインメモリ9に用意されている図4の(a)に示す
調整用標準テンプレート(旧画角画像)S0に対して、
調整用テンプレート(新画角画像)S1が重ね合わさ
れ、調整用標準テンプレートS0と調整用テンプレート
S1の両方をカバーするマッチング範囲110の領域
(エリア)が決定され(ステップST3)、そのマッチ
ング範囲110内でのマッチング処理が行われる。
範囲110内で、調整用標準テンプレート(旧画角画
像)S0に対して調整用テンプレート(新画角画像)S
1を1画素ずつXまたはY方向へ順に移動させ、その1
画素づつ移動させたときのデータが順にメインメモリ9
に記憶される(ステップST5)。マッチング範囲11
0内を全て走査(移動)し終わると、そのデータから両
テンプレートS0,S1との間のずれ量を算出し、その
ずれ量に応じて補正すべきパラメータを決定する(ステ
ップST6,ST7)。以後は、テレビカメラ1からの
画像データに対してそのパラメータに応じた補正を加え
る。ここでは、新たに取り込まれて来る画像が、そのず
れ量分だけ平行移動された状態で認識されるように、パ
ラメータを補正する。これにより、テレビカメラ1にお
ける画角θを実際に調整しなくても、この画像処理によ
って擬似的にずれを補正することができる。
すると、図4の(a)は旧画角画像(調整用標準テンプ
レートS0)で、同図(b)は新画角画像(調整用テン
プレートS1)であり、マッチング処理されるマッチン
グ範囲(エリア)110は同図(b)中に二点鎖線で囲
まれる部分となる。そして、旧画角画像のテンプレート
S0と一番一致する点(x,y)を開始点(start)と
するエリアが新画角画像中のテンプレートS1と最も一
致するエリアであり、(startx−x,starty−y)が
旧画角画像S0と新画角画像S1のずれ量(Δx,Δ
y)である。
て、2つの画像間のマッチングを行うためには2つの手
法、すなわち画像間の差分を取る手法と画像間の差分を
とる手法とがある。その各手法について次に説明する。
に、画像サイズM×Nの対象画像(新画角画像S1)を
I(m,n)、テンプレート(旧画角画像S0)をT
(m,n)とすると、差分は次式(1)で表すことがで
きる。ここでI(i,j)は新画角画像S1における各
画素Eの輝度、T(i,j)は新画角画像S1における
各画素Eの輝度であり、各画素Eでの輝度差は’T
(i,j)− T(i,j)’である。
レートS0,S1とで対応する画素Eごとに輝度差を算
出し、全ての画素の輝度差を加えたものである。よっ
て、2つの画素間の違いが大きければ差分値も大きくな
り、画素Eが一致するものであれば差分値が大きくな
り、画像が一致するものであれば差分値は小さくなる。
図6は、その関係を示したグラフである。その図6のグ
ラフでは、startx、startx+1、startx−1、start
x−2、・・・、startx−Δxと走査したときに得ら
れたテンプレートS0,S1のずれ量(Δx,Δy)を
順にプロットして表したもので、差分値が最少となると
ころ(starty−Δy)が最も一致する部分である。し
たがって、ここでの補正では、その最少となる部分をテ
ンプレートS0,S1が互いに一致している部分として
パラメータを補正することとなる。
とる方法を画像間の差分をとる手法と同じ図5を用いて
説明すると、画像サイズM×Nの対象画像(新画角画像
S1)がI(m,n)、テンプレート(旧画角画像S
0)がT(m,n)とすると、相関は次式(2)で表す
ことができる。ここで、μiはI(m,n)の輝度平
均、μTはT(m,n)の輝度平均である。
一致しており、値が小さければ2つの画像は一致しな
い。図7はその関係を示したグラフである。図7のグラ
フでは、startx、startx+1、startx−1、startx
−2、・・・、startx−Δxと走査したときに得られ
た相関値が最大となるところが最も一致する部分であ
る。したがって、ここでの補正では、その最大となる部
分をテンプレートS0,S1が互いに一致している部分
としてパラメータを補正することとなる。
方法では、エリア座標及び距離情報座標に、ずれ量(Δ
x,Δy)を加算することによりパラメータを補正で
き、以後は、テレビカメラ1からの画像データに対して
そのパラメータに応じた補正を加えることにより、テレ
ビカメラ1における画角θを実際に調整しなくても、こ
の画像処理によって擬似的にずれを補正することができ
ることになる。
第2の実施の形態における交通流監視システムの系統構
成を図8を参照して説明する。図8において図1と対応
する部材は、図1と同じ符号を付して説明する。図8に
おいて、テレビカメラ1は、自動車2が走行する路面3
の上を撮影レンズが見下ろす状態にして支柱4に設置さ
れている。そのテレビカメラ1はCCDカメラであり、
撮影された画像データ21は二値化され、画像取込み部
11を介して画像処理装置7内に送られる。
ールするコンピュータとして構成されている画像処理部
8と、その画像処理部8のプログラムを格納するメモリ
になるとともに作業メモリとしても機能するメインメモ
リ9が備えられている。画像処理部8は、メインメモリ
9に予め格納されているプログラムを読み取り、そのプ
ログラムの決められた手順に従って装置全体の処理操作
を実行する。なお、画像処理部8で読み取り可能な上記
プログラムは、画像処理部8に接続されている外部駆動
装置101を介して読み取られる外部フロッピーディス
クやCD−ROM等の記録媒体102により提供され、
あるいは画像処理部8に接続されている通信装置103
を介してネットワーク等の伝送媒体104により提供さ
れる。そして、その提供され、これがメインメモリ9に
格納される。
ログラムに従う画像処理部8のもとでコントロールされ
る上記画像取込み部11の他に、画像取込み部11で取
り込んだ画像から路面3上の白線107を抽出する白線
抽出手段25と、白線抽出手段25から抽出された白線
から車線幅を計測する車線幅計測手段26と、車線幅計
測手段で計測された車線幅と既にメインメモリ9に登録
されている基準の画像の車線と比較し、そのずれ量を算
出するずれ量算出手段14と、テレビカメラ1で撮影し
た画像データ21から監視領域内の車両台数を計測する
車両台数計測手段16と、同じく画像データ21から監
視領域内における車両の走行速度を計測する車両走行速
度計測手段17が設けられている。そして、ずれ量算出
手段14からはずれ量データ22、車両台数計測手段1
6からは車両台数データ23、車両走行速度計測手段1
7からは走行速度データ24は、それぞれ出力装置18
に出力される。
では、図9に示すように、テレビカメラ1で撮影される
画像領域105内に、例えば2メートル毎に線引きして
複数のラインnを設定しておき、このときの車線幅のデ
ータを図9(a)に示す基準データとしてメインメモリ
9内に予め用意しておく。そして、画角補正を行うと
き、その基準データに図9(b)に示す新たに撮影され
た車線幅のデータを対応させて車線幅のずれ量を算出す
る。
は、それぞれの道路で一定であるが、撮影された画像上
ではテレビカメラ1から遠くなるにつれて、車線幅の画
素数は小さくなる。よって、画角ずれが起きていない2
つの画像において、n走査線目(ライン┗n)の車線幅
(画素)を算出したときは同じ値となる。しかし、画角
ずれが起きている画像においては、n走査線目の車線幅
を算出したとしても、テレビカメラ1からの距離が異な
るため、図9(a)に示す旧画角画素(基準データ)で
はl[画素]、同図(b)に示す新画角画像(新たに撮
影された画像のデータ)では(l+Δl)[画素]とな
り、同じ値とはならない。新画角画像上で、車線幅l
[画素]となるライン(n+Δn)が旧画角画像上のラ
インnと対応し、この場合、画角ずれにより発生したず
れ量は垂直方向にΔn[画素]となる。また、水平方向
のずれ量を算出するには、ライン(n+Δn)での左端
(または右端)点を検出し、比較することによりΔxの
ずれ量が検出される。
処理部8によりテレビカメラ1の画角θのずれ量を調整
する具体的な手順を示すフローチャートである。そこ
で、次に図8に示した交通流監視システムにおいて、画
角θにずれが生じた場合に、その画角θのずれによる影
響を無くすように調整するための手順を、図10のフロ
ーチャートを用いて説明する。この調整では、定期的な
メンテナンスや、大きな揺れが発生したようなときに、
画像補正モードに一時的に切り替えられる。画像補正モ
ードに切り替えられると、テレビカメラ1で撮影されて
いる新画角画像S1の画像データ21を二値化して取り
出し、その画像データ21から白線抽出手段25により
白線107を抽出する(ステップST11,ST1
2)。続いて、その新画角画像S1をラインnから例え
ば1画素分だけ移動したラインmの部分を走査し(ステ
ップST13)、m走査線目の車線107,107間の
幅(距離)を車線幅計測手段26により算出する(ステ
ップST14)。次に、車線幅計測手段26により算出
された旧画角画像S0上におけるn走査線目の白線10
7,107間の幅(距離)と新画角画像S1上における
m走査線目の白線107,107間の幅とを比較する
(ステップST15)。
線幅よりも新画角の画像データS1の車線幅の方が小さ
い場合は、ラインmから1画素分戻る方向に移動、すな
わち(m+1)となる方向に移動し(ステップST1
6)、反対に旧画角の画像データS0の車線幅よりも新
画角の画像データS1の車線幅の方が大きい場合は、ラ
インmから1画素分戻る方向に移動、すなわち(m−
1)となる方向に移動し、旧画角の画像データS0の車
線幅と新画角の画像データS1の車線幅とが等しくなる
状態まで、(+1)または(−1)移動しながら、その
動作を繰り返す。そして、旧画角の画像データS0の車
線幅と新画角の画像データS1の車線幅とが等しくなる
と、ステップST18へ移行し、ずれ量算出手段14に
よりその移動された量からずれ量Δlが算出される。そ
して、本実施の形態では、そのずれ量Δlを差し引いた
ライン(n+Δn)の部分の車線幅(x+Δx)が、旧画
角の画像データのラインnにおける画像幅lと最も一致
する部分である。したがって、ここでの補正では、図9
において、旧画角画像のラインnに新画角画像のライン
(n+Δn)が一致するように、パラメータを補正するこ
ととなる。
法では、車線幅のずれ量を算出し、そのずれ量(Δx)
を加算することによりパラメータを補正でき、以後は、
テレビカメラ1からの画像データに対してそのパラメー
タに応じた補正を加える。ここでは、新たに取り込まれ
て来る画像が、そのずれ量分だけ平行移動された状態で
認識されるように、パラメータを補正する。これによ
り、テレビカメラ1における画角θを実際に調整しなく
ても、この画像処理によって擬似的にずれを補正するこ
とができる。
ずれ量を算出する場合の共通の問題点として考えられる
のが、画角ずれを補正している途中に、自動車2が進入
して旧画角画像(調整用標準テンプレートS0)と新画
角画像(調整用テンプレートS1)との間で明かに違っ
た画像となる場合がある点である。このため、マッチン
グを行っても正確なずれ量が算出できない場合も生じ
る。そこで、そのずれ量を算出する別の方法として有効
と思われるのが、積分画像を用いた画角ずれ補正であ
る。
まず図11の(a)に示すように、時間t,(t+Δt
1),(t+Δt2),・・・,(t+Δtn)毎に新
画角画像を作成し、時間毎t〜(t+Δtn)までのn
枚の画像を積分する。その積分では、図11の(b)に
示すように平均化した画像が作成され、積分化して得ら
れた画像を新画角画像S1とする。そして、積分化して
得られた新画角画像S1を、上記実施の形態1及び実施
の形態2で使用している新画角画像S1として用い、そ
の後は各実施の形態での補正方法に従って処理すること
により、画角ずれの補正を行うことができる。したがっ
て、この積分画像を用いた画角ずれの補正では、画角ず
れを補正している途中に自動車2が走行しても、その自
動車2が存在したことによる影響は少なくなり、常に画
像領域内に存在している特徴点を強く引き出してマッチ
ング処理を行うことができ、正確なずれ量の算出が可能
になる。
ラ1を固定してある場合について説明したが、例えばテ
レビカメラ1を360度旋回可能な交通流監視装置に適
用し、360度旋回した後で、固定の領域を再び監視す
る静止モードに切り替えられたとき、その旋回移動で生
じた画角ずれを調整する手段として、本発明を用いても
良いものである。また、交通流監視の分野のみでなく人
の流れの監視に用いても有効である。
基準となる旧画像と現在の画像である新画像とを比較
し、その画角のずれ量を算出し、そのずれ量に応じて補
正すべきパラメータを決定し、以後は、監視用カメラか
らの画像データに対してその補正を加えることにより、
監視用カメラにおける画角を実際に調整しなくても画角
のずれを擬似的に補正することができる。したがって、
カメラの画角がずれたときに、その都度、現場に出向か
なくても、その画角ずれが例えば交通流計測等に大きな
影響を与えることがないように調整し、復旧させること
ができ、リアルタイムな対応が可能となる等、優れた効
果が期待できるものである。
システムの系統構成の一例を示すブロック図
法の説明図
順を示すフローチャート
を示す図
ッチング方法の一例を示す図
ッチング方法で得られる差分値グラフの一例を示す図
ッチング方法で得られる差分値グラフの一例を示す図
システムの系統構成の一例を示すブロック図
量算出を説明する図
手順を示すフローチャート
れを補正する方法を説明する図
Claims (13)
- 【請求項1】 対象を見下ろす位置に設置された監視用
カメラから得られた撮像画像を異なる時に取り込み、新
たに得られた画像と既に記録されている旧画像とを比較
し、前記新たに得られた画像と前記既に記録されている
旧画像の両画像間の画角のずれ量を算出し、前記ずれ量
の算出後、新たに得られる撮像画像のパラメータを前記
画角のずれ量に応じて補正し、その補正により画角ずれ
の影響を取り除くことを特徴とする監視用カメラの画角
ずれを調整する方法。 - 【請求項2】 前記両画像間の画角のずれ量は、新たに
得られた撮影画像を新テンプレートとして登録し、その
新テンプレートと既に登録されている前記旧画像のテン
プレートとを含むマッチング範囲を設け、そのマッチン
グ範囲内で一方の前記テンプレートを他方の前記テンプ
レートに対して所定画素ずづ移動し、この前記画素の移
動によりマッチング度合いを算出するようにしたことを
特徴とする請求項1記載の監視用カメラの画角ずれを調
整する方法。 - 【請求項3】 旧画像のテンプレートと前記新テンプレ
ートとのマッチングは、対応する画素毎に輝度差を算出
して行うことを特徴とする請求項2記載の監視用カメラ
の画角ずれを調整する方法。 - 【請求項4】 旧画像のテンプレートと前記新テンプレ
ートとのマッチングは、対応する画素毎の輝度平均を算
出して相関値で行うことを特徴とする請求項2記載の監
視用カメラの画角ずれを調整する方法。 - 【請求項5】 新たに撮影された画像を時系列方向に積
分し、平均化された画像のテンプレートと前記旧画像の
テンプレートとをマッチングさせることを特徴とする請
求項2から4の何れかに記載の監視用カメラの画角ずれ
を調整する方法。 - 【請求項6】 対象を見下ろす位置に設置された監視用
カメラからの撮像画像を取り込む画像処理部と、 前記画像処理部より新たに得られた画像と既に記録され
ている旧画像とを比較して両画像間の画角のずれ量を算
出するとともに、その後、新たに得られる撮像画像のパ
ラメータを前記画角のずれ量に応じて補正して前記画角
ずれの影響を取り除く画像処理部とを備えたことを特徴
とする監視用カメラの画角ずれ調整装置。 - 【請求項7】 監視用カメラから得られた撮像画像を二
値化して取り込むことを特徴とする請求項1乃至6のい
ずれかに記載の監視用カメラの画角ずれ調整装置。 - 【請求項8】 前記画像処理部には、前記両画像間の画
角のずれ量を算出する際に、新たに得られた撮影画像を
新テンプレートとして登録し、その新テンプレートと既
に登録されている前記旧画像のテンプレートとを含むマ
ッチング範囲を設け、そのマッチング範囲内で一方の前
記テンプレートを他方の前記テンプレートに対して所定
画素ずづ移動し、この前記画素の移動によりマッチング
度合いを算出する手段を設けたことを特徴とする請求項
6記載の監視用カメラの画角ずれ調整装置。 - 【請求項9】 前記画像処理部には、旧画像のテンプレ
ートと前記新テンプレートとのマッチングを行う際、対
応する画素毎に輝度差を算出してマッチングさせるマッ
チング手段を設けたことを特徴とする請求項8記載の監
視用カメラの画角ずれ調整装置。 - 【請求項10】 前記画像処理部には、旧画像のテンプ
レートと前記新テンプレートとのマッチングを行う際、
対応する画素毎の輝度平均を算出して相関値でマッチン
グさせるマッチング手段を設けたことを特徴とする請求
項8記載の監視用カメラの画角ずれ調整装置。 - 【請求項11】 前記画像処理部には、新たに撮影され
た画像を時系列方向に積分し、平均化された画像のテン
プレートと前記旧画像のテンプレートとをマッチングさ
せる手段を設けたことを特徴とする請求項8から10の
何れかに記載の監視用カメラの画角ずれ調整装置。 - 【請求項12】 対象を見下ろす位置に設置され、か
つ、水平及び垂直方向に旋回可能な監視用カメラからの
撮像画像を取り込む画像取込み部と、 前記監視用カメラが特定の位置に静止された時に、前記
画像処理部より新たに得られた撮影画像と既に記録され
ている旧画像とを比較して両画像間の画角のずれ量を算
出し、その後、新たに得られる撮像画像のパラメータを
前記画角のずれ量に応じて補正して前記画角ずれの影響
を取り除く画像処理部とを備えたことを特徴とする監視
用カメラの画角ずれ調整装置。 - 【請求項13】 対象を見下ろす位置に設置された監視
用カメラから得られた新たな撮像画像を取り込むステッ
プと、その新撮影画像と既に記録されている旧画像とを
比較して前記両画像間の画角のずれ量を算出するステッ
プと、新たに得られた撮像画像のパラメータをその画角
のずれ量に応じて補正し、その補正により画角ずれの影
響を取り除くステップとを、順にコンピュータに実行さ
せるためのプログラムを含む媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001029651A JP4801264B2 (ja) | 2001-02-06 | 2001-02-06 | 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001029651A JP4801264B2 (ja) | 2001-02-06 | 2001-02-06 | 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002232875A true JP2002232875A (ja) | 2002-08-16 |
JP4801264B2 JP4801264B2 (ja) | 2011-10-26 |
Family
ID=18893970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001029651A Expired - Fee Related JP4801264B2 (ja) | 2001-02-06 | 2001-02-06 | 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4801264B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1320501C (zh) * | 2003-10-28 | 2007-06-06 | 株式会社日立国际电气 | 物体检测方法及物体检测装置 |
JP2009166323A (ja) * | 2008-01-15 | 2009-07-30 | Sigumakkusu Kk | 射出成形機監視装置 |
WO2019087792A1 (ja) * | 2017-10-30 | 2019-05-09 | パナソニックIpマネジメント株式会社 | 棚札検出装置、棚札検出方法、及び、棚札検出プログラム |
CN110992725A (zh) * | 2019-10-24 | 2020-04-10 | 合肥讯图信息科技有限公司 | 用于检测交通信号灯故障的方法、系统及存储介质 |
CN116580182A (zh) * | 2023-04-13 | 2023-08-11 | 北京金和网络股份有限公司 | 一种自动调整的目标检测的方法、系统、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04238471A (ja) * | 1991-01-23 | 1992-08-26 | Mitsubishi Heavy Ind Ltd | 連続画像フレーム積分装置 |
JPH05346958A (ja) * | 1992-06-15 | 1993-12-27 | Matsushita Electric Ind Co Ltd | 移動体追尾装置 |
JPH06143297A (ja) * | 1992-10-30 | 1994-05-24 | Rhythm Watch Co Ltd | 金型監視装置およびその方法 |
JP2000182180A (ja) * | 1998-12-16 | 2000-06-30 | Sumitomo Electric Ind Ltd | 車両監視システム,車両監視端末装置及び車両監視中央装置 |
JP2000324477A (ja) * | 1999-05-14 | 2000-11-24 | Hitachi Ltd | 画像監視方法および装置 |
-
2001
- 2001-02-06 JP JP2001029651A patent/JP4801264B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04238471A (ja) * | 1991-01-23 | 1992-08-26 | Mitsubishi Heavy Ind Ltd | 連続画像フレーム積分装置 |
JPH05346958A (ja) * | 1992-06-15 | 1993-12-27 | Matsushita Electric Ind Co Ltd | 移動体追尾装置 |
JPH06143297A (ja) * | 1992-10-30 | 1994-05-24 | Rhythm Watch Co Ltd | 金型監視装置およびその方法 |
JP2000182180A (ja) * | 1998-12-16 | 2000-06-30 | Sumitomo Electric Ind Ltd | 車両監視システム,車両監視端末装置及び車両監視中央装置 |
JP2000324477A (ja) * | 1999-05-14 | 2000-11-24 | Hitachi Ltd | 画像監視方法および装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1320501C (zh) * | 2003-10-28 | 2007-06-06 | 株式会社日立国际电气 | 物体检测方法及物体检测装置 |
JP2009166323A (ja) * | 2008-01-15 | 2009-07-30 | Sigumakkusu Kk | 射出成形機監視装置 |
WO2019087792A1 (ja) * | 2017-10-30 | 2019-05-09 | パナソニックIpマネジメント株式会社 | 棚札検出装置、棚札検出方法、及び、棚札検出プログラム |
CN111315670A (zh) * | 2017-10-30 | 2020-06-19 | 松下知识产权经营株式会社 | 货架标签检测装置、货架标签检测方法及货架标签检测程序 |
JPWO2019087792A1 (ja) * | 2017-10-30 | 2020-12-10 | パナソニックIpマネジメント株式会社 | 棚札検出装置、棚札検出方法、及び、棚札検出プログラム |
CN111315670B (zh) * | 2017-10-30 | 2021-11-26 | 松下知识产权经营株式会社 | 货架标签检测装置、货架标签检测方法、以及记录介质 |
US11380098B2 (en) | 2017-10-30 | 2022-07-05 | Panasonic Intellectual Property Management Co., Ltd. | Shelf label detection device, shelf label detection method, and shelf label detection program |
JP7165884B2 (ja) | 2017-10-30 | 2022-11-07 | パナソニックIpマネジメント株式会社 | 棚札検出装置、棚札検出方法、及び、棚札検出プログラム |
US11823126B2 (en) | 2017-10-30 | 2023-11-21 | Panasonic Intellectual Property Management Co., Ltd. | Shelf label detection device, shelf label detection method, and shelf label detection program |
CN110992725A (zh) * | 2019-10-24 | 2020-04-10 | 合肥讯图信息科技有限公司 | 用于检测交通信号灯故障的方法、系统及存储介质 |
CN116580182A (zh) * | 2023-04-13 | 2023-08-11 | 北京金和网络股份有限公司 | 一种自动调整的目标检测的方法、系统、设备及存储介质 |
CN116580182B (zh) * | 2023-04-13 | 2024-06-18 | 北京金和网络股份有限公司 | 一种自动调整的目标检测的方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4801264B2 (ja) | 2011-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3279479B2 (ja) | 映像監視方法及び装置 | |
US8390695B2 (en) | Image correction apparatus and method and method of making transformation map for the same | |
US8073206B2 (en) | Face feature collator, face feature collating method, and program | |
EP2624575A1 (en) | Image processing device and image capturing device using same | |
JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
JP5105972B2 (ja) | 座標変換方法及びパラメータ調整方法及び監視システム | |
JP4626400B2 (ja) | 俯瞰画像表示装置及び俯瞰画像表示方法 | |
JP4801264B2 (ja) | 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体 | |
JP4882577B2 (ja) | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 | |
JPH11120481A (ja) | 交通流計測装置 | |
JP2002087160A (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2004354256A (ja) | キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
JP2000155839A (ja) | 標識領域画像抽出方法、装置、標識領域画像抽出プログラムを記録した記録媒体 | |
JP3296675B2 (ja) | 被写体追尾装置および被写体追尾方法 | |
JP4224449B2 (ja) | 画像抽出装置 | |
JP2003208692A (ja) | 車両認識方法およびこの方法を用いた交通流計測装置 | |
JP7252775B2 (ja) | 映像解析支援装置及び方法 | |
JP2003322522A (ja) | 車間距離検出装置及び検出方法 | |
JP4993686B2 (ja) | 対応点探索方法および3次元位置計測方法 | |
JP3020634B2 (ja) | 移動車の環境認識装置 | |
JP4744789B2 (ja) | 物体識別方法及び物体識別装置 | |
JP2003346163A (ja) | 車両用走行路認識装置 | |
JP5911623B1 (ja) | 道路のジョイント部の検出装置及び検出方法 | |
JP3508225B2 (ja) | 画像のタイミング一致検出方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110805 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |