JP2007208513A

JP2007208513A - 画像位置ずれ検出装置および画像位置ずれ検出方法

Info

Publication number: JP2007208513A
Application number: JP2006023489A
Authority: JP
Inventors: Kenji Kitamura; 健児北村; Yosuke Sakamoto; 陽祐坂本; Yoshihiro Sekiguchi; 佳宏関口
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-01-31
Filing date: 2006-01-31
Publication date: 2007-08-16

Abstract

【課題】経年変化によってカメラの撮影対象となる被写体やその周囲の環境に大きな変化が生じた場合であっても、位置ずれの発生を検出可能にする。
【解決手段】画像を撮像し入力する画像入力部１０による撮像方向の変化を位置ずれとして認識する画像位置ずれ検出装置１００であって、入力画像に基づく基準画像を格納する基準画像格納部２３と、入力画像に対して、時間累積画像を作成する累積画像作成部１３と、累積画像に対して、階調補正処理を行うことで補正画像を作成する微分画像作成部１４およびガンマ補正画像作成部１５と、基準画像所定領域および補正画像における基準画像所定領域と同大の補正画像所定領域を比較することで相関値を算出する位置ずれ量算出部２２と、相関値に基づいて、位置ずれを提示する位置ずれ提示部とを有する。
【選択図】図１

Description

本発明は、例えば監視用のカメラシステムなどに利用可能な画像位置ずれ検出装置に関する。

従来より、例えば特定の幹線道路における交通の状況をテレビカメラ等を用いて監視したり、鉄道の各駅構内で通過する電車の状況やホームの状況をテレビカメラ等を用いて監視することが行われている。

このような監視に用いるカメラシステムの場合、一般的に、各カメラは特定の地点に固定的に設置され、最も監視に適した状態で使用される。すなわち、監視すべき特定の被写体の領域全体が撮影されるような向き及び画角になるように、カメラの姿勢やズーム量などが決定され、その状態でカメラは固定される。勿論、カメラが姿勢調整機能を備える場合には、必要に応じて撮影方向などを変更する可能性もあるが、通常の状態では予め定めた方向に存在する特定の被写体だけを撮影するようにカメラは固定される。

従って、このようなカメラによって撮影された画像を利用することにより、特定の被写体、例えば特定の道路近傍の同じ地点について、長期間にわたって状況の変化を監視することが可能になる。

しかし、監視システムを長期間に渡って使用する場合には、例えば外部からカメラに加わる振動やカメラ清掃などのメンテナンス作業の影響により、カメラの撮影方向や画角に少しずつ変化が生じる可能性が高い。そして、カメラの撮影方向や画角が基準状態から変化すると監視すべき特定の被写体を正確に画像処理によって検出し、移動速度などを計測することができなくなってしまう。従って、このような監視システムの機能を維持するためには、一般的には定期的なメンテナンスとして、人手による画像処理パラメータの再調整作業を行わざるを得なかった。

そこで、予め所定の監視対象領域よりも少し広い範囲をカメラで撮影するように画角を調整しておき、カメラによって実際に撮影された画像に基づいてカメラの位置ずれ等を検出すると共に、位置ずれを検出した場合には、画像処理のパラメータを自動的に補正することにより、監視対象領域が当初の領域からずれないように制御することを提案している。また、カメラの位置ずれ等を検出するために、予め登録しておいた基準画像と、カメラで撮影された現在の画像との相関を調べるように処理している。（例えば、特許文献１参照）。
特開２００２−２３２８７５号公報

しかしながら、例えば１年程度の長期間にわたってこのようなシステムを使用した場合には、カメラの位置ずれ等を正しく検出できなくなる場合が多いという事情がある。すなわち、長期間にわたる経年変化によって撮影対象となる被写体自体の環境に大きな変化が生じるため、予め登録された基準画像と、カメラで撮影された現在の画像との違いが大きくなる。

例えば、監視対象が道路を走行する自動車等の交通量であるような場合には、カメラが撮影する道路自体の画像の特徴に基づいて位置ずれの検出を行うことになるが、道路上の表示である各種ライン（センターライン等）は走行する車両のタイヤにより摩耗するため経年変化で見えにくくなるし、道路周辺の各種構造物についても汚れの付着等により状況が変化する。更に、照明の明るさについても経年変化やランプの交換等により大きく変化する可能性がある。このため、特許文献１のような技術を採用した場合であっても、基準画像と現在の画像との相関の検出が困難になるので、人手による定期的なメンテナンスは不可欠であった。

本発明は、上記事情を鑑みてなされたものであって、経年変化によってカメラの撮影対象となる被写体やその周囲の環境に大きな変化が生じた場合であっても、位置ずれの発生を検出可能な画像位置ずれ検出装置および画像位置ずれ検出方法を提供することを目的とする。

上記目的を達成するために、本発明の第１の画像位置ずれ検出装置は、画像を撮像し入力する画像入力部による撮像方向の変化を位置ずれとして認識する画像位置ずれ検出装置であって、前記画像入力部によって入力された入力画像に基づく基準画像を格納する基準画像格納部と、前記入力画像に対して、時間累積画像を作成する累積画像作成部と、前記累積画像作成部によって作成された累積画像に対して、少なくとも前記累積画像の階調を調整する階調補正処理を行うことで補正画像を作成する画像補正部と、前記基準画像格納部によって格納された基準画像における所定領域を示す基準画像所定領域および前記画像補正部によって作成された補正画像における前記基準画像所定領域と同大の所定領域を示す補正画像所定領域を比較することで、前記基準画像所定領域と前記補正画像所定領域との間の相関値を算出する相関値算出部と、前記相関値算出部によって算出された相関値に基づいて、前記位置ずれを提示する位置ずれ提示部とを有する構成としている。

この構成により、経年変化によってカメラの撮影対象となる被写体やその周囲の環境に大きな変化が生じた場合であっても、位置ずれの発生を検出することができる。

また、本発明の第２の画像位置ずれ検出装置は、前記画像補正部によって行なわれる階調補正処理が、前記累積画像の階調および前記補正画像の階調の関係を非線形に変換するガンマ補正処理を含む構成としている。

この構成により、入力画像変換手段が前処理としてガンマ補正処理を実施するので、経年変化が生じた場合に、基準画像と現画像との間の相関検出が更に容易になる。例えば、経年変化によって道路等の被写体に汚れが付着したような場合には、現画像中の各画像要素の明るさは初期状態に相当する基準画像に比べて全体的に暗くなる傾向にあると考えられる。従って、現画像に対してガンマ補正を行えば、比較的階調の低い（暗い）画像要素における階調の違いを明確にすることができるので、経年変化による汚れ等の影響を受けにくくなる。

また、本発明の第３の画像位置ずれ検出装置は、前記画像補正部によって行われる階調補正処理が、前記累積画像の階調の頻度分布を表すヒストグラムにおける頻度分布を平坦にするヒストグラム平滑化処理を含む構成としている。

この構成により、入力画像変換手段が前処理としてヒストグラム平滑化処理を実施するので、経年変化が生じた場合に、基準画像と現画像との間の相関検出が更に容易になる。一般的な画像のヒストグラムにおいては、各階調の頻度が一部の階調領域に集中する傾向にある。従って、頻度の高い階調の画素を他の階調に変更し、頻度の低い階調の画素を増やすように処理して、ヒストグラムの頻度分布を平坦にすれば、各画像要素の階調の違いがより明確になる。このため、例えば経年変化により被写体に汚れ等が付着した結果、全体的に階調分布が偏った現画像を処理するような場合であっても、階調分布が平坦になるので、各画像要素の階調の違いがより明確になり、現画像と基準画像との間の相関値を高めることが可能になる。

また、本発明の第４の画像位置ずれ検出装置は、前記画像補正部が、前記累積画像中の輪郭を強調する空間微分処理を含む構成としている。

この構成により、相関検出処理の対象になる画像には、前処理として空間微分処理が施される。空間微分処理を実施することにより、画像中の輪郭が強調されることになるので、経年変化によって被写体である道路などに劣化や汚れの付着等が生じた場合であっても、現画像に生じるコントラストの低下などを補うことができ、基準画像と現画像との間の相関検出が容易になる。従って、基準画像を作成してから長期間が経過した後でも位置ずれの検出が可能になる。

また、本発明の第５の画像位置ずれ検出装置は、前記補正画像が補正画像所定領域を複数有し、前記相関値算出部が、前記相関値を複数算出し、前記位置ずれ提示部が、前記基準画像における前記基準画像所定領域の位置と前記補正画像における前記相関値算出部によって算出された複数の相関値のうち最大の相関値を有する補正画像所定領域の位置との差に基づいて、前記位置ずれの度合いを示す位置ずれ量を判定する位置ずれ量判定部を有する構成としている。

この構成により、位置ずれ量を判定することができる。例えば、カメラの撮影方向が初期状態から少しずれた場合、現画像中の各画像要素は全体的に水平方向及び／又は垂直方向に少しずれることになる。従って、位置ずれがない状態で、前記基準画像との相関値が最大になる現画像中の特定の注目領域（例えば監視対象とすべき矩形領域）も、カメラの位置ずれに伴って水平方向及び／又は垂直方向に少しずれることになる。そこで、互いに位置が異なる複数の注目領域について基準画像との相関値を算出し、相関値が最大の注目領域を調べることによって、位置ずれの有無や検出された位置ずれ量を決定できる。

また、本発明の第６の画像位置ずれ検出装置は、前記最大の相関値に対応する位置ずれ量を示す最大相関位置ずれ量を格納する位置ずれ量格納部を有し、前記位置ずれ提示部が、前記最大の相関値があらかじめ定められた閾値以上である場合、前記最大相関位置ずれ量を有効と判定し前記最大相関位置ずれ量を前記位置ずれ量格納部へ格納して前記最大相関位置ずれ量を前記位置ずれ量として利用し、前記最大の相関値が前記閾値未満である場合、前記最大相関位置ずれ量を無効と判定し前記位置ずれ量格納部に格納された最大相関位置ずれ量のうち最新のものを前記位置ずれ量として利用する構成としている。

この構成により、最新の有効な位置ずれ量だけを出力するので、高い信頼性が得られる。すなわち、何らかの外乱がカメラに加わり、一時的に異常な画像が撮影されたような場合には、検出される相関値の最大値が比較的低い値になり、正しい位置ずれ量の検出は困難になる。具体的には、被写体が道路である場合には、通常は時間的に画像を累積処理することにより実際に道路を通行する走行中の車両の影響を除外できるので、基準画像と現画像との相関値は高く維持される。しかし、例えば渋滞の発生により道路上で多数の車両が動かなくなったような場合には、画像の累積処理を実施しても車両の影響が大きくなり、相関値が低下する。このような場合には、最新の位置ずれ量は信頼性が低いと考えられるので、最新の位置ずれ量を無効とみなし、それ以前に検出された過去の位置ずれ量をメモリから読み出して利用することにより、高い信頼性を維持できる。

また、本発明の第１の画像位置ずれ検出方法は、画像が撮像され入力される画像入力ステップにおける撮像方向の変化が位置ずれとして認識される画像位置ずれ検出方法であって、前記画像入力ステップにおいて入力された入力画像に基づく基準画像が格納される基準画像格納ステップと、前記入力画像に対して、時間累積画像が作成される累積画像作成ステップと、前記累積画像作成ステップにおいて作成された累積画像に対して、少なくとも前記累積画像の階調を調整する階調補正処理が行われることで補正画像が作成される画像補正ステップと、前記基準画像格納ステップにおいて格納された基準画像における所定領域を示す基準画像所定領域および前記画像補正ステップにおいて作成された補正画像における前記基準画像所定領域と同大の所定領域を示す補正画像所定領域が比較されることで、前記基準画像所定領域と前記補正画像所定領域との間の相関値が算出される相関値算出ステップと、前記相関値算出ステップにおいて算出された相関値に基づいて、前記位置ずれが提示されるステップとを有する構成としている。

この方法により、経年変化によってカメラの撮影対象となる被写体やその周囲の環境に大きな変化が生じた場合であっても、位置ずれの発生を検出することができる。

本発明によれば、経年変化によって被写体である道路などに劣化や汚れの付着等が生じた場合であっても、現画像に生じるコントラストの低下などを補うことができ、基準画像と現画像との間の相関検出が容易になる。従って、基準画像を作成してから長期間が経過した後でも位置ずれの検出が可能になる。

（第１の実施形態）
本発明の第１の実施形態における画角位置ずれ検出装置１００について、図１、図２、図５〜図７及び図９〜図１５を参照しながら以下に説明する。

図１は本発明の第１の実施形態における画角位置ずれ検出装置１００の構成を示すブロック図である。図２は本発明の第２の実施形態における画角位置ずれ検出装置１００の動作を示すフローチャートである。図５は本発明の第１の実施形態における画角位置ずれ検出装置１００が扱う画像の具体例を示す模式図である。図６（ａ）、図６（ｂ）は本発明の第１の実施形態における画角位置ずれ検出装置１００が扱う階調補正処理に関する画像の具体例を示す模式図である。図６（ａ）は空間微分処理を施した空間微分画像であり、図６（ｂ）は図６（ａ）の空間微分処理を行った後、ガンマ補正処理（γ＝１．５）を施したガンマ補正画像である。図７は本発明の第１の実施形態における画像中に割り当てられる矩形領域を示す模式図である。図９〜図１３は本発明の第１の実施形態におけるそれぞれの画像の具体例を示す模式図である。図１４及び図１５は本発明の第１の実施形態におけるガンマ係数相関値特性図である。

本実施形態では、例えば道路わきの路面より少し高い位置に固定的に設置されたテレビカメラのような撮像装置を用いて図５の各画像中に示されたような被写体を撮影し、撮影により得られた図５に示すような画像に基づいて、交通量（車両の台数、速度）の計測などを行うシステムに本発明を適用する場合を想定している。このようなシステムが交通量の計測を正しく行うためには、常に同じ領域の画像を処理する必要がある。

すなわち、撮像装置が撮影する向きが変化すると、撮影される範囲に変化が生じるし、計測時の撮像装置と監視対象物（車両）との距離も変化するため、計測の条件が変動し正しい測定結果が得られない。このような位置ずれの検出及びその検出結果に基づく補正処理の機能が画角位置ずれ検出装置１００には含まれている。

特に、画角位置ずれ検出装置１００においては、環境に経年変化が生じた場合であっても位置ずれの検出や補正が可能になるように工夫され、更に外乱に対しても高い信頼性が得られるように工夫されている。

例えば、システムの設置当初は図５（ａ）に示すように鮮明な画像が得られるが、システムの設置から１年程度を経過すると、被写体である道路自体に摩耗や劣化が生じるため、道路上に表示されたライン等が鮮明でなくなったり、汚れの付着などの影響により画像が全体的に暗くなる傾向がある（図５（ｂ）参照）。また、例えば対象となる道路上で交通渋滞が発生すると、図５（ｃ）に示すように動かない車両の影響がある画像を処理しなければならず、位置ずれの検出が困難になったり、位置補正の誤動作が生じる可能性もある。なお、走行する車両については、異なる時点で撮影された多数の画像を時間的に累積したり平均化したりすることにより影響を排除することができる。

図１に示すように、この画角位置ずれ検出装置１００は画像入力部１０と、入力画像格納部１１と、入力画像変換部１２と、変換画像格納部２１と、位置ずれ量算出部２２と、基準画像格納部２３と、位置ずれ量格納部２４と、位置ずれ量判定部２５と、初期パラメータ格納部２６と、補正パラメータ作成部２７と、画像計測部２８とを有する。また、入力画像変換部１２は累積画像作成部１３と、微分画像作成部１４と、ガンマ補正画像作成部１５とを有する。

ここで、画角位置ずれ検出装置１００は画像位置ずれ検出装置の一例である。また、画像入力部１０は画像入力部の一例である。また、入力画像変換部１２の累積画像作成部１３は累積画像作成部の一例である。また、入力画像作成部１２の微分画像作成部１４およびガンマ補正作成部１５画像補正部は画像補正部の一例である。また、位置ずれ量算出部２２は相関値算出部の一例である。また、位置ずれ量判定部２５は位置ずれ量判定部の一例である。

画像入力部１０は、道路わきに設置された特定のカメラから、例えば図５に示すような画像を定期的に繰り返し入力する。

入力画像格納部１１は、記憶装置であり、画像入力部１０がデジタルデータとしてカメラから定期的に入力する複数フレームの画像を一時的に保存する。

入力画像変換部１２は、カメラの位置ずれの検出を容易にするための前処理を画像に対して施す。すなわち、入力画像格納部１１に格納された複数フレームの画像から累積画像作成部１３が累積画像を作成し、微分画像作成部１４は累積画像作成部１３が作成した累積画像から微分画像を作成し、ガンマ補正画像作成部１５は微分画像作成部１４が作成した微分画像からガンマ補正画像を作成する。

具体的には、累積画像作成部１３は次式の内容に従って入力画像から時間累積画像Ｓ(ｔ)を作成する。
Ｓ(t)＝α×Ｃ(t)＋（1-α）×Ｓ(t-△T)
ｔ：時間
Ｃ(t)：入力画像
α：時間累積処理重み量（0＜α＜1）
△T：処理周期

すなわち、最新の入力画像Ｃ(t)と、処理周期△Tだけ前の時点で得られた時間累積画像Ｓ(t-△T)とを重み量αに従って加算したものが最新の時間累積画像Ｓ(ｔ)になる。このような処理を行うと、走行する車両のように画像中に一時的に現れた要素の影響は非常に小さくなって時間累積画像Ｓ(ｔ)に現れる。つまり、道路自体のように静止している要素だけを抽出することができる。

微分画像作成部１４は、画像に対して空間微分処理を施す。具体的には、エッジ検出に用いられるSobelフィルタ（SF)の処理を行っている。
Ｄ(t)＝SF×Ｓ(t)
SF：Sobelフィルタ
Ｄ(t)：空間微分画像

Sobelフィルタは、ある注目画素を中心としてその上下左右に存在する９個の画素の各値に対して、以下に示すような係数をそれぞれ乗算し、結果を合計する。従って、垂直方向及び水平方向の２つの係数行列を用いてこの処理を行う。
水平方向の係数 SFh：

垂直方向の係数 SFv：

水平方向の合計値を gHS、垂直方向の合計値を gVS としたとき、注目画素の画素値ｇは以下の式で求められる。
ｇ = （ｇＨＳ² + ｇＶＳ²）^1/2

空間微分処理を行うことにより、エッジすなわち画像の輪郭が強調されるので、例えば道路自体の輪郭や道路上に表示された各種ラインなどの特徴をより鮮明に出力することができる。

ガンマ補正画像作成部１５は、次式で示されるようなガンマ補正処理を行う。
Ｇ(t)＝Ｄ(ｔ)^1/γ
γ：ガンマ値
Ｇ(t)：ガンマ補正画像

すなわち、ガンマ値γを１以外の値に定めて処理することにより、非線形の階調補正を行うことになる。例えば、ガンマ値γとして１よりも小さい値を用いる場合には、入力画像における階調の低い領域の階調変化が拡張され、入力画像における階調の高い領域の階調変化が圧縮される。従って、例えば全体的に暗い（階調が低い）状態に変化した画像を処理する場合には、暗い部分の画像領域がより鮮明になるように階調が補正される。

なお、入力画像変換部１２においては、微分画像作成部１４の処理の結果に対してガンマ補正画像作成部１５が処理を行っているが、順番を逆にして、ガンマ補正画像作成部１５のガンマ補正を先に行い、ガンマ補正画像作成部１５の出力に対して微分画像作成部１４の空間微分処理を施すように変更することも可能である。しかし、後述するように、微分画像作成部１４の処理を先に行う方が好ましい結果が得られることが実験により判明している。

変換画像格納部２１は、入力画像変換部１２のガンマ補正画像作成部１５が出力するガンマ補正画像Ｇ(t)の画像データを一時的に保存する。

一方、基準画像格納部２３は、予め登録された基準画像のデータを固定的に保持している。例えば、図５に示すような画像を処理対象とする場合には、システムを最初に稼働するときにカメラで撮影可能な同じ場所の図５（ａ）に示すような画像データを基準画像として保存しておけばよい。なお、基準画像格納部２３が保存する画像データについても、入力画像変換部１２が行うような処理を事前に行った上で保存しても良い。

位置ずれ量算出部２２は、基準画像格納部２３に保持されている基準画像上の矩形領域と変換画像格納部２１に保持されている最新の現画像上の矩形領域との間の相関値を求める。また、現画像上の矩形領域を上下左右に少しずつ移動して相関値が最大になる位置を見つける。

例えば、図５に示すような画像を処理する場合には、図７（ａ）に示す基準画像１０１のフレーム内のほぼ中央部に、このフレームよりも少し小さい大きさの矩形領域１０２を割り当てる。また、図７（ｂ）に示すように、変換画像格納部２１に保持されている現画像１０３のフレーム内にも、矩形領域１０２と同じサイズの矩形領域１０４を割り当てる。そして、現画像１０３のフレーム内で矩形領域１０４を上下左右に少しずつ移動することにより、現画像１０３中で注目領域を変更する。矩形領域１０４の移動中にそれぞれの位置で、基準画像１０１の矩形領域１０２と現画像１０３の矩形領域１０４との相関値が求められる。

矩形領域１０４の位置ずれ量が水平ｕ画素、垂直ｖ画素の場合の相関値Ｃ(ｕ，ｖ)は、次式で表される。ここで、矩形領域１０２及び矩形領域１０４の画像サイズをＭ×Ｎ（画素）とし、現画像１０３の各画素をＩ(ｉ，ｊ）で表し、基準画像１０１の各画素をＴ（ｉ，ｊ）で表し、現画像１０３における矩形領域１０４（Ｉ（Ｍ，Ｎ））の階調平均値をμiで表し、基準画像１０１における矩形領域１０２（Ｔ（Ｍ，Ｎ））の階調平均値をμTで表してある。

従って、位置ずれ量算出部２２は、算出された相関値が最大になった矩形領域１０４の位置の違いから位置ずれの有無及び位置ずれ量（画素数）を検出することができる。

位置ずれ量格納部２４は、検出された有効な位置ずれ量を保存するための記憶装置である。

位置ずれ量判定部２５は、位置ずれ量算出部２２で今回検出された相関値の最大値を予め定めた閾値と比較することにより、位置ずれ量算出部２２で今回検出された位置ずれ量が有効か否かを識別する。すなわち、図５（ｃ）に示す画像を処理する場合のように外乱の影響が大きい場合には、検出される相関値の最大値が比較的小さい値になり、正確な位置ずれの検出も困難になる。そこで、位置ずれ量判定部２５は今回検出された相関値の最大値が閾値よりも大きい場合には、今回検出された位置ずれ量を有効な値とみなし、今回検出された位置ずれ量を位置ずれ量格納部２４に保存すると共に、補正パラメータ作成部２７に通知する。また、今回検出された相関値の最大値が閾値以下の場合には、今回検出された位置ずれ量を信頼性の低い無効な値とみなし、今回検出された位置ずれ量の代わりに、位置ずれ量格納部２４に保存されている過去の（最後に登録された）位置ずれ量を補正パラメータ作成部２７に通知する。

画像計測部２８は、カメラで撮影された画像を処理することにより、車両の検出、追跡、速度算出等の処理を行う。画像計測部２８が画像から車両を検出する際には、車両の大きさの情報が、追跡および速度算出する際には道路上の位置の情報がそれぞれ必要であり、実際にはこれらの情報を画像上の各像領域の大きさおよび位置情報を画像座標から道路座標へ変換することにより取得することになる。

画像座標から道路座標への変換式のパラメータ（係数）は画角等の条件に応じて一意に決まる。前記変換式のパラメータについては、予め初期値として初期パラメータ格納部２６に登録してある。但し、位置ずれや画角ずれが発生した場合には、前記パラメータを補正しないと正しい処理を行うことができない。

そこで、補正パラメータ作成部２７は、画像内に存在するＮ個の点の画像座標（Ｘ，Ｙ）と道路座標（ｘ，ｙ）をもとに、予め座標変換式ＦｘおよびＦｙのパラメータを決定する。ｘ＝Ｆｘ（Ｘ，Ｙ）、ｙ＝Ｆｙ（Ｘ，Ｙ）となる。位置ずれ量が水平ｕ、垂直ｖの場合、画像内に存在するＮ個の点の画像座標を（Ｘ＋ｕ，Ｙ＋ｖ)に補正し、これと道路座標（ｘ，ｙ）とに基づいて、座標変換式ＦｘおよびＦｙのパラメータを再度決定する。

なお、画角位置ずれ検出装置１００の各構成要素については、コンピュータのソフトウェアにより実現することもできるし、論理回路などの専用のハードウェアを用いて実現することもできる。

次に、画角位置ずれ検出装置１００の動作について、図２を参照しながら説明する。

ステップＳ１１では、入力画像変換部１２内の累積画像作成部１３が入力画像格納部１１から入力した画像データを処理して累積画像データを作成する。すなわち、前述の時間累積画像Ｓ(ｔ)を作成する。

ステップＳ１２では、入力画像変換部１２内の微分画像作成部１４が、累積画像作成部１３から出力される累積画像データを入力して空間微分処理を施す。すなわち、前述の空間微分画像Ｄ(t)を作成する。

ステップＳ１３では、入力画像変換部１２内のガンマ補正画像作成部１５が、微分画像作成部１４から出力される空間微分処理後の画像データに対してガンマ補正処理を施す。すなわち、前述のガンマ補正画像Ｇ(t)を作成する。作成されたガンマ補正画像Ｇ(t)は変換画像格納部２１で一時的に保持される。

ステップＳ１４では、位置ずれ量算出部２２が変換画像格納部２１に保持されている補正処理済みの現画像１０３のフレーム中に、図７（ｂ）に示すような矩形領域１０４を割り当てる。矩形領域１０４の位置は、このステップを実行するたびにフレーム中で上下左右に移動する。

ステップＳ１５では、位置ずれ量算出部２２が、基準画像格納部２３上に保持されている基準画像１０１のフレーム中に予め割り当てられた矩形領域１０２（図７（ａ）参照）の部分の画像データと、ステップＳ１４で現画像１０３上に割り当てられた矩形領域１０４の部分の画像データとの間の相関値を算出する。

ステップＳ１６では、Ｎ個の相関値の算出が完了したか否かを識別する。完了してなければ、ステップＳ１６からステップＳ１４に戻り、前回とは少しずらした位置に矩形領域１０４を割り当てる。ステップＳ１５を１回実行するたびに１個の相関値が得られる。従って、ステップＳ１４〜Ｓ１６の処理をＮ回繰り返すとこの処理が完了する。

ステップＳ１７では、位置ずれ量判定部２５がステップＳ１４〜Ｓ１６の処理で得られたＮ個の相関値の中から最大値を検出し、その最大値と判定値（予め定めた閾値）とを比較する。すなわち、検出された最大相関値が有効な値か否かを識別する。（判定値＜最大相関値）の条件を満たす場合にはステップＳ１７からステップＳ１８に進み、条件を満たさない場合にはステップＳ１９に進む。

ステップＳ１８では、位置ずれ量判定部２５が最大相関値に対応する矩形領域１０４の位置と現画像１０３上の基準位置（位置ずれがない場合の位置）との違いを有効な位置ずれ量として位置ずれ量格納部２４に登録する。

ステップＳ１９では、今回検出された位置ずれ量が無効なデータであるため、位置ずれ量判定部２５は、位置ずれ量格納部２４に保持されている過去に検出された最も新しい位置ずれ量を位置ずれ量格納部２４から読み出して利用する。

ステップＳ２０では、位置ずれ量判定部２５が今回検出した有効な位置ずれ量、又はステップＳ１９で位置ずれ量格納部２４から読み出した少し古い位置ずれ量を用いて補正パラメータ作成部２７が初期パラメータを補正し、補正パラメータを作成する。

ステップＳ２１では、補正パラメータ作成部２７が作成した最新の補正パラメータを用いて画像計測部２８が画像の計測を実行する。

本実施形態における画像の具体例について、以下に説明を補足する。

図９は本発明の第１の実施形態における基準画像に関する変換処理前後の画像およびヒストグラムの具体例を示す図である。図９に示す具体例には、基準画像に関する処理後画像１３１が示されている。ヒストグラム１３２は、処理後画像１３１のフレーム全体に渡る階調の頻度分布を表し、横軸は階調、縦軸は頻度を表している。画像処理の内容として、この例では基準画像については空間微分処理のみ行っている。

図１０は本発明の第１の実施形態における累積画像に関する第１の変換処理前後の画像およびヒストグラムの具体例を示す図である。図１０に示す具体例には、累積画像に関する処理後画像１４１が示されている。ヒストグラム１４２は、処理後画像１４１のフレーム全体に渡る階調の頻度分布を表し、横軸は階調、縦軸は頻度を表している。画像処理の内容として、この例では空間微分処理を行った後でガンマ補正処理を行っている。ガンマ値として（０．５）を採用している。

図１１は本発明の第１の実施形態における累積画像に関する第２の変換処理前後の画像およびヒストグラムの具体例を示す図、図１２は本発明の第１の実施形態における累積画像に関する第３の変換処理前後の画像およびヒストグラムの具体例を示す図、図１３は本発明の第１の実施形態における累積画像に関する第４の変換処理前後の画像およびヒストグラムの具体例を示す図である。図１１〜図１３に示す具体例は、図１０と同様であるが、図１１の例ではガンマ値として（１．０）を採用し、図１２の例ではガンマ値として（１．５）を採用し、図１３の例ではガンマ値として（２．０）を採用している。

ガンマ補正で用いるガンマ係数と相関値との間には、図１４及び図１５に示すような関係がある。図１４は本発明の第１の実施形態における画角位置ずれ検出装置１００の運用直後の原画像から得られたガンマ係数相関値特性図を表しており、図１５は本発明の第１の実施形態における画角位置ずれ検出装置１００の運用開始から１年を経過した後の微分画像から得られたガンマ係数相関値特性図を表している。すなわち、被写体である道路等の経年変化によって、図１４に示す特性から図１５に示す特性に変化することが分かる。図１４及び図１５を参照すると、運用開始直後はガンマ補正の影響が小さいが、経年変化が生じている状態では、比較的大きなガンマ係数を適用してガンマ補正を行うことにより、高い相関値が得られることが分かる。

具体的な実験結果の数値が図１９に示されている。図１９は本発明の第１の実施形態における各変換処理に対する相関値を示す図である。図１９に示す実験結果において、「方式」のＣ１は入力画像変換部１２の中で微分処理を行った場合を表し、「方式」のＣ２は入力画像変換部１２の中でガンマ補正を行った後で微分処理を行った場合を表し、「方式」のＣ３は入力画像変換部１２の中で微分処理を行った後でガンマ補正を行った場合を表している。なお、「方式」のＣ４は後述する他の実施形態の結果を表している。

図１９に示す実験結果を参照すると、運用開始から１年を経過すると、相関値が低下することが分かるが、「方式」のＣ３を採用することにより、１年経過後であっても比較的大きな相関値（０．７７）を確保できることが分かる。また、ガンマ補正と空間微分処理との順番を入れ替えた「方式」Ｃ２を採用した場合でも、１年経過後に比較的大きな相関値（０．７４）を確保できることが分かる。また、空間微分処理だけを行う場合でも相関値の改善は認められた。

このような本発明の第１の実施形態の画角位置ずれ検出装置１００によれば、画像を撮像し入力する画像入力部１０による撮像方向の変化を位置ずれとして認識する画像位置ずれ検出装置１００であって、画像入力部１０によって入力された入力画像に基づく基準画像を格納する基準画像格納部２３と、入力画像に対して、時間累積画像を作成する累積画像作成部１３と、累積画像作成部１３によって作成された累積画像に対して、累積画像の階調を調整する階調補正処理を行うことで補正画像を作成する微分画像作成部１４およびガンマ補正画像作成部１５と、基準画像格納部２３によって格納された基準画像における所定領域を示す基準画像所定領域および微分画像作成部１４およびガンマ補正画像作成部１５によって作成された補正画像における基準画像所定領域と同大の所定領域を示す補正画像所定領域を比較することで、基準画像所定領域と補正画像所定領域との間の相関値を算出する位置ずれ量算出部２２と、位置ずれ量算出部２２によって算出された相関値に基づいて、位置ずれを提示する位置ずれ提示部とを有する構成とすることで、比較的階調の低い（暗い）画像要素における階調の違いを明確にすることができるので、経年変化によってカメラの撮影対象となる被写体やその周囲の環境に大きな変化が生じた場合であっても、位置ずれの発生を検出することができる。
（第２の実施形態）

本発明の第２の実施形態における画角位置ずれ検出装置２００について、図３、図４、図６（ｃ）、図６（ｄ）、図８及び図１６〜図１８を参照しながら以下に説明する。

図３は本発明の第２の実施形態における画角位置ずれ検出装置２００の構成を示すブロック図である。図４は本発明の第２の実施形態における画角位置ずれ検出装置２００の動作を示すフローチャートである。図６（ｃ）、図６（ｄ）は本発明の第２の実施形態における画角位置ずれ検出装置２００が扱う階調補正処理に関する画像の具体例を示す模式図である。図６（ｃ）は空間微分処理を施した空間微分画像であり、図６（ｄ）は図６（ｃ）の空間微分処理を行った後、ヒストグラム平滑化処理を施したヒストグラム平滑化画像である。図８は本発明の第２の実施形態における画角位置ずれ検出装置２００が扱う画像の具体例を示す模式図である。図１６〜図１８は本発明の第２の実施形態における画像の具体例を示す模式図である。本実施形態は、第１の実施形態の変形例である。また、図３及び図４において第１の実施形態と対応する要素及びステップには同一の符号を付けて示してある。

画角位置ずれ検出装置２００は、画角位置ずれ検出装置１００と同様に、撮像装置の撮影により得られた図５に示すような画像に基づいて、交通量の計測などを行う。画角位置ずれ検出装置２００は、画像入力部１０と、入力画像格納部１１と、入力画像変換部１２Ｂと、変換画像格納部２１と、位置ずれ量算出部２２と、基準画像格納部２３と、位置ずれ量格納部２４と、位置ずれ量判定部２５と、初期パラメータ格納部２６と、補正パラメータ作成部２７と、画像計測部２８とを有する。また、入力画像変換部１２Ｂは累積画像作成部１３と、微分画像作成部１４と、ヒストグラム平滑化部１６とを有する。すなわち、画角位置ずれ検出装置１００と異なるのは、前述のガンマ補正画像作成部１５の代わりにヒストグラム平滑化部１６を有する点である。

ここで、画角位置ずれ検出装置２００は画像位置ずれ検出装置の一例である。また、入力画像変換部１２Ｂのヒストグラム平滑化部１６は画像補正部の一例である。

ヒストグラム平滑化部１６は、例えば図８に示すような画像を処理する。すなわち、図８（ａ）に示す現画像２０１をヒストグラム平滑化部１６に入力すると、その処理結果として図８（ｂ）に示すヒストグラム平滑化画像２０２が得られる。図８（ｃ）に示すヒストグラム２０３は現画像２０１のフレーム全体に関する階調の頻度分布を表しており、図８（ｄ）に示すヒストグラム２０４はヒストグラム平滑化画像２０２のフレーム全体に関する階調の頻度分布を表している。ヒストグラム２０３及び２０４の横軸は階調を表し、縦軸は頻度（画素数）を表している。

すなわち、ヒストグラム平滑化部１６に入力される現画像２０１については、図８（ｃ）に示すヒストグラム２０３のように、頻度分布が一部の階調領域に集中し、残りの階調領域に属する画素数が比較的少ない。そこで、ヒストグラム平滑化部１６は画像中の階調の頻度分布がヒストグラム２０４のように全体の階調に渡って均一になるように、画像処理を実行する。すなわち、入力される現画像２０１中の各画素の階調を変更することにより、ヒストグラム２０３における頻度の小さい階調の画素数を増やし、ヒストグラム２０３における頻度の大きい階調の画素数を減らすように処理し、ヒストグラム２０４のような特性に変更する。

図３に示す入力画像変換部１２Ｂにおいて、累積画像作成部１３は入力画像格納部１１から入力した現画像について累積画像を作成し、微分画像作成部１４は累積画像作成部１３が作成した累積画像を空間微分処理して微分画像を作成し、ヒストグラム平滑化部１６は微分画像作成部１４が作成した微分画像を処理してヒストグラム平滑化画像２０２（図８（ｂ）参照）を作成する。

入力画像変換部１２Ｂ以外の動作については、第１の実施形態と同様である。従って、図４に示す動作についても、ステップＳ１３Ｂだけが第１の実施形態と異なっている。図４のステップＳ１３Ｂでは、入力画像変換部１２Ｂのヒストグラム平滑化部１６が、微分画像作成部１４の作成した微分画像を処理してヒストグラム平滑化画像２０２を作成する。このヒストグラム平滑化画像２０２が入力画像変換部１２Ｂの出力として変換画像格納部２１に記憶され、ステップＳ１４以降の処理対象になる。

本実施形態における画像の具体例について、説明を補足する。
図１６は本発明の第２の実施形態における基準画像の変換処理前後の画像およびヒストグラムの具体例を示す図である。図１６には、基準画像３０１（図１６（ａ））と、基準画像３０１を空間微分処理して得られた基準画像３０２およびヒストグラム（図１６（ｂ））と、基準画像３０２をヒストグラム平滑化処理して得られた基準画像３０３およびヒストグラム（図１６（ｃ））とが示されている。

図１７は本発明の第２の実施形態における運用直後の累積画像の変換処理前後の画像およびヒストグラムの具体例を示す図である。図１７には、システムの運用開始直後における現画像に関する累積画像３１１（図１７（ａ））と、累積画像３１１を空間微分処理して得られた累積画像３１２およびヒストグラム（図１７（ｂ））と、累積画像３１２をヒストグラム平滑化処理して得られた累積画像３１３およびヒストグラム（図１７（ｃ））とが示されている。

図１８は本発明の第２の実施形態における運用から１年後の累積画像の変換処理前後の画像の具体例を示す模式図及びヒストグラムである。図１８には、システムの運用開始から１年経過後の現画像に関する累積画像３２１（図１８（ａ））と、累積画像３２１を空間微分処理して得られた累積画像３２２およびヒストグラム（図１８（ｂ））と、累積画像３２２をヒストグラム平滑化処理して得られた累積画像３２３およびヒストグラム（図１８（ｃ））とが示されている。

また、図１９に示す実験結果において、「方式」のＣ４は累積画像を空間微分処理した結果に対してヒストグラム平滑化処理した結果、すなわち画角位置ずれ検出装置２００におけるヒストグラム平滑化部１６の出力に相当する。図１９に示す実験結果を参照すると、運用開始から１年を経過すると、相関値が低下することが分かるが、「方式」のＣ４を採用することにより、１年経過後であっても比較的大きな相関値（０．８４）を確保できることが分かる。なお、「方式」のＣ１〜Ｃ４を対比すると分かるように、経年変化の影響がない運用直後の画像についても、ヒストグラム平滑化処理を実施することにより相関値が「０．９２」から「０．９５」に改善することが分かる。

このような本発明の第２の実施形態における画角位置ずれ検出装置２００によれば、画像を撮像し入力する画像入力部１０による撮像方向の変化を位置ずれとして認識する画像位置ずれ検出装置２００であって、画像入力部１０によって入力された入力画像に基づく基準画像を格納する基準画像格納部２３と、入力画像に対して、時間累積画像を作成する累積画像作成部１３と、累積画像作成部１３によって作成された累積画像に対して、累積画像の階調を調整する階調補正処理を行うことで補正画像を作成する微分画像作成部１４およびヒストグラム平滑化部１６と、基準画像格納部２３によって格納された基準画像における所定領域を示す基準画像所定領域および微分画像作成部１４およびヒストグラム平滑化部１６によって作成された補正画像における基準画像所定領域と同大の所定領域を示す補正画像所定領域を比較することで、基準画像所定領域と補正画像所定領域との間の相関値を算出する位置ずれ量算出部２２と、位置ずれ量算出部２２によって算出された相関値に基づいて、位置ずれを提示する位置ずれ提示部とを有する構成とすることで、階調分布が平坦になり、各画像要素の階調の違いがより明確になるため、経年変化によってカメラの撮影対象となる被写体やその周囲の環境に大きな変化が生じた場合であっても、位置ずれの発生を検出することができる。

本発明は、経年変化によってカメラの撮影対象となる被写体やその周囲の環境に大きな変化が生じた場合であっても、カメラの撮影方向などに関する位置ずれの発生を正しく検出できる画像位置ずれ検出装置等に有用である。従って、長期間にわたって同一の地点の被写体を監視したり測定したりすることを目的とする様々な装置やシステムに本発明を適用することにより、メンテナンスの頻度を減らしたり、メンテナンスを不要にすることも可能になる。

本発明の第１の実施形態における画角位置ずれ検出装置の構成を示すブロック図本発明の第１の実施形態における画角位置ずれ検出装置の動作フロー図本発明の第２の実施形態における画角位置ずれ検出装置の構成を示すブロック図本発明の第２の実施形態における画角位置ずれ検出装置の動作フロー図本発明の第１の実施形態における画角位置ずれ検出装置が扱う画像の具体例を示す模式図本発明の第１および第２の実施形態における画角位置ずれ検出装置が扱う階調補正処理に関する画像の具体例を示す模式図本発明の第１の実施形態における画像中に割り当てられる矩形領域を示す模式図本発明の第２の実施形態における画角位置ずれ検出装置が扱うヒストグラム平滑化処理に関する画像およびヒストグラムの具体例を示す図本発明の第１の実施形態における基準画像に対する変換処理（微分→γ補正）に関する画像およびヒストグラムの具体例を示す図本発明の第１の実施形態における累積画像に対する第１の変換処理（微分→γ補正、γ＝０．５）に関する画像およびヒストグラムの具体例を示す図本発明の第１の実施形態における累積画像に対する第２の変換処理（微分→γ補正、γ＝１．０）に関する画像およびヒストグラムの具体例を示す図本発明の第１の実施形態における累積画像に対する第３の変換処理（微分→γ補正、γ＝１．５）に関する画像およびヒストグラムの具体例を示す図本発明の第１の実施形態における累積画像に対する第４の変換処理（微分→γ補正、γ＝２．０）に関する画像およびヒストグラムの具体例を示す図本発明の第１の実施形態における画角位置ずれ検出装置の運用直後に得られたガンマ係数相関値特性本発明の第１の実施形態における画角位置ずれ検出装置の運用開始から１年後に得られたガンマ係数相関値特性本発明の第２の実施形態における画角位置ずれ検出装置が扱う基準画像に対するヒストグラム平滑化処理に関する画像の具体例を示す模式図本発明の第２の実施形態における画角位置ずれ検出装置が扱う運用直後の累積画像に対するヒストグラム平滑化処理に関する画像の具体例を示す模式図本発明の第２の実施形態における画角位置ずれ検出装置が扱う運用から１年後の累積画像に対するヒストグラム平滑化処理に関する画像の具体例を示す模式図本発明の実施形態における各変換処理に対する相関値を示す図

符号の説明

１００、２００画角位置ずれ検出装置
１０画像入力部
１１入力画像格納部
１２，１２Ｂ入力画像変換部
１３累積画像作成部
１４微分画像作成部
１５ガンマ補正画像作成部
１６ヒストグラム平滑化部
２１変換画像格納部
２２位置ずれ量算出部
２３基準画像格納部
２４位置ずれ量格納部
２５位置ずれ量判定部
２６初期パラメータ格納部
２７補正パラメータ作成部
２８画像計測部
１０１基準画像
１０２矩形領域
１０３現画像
１０４矩形領域

Claims

画像を撮像し入力する画像入力部による撮像方向の変化を位置ずれとして認識する画像位置ずれ検出装置であって、
前記画像入力部によって入力された入力画像に基づく基準画像を格納する基準画像格納部と、
前記入力画像に対して、時間累積画像を作成する累積画像作成部と、
前記累積画像作成部によって作成された累積画像に対して、少なくとも前記累積画像の階調を調整する階調補正処理を行うことで補正画像を作成する画像補正部と、
前記基準画像格納部によって格納された基準画像における所定領域を示す基準画像所定領域および前記画像補正部によって作成された補正画像における前記基準画像所定領域と同大の所定領域を示す補正画像所定領域を比較することで、前記基準画像所定領域と前記補正画像所定領域との間の相関値を算出する相関値算出部と、
前記相関値算出部によって算出された相関値に基づいて、前記位置ずれを提示する位置ずれ提示部と、
を有する画像位置ずれ検出装置。
請求項１に記載の画像位置ずれ検出装置であって、
前記画像補正部によって行われる階調補正処理は、
前記累積画像の階調および前記補正画像の階調の関係を非線形に変換するガンマ補正処理を含む画像位置ずれ検出装置。
請求項１に記載の画像位置ずれ検出装置であって、
前記画像補正部によって行われる階調補正処理は、
前記累積画像の階調の頻度分布を表すヒストグラムにおける頻度分布を平坦にするヒストグラム平滑化処理を含む画像位置ずれ検出装置。
請求項１ないし３に記載の画像位置ずれ検出装置であって、
前記画像補正部は、
前記累積画像中の輪郭を強調する空間微分処理を含む画像位置ずれ検出装置。
請求項１ないし４に記載の画像位置ずれ検出装置であって、
前記補正画像は補正画像所定領域を複数有し、
前記相関値算出部は、前期補正画像所定領域画像毎に前記相関値を複数算出し、
前記位置ずれ提示部は、
前記基準画像における前記基準画像所定領域の位置と前記補正画像における前記相関値算出部によって算出された複数の相関値のうち最大の相関値を有する補正画像所定領域の位置との差に基づいて、前記位置ずれの度合いを示す位置ずれ量を判定する位置ずれ量判定部を有する画像位置ずれ検出装置。
請求項５に記載の画像位置ずれ検出装置であって、
前記最大の相関値に対応する位置ずれ量を示す最大相関位置ずれ量を格納する位置ずれ量格納部を有し、
前記位置ずれ提示部は、
前記最大の相関値があらかじめ定められた閾値以上である場合、前記最大相関位置ずれ量を有効と判定し前記最大相関位置ずれ量を前記位置ずれ量格納部へ格納して前記最大相関位置ずれ量を前記位置ずれ量として利用し、前記最大の相関値が前記閾値未満である場合、前記最大相関位置ずれ量を無効と判定し前記位置ずれ量格納部に格納された最大相関位置ずれ量のうち最新のものを前記位置ずれ量として利用する画像位置ずれ検出装置。
画像が撮像され入力される画像入力ステップにおける撮像方向の変化が位置ずれとして認識される画像位置ずれ検出方法であって、
前記画像入力ステップにおいて入力された入力画像に基づく基準画像が格納される基準画像格納ステップと、
前記入力画像に対して、時間累積画像が作成される累積画像作成ステップと、
前記累積画像作成ステップにおいて作成された累積画像に対して、少なくとも前記累積画像の階調を調整する階調補正処理が行われることで補正画像が作成される画像補正ステップと、
前記基準画像格納ステップにおいて格納された基準画像における所定領域を示す基準画像所定領域および前記画像補正ステップにおいて作成された補正画像における前記基準画像所定領域と同大の所定領域を示す補正画像所定領域が比較されることで、前記基準画像所定領域と前記補正画像所定領域との間の相関値が算出される相関値算出ステップと、
前記相関値算出ステップにおいて算出された相関値に基づいて、前記位置ずれが提示されるステップと、
を有する画像位置ずれ検出方法。