JP2003209735A

JP2003209735A - 監視装置及びブレ補正機能付蓄積型カメラ

Info

Publication number: JP2003209735A
Application number: JP2002005459A
Authority: JP
Inventors: Tadaaki Kitamura; 忠明北村; Kazuya Takahashi; 一哉高橋; Tetsuhiro Kondo; 哲啓近藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-01-15
Filing date: 2002-01-15
Publication date: 2003-07-25

Abstract

(57)【要約】【課題】夜間の監視においては、赤外線カメラを用いる
ことが多いが、低温の物体を検知できない、高価である
などの問題がある。また、蓄積時間を長くした高感度カ
メラの場合は、移動物体がブレてしまう問題がある。【解決手段】高感度カメラを利用するとともに、画面の
動き情報を検出することで、各部分のブレを補正し、夜
間でも監視可能な映像を得る。具体的には、蓄積型の高
感度カメラの映像を入力し、画像処理を用いて画面の動
き情報をオプティカルフローで算出し、フローが同一の
領域を切り出しながら、それぞれブレ補正し、元の画像
に書き込む処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は道路などに適用され
るテレビカメラを用いた監視システムに関し、特に夜間
でも落下物などの障害物が見え、かつ交通流（台数，速
度）や侵入者などを計測可能な監視装置に関する。

【０００２】

【従来の技術】道路などの監視にテレビカメラが多数設
置され、走行速度，通過台数などの計測を画像処理で自
動的に計測するシステムが普及している。これらシステ
ムでは可視カメラを用いることが一般的であるが、夜間
時のように暗いシーンでは落下物や、無灯火の停止車両
などを監視することが不可能である。このため、夜間監
視においては赤外線カメラを用いて熱映像を取得し、こ
の映像を処理することが行われている（例：特開２００
０−９７９６３号公報）。

【０００３】しかしながら、赤外線カメラを用いたシス
テムでは、熱を有する車両の監視は可能であるが、冷た
い落下物などは赤外線カメラでも検出できない問題があ
るとともに、赤外線カメラは非常に高価である。特にレ
ンズは特殊ガラスであるため、高価であり、また、任意
の視野にすることが困難である。

【０００４】ところで、露光時間が長い高感度カメラ
（蓄積型カメラ）が監視分野で普及している。この蓄積
型カメラは、通常のカメラの露光時間に対し、数倍から
数十倍程度蓄積時間が長いため高感度であり、夜間でも
物体が見えやすい。このため落下物や人物などの監視が
可能となるが、反面、移動している車両や人物などの像
がブレて撮影されるため、車の台数や速度あるいは、侵
入者の動きを計測することが困難である。

【０００５】このような、露光時間が長い蓄積型カメラ
を交通流計測などに用いることができれば、安価なシス
テム構成で夜間の計測が可能となり、非常にメリットが
ある。したがって、長時間露光した映像の動く領域をあ
る程度補正できれば、夜間の交通流計測も落下物検出も
可能となる。ここで、従来のブレ補正技術について述べ
る。

【０００６】ブレに関しての補正技術としては、特開平
１１−１１０５６４号公報記載のように、カメラの振動
によるブレの影響で背景差分したときにノイズが発生す
る。このため、静止領域の時間的な移動量をパターンマ
ッチングで計測し、その移動量分画像をシフトすること
で補正するものである。しかしながら、カメラの振動に
よるブレとは異なり、露光時間が長いことによるブレは
本手法では解決できない。

【０００７】また、「走行車両ナンバープレート画像の
ブレ補正」と題した電気学会論文誌Ｃ、１１７巻６号
（平成９年）７７７頁〜７８４頁は、通常シャッター速
度（例えば１／６０秒）で撮影したブレているナンバー
プレート画像をウィーナフィルタを用いて補正する手法
が記載されている。この手法は、ナンバープレートの領
域を切り出し、その領域の移動量，方向を求め、このパ
ラメータに応じウィーナフィルタで補正するものであ
る。

【０００８】

【発明が解決しようとする課題】交通流監視の場合、例
えば、片側１車線の対向２車線道路を監視する場合、左
車線と右車線の移動方向は逆であるため、前記ナンバー
プレートのブレ補正手法では補正することはできない。
すなわち、車毎に移動方向，移動量が異なる対応が必要
である。また、静止物体も画面中には存在するが、静止
領域はブレが無いため補正しないように工夫する必要が
ある。また、カメラの蓄積時間によって移動物体のブレ
量が変化するため、画像から得た移動量，移動方向だけ
では蓄積型カメラのブレ補正はできない。なお、台数，
速度を計測するためのシステムでは、ナンバープレート
のように文字認識が可能なレベルまで厳密に補正する必
要はなく、車両１台１台が分離できる程度に補正できれ
ば目的を達成可能である。

【０００９】このように、長時間露光する蓄積型カメラ
のブレを補正する従来の技術は無い。また、蓄積型カメ
ラを用いて交通流計測や、落下物検出，侵入者監視など
を行う監視システムは見当たらない。

【００１０】本発明の目的は、蓄積型カメラを用いた監
視装置を供給するものである。

【００１１】

【課題を解決するための手段】本発明では、赤外線カメ
ラの変わりに、最近普及してきた蓄積型カメラを採用す
る。このカメラは、露光時間を周囲の明るさに応じて制
御するもので、暗い場合は１秒程度の露光時間に設定し
感度を数十倍に向上するものである。通常のカメラの露
光時間は１／６０秒程度であるが、長時間露光の蓄積型
カメラを用いると感度が向上するため、夜間でも落下物
や人を検出することが可能である。

【００１２】反面、移動物体は露光時間分積分されるた
めにブレが生じてしまう。このため、車両の映像はブレ
てしまい台数，速度を計測することが困難である。この
ため、移動物体の部分だけブレを補正する処理を設ける
ことで、交通流の計測も可能な監視システムを構築す
る。このブレ補正にはカメラの蓄積時間と移動領域の移
動量，方向を求める必要があるが、蓄積時間について
は、蓄積型カメラからＲＳ−２３２Ｃ（シリアル通信の
一規格として標準化されているインタフェース：以下、
ＲＳ−２３２Ｃと記載する）などのインタフェースを経
由し設定データを得る方法と、制御装置からカメラに蓄
積時間を与える２通りがある。また、移動量と、方向に
ついては画面全体についてオプティカルフローを求め、
各点の移動量，移動方向を算出し、このパラメータに応
じ各点を復元フィルタで補正することで、任意の方向に
対応可能である。

【００１３】第１の発明は、蓄積型カメラ（以下、長時
間露光カメラという場合がある）と、その映像を処理し
て移動領域のブレを補正する機能を有した監視装置を提
供するものである。

【００１４】第２の発明は、長時間露光カメラと、その
映像を処理し、２枚の画像で動き情報を求め、その情報
によってブレを補正する機能を有した監視装置を提供す
るものである。

【００１５】第３の発明は、長時間蓄積カメラの映像は
蓄積時間周期でしか更新されないため、画像メモリを併
用し、蓄積処理しその蓄積映像２枚の画像で動き情報を
求め、その情報によってブレを補正する機能を有した監
視装置を提供するものである。

【００１６】第４の発明は、長時間露光カメラと、その
映像を処理し、２枚の画像で動き情報を求め、その情報
によってブレを補正する機能と、ブレを補正した画像に
対し、交通流計測，落下物検出や、侵入者監視などを実
行する画像認識機能を有した監視装置を提供するもので
ある。

【００１７】第５の発明は、長時間露光カメラの映像は
蓄積時間周期でしか更新されないため、画像メモリを併
用し、蓄積処理しその蓄積映像２枚の画像で動き情報を
求め、その情報によってブレを補正する機能と、ブレを
補正した画像に対し、交通流計測，落下物検出や、侵入
者監視などを実行する画像認識機能を有した監視装置を
提供するものである。

【００１８】第６の発明は、長時間蓄積型受光素子（Ｃ
ＣＤなど）と受光素子を駆動する回路と第２の発明と同
様なブレ補正機能を有した、ブレ補正機能付蓄積型カメ
ラを提供するものである。

【００１９】第７の発明は、長時間蓄積型受光素子（Ｃ
ＣＤなど）と受光素子を駆動する回路と第３の発明と同
様なブレ補正機能を有した、ブレ補正機能付蓄積型カメ
ラを提供するものである。

【００２０】第８，９の発明は、ブレ補正するための移
動物体の動き検出にオプティカルフローを用いた動き検
出回路を設けた監視装置及びブレ補正機能付蓄積型カメ
ラを提供するものである。

【００２１】第１０，１１の発明は、ウィーナフィルタ
や射影フィルタ，逆フィルタを用い、カメラの露光時
間，物体の移動方向，移動量から、広がり関数を算出
し、ブレ補正する回路を設けた監視装置及びブレ補正機
能付蓄積型カメラを提供するものである。

【００２２】

【発明の実施の形態】本発明の実施例を図面を用いて詳
細に説明する。図１は本発明の構成を示すもので、蓄積
型（長時間露光）カメラ１と、その映像を入力するＡ／
Ｄ変換器２と、入力した映像から移動量，方向を検出す
る動き検出回路３と、画像のブレを補正するブレ補正回
路４と、蓄積型カメラの露光時間を設定する露光時間設
定部５からなる。各部の詳細を記す。蓄積型カメラ１は
現在市販されているカメラであるが、露光時間を明るさ
に応じて可変できるカメラであり、１／６０秒から数秒
まで変化することができる（蓄積時間はカメラ仕様によ
り異なる）。例えば、明るい昼間では１／６０秒の露光
時間であり、暗い夜間では１秒程度に長時間露光するこ
とで、感度を向上する。この結果、最低被写体照度を
０.００２ｌｘ程度に向上することが可能である。動い
ていない領域は明るさが蓄積されるため、夜間でも明る
く見える反面、当然、動いている物体は、露光時間分移
動して光が蓄積されるため、像がブレることになる。Ａ
／Ｄ変換器２は蓄積型カメラ１の映像信号をディジタル
化する。動き検出回路３は入力した映像を時々刻々記憶
しておき、その映像間の動きを検出し、動いている領域
の移動量と移動方向を求める処理である。ブレ補正回路
４は、長時間露光によって像がブレた状態を補正し、ブ
レの無い画像を生成するものである。このブレ補正で
は、カメラの蓄積時間，移動物体移動量と移動方向が既
知でなければ正確な補正ができないが、動き検出回路３
で求めたパラメータに応じて補正を行う。なお、画面の
位置によって移動量，移動方向が異なるため、ブレ補正
処理は位置ごとにパラメータを変化させる。露光時間設
定部５は、ブレの量は露光時間によって変化するため、
カメラの露光時間を設定するとともに、ブレ補正回路４
で補正パラメータとして用いる。なお、カメラ側が自動
的に露光時間を制御している場合は、その設定信号をＲ
Ｓ−２３２Ｃなどを経由し、受け取る構成となる。この
ような構成で図２のようにブレている画像７を補正画像
８に変換することができる（動作概念図）。なお、図２
の６は落下物を示しており、静止領域は元々ブレていな
いため、そのままの画像となる。

【００２３】以下、処理の流れを図３のフローに従い説
明する。

【００２４】蓄積型カメラ１の映像をＡ／Ｄ変換器２を
経由し画像メモリに入力し、この画像メモリに所定時間
経過した映像を２枚記憶する（９，１０）。この２枚の
映像に対し、オプティカルフローを算出する（１１）。
オプティカルフローは、動きベクトルを算出するもの
で、一般的にはブロックマッチング法，勾配法などの手
法が知られている。次に、オプティカルフロー算出で求
まった移動量，移動方向別に領域を分離し（１２）、そ
れぞれの領域についてブレ補正を実施し（１３）、その
結果画像を合成することで補正を行う。

【００２５】図４にオプティカルフローをブロックマッ
チングを利用して算出する処理の概念を示す。２枚の入
力画像の内、ｎ×ｍ個に分割したブロック毎に時刻ｔの
画像１４をテンプレートにし、時刻ｔ＋ｄｔの画像１６
とでマッチング処理を行い、最大相関値の位置を求める
ことで、各ブロック毎の移動ベクトルを算出する。図４
の１５は、あるブロックにおけるテンプレート画像、１
７はそのブロックに対する探索領域（サーチエリア）で
ある。相関演算は画像処理で一般的に利用されている正
規化相関処理やＳＳＤ法（差の自乗和）などを利用す
る。

【００２６】このようにして得られたオプティカルフロ
ーによって、図５のように各ブロックの移動方向，移動
量（移動画素数）が求まる。この移動ベクトルは、パタ
ーンが無い領域（平坦な領域）については、移動ベクト
ルを算出できない。しかしながら、補正する対象が剛体
運動とすると、移動ベクトルは同じ固まりを形成するの
で、周囲の移動ベクトル情報を利用して補間することが
できる。

【００２７】図６，図７に補間の様子を示す。元々のオ
プティカルフローが図６であった場合、発生ベクトルの
間にノイズ的なベクトル無し領域がある場合は穴埋めを
行い、孤立しているベクトルは削除する。その結果図７
のように補正することができる。このようにして、画面
全体を移動の方向，大きさで分離することができる。

【００２８】次に、移動量，移動方向別に領域分割す
る。図８に図７のオプティカルフロー算出結果を分離し
た状態を示す。１８は移動方向が下向き、１９は上向き
の領域である（説明を簡易化するために、移動方向，移
動量は各領域ごとに同じとしている）。

【００２９】次に、画像のブレ補正処理であるが、移動
ベクトルの大きさＶと、長時間露光カメラの蓄積時間
Ｔ，移動ベクトル算出画像間隔ｄｔを用いてブレの大き
さＳが数１で定義できる。

【００３０】

【数１】Ｓ＝ＶＴ／ｄｔ …数１たとえば、Ｖ＝５画素、蓄積時間０.５秒，画像間隔０.
１秒とするとＳ＝２５画素のブレに相当する。

【００３１】ブレの補正は一般的に用いられているウィ
ーナフィルタを使用する。ウィーナフィルタは元の画像
との平均二乗誤差を最小とする画像を与える復元作用素
である。具体的には、数２で表され、周波数空間での処
理となる（‘画像解析ハンドブック’：高木幹雄著，東
京大学出版会）。

【００３２】

【数２】

【００３３】ここで、Ｆ(ｕ，ｖ)：補正画像Ｇ(ｕ，ｖ)：劣化画像Ｈ(ｕ，ｖ)：広がり関数 α：定数である。

【００３４】Ｈ(ｕ，ｖ)はブレの大きさＳによって数３
のようにあらわすことができる。

【００３５】

【数３】

【００３６】前記したオプティカルフロー検出結果か
ら、移動ベクトル，方向が同じ領域について補正を行
う。図８のように移動ベクトル量が上向きの領域と下向
きの領域が存在する場合を例に処理を示す。

【００３７】まず、上向きの領域を図９のように取り出
す。この領域は矩形ではないが、これを矩形に囲んだ領
域２０を設定し、この矩形領域２０に対し、数３のＨ
(ｕ，ｖ)のＳにブレ量を設定し広がり関数を定義し、数
２を用いてブレ補正する(21)。

【００３８】そして、図１０のように、ブレ補正した画
像２１のうち移動している領域の部分だけを入力画像２
２に書き込む（マスク処理）（２３）。

【００３９】次に下向きの移動領域について同様な処理
を図１１，図１２のように行い、矩形領域２４を設定
し、その領域をブレ補正し（２５）、入力画像２６に書
き込む（２７）。このように移動ベクトルの大きさ，方
向別にブレ補正の計算を変えることで、画面全体のブレ
を補正することが可能である。また、移動していない領
域はブレ補正されないので、静止領域の画像が劣化する
ことはない。

【００４０】図１３は本発明のハードウエア構成を示す
図である。長時間露光（蓄積型）カメラ１と、画像処理
ボード３０とＣＰＵボード４０からなる。画像処理ボー
ド３０はＣＰＵボード４０とバス結合され、ＣＰＵボー
ドに組み込まれているプログラムによって、画像処理が
実行される。画像処理ボード３０は、カメラ１のアナロ
グ映像信号をディジタルに変換するＡ／Ｄ変換器２と、
ディジタル映像信号を記憶する画像メモリ（複数枚）３
１と、画像メモリ３１のデータを処理する画像プロセッ
サ３２からなる。ＣＰＵボードは、ＣＰＵ４１とプログ
ラムを格納するＲＡＭ４２と、シリアル通信するＲＳ−
２３２Ｃポート４３を有する。なお、必要に応じ、画像
処理ボードには画像メモリの映像を表示するためのＤ／
Ａ変換器３３とモニタ５０が接続できる。

【００４１】前記画像プロセッサ３２は、一般的な画像
処理手法である正規化相関処理や、２値化，空間フィル
タ，ラベリング処理などを実行できる。蓄積型カメラ１
とのインタフェースをシリアルインタフェースの一規格
として標準化されているＲＳ−２３２Ｃ等で接続してい
るが、当然ながらカメラの仕様に合わせたインタフェー
スに変更することもある。

【００４２】この構成での動作は、起動がかかると画像
を入力し、入力した画像の平均濃度などの情報から感度
レベルを設定し、ＲＳ−２３２Ｃを経由してカメラ１に
蓄積時間を設定する。その時の映像を時間差ｄｔで２枚
画像を入力し、画像プロセッサ３１でオプティカルフロ
ーを算出し、その結果を領域分割し、各領域のブレ量を
求めた後、広がり関数をＣＰＵで演算し、前記ブレ補正
式に従い、ＣＰＵでブレ補正処理し、補正画像を画像メ
モリに書き込む処理となる。

【００４３】ところで、蓄積型カメラ１は蓄積時間の周
期で画像が更新されるタイプが多い。通常のカメラでは
ＣＣＤ（撮像素子）に蓄積された映像は図１４のように
次のフィールドに出力される（Ａ，Ｂ，Ｃ，・・）。

【００４４】これに対し、蓄積型カメラでは、図１５の
ように蓄積が終わった瞬間の映像を一旦画像メモリに格
納し、この映像を蓄積している間出力するようになって
いる。このため、図１５のように蓄積時間が４フィール
ドの場合なら、ＡＡＡＡ，ＢＢＢＢ，ＣＣＣＣと４回同
じ映像が出力される（３２倍蓄積なら３２フィールド
(約０.６秒毎）毎に画像が更新される）。したがって、
蓄積している間の出力映像は同じ映像であるので、オプ
ティカルフローを算出しても移動ベクトルが求まらず、
ブレを補正することができない。また、蓄積時間間隔の
時間差で画像を２枚入力すれば（例えば８倍蓄積の場合
なら、８フィールド毎に画像を入力）、移動ベクトルを
求めることが可能となるが、時間差が大きいため、移動
量が非常に大きくなり、オプティカルフロー演算の範囲
が広くなり、ノイズ発生の原因，処理時間の増大となる
（数１のＳ＝Ｖ×３２／３２となりＶはＳと同じ範囲移
動する）。

【００４５】このため、図１６のように、ＣＣＤの蓄積
と画像メモリの蓄積を併用する構成とする。例えば、Ｃ
ＣＤの蓄積時間を２倍、画像メモリでの蓄積を４倍に設
定すると、カメラ内の画像メモリ６０には２フィールド
毎に転送され、その映像がＡＡ，ＢＢ，ＣＣのように出
力される。この映像を２フィールドごとに画像入力し
（画像メモリ６１に格納）、４枚の画像メモリに記憶
し、４枚の画像メモリ映像を画像処理プロセッサで加算
することで、トータル８倍の蓄積時間の画像を作成する
（Ａ＋Ｂ＋Ｃ＋Ｄ画像）。この動作を２フィールド毎に
パイプライン的に実行する（Ｂ＋Ｃ＋Ｄ＋Ｅ画像，Ｃ＋
Ｄ＋Ｅ＋Ｆ画像・・・）。このようにすると、２フィー
ルド毎に入力した入力画像は、同じ画像ではないためオ
プティカルフローを算出することが可能となる。この場
合、２画面の移動ベクトルはブレ量の１／４倍の大きさ
となる（Ｓ＝Ｖ×８／２からＶはＳの１／４倍）ので、
オプティカルフロー算出が容易となる。

【００４６】ただし、画像の蓄積は一般に、ノイズが一
定とすると、ＣＣＤで蓄積する場合は、蓄積回数倍感度
が向上し、画像メモリで蓄積する場合は、√ｎ倍となる
（ｎは累積回数）。したがって、ＣＣＤで８フィールド
蓄積する場合は、感度が８倍に向上するが、ＣＣＤで２
倍、画像メモリで４倍蓄積するような画像メモリを併用
した場合は、２倍の感度の映像を４回画像メモリで累積
するので、２√４＝４倍にしかならない。このため、同
じ感度を得るためには、２フィールド毎なら、２√１６
＝８で１６回累積する必要がある。４フィールド毎な
ら、４√４＝８で４回画像メモリで累積すればよい。な
お、画像メモリは通常８ビットのデータであるので、０
〜２５５のデータ範囲となる。加算によって、２５５を
越えた映像は２５５に固定するなどの処理は当然ながら
必要である。１０ビット画像の場合なら０〜１０２３の
階調となる。

【００４７】このように、ＣＣＤでの蓄積と、画像メモ
リ１６での蓄積を併用することで、画像更新周期を高速
にでき、その結果、移動ベクトルを適正に求めやすくな
り、正しいブレ補正が可能となる。図１３の構成の場
合、Ｄ／Ａ変換器の出力映像を他の監視システムに与え
ることで、ブレの無い画像を用いたシステムが容易に構
築できる。また、ＣＰＵボード４０にブレ補正機能と監
視機能（交通流計測，落下物検出，侵入者監視など）の
プログラムを持たせることで、ブレ補正画像を記憶して
おき、この映像を監視機能の画像処理を実行すること
で、夜間でも実用的な交通流計測，落下物検出，侵入者
監視システムなどを提供可能である。

【００４８】なお、実施例ではウィーナフィルタを用い
てブレ補正を行っているが、ブレが補正可能な方式とし
て、以下の例がある（テレビジョン画像情報工学ハンド
ブック：テレビジョン学会編、オーム社ｐｐ．４０４
〜４０７）。

【００４９】・射影フィルタ・一般逆フィルタ・最大エントロピー法効果が同様であれば、いずれの手法を用いても本発明の
主旨に反しない。また、実施例では受光素子としてＣＣ
Ｄを記載しているが、長時間露光が可能な素子であれば
いずれでも良い。

【００５０】本発明は、蓄積型カメラの映像を処理し、
物体の移動方向，移動量を算出し、その移動情報に応じ
てブレ補正処理を領域毎に可変にし、移動している領域
だけを適正に補正した画像を提供できる。

【００５１】また、ＣＣＤカメラ等は将来的に感度が向
上すると思われるが、現在３２倍の蓄積で夜間の監視が
可能とすると、将来的には１０倍，５倍で同じ明るさが
得られるようになる。蓄積時間が短くなればなるほど、
移動によるブレ量が少なくなるので、上記補正処理は更
に精度良く復元可能となる。

【００５２】上記までは、蓄積型カメラと画像処理装置
（ブレ補正装置）を分離していたが、カメラの中にブレ
補正機能を設けた高感度カメラが実現できる。これは、
図１７のようにカメラブロック中に、ブレ補正機能を内
蔵したもので、カメラの映像出力はブレ補正された信号
が出力される。ブレ補正機能付カメラ７０は、レンズ７
１，受光素子（ＣＣＤ）７２，Ａ／Ｄ変換器７３，ＣＣ
Ｄ駆動回路７４，画像メモリ７５，画像プロセッサ７６
（動き検出回路７７，ブレ補正回路７８），ブレ補正結
果画像メモリ７９，Ｄ／Ａ変換器８０，ＣＰＵ８１，Ｒ
ＡＭ８２で構成される。レンズ７１，受光素子７２，Ａ
／Ｄ変換器７３，ＣＣＤ駆動回路７４は通常の蓄積型カ
メラの構成と同等である。動作をプログラムするＣＰＵ
８１，ＲＡＭ８２などはバス８３で画像プロセッサ７６
と接続されており、予め組み込んだプログラムにより画
像処理が実行される。ＣＣＤで受光している映像は画像
メモリ７５を経由し画像プロセッサで平均濃度などを求
め、この濃度によって最適な蓄積時間（露光時間）を算
出し、その露光時間をＣＣＤ駆動回路７４に与えること
でＣＣＤで蓄積処理する。ＣＣＤで蓄積された映像は、
蓄積時間周期で、画像メモリ７５に順次格納され、動き
検出回路７７で、記憶している２枚の映像でオプティカ
ルフローを求める。動き情報を求めたら、動き量に応じ
た領域ごとにブレ補正処理をブレ補正回路７８で実施
し、その結果画像を補正画像メモリ７９に格納し、その
映像をＤ／Ａ変換器８０を経由し映像出力する。このよ
うな構成で、ブレ補正機能付蓄積型カメラを提供でき
る。なお、最適な露光時間算出に、画像メモリを経由し
平均濃度などを求めているが、アナログ回路でＣＣＤの
出力信号の電圧などをチェックし、露光時間を設定する
ことも可能である。

【００５３】また、図１８には、ＣＣＤの蓄積と、画像
メモリによる蓄積を併用した場合のハードウエア構成を
示す。図１７の画像処理プロセッサ７６に映像蓄積回路
８４を追加したものである。入力した画像の平均濃度か
ら露光時間を算出するが、その露光時間をＣＣＤ駆動回
路７４に直接設定するのでなく、ＣＣＤ蓄積回数と映像
蓄積回数に分けて設定する。例えば、画像の平均濃度か
ら算出した露光時間が１６倍であった場合、ＣＣＤに４
倍、画像メモリ蓄積回数を４√１６から１６倍を設定す
る。映像累積回路では１６枚の画像が得られた時点から
１６枚の画像の累積処理を行う。このＣＣＤと画像メモ
リの蓄積時間の組み合わせ方は色々有るが、画像の更新
を早くしたい場合は画像メモリの蓄積を優先し、周期的
な画像更新でも良い場合は、ＣＣＤでの蓄積を優先する
などプログラマブルに可変可能である。

【００５４】このような構成にすることで、高感度でし
かも移動物体がブレにくい画像を得ることができ、監視
用途、特に夜間の監視に最適なカメラを提供することが
可能となる。

【００５５】長時間露光カメラの映像を入力し、その映
像を画像処理してブレを補正することにより、夜間でも
処理が可能な監視システムを提供することができる。

【００５６】また、長時間露光が可能なＣＣＤなどの受
光素子の映像を処理し、ブレ補正する機能をカメラに内
蔵することで、高感度でしかも移動物体がブレにくい画
像を得ることができ、監視用途、特に夜間の監視に最適
なカメラを提供することが可能となる。

【００５７】

【発明の効果】本発明により、蓄積型カメラを用いた監
視装置を供給することができる。

【図面の簡単な説明】

【図１】本発明のブロック構成を示す図である。

【図２】ブレ補正の概念を説明する図である。

【図３】ブレ補正のフローチャートを示す図である。

【図４】移動ベクトル算出のブロックマッチング法を説
明する図である。

【図５】移動ベクトル算出結果を示す図である。

【図６】移動ベクトルの分布を示す図である。

【図７】移動ベクトルのノイズを補正した結果を示す図
である。

【図８】移動ベクトルの方向，大きさで領域分割した様
子を示す図である。

【図９】上向きの移動ベクトルの領域を切り出し、ブレ
補正した結果を示す図である。

【図１０】ブレ補正した結果を入力画像に書き込む処理
を説明する図である。

【図１１】下向きの移動ベクトルの領域を切り出し、ブ
レ補正した結果を示す図である。

【図１２】ブレ補正した結果を入力画像に書き込む処理
を説明する図である。

【図１３】ブレ補正する処理のハードウエア構成を示す
図である。

【図１４】標準ＣＣＤカメラの出力映像の状態を説明す
る図である。

【図１５】４倍蓄積モード時の出力映像の状態を説明す
る図である。

【図１６】２倍蓄積モード時の出力映像の状態と画像処
理により累積処理する概要を説明する図である。

【図１７】長時間露光素子と画像処理機能を一体化し、
ブレ補正機能付の長時間露光カメラのハードウエア構成
を示す図である。

【図１８】長時間露光素子と画像処理機能を一体化し、
ブレ補正機能付の長時間露光カメラのハードウエア構成
を示し、映像蓄積回路が備わっている図である。

【符号の説明】

１…蓄積型（長時間露光）カメラ、２…Ａ／Ｄ変換器、
３…動き検出回路、４…ブレ補正回路、５…露光時間設
定部、３０…画像処理ボード、４０…ＣＰＵボード。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ (72)発明者近藤哲啓茨城県日立市大みか町五丁目２番１号株式会社日立製作所情報制御システム事業部内Ｆターム(参考） 2F065 AA09 JJ03 JJ26 NN02 QQ03 QQ04 QQ24 QQ27 QQ31 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC02 DA16 DB02 DB09 DC30 DC32 DC36 5C022 AA01 AB17 AB55 AC42 5C054 AA01 AA05 CA04 FC13 GA04 HA12 5L096 BA02 CA02 HA04 MA03

Claims

【特許請求の範囲】

【請求項１】蓄積型カメラと、該カメラの映像を入力す
る画像入力回路と、該画像入力回路で入力した画像の移
動領域のブレを補正するブレ補正回路とを有する監視装
置。
【請求項２】蓄積型カメラと、該カメラの映像を入力す
る画像入力回路と、該画像入力回路で入力した画像を記
憶する複数枚の画像メモリと、該画像メモリに記憶した
時刻ｔ画像及び時刻ｔ＋ｄｔ画像の２枚の画像を用いて
画面上の移動情報を求める動き検出回路と、該動き検出
回路で抽出した動き情報及び前記カメラの露光時間を用
いて、移動領域のブレを補正するブレ補正回路とを有す
る監視装置。
【請求項３】蓄積型カメラと、該カメラの映像を入力す
る画像入力回路と、該画像入力回路で入力した画像を記
憶する複数枚の画像メモリと、該画像メモリに記憶した
ｎ枚（ｎは３以上）の映像（ｆ(ｔ) ｔ：１〜ｎ）の
内、ｎ−１枚の映像を累積する累積回路と、該累積回路
で累積した画像１（Σｆ(ｔ) ｔ：１〜ｎ−１）及び画
像２（Σｆ(ｔ) ｔ：２〜ｎ）を２枚作成し、該画像１
及び画像２を用いて移動情報を求める動き検出回路と、
該動き検出回路で抽出した動き情報及び前記カメラの露
光時間を用いて、移動領域のブレを補正するブレ補正回
路とを有する監視装置。
【請求項４】蓄積型カメラと、該カメラの映像を入力す
る画像入力回路と、該画像入力回路で入力した画像を記
憶する複数枚の画像メモリと、該画像メモリに記憶した
時刻ｔの画像及び時刻ｔ＋ｄｔの画像を用いて画面上の
移動情報を求める動き検出回路と、該動き検出回路で抽
出した動き情報及び前記カメラの露光時間を用いて、移
動領域のブレを補正するブレ補正回路と、該補正画像を
画像認識処理する画像認識処理部とを有する監視装置。
【請求項５】蓄積型カメラと、該カメラの映像を入力す
る画像入力回路と、該画像入力回路で入力した画像を記
憶する複数枚の画像メモリと、該画像メモリに記憶した
ｎ枚（ｎは３以上）の映像（ｆ(ｔ) ｔ：１〜ｎ）の
内、ｎ−１枚の映像を累積する累積回路と、該累積回路
で累積した画像１（Σｆ(ｔ) ｔ：１〜ｎ−１）及び画
像２（Σｆ(ｔ) ｔ：２〜ｎ）を２枚作成し、該画像１
及び画像２を用いて移動情報を求める動き検出回路と、
該動き検出回路で抽出した動き情報及び、前記カメラの
露光時間を用いて、移動領域のブレを補正するブレ補正
回路と、該補正画像を画像認識処理する画像認識処理部
とを有する監視装置。
【請求項６】蓄積型受光素子と、該受光素子を駆動する
駆動回路と、露光時間の周期で前記受光素子の映像を順
次格納する複数枚の画像メモリと、該画像メモリに記憶
した時刻ｔの画像及び時刻ｔ＋ｄｔの画像から移動情報
を求める動き検出回路と、該動き検出回路で抽出した動
き情報と露光時間にしたがい、移動領域のブレを補正す
るブレ補正回路と、補正した映像を出力する映像出力回
路とを有するブレ補正機能付蓄積型カメラ。
【請求項７】蓄積型受光素子と、該受光素子を駆動する
駆動回路と、露光時間の周期で前記受光素子の映像を順
次格納する複数枚の画像メモリと、該画像メモリに記憶
したｎ枚（ｎは３以上）の映像（ｆ(ｔ) ｔ：１〜ｎ）
の内、ｎ−１枚の映像を累積する映像累積回路と、該累
積回路で累積した画像１(Σｆ(ｔ) ｔ：１〜ｎ−１)及
び画像２（Σｆ(ｔ) ｔ：２〜ｎ）を２枚作成し、該画
像１及び画像２から移動情報を求める動き検出回路と、
該動き検出回路で抽出した動き情報と露光時間にしたが
い、移動領域のブレを補正するブレ補正回路と、補正し
た映像を出力する映像出力回路とを有するブレ補正機能
付蓄積型カメラ。
【請求項８】請求項２〜５の動き検出回路は、撮影時刻
の異なる２枚の映像を用いてオプティカルフローを算出
することを特徴とする監視装置。
【請求項９】請求項６，７の動き検出回路は、撮影時刻
の異なる２枚の映像を用いて、オプティカルフローを算
出することを特徴とするブレ補正機能付蓄積型カメラ。
【請求項１０】請求項２〜５のブレ補正回路は、動き検
出回路で求めた各点の移動ベクトル（移動量，移動方
向）毎に領域分割し、各領域ごとに蓄積型カメラの露光
時間，移動量，移動方向からブレ補正する復元フィルタ
の広がり関数を算出し、復元フィルタによりそれぞれの
領域についてブレ補正し、移動している点だけについて
入力画像に補正画像を書き込む処理であることを特徴と
する監視装置。
【請求項１１】請求項６，７のブレ補正回路は、動き検
出回路で求めた各点の移動ベクトル（移動量，移動方
向）毎に領域分割し、各領域ごとに蓄積型カメラの露光
時間，移動量，移動方向からブレ補正する復元フィルタ
の広がり関数を算出し、復元フィルタによりそれぞれの
領域についてブレ補正し、移動している点だけについて
入力画像に補正画像を書き込む処理であることを特徴と
するブレ補正機能付蓄積型カメラ。