JP2010206286A - 画像処理装置および背景画像検知処理プログラム - Google Patents

画像処理装置および背景画像検知処理プログラム Download PDF

Info

Publication number
JP2010206286A
JP2010206286A JP2009046885A JP2009046885A JP2010206286A JP 2010206286 A JP2010206286 A JP 2010206286A JP 2009046885 A JP2009046885 A JP 2009046885A JP 2009046885 A JP2009046885 A JP 2009046885A JP 2010206286 A JP2010206286 A JP 2010206286A
Authority
JP
Japan
Prior art keywords
background
image
luminance
pixel
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009046885A
Other languages
English (en)
Other versions
JP4959736B2 (ja
Inventor
Akira Wada
亮 和田
Original Assignee
Toshiba Teli Corp
東芝テリー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Teli Corp, 東芝テリー株式会社 filed Critical Toshiba Teli Corp
Priority to JP2009046885A priority Critical patent/JP4959736B2/ja
Publication of JP2010206286A publication Critical patent/JP2010206286A/ja
Application granted granted Critical
Publication of JP4959736B2 publication Critical patent/JP4959736B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】撮影環境に影響されることなく、常に安定した背景画像の検知を可能にして、停止物の検知性能をより向上できる画像処理装置および背景画像検知処理プログラムを提供する。
【解決手段】背景画像作成処理部14は、キャプチャ12より入力した時系列の複数の画像から画素毎の標準偏差を求める自動閾値処理の結果(輝度分散値または標準偏差)を利用して、低輝度値の変動の無い画素を特定し、その画素の平均輝度を利用して背景画像を作成するとともに、最新背景輝度と差分処理を実施して背景変化画素を抽出する。
【選択図】 図1

Description

本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置および停止物検知処理機能を実現する背景画像検知処理プログラムに関する。

単眼カメラ(一つのカメラ)で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、現在画像と過去画像から停止物を検知する停止物検知処理機能を付加することにより、停止物と動物体の区別を実施し、画面上に表示することが可能となる。また停止物が存在する状態を外部装置に対し通知することが可能となる。この停止物検知処理機能を実現する停止物検知機能ロジックの開発において、平均画像を入力として差分処理を実施する実験を試みたが、動物体が画面内に存在する場合、平均画像はその動物体の輝度の影響を受け、動物体の平均輝度が平均画像に混入されるため、その影響で、停止していない対象も停止物として検知してしまうという結果に至った。この種の画像処理技術として、従来では、背景輝度画像と現在の輝度画像から輝度差分画像を生成し、その輝度差分画像から物体領域を抽出する物体領域抽出手段を備えた物体検出装置(特許文献1)、背景輝度画像と現在の輝度画像から輝度差分画像を生成し、その輝度差分画像から物体領域を抽出する物体領域抽出手段を備えた監視装置(特許文献2)、入力画像のうち、所定期間変化しない画像を背景画像として設定する背景画像設定手段と、設定された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段と、差分画像を所定の閾値に基づいて2値化し、移動部分抽出画像を得る画像抽出手段とを備えた画像処理装置(特許文献3)などが存在した。

特開2007−300531号公報 特開2005−143052号公報 特開2000−285244号公報

上述したように、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置を構築する際、動物体の影響により停止していない対象も停止物として検知してしまうという問題があった。

本発明は上記問題を解消して、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる画像処理装置および背景画像検知処理プログラムを提供することを目的とする。

本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置において、前記停止物検知処理手段は、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、前記背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備したことを特徴とする。

また、本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置としてコンピュータを機能させるための背景画像検知処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成機能を前記コンピュータに実現させることを特徴とする。

本発明によれば、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図。 上記実施形態に係る画像処理装置の背景画像作成用バッファ構成を示す図。 上記実施形態に係る画像処理装置の背景画像作成処理部の機能ブロック図。 上記実施形態に係る画像処理装置の背景画像作成処理部の動作概念を示す図。 上記実施形態に係る画像処理装置の停止物検知処理の手順を示すフローチャート。 上記実施形態に係る画像処理装置の背景画像作成処理の手順を示すフローチャート。 上記実施形態に係る画像処理装置の背景画像更新処理の手順を示すフローチャート。 上記実施形態に係る画像処理装置の背景画像更新処理の手順を示すフローチャート。 上記実施形態に係る画像処理装置の背景画像更新処理における背景画素更新処理の手順を示すフローチャート。 上記実施形態に係る画像処理装置の背景画像更新処理における背景画素更新処理の手順を示すフローチャート。 上記実施形態に係る画像処理装置の第1の停止物検知処理手段を説明するための差分処理イメージ図。 上記実施形態に係る画像処理装置の第1の停止物検知処理手段を説明するための差分画素処理ロジックの説明図。 上記実施形態に係る画像処理装置の第1の停止物検知処理手段を説明するための処理手順を示すフローチャート。 上記実施形態に係る画像処理装置の第2の停止物検知処理手段を説明するための差分処理イメージ図。 上記実施形態に係る画像処理装置の第2の停止物検知処理手段を説明するための抽出処理ロジックの説明図。 上記実施形態に係る画像処理装置の第3の停止物検知処理手段を説明するための差分処理イメージ図。 上記実施形態に係る画像処理装置の第3の停止物検知処理手段を説明するための抽出論理ロジックを示す図。 上記実施形態に係る画像処理装置の第4の停止物検知処理手段を説明するための差分処理イメージ図。 上記実施形態に係る画像処理装置の第4の停止物検知処理手段を説明するための抽出論理ロジックの説明図。

以下図面を参照して本発明の実施形態を説明する。
本発明は、カメラで撮影した時系列の複数の画像から、変化画素を含む領域を抽出する動物体の検知機能(短期的な画面上の動きを検知する機能)に対して、長時間に亘り静止している停止物の検知機能(変動のない画素(背景)の変化を検知する機能)を実現している。

本発明は、動きの多い画像の画素は輝度値のバラツキ(分散)が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。

本発明に係る停止物検知機能の概要概念は、画面変動のない画素=背景画素と定義し、背景画素の平均画像と最新背景画素との差分をとり、背景変化画素を抽出する機能である。具体例を挙げると、画面の一部の背景画素集合の変化を捉えることで停止物を検知することにより、画面の大部分で背景変化が発生した場合は、画角ズレ等の監視環境変化が発生したことを検知することが可能となる。また、変動のない画素=背景画素と判断し、背景画素の輝度値を登録して背景画像を作成する。作成した背景画像と現在背景と思われる最新輝度との差分を実施し、背景変化画素の抽出を行う。抽出した背景変化画素は、動物体の検知と同様に、領域化処理を実施し、動物体追跡機能を利用して追跡を可能とする。必要に応じて本機能に必要な設定値は、外部パラメータにより変更可能とする。この停止物検知機能により、停止物と動物体の区別を実施し、画面上に表示することが可能となる。また停止物の存在時に外部装置に対し通知することが可能となる。

本発明の実施形態に係る画像処理装置全体の構成を図1に示す。なお、この実施形態では、カメラ(単眼カメラ)から取り込んだ1フレーム(1画面)分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

本発明の実施形態に係る画像処理装置は、図1に示すように、カメラ11と、キャプチャ部12と、画像処理部13と、表示部19とを具備して構成される。

カメラ11は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子(例えばCCD固体撮像素子、若しくはCMOSイメージセンサ)とを具備して、屋外若しくは屋内の動きを伴う被写体(動物体)を対象に、撮像した一画面分の画像を所定の画素単位(例えば1フレーム320×240画素=QVGA)で出力する。

キャプチャ部12は、カメラ11が撮像したフレーム単位の画像を画像処理部13の処理対象画像(入力画像)として取り込み、後述する背景画像作成用バッファ(背景画像処理用バッファ)15に保持する処理機能をもつ。

画像処理部13は、背景画像作成処理部14と、背景画像作成用バッファ15と、停止物画素抽出処理部16と、領域化処理部17と、追跡処理部18とを具備して構成される。

背景画像作成処理部14は、背景画像作成用バッファ15をリード(R)、ライト(W)アクセスして、背景画像作成用バッファ15に格納された各種の情報をもとに、キャプチャ12より入力した時系列の複数の画像から画素毎の標準偏差を求める自動閾値処理の結果(輝度分散値または標準偏差)を利用して、低輝度値の変動の無い画素を特定し、その画素の平均輝度を利用して背景画像を作成するとともに、最新背景輝度と差分処理を実施して背景変化画素を抽出する処理機能を有する。

背景画像作成処理部14は、カメラ11で撮影した画像をキャプチャ部12を介して順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更
新する背景変化画素抽出手段とを具備して構成される。この背景画像作成処理部14の処理については図面(図3および図4と図6乃至図10)を参照して後述する。

背景画像作成用バッファ15は背景画像作成処理部14の背景画像作成処理に供される各種の記憶領域を提供する作業用のバッファであり、代表的な背景画像作成用のバッファ構造を図2に示している。この背景画像作成用バッファ15には、背景輝度総和(ΣBi)を貯えるバッファ151、複数の背景画素の平均輝度である背景輝度(Ave_Bi)を貯えるバッファ155、30画面分の画像の背景画像=背景輝度(B0〜B29)画素単位でを貯えるバッファ153、背景輝度バッファ番号(BufNum)を画素毎に貯えるバッファ154、背景輝度登録数(EntryNum)を画素毎に貯えるバッファ155、背景輝度登録フレームカウンタ情報(EntryFrmCtr)を画素毎に貯えるバッファ156等の各領域が設けられる。さらに、背景画像作成用バッファ15には、キャプチャ部12から入力された1画面単位の画像データ(カラー)を貯える画像バッファメモリ、作成した背景画像を貯える背景画像バッファメモリ、背景画像作成用のデータを貯えるバッファ(図3に示す符号21,26,27参照)の各領域を含む、入出力データ、演算途中の各種データ、内部パラメータ等を貯える領域、外部パラメータを貯える領域等が設けられる。

本発明の実施形態では複数枚の背景画素(平均輝度)の平均輝度を背景輝度として算出し利用するものとする(画素によって背景輝度の更新タイミングが異なるようになる)。この背景画像(平均輝度の平均)(Ave_Bi)と、背景輝度総和(ΣBi)に加え、画素によって背景更新タイミングが異なることから、画素毎に背景輝度(B0〜29)を作成するためのバッファ(30枚)153と、背景輝度バッファ番号を貯えるバッファ154、背景輝度登録数(最大29)を貯えるバッファ155、背景輝度登録フレームカウンタ情報(フレームカウント値)を貯えるバッファ15をそれぞれ準備する。

この背景輝度(B0〜29)を作成するためのバッファ153には、背景画像作成処理部14で抽出処理した低輝度の安定画素がバッファ番号、フレームカウンタ情報等の指定に従い1画素単位で登録され、画素集合による背景画像が生成される。

図1に示す画像処理部13において、停止物画素抽出処理部16は、背景画像作成処理部14で作成した、低輝度の安定画素の集合による背景画像を利用して停止物(停止物と見做した画素)の検知処理を実施する。この停止物の検知処理については図面(図5と図11乃至図19)を参照して後述する。

領域化処理部17は、停止物画素抽出処理部16で処理した、停止物と見做した画素をもとに停止物の領域化処理を実施する。

追跡処理部18は、領域化処理部17で領域化された停止物の領域を追跡する追跡処理を実施する。この領域化処理部17および追跡処理部18は既知の技術により構築可能であることから、ここでは、その説明を省略する。

背景画像作成処理部14の機能ブロックを図3に示している。背景画像作成処理部14は、キャプチャ部12から入力した画像を貯える画像バッファメモリ21と、標準偏差を用いた自動閾値算出機能をもつ変動画素抽出部22と、背景画素の更新処理を実施する背景画像更新部23と、背景画像更新部23の更新処理を制御する背景画像更新管理部24と、間隔の開いた背景画素をリフレッシュ処理する背景画像リフレッシュ部25と、背景画像作成用のデータを貯えるバッファ26と、作成した背景画像を貯える背景画像バッファメモリ27とを具備して構成される。画像バッファメモリ21、背景画像作成用データバッファ26、背景画像バッファメモリ27等は図1に示す背景画像作成用バッファ15に置かれる。変動画素抽出部22には、低輝度の安定画素を抽出するための最低閾値(上下限値)、利用フレーム数等が外部パラメータとして入力される。

変動画素抽出部22は、画像バッファメモリ21から複数画面分の画像をリード(R)して、画素毎に、輝度平均、輝度分散、標準偏差の各値を算出する。背景画像更新管理部24は、現在フレームカウンタ情報に基づき、画素単位で、前回更新からの経過時間をチェックし、長時間にわたり更新されずに残っている画素について、背景画像リフレッシュ部25にリフレッシュを指示する。背景画像リフレッシュ部25はこの指示に従い、該当する背景画素をリフレッシュ処理する。一方、背景画像更新部23は、変動画素抽出部22から背景画素およびその輝度値と、輝度分散値若しくは標準偏差をリードし、当該背景画素(注目画素)の輝度分散値若しくは標準偏差が低輝度の安定画素であるか否かを判定し、低輝度の安定画素であると判定したとき、当該画素を背景画素と判定し、平均画像データを利用して、背景画像作成データの更新を実施し、更新処理した背景画像を背景画像バッファメモリ27に登録する。この背景画像バッファメモリ27への背景画像のバッファリングは、パラメータにより指定された間隔で実施される。

上記背景画像作成処理部14における動作概念を図4に示している。本願の発明者により実現された自動閾値設定技術は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を変化画素を抽出するための、対応する画素の閾値に設定している(特開2008−250892参照)。この自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素=背景と思われる画素においては、低く安定した閾値を設定する。この特性を利用し、自動閾値が低い状態=背景の変動がない=背景画素と判断し、そのときの平均輝度を背景輝度として利用し、その集合にて平均画像を作成し、背景画像とする。そして、最新の登録背景輝度と現在の背景画像との差分処理を実施し、背景変化画素を抽出することを基本とする。この動作概念を図4に示している。この考え方により、動きのある画像中でも機能し、動物体検知している場所と同じ場所での停止物を高い認識率で認識可能にしている。一方、輝度の変動時間が長い画素は、背景画素として判定された状態から更新されない期間が長い状態となり、現状との乖離が発生している可能性が考えられるため、その場合は、背景画像をリフレッシュする機能を具備する。なお、図中の符号Taは最低閾値、SAは最低閾値(Ta)以下の低輝度安定範囲である。背景画像作成処理部14は、注目画素が最低閾値(Ta)以下の低輝度安定範囲(SA)にあるか否かを判定し、最低閾値(Ta)以下であるときに、背景画素の更新処理を実施する。この更新処理については図面(図7乃至図10)を参照して後述する。

上記図1に示した画像処理装置の画像処理部13における停止物検知処理の手順を図5に示している。この停止物検知処理では、背景画像作成処理部14において、カメラ11で撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する(図5ステップS1)。この背景画素が作成されると、停止物画素抽出処理部16において、背景画像作成処理部14で作成した、低輝度の安定画素の集合による背景画像を利用して、停止物(停止物と見做した画素)の検知処理を実施する(図5ステップS2)。停止物(停止物の画素集合)が生成されると、領域化処理部17において、停止物画素抽出処理部16で処理した、停止物と見做した画素をもとに停止物の領域化処理を実施し(図5ステップS3)、追跡処理部18において、領域化処理部17で領域化された停止物の領域を追跡する追跡処理を実施する(図5ステップS3)。

上記図5ステップS1における背景画像作成処理の処理手順を図6にフローチャートで示している。この背景画像作成処理は、パラメータの設定による背景画像作成タイミングに従い実施される。

この背景画像作成処理部14における背景画像作成処理では、入力された最新の画像(モノクロ/カラーの画像データ)をセットし、現在のフレームカウンタ情報を取得する(図6ステップS11)。上記入力画像について、上記した画素毎の自動閾値の算出処理を実施する(図6ステップS12)。この算出処理で算出された画素毎の輝度分散値若しくは標準偏差を利用して背景画素の作成並びに更新処理を実施する(図6ステップS13)。この背景画像の作成処理では、入力された画像を全画面分走査し、自動閾値の小さい(低輝度で安定している)画素(=最低閾値と同じ画素)を背景画素と判断する(閾値算出のタイミングに合わせる)。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を0クリアし、背景輝度登録数を0で初期化、バッファカウンタ等も初期化する。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を0クリアし、背景輝度登録数を0で初期化、バッファカウンタ等も初期化する(リフレッシュ処理)。背景輝度総和、最古背景輝度値、1フレーム前背景輝度を利用して、背景画像総和の更新、背景画像の更新、背景輝度バッファの更新を行う。なお、背景登録数が所定数(30フレーム)に達していない場合は、総和への足し込みのみを実行し、インクリメントする。この先入先出処理は[背景輝度(平均)=背景画素総和(29枚分)−最古背景輝度+1フレーム前の背景輝度/29]で表すことができる。また、現在平均輝度をバッファへ登録し、背景バッファカウンタのインクリメントを実施し、現在フレームカウンタ情報を背景画素更新フレームカウンタに格納する。背景画像は、最大30枚を、成熟/未成熟画像とセットでバッファリングするものとし、バッファリング周期(保存周期)は外部パラメータにて指定可能とする。また、現在バッファ番号+n秒前の背景画像、成熟/未成熟画像の取得関数を準備し、取得可能とする。なお、未成熟画像は、背景画像を作成可能な状態に至らない(背景輝度バッファ153に所定数の背景画像が登録されていない状態にある)背景輝度バッファ153上の背景画像であり、成熟画像は、背景画像を作成可能な状態にある(背景輝度バッファ153に所定数の背景画像が登録された状態にある)背景輝度バッファ153上の背景画像である。

上記した背景画像更新処理の処理手順を図7および図8にフローチャートで示している。
この背景画像更新処理では、背景画像の更新対象画素数、および背景画像の更新画素数を初期化し(図7ステップS21)、画像サイズ分ループして(図7ステップS22〜図8ステップS35)以下の処理を実施する。

このループ処理では、処理対象となる注目画素の画素番号の取得し(図7ステップS24)、その注目画素がマスク対象画素であるか否かを判定する(図7ステップS25)。ここで、注目画素がマスク対象画素でない(更新対象画素である)とき、背景画像更新対象画素数をインクリメントし(図7ステップS26)、その画素が所定の時間を経過した(リフレッシュ未更新間隔時間を超過した)リフレッシュ対象画素であるか否かを判定する(図7ステップS27〜図8ステップS29)。リフレッシュ対象画素でないとき、注目画素の背景画素更新処理を実施する(図8ステップS31)。この注目画素の背景画素更新処理については図9および図10に示すフローチャートを参照して後述する。この注目画素の背景画素更新処理が正常終了したことを確認して(図8ステップS32)、背景画像の更新画素数をインクリメントする(図8ステップS33)。また、注目画素がマスク対象画素であるときは上記ループ内の各処理をスキップする。またリフレッシュ対象画素であるときは注目画素に対する背景情報の初期化処理を実施し(図8ステップS30)、注目画素の背景画素更新処理を実施する(図8ステップS31)。この背景情報の初期化処理では、背景画像輝度バッファの初期化、背景画像輝度現在バッファ番号の初期化、背景輝度登録数の初期化、背景輝度登録フレームカウンタの初期化、現在背景画像データの当該画素を初期化、最新登録背景画像データの当該画素を初期化、背景更新画像の当該画素を初期化、背景セットアップ画像の当該画素を初期化等が行われる。また、注目画素の背景画素更新処理が正常終了しないときは注目画素の背景画素更新処理を終了する。上記ループ処理(図7ステップS22〜図8ステップS35)の後、背景画像の更新画素割合を算出し、その算出割合を画像処理バッファ15に格納する(図8ステップS36)。

上記した背景画像更新処理における注目画素の背景画素更新処理を図9および図10にフローチャートで示している。

この注目画素の背景画素更新処理では、戻り値として返す更新フラグを未更新(戻り値=FALSE)で初期化し(図9ステップS41)、注目画素位置が画面内にあることを確認して(図9ステップS42)、注目画素(カラー)の位置情報をセットする(図9ステップS43)。

そして注目画素の閾値が低輝度値に設定した最低閾値以下であるか否か(注目画素が図4に示す最低閾値(Ta)以下の低輝度安定範囲(SA)にあるか否か)をチェックする(図9ステップS43)。

ここで、最低閾値以下であるときは、以下の背景画素の更新処理を実施し(図9ステップS45〜図10ステップS63)、最低閾値以下でないときは背景更新画像の注目画素位置に該当する画素を未更新(FALSE)にして背景画素の更新処理を終了する。背景画素の更新処理では、入力背景輝度値(tempImg、tempImg_R、tempImg_G、tempImg_B)を取得する。(tempImg)は入力した背景の平均輝度値、(tempImg_R、tempImg_G、tempImg_B)は入力した背景のR,G,Bの各平均輝度値。さらに、現在の背景輝度登録数、格納バッファ番号をそれぞれ取得し(図9ステップS47,S48)、輝度登録数が利用数を超過しているか(30に達しているか)否かをチェックする。

ここで、輝度登録数が利用数を超過しているときは、先入先出法による画素の更新(最古の画素を棄て最新の画素を取り込む画素の差し替え処理)を実施する(図9ステップS50〜S53)。ここでは、背景輝度総和バッファ151に格納されている背景輝度の総和から現在の背景輝度(平均)を求め(図9ステップS50)、入力背景輝度値を使って総和を算出し(図9ステップS51)、最古の画素に代わって入力画素をセットアップ画素にし(図9ステップS52)、更新フラグを更新(戻り値=TRUE)にして(図9ステップS53)、図10に示すバッファへのデータ格納処理を実施する。。また、輝度登録数が利用数を超過していないときは、入力背景輝度値を使って総和を算出し(図9ステップS54)、背景登録数をインクリメントして図10に示す処理に移行する。このバッファへのデータ格納処理では、入力背景輝度値をバッファに格納し(図10ステップS56)、入力背景輝度値を最新登録背景画像へ格納して(図10ステップS57)、背景更新画像の当該画素を更新にし(図10ステップS58)、更新したフレームカウンタを格納する(図10ステップS59)。さらに、バッファ番号をインクリメントし(図10ステップS60)、バッファ番号が利用数(この例では30)を超過しているか否かをチェックして(図10ステップS61)、利用数を超過していない場合は、バッファ番号をインクリメントして格納し(図10ステップS62)、超過している場合は、バッファ番号を「0」に初期化(リセット)し(図10ステップS63)、更新フラグを戻り値として返す。

上記図5に示した停止物検知処理の処理例(4例)を図面(図11乃至図19)を参照して説明する。

第1の停止物検知処理手段(登録背景差分手法による)を図11乃至図13を参照して説明する。図11は差分処理イメージ図、図12は差分画素処理ロジックの説明図、図13は停止物画素抽出処理手順を示すフローチャートである。

この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度が、背景画像登録数が30に達しているいか否か(30に達していない画素を未成熟背景画像段階と呼ぶ)を判断する(図13ステップS71〜S73)。

背景未更新画素の場合、又は未成熟背景画像段階の場合は、背景差分処理を実施しない(図13ステップS73・No)。未成熟背景画像段階でない場合(成熟背景画像段階にあるとき)は、現在バッファ番号背景輝度と背景画像(平均画像)を利用して図11に示す背景差分処理を実施する(図13ステップS74)。なお、背景画像(平均画像)は、参照遅延時間を別途指定可能とする(何秒前に作成された背景画像と差分を実施するかを指定可能とする)。また、差分閾値は、外部パラメータにて設定された固定閾値/自動閾値の切り替えを可能とし、自動閾値は、背景輝度の変動を考慮した閾値設定とする(動物体検知の自動閾値のロジックに準拠する)。

停止物は動かないことから、同一地点に連続的に差分結果が抽出されるはずであるため、差分処理を実施した結果を蓄積し、差分アリの時+1、差分無しの時は−1を行う累積差分二値化画像を作成し、閾値を超過した場合は、差分画素とする(図13ステップS76〜S81)。ここでの閾値は、図12に示すように、上限、下限の2値を有し、ヒステリシスをもった判定を行うようにする。

第2の停止物検知処理手段(背景時間差分手法による)を図14および図15を参照して説明する。図14は差分処理イメージ図、図15は抽出処理ロジックの説明図である。なお、処理手順は図13に示した処理手順と同様である。

この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、過去背景輝度が、背景画像登録数が30に達しているいか否か(30に達していない画素を未成熟背景画像段階と呼ぶ)を判断する。未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。差分閾値は、外部パラメータにて設定された固定閾値/自動閾値の切り替えを可能とし、自動閾値は、背景輝度の変動を考慮した閾値設定とする(動物体検知の自動閾値のロジックに準拠する)。停止物は動かないことから、同一地点に連続的に差分結果が抽出されるはずであるため、差分処理を実施した結果を蓄積し、差分アリの時+1、差分無しの時は−1を行う累積差分二値化画像を作成し、閾値を超過した場合は、差分画素とする。ここでの閾値は、上限、下限の2値を有し、ヒステリシスをもった判定を行うようにする(手法1参照)。

第3の停止物検知処理手段(背景不均等時間差分論理和手法による)を図16および図17を参照して説明する。図16は差分処理イメージ図、図17は抽出論理ロジック(時間の小さい差と大きく離れた時間との差の排他的論理和)の説明図である。なお、処理手順は図13に示した処理手順と同様である。

この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、遅延時間の異なる背景輝度が、双方の背景画像登録数が30に達しているいか否か(30に達していない画素を未成熟背景画像段階と呼ぶ)を判断する。未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。

第4の停止物検知処理手段(背景時間差分、登録差分の論理積手法による)を図18および図19を参照して説明する。図18は差分処理イメージ図、図19は抽出論理ロジックの説明図である。なお、処理手順は図13に示した処理手順と同様である。

この処理では、現在背景画像と時間の異なる過去背景画像2枚を利用した時間差分と登録背景画像と過去画像の差分処理の論理積にて停止物画素の抽出を行う。

背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、遅延時間の異なる背景輝度が、双方の背景画像登録数が30に達しているいか否か(30に達していない画素を未成熟背景画像段階と呼ぶ)を判断する。背景未更新画素の場合又は未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。

上記した本発明の実施形態により、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる。なお上記した実施形態では、標準偏差または標準偏差を求める過程で求まる輝度分散値を利用して背景画像(背景画素の集合)を作成したが、例えば標準偏差(σ)の2倍(2σ)、または3倍(3σ)等を利用することで、輝度変動の大きい画素と輝度変動の小さい画素との差別化(識別)がより容易になる。

11…カメラ、12…キャプチャ部、13…画像処理部、14…背景画像作成処理部、15…背景画像作成用バッファ、16…停止物画素抽出処理部、17…領域化処理部、18…追跡処理部、19…表示部、21…画像バッファメモリ、22…変動画素抽出部、23…背景画像更新部、24…背景画像更新管理部、25…背景画像リフレッシュ部、26…背景画像作成用データバッファ、27…背景画像バッファメモリ、Ta…最低閾値、SA…低輝度安定範囲。

Claims (5)

  1. カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置において、
    前記停止物検知処理手段は、
    前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、
    前記背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出する背景変化画素抽出手段と、
    を具備したことを特徴とする画像処理装置。
  2. 前記背景画像作成手段は、前記作成した背景画像を時系列に貯える複数の背景輝度バッファと、この背景輝度バッファに貯えられた背景画像の画素毎のリフレッシュタイミングを管理するバッファ管理手段とを具備したことを特徴とする請求項1に記載の画像処理装置。
  3. 前記バッファ管理手段は、前記背景輝度バッファに対する背景画像の更新制御を行う更新制御手段を具備したことを特徴とする請求項2に記載の画像処理装置。
  4. 前記背景変化画素抽出手段は、2値の閾値を用いてヒステリシスをもった背景画素の差分処理を行うことを特徴とする請求項1に記載の画像処理装置。
  5. カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置としてコンピュータを機能させるための背景画像検知処理プログラムであって、
    前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成機能を前記コンピュータに実現させるための背景画像検知処理プログラム。
JP2009046885A 2009-02-27 2009-02-27 画像処理装置および背景画像検知処理プログラム Active JP4959736B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009046885A JP4959736B2 (ja) 2009-02-27 2009-02-27 画像処理装置および背景画像検知処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009046885A JP4959736B2 (ja) 2009-02-27 2009-02-27 画像処理装置および背景画像検知処理プログラム

Publications (2)

Publication Number Publication Date
JP2010206286A true JP2010206286A (ja) 2010-09-16
JP4959736B2 JP4959736B2 (ja) 2012-06-27

Family

ID=42967371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009046885A Active JP4959736B2 (ja) 2009-02-27 2009-02-27 画像処理装置および背景画像検知処理プログラム

Country Status (1)

Country Link
JP (1) JP4959736B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147391A (ja) * 2011-01-14 2012-08-02 Canon Inc 撮像装置および撮像装置の制御方法
KR20190074920A (ko) * 2017-12-20 2019-06-28 경희대학교 산학협력단 하나 이상의 프레임을 포함하는 장면의 배경 추정 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2005182732A (ja) * 2003-11-25 2005-07-07 Victor Co Of Japan Ltd 画像処理装置、画像処理方法及び動き検出装置
JP2007249270A (ja) * 2006-03-13 2007-09-27 Secom Co Ltd 画像センサ
JP2007323572A (ja) * 2006-06-05 2007-12-13 Nec Corp 物体検出装置、物体検出方法および物体検出プログラム
JP2009031939A (ja) * 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2005182732A (ja) * 2003-11-25 2005-07-07 Victor Co Of Japan Ltd 画像処理装置、画像処理方法及び動き検出装置
JP2007249270A (ja) * 2006-03-13 2007-09-27 Secom Co Ltd 画像センサ
JP2007323572A (ja) * 2006-06-05 2007-12-13 Nec Corp 物体検出装置、物体検出方法および物体検出プログラム
JP2009031939A (ja) * 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147391A (ja) * 2011-01-14 2012-08-02 Canon Inc 撮像装置および撮像装置の制御方法
KR20190074920A (ko) * 2017-12-20 2019-06-28 경희대학교 산학협력단 하나 이상의 프레임을 포함하는 장면의 배경 추정 방법 및 시스템
KR102031941B1 (ko) * 2017-12-20 2019-10-14 경희대학교 산학협력단 하나 이상의 프레임을 포함하는 장면의 배경 추정 방법 및 시스템

Also Published As

Publication number Publication date
JP4959736B2 (ja) 2012-06-27

Similar Documents

Publication Publication Date Title
JP2009522591A (ja) 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
DE602004005358T2 (de) Objektdetektion in bildern
US7554575B2 (en) Fast imaging system calibration
EP3084577B1 (en) Selection and tracking of objects for display partitioning and clustering of video frames
JP5710589B2 (ja) 改良されたハンドヘルド画面検知ポインタ
US20090251421A1 (en) Method and apparatus for tactile perception of digital images
US8989448B2 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
KR19990031401A (ko) 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
EP2273450A2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
CN101023447A (zh) 用于对象的检查和视觉检测的方法和装置
KR20130142913A (ko) 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
JP4368767B2 (ja) 異常動作検出装置および異常動作検出方法
JP2008113071A (ja) 自動追尾装置
JP5227911B2 (ja) 監視映像検索装置及び監視システム
JP2011513809A (ja) バーコードに含まれている情報を読み出す方法及び装置
US9277165B2 (en) Video surveillance system and method using IP-based networks
JP5018767B2 (ja) 被写体追跡プログラム、被写体追跡装置、およびカメラ
KR20090009944A (ko) 오염 검출 장치
JPWO2008120321A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2011155492A (ja) 画像処理装置
JP2004532441A (ja) 撮像装置によって取り込まれたコンピュータ制御可能な表示の前にある物体の所定点を抽出するためのシステムおよび方法
JP3486229B2 (ja) 画像変化検出装置
JP4315138B2 (ja) 画像処理装置及び画像処理方法
US20120092559A1 (en) Rolling Shutter Distortion Correction
TW201013578A (en) Video motion detection

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120321

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250