JP2015028753A

JP2015028753A - 画像処理装置、画像処理方法

Info

Publication number: JP2015028753A
Application number: JP2014012250A
Authority: JP
Inventors: 淳仲上; Atsushi Nakagami
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2013-06-28
Filing date: 2014-01-27
Publication date: 2015-02-12
Anticipated expiration: 2034-01-27
Also published as: JP6156163B2; US9076037B2; US20150003675A1

Abstract

【課題】装置の大型化や複雑化などの負荷の増大を抑えつつ、物体の検出精度を向上した画像処理装置、画像処理方法を提供する。【解決手段】背景画像保持部２４は背景画像を保持する。閾値テーブル保持部２３は閾値を保持する。前フレーム画像保持部２５は前フレーム画像を保持する。物体抽出部２２は、背景画像と最新画像との差分値を算出し、差分値が閾値以上である画素を抽出物体として検出する処理および、背景画像と最新画像との差の大きさを判定する処理を行なう。物体抽出部２２は、背景画像と最新画像との差の大きさに応じた手順で背景画像と閾値の更新を行う。【選択図】図２

Description

本発明は、背景差分処理による画像処理技術を用いて物体を検出する画像処理装置、画
像処理方法に関する。

近年、監視カメラシステムにおいて画像処理技術の進歩により、従来の監視者が監視カ
メラの映像を確認して異常を検出する方法から、監視カメラや監視カメラに接続される画
像処理装置が物体を自動的に検出し、異常発生時にはアラーム表示や電子メールによるア
ラーム通知を行うシステムが増加してきている。監視者が確認する方法では監視者の不注
意や監視スキル不足から異常発生時に異常が検出されない可能性があるが、画像処理によ
る方法ではこれらを改善することができ、省人化も可能であることから導入が進んでいる。

物体を自動的に検出する方法としては予め物体が映っていない状態の背景画像を記憶し
ておき、現在の画像と背景画像の差分から前景部分を抽出する背景差分方式が一般的に広
く用いられている。しかし、監視カメラを設置する場所の設置状況や天候等により、物体
を正確に捉えるのが困難な場合がある。特に屋外では様々な気象変動により日照が変化し
、影響を受けることから、背景画像を適切に更新しながら物体を捉える必要がある。

このように、監視カメラ映像から画像処理による異常の自動検出という要望がある一方
、誤検出による誤報が多いという問題があり、物体を高い精度で検出する方法が求められ
ている。特に屋外では、雲が太陽を遮ったり、また現れたりして日照が急激に変化する場
合に、画像全体で背景との差分が発生し、物体の検出が困難になってしまう問題がある。

特許文献１には、上記のような問題点を考慮して、光学パラメータが変化した場合に、
背景画像を更新する画像処理装置が開示されている。

特開２０００−５９６６９号公報

しかしながら、特許文献１の技術では、撮像対象の画像の明度が変化した際に、変化前
の背景画像のすべては、新たに撮像された画像に更新される。このため、一時的に日照が
変化して画像全体の光量が大きく変化したような場合に、撮像された画像に動体が写り込
んでいると、動体が写り込んだ画像が背景画像としてに更新されてしまう。この場合、動
体が移動すると動体が移動する前の場所も被検出物体として誤検出しまうおそれがあった
。

このように、背景画像が適切に更新されないと、新たな動体を精度良く検出することが
困難となり、検出精度が低下するといった不具合を招くおそれがある。

本発明は、装置の大型化や複雑化などの負荷の増大を抑えつつ、物体の検出精度を向上
した画像処理装置、画像処理方法を提供することを目的とする。

本発明は、背景画像を保持する背景画像保持部（２４）と、閾値を保持する閾値テーブ
ル保持部（２３）と、最新画像に対して時間的に前のフレーム画像である前フレーム画像
を保持する前フレーム画像保持部（２５）と、前記背景画像と最新画像との差分値を算出
し、前記差分値が前記閾値以上である画素を抽出物体として検出する背景差分処理および、
前記背景画像と前記最新画像との差の大きさの判定処理を行なう物体抽出部（２２）とを
有し、前記物体抽出部は、前記背景画像と前記最新画像との差の大きさが所定値未満であ
ると判定した場合、前記背景画像に前記最新画像を所定の割合で加算することで前記背景
画像を更新し、前記背景画像と前記最新画像との差の大きさが前記所定値未満でないと判
定した場合、前記前フレーム画像と前記最新画像との画素ごとの差分の平均となる差分平
均値を算出して前記閾値に前記差分平均値の絶対値を加算することで前記閾値を更新し、
前記更新した閾値を用いて前記背景差分処理を実行した結果、抽出物体として認識されな
かった画素においては前記最新画像の画素を新たな背景画像の画素として置き換え、抽出
物体として認識された画素においては前記背景画像に対し前記差分平均値を加算した画素
を新たな背景画像の画素として置き換えることで前記背景画像を更新し、前記背景画像保
持部は、前記物体抽出部が更新した背景画像をそれまで保持していた背景画像に代えて保
持し、前記閾値テーブル保持部は、前記物体抽出部が更新した閾値をそれまで保持していた閾値に代えて保持することを特徴とする画像処理装置を提供する。

本発明は、背景画像と最新画像との差分値を算出するステップ（Ｓ４０２）と、前記差
分値が所定の閾値以上である画素を抽出物体として検出するステップ（Ｓ４０２）と、前
記差分値に基づき、前記背景画像と前記最新画像との差の大きさを判定するステップ（Ｓ
４０３）と、前記背景画像と前記最新画像との差の大きさが所定値未満であると判定した
場合、前記背景画像に前記最新画像を所定の割合で加算することで前記背景画像を更新す
るステップ（Ｓ４０９）と、前記背景画像と前記最新画像との差が前記所定値未満でない
と判定した場合、前記最新画像に対して時間的に前のフレーム画像である前フレーム画像
と前記最新画像との画素ごとの差分の平均となる差分平均値を算出して前記閾値に前記差
分平均値の絶対値を加算することで前記閾値を更新し、前記更新した閾値を用いて前記背
景差分処理を実行した結果、抽出物体として認識されなかった画素においては前記最新画
像の画素を新たな背景画像の画素として置き換え、抽出物体として認識された画素におい
ては前記背景画像に対し前記差分平均値を加算した画素を新たな背景画像の画素として置
き換えることで前記背景画像を更新するステップ（Ｓ４１３〜Ｓ４１６）とを有すること
を特徴とする画像処理方法を提供する。

本発明によれば、装置の大型化や複雑化などの負荷の増大を抑えつつ、抽出物体の検出
精度を向上させることができる。

本実施形態に係る画像処理装置を含むネットワークカメラ監視システムの構成を示す図である。ネットワークカメラ１１の構成を示す図である。閾値の種類とその値を示す図である。本実施形態に係る画像処理方法の処理手順を示すフローチャートである。抽出物体が全画素の所定割合未満である場合の背景画像のＲ，Ｇ，Ｂ階調値の一更新例、ならびに閾値の一更新例の様子を示す図である。抽出物体が全画素の所定割合以上である場合の背景画像、最新フレーム画像のＲ，Ｇ，Ｂ階調値、ならびに閾値の一例を示す図である。前フレームの画像と最新フレーム画像との差分平均値の算出を説明するための図である。抽出物体が全画素の所定割合以上である場合の閾値の一更新例、ならびに最新フレーム画像の２値化を示す図である。抽出物体が全画素の所定割合以上である場合の背景画像の一更新例を示す図である。

以下、図面を用いて本発明を実施するための実施形態を説明する。

図１において、本実施形態の画像処理装置は、例えばネットワークカメラ１１に備えら
れている。ネットワークカメラ１１は、背景画像に対して新たに撮像された物体を被検出
物体（以下、抽出物体とも呼ぶ）として検出し、物体の侵入などを監視する。抽出物体の
検出には、背景差分処理と呼ばれる公知の画像処理方法を用いる。

ネットワークカメラ監視システムは通常、複数台のネットワークカメラ１１と、ハブ１
２、監視装置１３ならびにディスプレイ１４を備えている。なお、ネットワークカメラ１
１は複数台である必要は無く、１台であってもかまわない。

ハブ１２は、複数台のネットワークカメラ１１と監視装置１３とをＬＡＮにより接続し
、複数台のネットワークカメラ１１と監視装置１３との間で信号を伝送する。

監視装置１３は、通信相手となる複数台のネットワークカメラ１１をＩＰアドレスを用
いて特定する。監視装置１３は、ＴＣＰ／ＩＰ等のプロトコルを用いてネットワークカメ
ラ１１で撮像された画像データを受信する。監視装置１３は、ネットワークカメラ１１が
撮像する際の絞りや撮像方向等の撮像要件を調整制御し、これらの撮像要件をネットワー
クカメラ１１に与える。監視装置１３は、ネットワークカメラで撮像された画像データを
必要に応じて内蔵する記憶装置に記憶する。監視装置１３は、ディスプレイ１４にネット
ワークカメラ１１で撮像された画像を表示させる。

ディスプレイ１４は、監視装置１３の制御の下に、ネットワークカメラ１１で撮像され
た画像を表示する。

複数台のネットワークカメラ１１は、図２に示すようにすべて同一に構成されている。

図２において、ネットワークカメラ１１は、有線や無線のＬＡＮ機能を備え、動画でカラ
ー撮影ができるカメラである。ネットワークカメラ１１は、撮像部２１、物体抽出部２２
、閾値テーブル保持部２３、背景画像保持部２４、前フレーム画像保持部２５を備えてい
る。物体抽出部２２、閾値テーブル保持部２３、背景画像保持部２４、前フレーム画像保
持部２５は、本実施形態の画像処理装置を構成する。

画像処理装置は、プログラムに基づいて各種動作処理を制御する例えばマイクロコンピ
ュータ等により実現することができる。画像処理装置は、予め内部に保有する制御ロジッ
ク（プログラム）に基づいて、画像処理装置が備える上記構成要素に指令を与え、後述す
る背景差分処理に必要なすべての動作を統括管理して制御する。

ネットワークカメラ１１は、さらにエンコーダ２６、アラーム検出部２７、ネットワー
クＩ／Ｆ（インタフェース）２８ならびに制御部２９を備えている。

撮像部２１は、撮像対象の画像を撮像し、撮像した画像に対応した電気信号をＣＣＤセ
ンサ等から取得し画像データを生成する。

物体抽出部２２は、撮像部２１で生成された画像データを受けて、撮像部２１で撮像さ
れた画像に基づいて、背景差分処理により抽出物体を検出する。物体抽出部２２は、背景
画像と閾値とを補正して更新する処理を行う。物体抽出部２２は、最新フレーム画像の全
画素に対して抽出物体として検出された画素の割合に応じた方法で、背景画像と閾値とを
補正して更新する。

物体抽出部２２は、最新フレーム画像の全画素に対して抽出物体として検出された画素
の割合が所定の割合未満の場合には、背景差分の結果、差分の絶対値が閾値以下の画素に
対して背景画像と最新フレーム画像とを所定の割合で加算することで背景画像を補正して
更新する。同様に物体抽出部２２は、背景差分の結果、差分の絶対値が閾値以下の画素に
対して、現在の閾値と、背景画像と最新フレーム画像との各画素の差分の絶対値とを所定
の割合で加算することで各画素毎の閾値を補正して更新する。

物体抽出部２２は、最新フレーム画像の全画素に対して抽出物体として検出された画素
の割合が所定の割合以上の場合には、前フレーム画像保持部２５に保持された前フレーム
画像と最新フレーム画像との差分の平均となる差分平均値を算出する。物体抽出部２２は
、現在の閾値に算出した差分平均値の絶対値を加算して閾値を補正して更新する。物体抽
出部２２は、更新した閾値を用いて背景差分処理を実行する。物体抽出部２２は、更新し
た閾値を用いて背景差分処理を実行した結果、背景画像として認識された画素は最新フレ
ーム画像の画素で更新し、抽出物体として認識された画素は、差分平均値を加算して更新
する。

物体抽出部２２は、最新フレーム画像の全画素に対して抽出物体として検出された画素
の割合が所定の割合以上の場合には、前フレーム画像保持部２５に保持された前フレーム
画像と最新フレーム画像との差分を画素毎に算出し、画像内の各画素の差分の平均を差分
平均値とする。この際、物体抽出部２２は、画像内で差分の大きな画素から順に、抽出物
体の画素数に基づいて予め設定された画素数を差分平均値算出対象から除き、残った画素
に対して差分平均値を算出する。

閾値テーブル保持部２３は、物体抽出部２２で背景差分処理により抽出物体を検出する
際に用いる閾値を保持する。閾値テーブル保持部２３は、図３に示すデフォルト閾値なら
びに最小閾値を保持する。図２に戻って、閾値テーブル保持部２３は、保持する閾値を物
体抽出部２２に与える。閾値テーブル保持部２３は、物体抽出部２２で更新された閾値を
受けて、更新された閾値をそれまで保持していた閾値に代えて保持する。

閾値テーブル保持部２３に保持された各閾値や背景画像保持部２４に保持された背景画
像は、ネットワークカメラ１１の起動時に自動的に設定される他、監視装置１３からの制
御指令にしたがって変更、更新することができる。

物体抽出処理の開始時には、閾値テーブル保持部２３が保持するデフォルト閾値、例え
ば３０の値が使用される。閾値は各画素のＲ，Ｇ，Ｂ毎に異なる値を持つことができる。

物体抽出処理の開始時には、Ｒ，Ｇ、Ｂのすべてに対してデフォルト閾値が適用されるが
、物体抽出処理の開始後に後述する閾値の補正が行われると、各画素のＲ，Ｇ，Ｂ毎に閾
値が補正されて物体抽出の感度が調整される。

閾値は、値が小さいほど感度が高くなり、抽出物体として認識されやすくなる一方、ノ
イズ等の影響を受けやすくなる。図３に示す閾値テーブル保持部２３に保持される値は、
ネットワークカメラ１１の設置状況に応じて設定され、監視装置１３から与えられる指令
にしたがって物体の検出状況を確認して設定する。

最小閾値は、ノイズの影響を受けない最小の値として、例えば１０とする。デフォルト
閾値は、最小閾値より感度に余裕をもつように最小閾値よりも大きな例えば上記した値（
３０）とする。物体抽出処理の開始後に、背景画像と抽出物体との差分が継続して小さい
画素においては、閾値は後述する方法で閾値テーブル保持部２３の最小閾値よりも小さく
ならない範囲で徐々に小さい値となるように補正される。

背景画像保持部２４は、物体抽出部２２で背景差分処理により抽出物体を検出する際に
用いる背景画像を保持する。背景画像保持部２４は、保持する背景画像を物体抽出部２２
に与える。背景画像保持部２４は、物体抽出部２２で更新された背景画像を受けて、更新
された背景画像をそれまで保持していた背景画像に代えて保持する。

前フレーム画像保持部２５は、最新フレームの１フレーム前の画像を保持する。前フレ
ーム画像保持部２５に保持される前フレーム画像は、背景差分処理の結果、抽出物体が全
画素に対して所定の割合以上になった場合に行われる閾値の補正処理に用いられる。

前フレーム画像保持部２５は、保持する前フレーム画像を物体抽出部２２に与える。前
フレーム画像保持部２５は、物体抽出部２２で更新された最新フレーム画像を受けて、更
新された最新フレーム画像をそれまで保持していた前フレーム画像に代えて保持する。

エンコーダ２６は、撮像部２１で得られた画像データを受けて、この画像データをＪＰ
ＥＧ等の圧縮データにエンコードする。エンコーダ２６は、圧縮した画像データをネット
ワークＩ／Ｆ２８に与える。

アラーム検出部２７は、物体抽出部２２で行われる抽出物体の検出結果に基づいて、撮
像対象の画像に抽出物体が侵入したか否かといった検出処理を行う。アラーム検出部２７
は、物体の侵入が検知された場合には、アラームを発生して制御部２９に通知する。

ネットワークＩ／Ｆ２８は、ハブ１２を介してネットワークカメラ１１と監視装置１３
とを接続する。

制御部２９は、ネットワークカメラ１１の動作を制御する制御中枢として機能する。制
御部２９は、ネットワークカメラ１１の各構成要素に制御信号を与え、ネットワークカメ
ラ１１の動作に必要なすべての動作を統括管理して制御する。

なお、図２では制御信号の伝送が行なわれる内部バスなどの接続は図示省略している。

上記構成において、撮像部２１で生成された画像データは、物体抽出部２２において背
景差分処理により抽出物体の抽出処理が行われる。物体抽出部２２で抽出された抽出物体
の位置、サイズ等の情報はアラーム検出部２７に与えられる。アラーム検出部２７は、物
体抽出部２２から与えられた抽出物体の抽出結果に基づいて、侵入物などを検出する。侵
入物が検出されるなど異常発生時には、アラームの発生が制御部２９に通知される。制御
部２９は、ネットワークＩ／Ｆ２８を介して監視装置１３にアラームを通知する。

図４は物体抽出部２２で行われる物体抽出処理の処理手順を示すフローチャートである
。

図４のフローチャートに示す処理手順は、予め設定された周期にしたがって繰り返し実
行される。

図４のフローチャートに示す処理を開始するにあたって、背景画像保持部２４が保持す
る背景画像の初期画像は、予め監視装置１３から与えられる指令にしたがって、抽出物体
が映っていない良好な状態での画像が設定されるものとする。

背景差分処理による画像処理では、差分（相違度）を算出する画素値として、画素の輝
度値を用いる方法もあるが、本実施形態ではＲ（赤色），Ｇ（緑色），Ｂ（青色）の階調
値を用いる。このＲ，Ｂ，Ｇ階調値は、例えば８ビットのデータで０〜２５５の２５６階
調の値で表される。

図４において、先ず物体抽出部２２は、ステップＳ４０１にて、撮像部２１で撮像され
た最新の画像データを取得する。

物体抽出部２２は、ステップＳ４０２にて、取得した最新フレーム画像に対して背景差
分処理１を実行する。背景差分処理１では、画像データの画素毎に最新フレーム画像と背
景画像保持部２４が保持する背景画像との差分を算出する。各色（Ｒ，Ｇ，Ｂ）に対して
、最新フレーム画像と背景画像との差分の絶対値のすべてが閾値未満の場合には、背景と
認識する。

一方、ひとつでも閾値以上の差分がある場合には、最新フレーム画像に抽出物体がある
ものと認識し、最新フレーム画像を２値化した画像を生成する。すなわち、抽出物体と認
識された画素を例えば「１」、抽出物体と認識されていない画素を「０」として２値化し
て両者を区別できる２値化画像を生成する。２値化した画像データは、物体抽出部２２に
保持する。また、後述する閾値の変更や補正のために画素のＲ，Ｇ，Ｂ毎に差分も保持し
ておく。

物体抽出部２２は、ステップＳ４０３にて、先のステップＳ４０２で実行された背景差
分処理１の結果、最新フレーム画像と背景画像保持部２４が保持する背景画像との差の大きさを判定する。具体的には、抽出物体が予め設定した画像全体の所定割合、例えば７５％未満であるか否を判別する。判別の結果、所定の割合未満の場合は、ステップＳ４０４に示す処理を実行し、所定未満でない場合には、ステップＳ４１２に示す処理を実行する。

物体抽出部２２は、ステップＳ４０４にて、通常フラグに以下に実行する処理が通常処
理であることを示すＴｒuｅ（真）を設定する。

物体抽出部２２は、ステップＳ４０５にて、ラベリング処理を実行する。このラベリン
グ処理では、先のステップＳ４０２で実行された背景差分処理１で保持した背景差分処理
の結果の２値化画像データに対して、ノイズの除去と画像整形のための膨張、縮小処理を
行う。この処理は一般的にはモルフォロジー処理と呼ばれる処理であるが、本発明とは直
接関連しないので詳細な説明は割愛する。

このラベリング処理により、例えば白色と黒色とに２値化された画像データの白色の連結
部分をひとつの領域として、抽出物体の位置ならびにサイズを検出する。

物体抽出部２２は、ステップＳ４０６にて、ラベリング処理後の抽出物体の画素数を算
出する。算出された抽出物体の画素数は、物体抽出部２２に保持される。

物体抽出部２２は、ステップＳ４０７にて、ラベリング処理で得られた抽出物体の位置
ならびにサイズの検出情報をアラーム検出部２７に通知する。アラーム検出部２７は、こ
の検出情報に基づいて、ネットワークカメラ１１で撮像する撮像画像に、抽出物体の侵入
などを検出する。

物体抽出部２２は、ステップＳ４０８にて、通常フラグにＴｒｕｅが設定されているか
否かを判別する。判別の結果、Ｔｒｕｅが設定されている場合は、ステップＳ４０９に示
す処理を実行する一方、Ｔｒｕｅが設定されていない場合には、ステップＳ４１１に示す
処理を実行する。

物体抽出部２２は、ステップＳ４０９にて、背景画像補正処理１を実行する。背景画像
補正処理１では、先のステップＳ４０２で実行した背景差分処理１で背景と認識された背
景画像の各画素に対して、背景画像と最新フレーム画像とを所定の割合、例えば９９：１
の割合で加算して合成する。

背景画像ならびに最新フレーム画像のＲ，Ｇ，Ｂ階調値と現在の閾値とは、例えば図５
（ａ）に示す関係にあるものとする。図５（ａ）において、それまでの背景画像のＲ，Ｇ
，Ｂ階調値を符号Ａ１で示し、最新フレーム画像のＲ，Ｇ，Ｂ階調値を符号Ｂで示し、現
在の閾値をＴＨ１１またはＴＨ２１で示している。

閾値ＴＨ１１は、背景画像Ａ１に対して例えばデフォルト値の３０だけ大きな値を示し
ている。したがって、図５（ａ）において、背景画像Ａ１に対して最新フレーム画像Ｂの
Ｒ，Ｇ，Ｂ値が閾値ＴＨ１１を上回ると、抽出物体として認識される。一方、閾値ＴＨ２
１は、背景画像Ａ１に対して例えばデフォルト値の３０だけ小さな値を示している。した
がって、図５（ａ）において、背景画像Ａ１に対して最新フレーム画像ＢのＲ，Ｇ，Ｂ値
が閾値ＴＨ２１を下回ると、抽出物体として認識される。

このような場合に、背景画像と最新フレーム画像とは、上述した割合で加算して合成さ
れると、例えば図５（ｂ）に示すようにそれまでの背景画像のＲ，Ｇ，Ｂ階調値Ａ１は合
成後のＲ，Ｇ，Ｂ階調値Ａ２に補正される。これにより、それまでの背景画像は新たな背
景画像に更新される。このように、背景画像を更新することで、ノイズ等の影響を軽減し
ながら背景画像を更新させることができる。

図４に戻って、物体抽出部２２は、ステップＳ４１０にて、閾値補正処理１を実行する
。この閾値補正処理１は、現在の閾値と各画素の差分の絶対値とを、所定の割合例えば９
９：１の割合で加算して合成し、閾値を補正する。これにより、現在の閾値が新たな閾値
に更新される。ただし、閾値の値が小さくなり、感度が上がりすぎると抽出物体と認識さ
れやすくなるため、前述した最小閾値以下にならないように制限する。

現在の閾値ＴＨ１１またはＴＨ２１が、例えば図５（ａ）に示すような場合には、現在
の閾値の絶対値が補正され、例えば同図（ｃ）に示すように補正される。すなわち、現在
の閾値ＴＨ１１は新たな閾値ＴＨ１２に補正され、閾値ＴＨ２１は新たな閾値ＴＨ２２に
補正され、現在の閾値が新たな閾値に更新される。

このようにして閾値が補正されることで、各画素に対応した閾値はＲ，Ｇ，Ｂの各色に
ついて異なる値を持つことになる。

図４に戻って、物体抽出部２２は、ステップＳ４１１にて、次フレームの背景差分処理
で、抽出物体が全画素の所定の割合以上の場合に閾値を補正するために、現在の画像を前
フレーム画像保持部２５に保持する。また、物体抽出部２２は、ステップＳ４１１にて、
先のステップＳ４０６で算出した抽出物体の画素数を物体抽出部２２に記憶し、一連の処
理を終了する。

一方、物体抽出部２２は、先のステップＳ４０３に示す判別の結果、所定の割合未満で
はない場合、すなわち所定の割合以上である場合には、それまでの背景画像に対して最新
フレーム画像全体に変化が生じているものと認識する。この場合には、ステップＳ４１２
に進み、通常フラグにＦａｌｓｅ（偽）を設定する。

このような状態として、それまでの背景画像ならびに最新フレーム画像のＲ，Ｇ，Ｂ階
調値と現在の閾値とは、一例として例えば図６に示すような関係となる。図６において、
それまでの背景画像のＲ，Ｇ，Ｂ階調値を符号Ａ３で示し、最新フレーム画像のＲ，Ｇ，
Ｂ階調値を符号Ｂで示し、現在の閾値をＴＨ３１またはＴＨ４１で示している。

図４に戻って、物体抽出部２２は、ステップＳ４１３にて、前フレーム画像保持部２５
に保持された前フレームの画像と最新フレーム画像との差分平均値を算出する。このとき
に、画像内に抽出物体が存在すると、抽出物体の画素では差分が大きくなる場合がある。

この影響を受ける画素数は、ネットワークカメラ１１の設置状況やレンズの焦点距離、抽
出物体の位置、移動方向、速度等により異なる。

例えば、ネットワークカメラ１１と抽出物体との距離がある程度離れ、画像中の抽出物
体の大きさがフレーム間で大きく変化せず、抽出物体の位置が前フレームの画像内の抽出
物体の位置と重ならずに前後の両フレームに存在している場合を想定する。このような場
合には、上記差分が大きくなる画素数は、抽出物体の画素数のおよそ２倍程度となる。

これらを考慮して、最新フレーム画像と前フレームの画像との差分を算出した結果に対
して、先のステップＳ４１１で保持した抽出物体の画素数の２倍の画素数を、差分の大き
い画素から順に除く。この処理により残った画素に対して差分を算出し、算出した差分の
平均値を算出する。

例えば図７（ａ）に示すように、前フレームの画像７１に白色の楕円で表された抽出物
体７２が存在し、現フレームの画像７３では同図（ｂ）に示すように抽出物体７２が移動
したとする。このような場合には、同図（ｃ）に示すように同図（ａ）に示す抽出物体７
２の画素数と同図（ｂ）に示す抽出物体７２の画素数とが、差分の大きい画素から順に取
り除かれる。このような処理を実行した後、残った画素に対して差分を算出し、算出した
差分の平均値を算出することで、抽出物体が移動した場合の影響を少なくすることが可能
となる。

図４に戻って、物体抽出部２２は、ステップＳ４１４にて、閾値補正処理２を実行する
。この閾値補正処理２では、現在の閾値に、先のステップＳ４１３で算出した差分平均値
の絶対値を加算して閾値を補正し新たな閾値とする。これにより、閾値を画像全体の明暗
に対応した閾値として更新することができる。

先の図６に示すような場合では、例えば図８（ａ）に示すように、現在の閾値ＴＨ３１
は新たな閾値ＴＨ３２に補正されて更新され、もしくは現在の閾値ＴＨ４１は新たな閾値
ＴＨ４２に補正されて更新される。

図４に戻って、物体抽出部２２は、ステップＳ４１５にて、背景差分処理２を実行する
。この背景差分処理２では、先のステップＳ４０２で算出した、最新フレーム画像と背景
画像との差分の絶対値と、先のステップＳ４１３で更新した閾値とを用いて、先のステッ
プＳ４０２で実行したと同様にして最新フレーム画像を２値化した画像を生成する。

先の図６に示すような場合では、例えば図８（ｂ）に示すように、最新フレーム画像Ｂ
は、２値化される。すなわち、図８（ｂ）に示すように、最新フレーム画像と背景画像と
の差分絶対値が新たな閾値ＴＨ３２により小さい部分は「０」として２値化され、画像と
しては例えば黒色として表現される。一方、閾値ＴＨ３２により大きな部分は、「１」と
して２値化され、画像としては例えば白色として表現される。

図４に戻って、物体抽出部２２は、ステップＳ４１６にて、背景画像補正処理２を実行
する。この背景画像補正処理２では、先のステップＳ４１５で実行した背景差分処理２の
結果、背景画像として認識された画素は最新フレーム画像の画素で更新する。一方、抽出
物体として認識された画素は、先のステップＳ４１３で算出した差分平均値を加算して更
新する。このような補正処理を実行することにより、背景画像を補正して更新する。

例えば、図８（ａ）に示すような場合では、図９に示すように、背景画像Ａ３の内、背
景画像として認識された部分の画素は、最新フレーム画像Ａ３１に更新される。一方、抽
出物体として認識された部分の画素は、差分平均値を加算した背景画像Ａ３２として更新
される。

図４に戻って、物体抽出部２２は、ステップＳ４１７にて、閾値設定処理を実行する。

この閾値設定処理では、先のステップＳ４１６で示す背景画像補正処理２で背景画像を補
正して更新したので、全画素の閾値をデフォルト閾値に再設定する。

その後は、先のステップＳ４１５で示す背景差分処理２で得られた２値化画像を使用し
て、前述したステップＳ４０５〜Ｓ４０８で示す処理を順次実行する。

ステップＳ４０８では、先のステップＳ４１２で通常フラグがＦａｌｓｅに設定されて
いるので、前述したステップＳ４０９，Ｓ４１０を省略した後、前述したステップＳ４１
１を実行し、一連の処理を終了する。

なお、上記図４のフローチャートに示す処理では、ステップＳ４０３で示す判別処理に
おいて、分岐条件となる抽出物体が画像の全画素に占める割合は、ネットワークカメラ１
１が設置される場所の状況や使用条件等により異なる。また、ステップＳ４０９に示す背
景画像補正処理１、ステップＳ４１０に示す閾値補正処理１において、補正処理における
合成の比率は、ネットワークカメラ１１が設置される場所の状況や使用条件等により異な
る。このため、これらのパラメータは、ネットワークカメラ１１の設置時に監視装置１３
からの指令により適宜変更して調整することが可能となる。

ステップＳ４０３で示す判別処理では、抽出物体が画像の全画素に占める割合を分岐条
件としているが、各画素の変化量の総和としてもよい。また、抽出物体が画像の全画素に
占める割合と各画素の変化量の総和とを演算した結果の値を最新フレーム画像と背景画像保持部２４が保持する背景画像との差の大きさとして判定し、分岐条件としても良い。

ステップＳ４１３で示す処理では、前フレーム画像との差分平均値を用いて閾値を補正
しているが、抽出物体の割合が多くなった場合に、単純に閾値を予め設定した値よりも大
きな値に変更することも考えられる。しかし、この方法では日照変化の変化量に応じた閾
値の変更にならないため、物体抽出の精度が低くなってしまう。

なお、本実施形態では、画像処理装置は、ネットワークカメラ１１内に搭載されている
ものとして説明したが、ネットワークカメラ１１の外に設けられていてもかまわない。

以上説明したように、本実施形態においては、背景差分処理により抽出物体を検出した
結果、最新フレーム画像の全画素に対して抽出物体として検出された画素の割合に応じて
、背景画像と閾値とを補正して更新する処理を変える。これにより、日照が急激に変化し
て画像全体に前回の背景画像との差分が大きくなった場合であっても、背景画像と閾値を
適切に補正して更新することができる。この結果、特に屋外で雲が太陽を遮ったり、雲に
遮られた太陽が雲の外に現れるなどして日照が急激に変化した場合であっても、装置の大
型化や複雑化などの負荷の増大を抑えつつ、抽出物体の検出精度を向上させることができ
る。

最新フレーム画像において、抽出物体が占める割合が予め設定された割合よりも多くな
った場合には、先のステップＳ４１５で示す背景差分処理２を実行する。これにより、光
量変化によるＲ，Ｇ，Ｂ階調値の変動分を除去する効果が得られ、継続して抽出物体を良
好に抽出することができる。

なお、光量変化の検出に画像中の特定領域を用いる方法も考えられる。しかし、この方
法では、検出時に予め指定した特定領域に抽出物体が存在した場合には光量変化を正確に
検出することができないおそれがある。これに対して、背景差分処理２では、光量変化の
検出に使用する領域を特定する必要がなく、特定領域を設定する検出方法に比べて、光量
変化を正確に検出することが可能となる。

また、前述したように光量変化時に背景画像全体を更新する方法では、画像内に抽出物
体が存在していた場合に抽出物体を含む誤った背景で背景画像が更新され、その後の抽出
物体検出時に誤検出を発生させてしまうおそれがある。しかしながら、本実施形態では、
抽出物体と認識された部分は背景画像の置き換えを行わず、閾値の補正を行うのみなので
、抽出物体を良好に検出することが可能となる。

さらに、前フレーム画像の抽出物体の画素数を考慮して閾値を補正して更新し、更新し
た閾値を用いて実行した背景差分処理の結果から背景画像を補正して更新している。これ
により、画像中に抽出物体が存在している場合でも、抽出物体の影響を軽減することがで
きる。

１１…ネットワークカメラ
２１…撮像部
２２…物体抽出部
２３…閾値テーブル保持部
２４…背景画像保持部
２５…前フレーム画像保持部
２６…エンコーダ
２７…アラーム検出部
２９…制御部

Claims

背景画像を保持する背景画像保持部と、
閾値を保持する閾値テーブル保持部と、
最新画像に対して時間的に前のフレーム画像である前フレーム画像を保持する前フレー
ム画像保持部と、
前記背景画像と最新画像との差分値を算出し、前記差分値が前記閾値以上である画素を
抽出物体として検出する背景差分処理および、前記背景画像と前記最新画像との差の大き
さの判定処理を行なう物体抽出部と
を有し、
前記物体抽出部は、前記背景画像と前記最新画像との差の大きさが所定値未満であると
判定した場合、前記背景画像に前記最新画像を所定の割合で加算することで前記背景画像
を更新し、前記背景画像と前記最新画像との差の大きさが前記所定値未満でないと判定し
た場合、前記前フレーム画像と前記最新画像との画素ごとの差分の平均となる差分平均値
を算出して前記閾値に前記差分平均値の絶対値を加算することで前記閾値を更新し、前記
更新した閾値を用いて前記背景差分処理を実行した結果、抽出物体として認識されなかっ
た画素においては前記最新画像の画素を新たな背景画像の画素として置き換え、抽出物体
として認識された画素においては前記背景画像に対し前記差分平均値を加算した画素を新
たな背景画像の画素として置き換えることで前記背景画像を更新し、
前記背景画像保持部は、前記物体抽出部が更新した背景画像をそれまで保持していた背
景画像に代えて保持し、
前記閾値テーブル保持部は、前記物体抽出部が更新した閾値をそれまで保持していた閾値に代え
て保持する
ことを特徴とする画像処理装置。
前記物体抽出部は、前記前フレーム画像保持部に保持された前フレーム画像内に抽出物
体が存在する場合には、前記前フレーム画像と最新画像との差分値の大きな画素から順に、
前記抽出物体の画素数に基づいて予め設定された画素数を除き、残った画素に対して差分
を算出し、算出した差分の平均を前記差分平均値として算出する
ことを特徴とする請求項１に記載の画像処理装置。
前記物体抽出部は、前記抽出物体として検出された画素数の割合が所定の割合未満の場
合に前記背景画像と最新画像との差の大きさが所定値未満であると判定し、前記抽出物体
として検出された画素数の割合が所定の割合未満でない場合に前記背景画像と最新画像と
の差の大きさが所定値未満でないと判定することを特徴とする
請求項１または２に記載の画像処理装置。
背景画像と最新画像との差分値を算出するステップと、
前記差分値が所定の閾値以上である画素を抽出物体として検出するステップと、
前記差分値に基づき、前記背景画像と前記最新画像との差の大きさを判定するステップと、
前記背景画像と前記最新画像との差の大きさが所定値未満であると判定した場合、前記
背景画像に前記最新画像を所定の割合で加算することで前記背景画像を更新するステップ
と、
前記背景画像と前記最新画像との差が前記所定値未満でないと判定した場合、前記最新
画像に対して時間的に前のフレーム画像である前フレーム画像と前記最新画像との画素ご
との差分の平均となる差分平均値を算出して前記閾値に前記差分平均値の絶対値を加算す
ることで前記閾値を更新し、前記更新した閾値を用いて前記背景差分処理を実行した結果、
抽出物体として認識されなかった画素においては前記最新画像の画素を新たな背景画像の
画素として置き換え、抽出物体として認識された画素においては前記背景画像に対し前記
差分平均値を加算した画素を新たな背景画像の画素として置き換えることで前記背景画像
を更新するステップと
を有することを特徴とする画像処理方法。