JP2002074371A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の輝度センサーによる人数カウントシス
テムでは、（１）変化領域が人間に似た形状のノイズで
あった場合、誤ってカウントする、（２）混雑状況で複
数の人間が密着状況にある場合、各人間の変化領域が連
結と分離を繰り返してしまい、その結果変化領域の形状
が単独の人間の形状と異なる為、カウント漏れを起こし
やすくなる、等の課題がある。 【解決手段】 画面中に監視エリアを複数用意し、互い
の監視エリアで独立にカウントした人数累計値をステッ
プ（４２）〜（４４）で相互に比較し、画像中のノイズ
有無を判断すると同時にノイズの影響を排除する。例え
ば、ステップ（４２）で所定の監視エリアでの人数累計
が±１０％以内でなければステップ（４３）に移行し
て、ステップ（４４）で行なう人数累計平均値算出する
場合の監視エリアから除外する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、人数カウント機
能を備えた画像処理装置に関するものである。

【０００２】

【従来の技術】ここでは、画像処理を使った従来の人数
カウントの方法として、最もシンプルな輝度センサーを
使用した場合の方式について述べるが、図２２〜２５で
輝度センサーによる人数カウントシステムの例を示す。
また、図２２は従来の輝度センサーを使用する画像処理
システムの構成図であり、図２３は図２２に示す輝度セ
ンサーの構成図であり、図２４は図２２に示す輝度セン
サーの動作説明図であり、図２５は図２３に示す認識処
理部の動作フローチャートである。

【０００３】また、図２２、２３において、（１）は人
間が通行する通路を撮すカメラである。（２）はその画
像例である。（３）は輝度センサーであり、画像中の変
化領域の発生を知らせる。（４）は輝度センサーの出力
を受け人数をカウントするホストマシンである。（５）
は輝度センサーの内部構造であり、画像入力部である。
（６）は同じく背景画像蓄積部である。（７）は同じく
背景更新部である。（８）は同じく現画像蓄積部であ
る。（９）は同じく背景差分部である。（１０）は上記
より出される変化領域である。（１１）は変化領域の特
徴量を演算する認識処理部である。（１２）は人間であ
る事を知らせる、認識結果信号である。また、図２４に
おいて、シルエット状に染められている部分（２７）
が、変化領域（１０）を実際に２値化して画面にスーパ
ーインポーズしたもので実変化領域と称す。また、（２
８）は実変化領域（２７）の外接矩形である。また、図
２５に関しては後述する。

【０００４】次に動作について説明する。図２２〜２５
に於いて、通路を見渡す位置に取り付けられたカメラ
（１）は、そこより映像（２）を輝度センサー（３）に
送る。輝度センサー（３）では、画像処理を行い、映像
（２）中の通行者を判別し、その人数をカウントする。
また、画像処理は、以下のような内容で行われる。

【０００５】輝度センサー（３）において、画像入力部
（５）に取り込まれた映像（２）は、そこでＡＤ変換さ
れ１フレームのデジタルデータ（フレームデータ）に変
換される。一般にフレームは５１２画素×４８０ライン
の画素よりなり、各画素は８ｂｉｔである。背景画像蓄
積部（６）では、背景更新部（７）と協力して背景画像
を作成して内部に蓄積する。背景画像の作り方は、過去
１０枚のフレームデータの平均値を背景画像とするよう
な、過去データ平均法が一般的である。背景更新部
（７）ではこの様な背景画像算出用演算を行う。

【０００６】また、現画像蓄積部（８）では、フレーム
データをそのまま蓄積する。背景差分部（９）では、現
画像蓄積部（８）と背景更新部（７）のデータを比較
し、その差分を算出する。差分とは画素の８ｂｉｔデー
タ値の差である。差分は、現画像蓄積部（８）と背景更
新部（７）の「違う部分」を表している。違う部分と
は、画像が変化した部分である。一般には、通行人や小
動物、車輌のような、急に現れた移動物である事が多
い。これが変化領域（１０）である。

【０００７】また、認識処理部（１１）では、以下の手
順で通行人数をカウントする。図２５のフローチャート
において、先ずステップ（２１）において、画面中のい
ずれかの変化領域（１０）を選択する。選択順序は特に
ないが一般には発生順である。また、ステップ（２２）
では、この変化領域の特徴量を計算する。具体的には、
特に特徴量として実変化領域（２７）で示される変化領
域の面積に注目する。面積値が予め定めておいた基準値
の範囲内で有れば、この変化領域が通行人であると判断
する。一般にこの面積値が小さい場合は、この変化領域
は小動物やごみ等のノイズである。また、ステップ（２
３）でも、この変化領域の特徴量を計算する。ここでは
特に変化領域の外接矩形（２８）に注目する。縦横寸法
や縦横比が予め定めておいた基準値の範囲内で有れば、
この変化領域が通行人であると判断する。一般にこの縦
横比が横長で有れば、この変化領域は車輌等のノイズで
ある。

【０００８】以上の判定で、両方が通行人と判断すれ
ば、ステップ（２４）でこの変化領域は通行人であると
判断する。どちらか一方がそうでないと判断していれ
ば、ステップ（２５）において、この変化領域は通行人
でないと判断する。また、ステップ（２６）では全ての
変化領域に関し、以上の処理を繰り返させ、通行人を発
見したら、内部の人数カウンターをインクリメントす
る。このカウンター値は、必要に応じて図２３に示す認
識結果信号（１２）としてホストマシン（４）に通知さ
れる。また、ホストマシン（４）は、輝度センサー
（３）からの認識結果信号（１２）を受けて、オペレー
ターに対し表示や統計処理をする物である。通行人数の
カウントシステムでは一般には統計的な処理を必要とす
るため、その処理を行う為の装置となる。

【０００９】

【発明が解決しようとする課題】従来の輝度センサーに
よる人数カウントシステムは以上のようなアルゴリズム
になっている為、 ・変化領域が人間に似た形状のノイズ（例：木々の影の
揺れ）であった場合、誤ってカウントしてしまう。 ・混雑状況で複数の人間が密着状況にある場合、各人間
の変化領域が連結と分離を繰り返してしまい、その結果
変化領域の形状が単独の人間の形状と異なる為、カウン
ト漏れを起こしやすくなる。等の課題があった。

【００１０】この発明は上記の様な課題を解決する為な
されたもので、このような ・ノイズによる誤カウント ・混雑状況でのカウント漏れの様な問題を解消する構造
を有す人数カウントシステム、つまり人数カウント機能
を備えた画像処理装置を提供するものである。

【００１１】

【課題を解決するための手段】この発明に係わる人数カ
ウント機能を備えた画像処理装置は、監視エリアを複数
用意し、画像中のノイズの影響を排除する手段を有す
る。また、混雑状況か閑散状況かを独自に判断する機能
を有し、混雑状況のカウント漏れの影響を軽減する手段
を有する。

【００１２】

【発明の実施の形態】実施の形態１．図１〜図５で実施
の形態１での人数カウントシステムを示す。図１はこの
発明の実施の形態１で示す画像処理装置を使用する画像
処理システムの構成図であり、図２は図１に示す画像処
理装置の構成図であり、図３は図１に示す画像処理装置
の動作説明図であり、図４は図１に示す画像処理装置の
動作フローチャートであり、図５は図４に示す認識処理
の動作フローチャートである。

【００１３】図において、（１）〜（１２）、（２０）
〜（２６）に関しては、図２２〜図２５と同様のため、
説明を略す。（３０）は、カメラから取り込まれた現画
像である。（３１）〜（３４）は、監視エリア （３５）〜（３８）は、実変化領域である。ここでは判
りやすくするため、変化領域を２値化してから現画像に
スーパーインポーズしている。（３６）〜（３８）は通
行人による実変化領域である。（３５）は、視野外にあ
る植え込みの樹木が風で揺れ、その影が動いた結果出来
た実変化領域であり、排除対象のノイズである。（４
０）〜（４５）に関しては後述する。

【００１４】次に動作に付いて代表的な例を説明する
が、（１）〜（１０）までは、従来例と同様のため、説
明を略す。認識処理部（１１）では、以下の手順で通行
人数をカウントする。先ず、図３に有るように、予め監
視エリア（３１）〜（３４）を用意する。監視エリアと
は、変化領域がこのエリアを横切った際のみ画像処理を
行うという、画像処理範囲を指定した物である。本装置
では、監視エリアを通路を横切るように配備し、且つ個
数を複数個用意する。ここでは例として監視エリア（３
１）〜（３４）の４エリアを用意する。

【００１５】次に、図５のフローチャートに有るよう
に、各監視エリア（３１）〜（３４）において変化領域
が通行人であるか否かの判断を行う。図５のフローチャ
ートにおいて、先ずステップ（２１）において、画面中
のいずれかの変化領域（１０）を選択する。選択順序は
特にないが一般には発生順である。また、ステップ（２
２）では、この変化領域の特徴量を計算する。ここでは
特に特徴量として変化領域の面積に注目する。面積値が
予め定めておいた基準値の範囲内で有れば、この変化領
域が通行人であると判断する。一般にこの面積値が小さ
い場合は、この変化領域は小動物やごみ等のノイズであ
る。また、ステップ（２３）でも、この変化領域の特徴
量を計算する。ここでは特に変化領域の外接矩形に注目
する。縦横寸法や縦横比が予め定めておいた基準値の範
囲内で有れば、この変化領域が通行人であると判断す
る。一般にこの縦横比が横長で有れば、この変化領域は
車輌等のノイズである。

【００１６】以上の判定で、両方が通行人と判断すれ
ば、ステップ（２４）でこの変化領域は通行人であると
判断する。どちらか一方がそうでないと判断していれ
ば、ステップ（２５）において、この変化領域は通行人
でないと判断する。また、ステップ（２６）では全ての
変化領域に関し、以上の処理を繰り返させ、通行人を発
見したら、内部の人数カウンターをインクリメントす
る。

【００１７】次いで、図４のフローチャートを参照す
る。ステップ（４１）では、各監視エリア（３１）〜
（３４）においてエリアを横切って通過する人数の、単
位時間（例：１分間）当たりの人数累計を算出する。従
って、図５のフローチャートの処理は、各監視エリア
（３１）〜（３４）でそれぞれ独立に行われる。

【００１８】次いで、図３の写真を参照する。ここでは
単位時間内に、実変化領域（３５）〜（３８）が発生し
た。うち通行人は実変化領域（３６）〜（３８）であ
る。これは４つの監視エリアを跨いで移動している。ま
た、実変化領域（３５）は視野外の木々が風に揺れた
為、一緒に揺れた影によってできた実変化領域であり、
本来はカウントされるものではない、ノイズである。監
視エリアを跨いでは移動していない。

【００１９】本装置は、単位時間内に各エリアを通過し
た変化領域の特徴量を計算し、この実変化領域（３５）
〜（３８）が通行人であるか否かを判断する。特徴量と
しては、例えば変化領域の面積や、外接矩形等が特徴量
として一般的に用いられる物である。面積が小さいとき
や外接矩形が横長の場合、通常は通行人とは認められず
排除される。しかしここでは、人物の影が影響し、通行
人も横長の外接矩形をもつ。また、ノイズも瞬間的には
大きな面積を取りうる場合がある。従って、特徴量上、
ごくまれに通行人とノイズが区別できなくなる場合があ
り、その結果通行人としてノイズを誤カウントする場合
がある。

【００２０】誤カウントが発生すると、図４のフローチ
ャートのステップ（４１）において、監視エリア（３
１）だけ人数累計値が「４人」となる。また、監視エリ
ア（３２）〜（３４）においては、人数累計値は「３
人」である。ステップ（４２）において、この４つの人
数累計値を元に、ノイズ判定を行う。判定は４つの人数
累計値のばらつきを見て行う。ばらつきが大きい場合は
ノイズが発生したと判断する。

【００２１】ばらつきを見る方法の例として、４つの人
数累計値の平均を取り、４つの人数累計値がそれぞれ平
均値の１０％範囲内にあるかどうかをみる方法がある。
４つの人数累計値がそれぞれ「４人」「３人」「３人」
「３人」であり、平均値は「３．２５人」である。
「３．２５人」に対し「４人」は１２３％である。従っ
て平均値の１０％範囲内に無い。「３．２５人」に対し
「３人」は９２％である。従って平均値の１０％範囲内
である。

【００２２】この場合本装置は、ステップ（４３）にお
いて、監視エリア（３１）だけノイズが発生したと判断
する。また、ステップ（４４）では、監視エリア（３
１）を除いた、監視エリア（３２）〜（３４）の人数累
計値の平均を取り、通行人数とする。これにより、結果
（４５）はこの例では「３人」となる。この結果は、必
要に応じて認識結果信号（１２）としてホストマシン
（４）に通知される。

【００２３】以上のように、この実施の形態によると、
複数の監視エリアで算出された各人数累計値のばらつき
を見て、ノイズ発生を監視する為、従来の方法では除外
できなかったノイズが除外しやすくなる。それによりノ
イズに対する耐性が上がり、誤カウントが押さえられ
る。また、人数カウントも単位時間当たりの算出を行
い、且つ複数監視エリアでの各人数累計値の平均を取る
ため、より精度の良いカウント結果を出力しうる。この
ように、従来装置にあった「ノイズによる誤カウント」
と言う欠点を改善した装置を提供しうる。

【００２４】実施の形態２．図６〜図１０で実施の形態
２での人数カウントシステムを示す。図６はこの発明の
実施の形態２で示す画像処理装置を使用する画像処理シ
ステムの構成図であり、図７は図６に示す画像処理装置
の構成図であり、図８は図６に示す画像処理装置の動作
説明図であり、図９は図６に示す画像処理装置の動作フ
ローチャートであり、図１０は図９に示す認識処理の動
作フローチャートである。

【００２５】図において、（１）〜（１２）、（２０）
〜（２６）に関しては、図１〜図５と同様のため、説明
を略す。（３０）は、カメラから取り込まれた現画像で
ある。（３１）〜（３４）は、監視エリア （３５）〜（３８）は、実変化領域である。ここでは判
りやすくするため、変化領域を２値化してから現画像に
スーパーインポーズしている。（３６）〜（３８）は通
行人による実変化領域である。（３５）は、視野外にあ
る植え込みの樹木が風で揺れ、その影が動いた結果出来
た実変化領域であり、排除対象のノイズである。図８で
は図３より広範囲に発生している。（４０）〜（４７）
に関しては後述する。

【００２６】次に動作に付いて代表的な例を説明する
が、（１）〜（１０）までは、従来例と同様のため、説
明を略す。認識処理部（１１）では、以下の手順で通行
人数をカウントする。先ず、図８に有るように、予め監
視エリア（３１）〜（３４）を用意する。監視エリアと
は、変化領域がこのエリアを横切った際のみ画像処理を
行うという、画像処理範囲を指定した物である。本装置
では、監視エリアを通路を横切るように配備し、且つ個
数を複数個用意する。ここでは例として監視エリア（３
１）〜（３４）の４エリアを用意する。

【００２７】次に、図１０のフローチャートに有るよう
に、各監視エリア（３１）〜（３４）において変化領域
が通行人であるか否かの判断を行う。図１０のフローチ
ャートにおいて、先ずステップ（２１）において、画面
中のいずれかの変化領域（１０）を選択する。選択順序
は特にないが一般には発生順である。また、ステップ
（２２）では、この変化領域の特徴量を計算する。ここ
では特に特徴量として変化領域の面積に注目する。面積
値が予め定めておいた基準値の範囲内で有れば、この変
化領域が通行人であると判断する。一般にこの面積値が
小さい場合は、この変化領域は小動物やごみ等のノイズ
である。また、ステップ（２３）でも、この変化領域の
特徴量を計算する。ここでは特に変化領域の外接矩形に
注目する。縦横寸法や縦横比が予め定めておいた基準値
の範囲内で有れば、この変化領域が通行人であると判断
する。一般にこの縦横比が横長で有れば、この変化領域
は車輌等のノイズである。

【００２８】以上の判定で、両方が通行人と判断すれ
ば、ステップ（２４）でこの変化領域は通行人であると
判断する。どちらか一方がそうでないと判断していれ
ば、ステップ（２５）において、この変化領域は通行人
でないと判断する。また、ステップ（２６）では全ての
変化領域に関し、以上の処理を繰り返させ、通行人を発
見したら、内部の人数カウンターをインクリメントす
る。

【００２９】次いで、図９のフローチャートを参照す
る。ステップ（４１）では、各監視エリア（３１）〜
（３４）においてエリアを横切って通過する人数の、単
位時間（例：１分間）当たりの人数累計を算出する。従
って、図１０のフローチャートの処理は、各監視エリア
（３１）〜（３４）でそれぞれ独立に行われる。

【００３０】次いで、図８の写真を参照する。ここでは
単位時間内に、実変化領域（３５）〜（３８）が発生し
た。うち通行人は実変化領域（３６）〜（３８）であ
る。これは４つの監視エリアを跨いで移動している。ま
た、実変化領域（３５）は視野外の木々が風に揺れた
為、一緒に揺れた影によってできた実変化領域であり、
本来はカウントされるものではない、ノイズである。監
視エリアを２つ跨いでいるが移動はしていない。

【００３１】本装置は、単位時間内に各エリアを通過し
た実変化領域の特徴量を計算し、この実変化領域（３
５）〜（３８）が通行人であるか否かを判断する。特徴
量としては、例えば変化領域の面積や、外接矩形等が特
徴量として一般的に用いられる物である。面積が小さい
ときや外接矩形が横長の場合、通常は通行人とは認めら
れず排除される。しかしここでは、人物の影が影響し、
通行人も横長の外接矩形をもつ。また、ノイズも瞬間的
には大きな面積を取りうる場合がある。従って、特徴量
上、ごくまれに通行人とノイズが区別できなくなる場合
があり、その結果通行人としてノイズを誤カウントする
場合がある。

【００３２】ここではノイズが２つの監視エリア（３
１）及び（３２）にまたがっているため、誤カウントも
２カ所で発生する。誤カウントが発生すると、図９のフ
ローチャートのステップ（４１）において、監視エリア
（３１）及び（３２）の人数累計値が「４人」となる。
また、監視エリア（３３）及び（３４）においては、人
数累計値は「３人」である。ステップ（４２）におい
て、この４つの人数累計値を元に、ノイズ判定を行う。
判定は４つの人数累計値のばらつきを見て行う。ばらつ
きが大きい場合はノイズが発生したと判断する。

【００３３】ばらつきを見る方法の例として、４つの人
数累計値の平均を取り、４つの人数累計値がそれぞれ平
均値の１０％範囲内にあるかどうかをみる方法がある。
４つの人数累計値がそれぞれ「４人」「４人」「３人」
「３人」であり、平均値は「３．５人」である。「３．
５人」に対し「４人」は１１４％である。従って平均値
の１０％範囲内に無い。「３．５人」に対し「３人」は
８５％である。従ってこれも平均値の１０％範囲内に無
い。（仮にばらつきを見るに、上記の１０％範囲ではな
く、１５％範囲で判断した場合は、今度は全ての累計値
が１５％の範囲内に入る。従って、この場合はノイズが
発見できない。）

【００３４】この場合本装置は、ステップ（４３）にお
いて、監視エリア（３１）〜（３４）全てにノイズが発
生したと判断する。また、ステップ（４４）では、平均
を取る為の監視エリアがなくなり、処理不能となってし
まう。この問題を解決する為、ステップ（４６）では、
複数の監視エリアのうちの所定数エリアでノイズを発見
したら（例：全エリアの半数である２エリア）、ステッ
プ（４７）へ分岐する。

【００３５】ステップ（４７）では、所定数の監視エリ
アでノイズが発生したことより、画面中に何らかの大き
な変動が発生したと判断する。（例：極端な日照の変動
や、巨大な影の移動等）この場合、全ての監視エリア
に、その大変動の影響が及んでいると判断する。従っ
て、どの監視エリアも正確な人数をカウントしていない
との前提で、その中で最も大変動の影響を受けてないと
思われる監視エリアを決定し、そのエリアの人数累計値
により通行人数を判断する。最も大変動の影響を受けて
ないと思われる監視エリアとは、人数累計値が最小であ
った監視エリアである。従って結果（４５）はこの例で
は「３人」となる。この結果は、必要に応じて認識結果
信号（１２）としてホストマシン（４）に通知される。

【００３６】以上のように、この実施の形態によると、
複数の監視エリアで算出された各人数累計値のばらつき
を見て、ノイズ発生を監視する為、従来の方法では除外
できなかったノイズが除外しやすくなる。それによりノ
イズに対する耐性が上がり、誤カウントが押さえられ
る。また、画面中に大変動が発生し、全ての監視エリア
が正しい人数累計値を算出できなかったと判断される場
合は、なかでも最も正解値に近いと想像されるエリアを
類推し、誤差の最小であるカウント値を算出する。ま
た、人数カウントも単位時間当たりの算出を行い、且つ
複数監視エリアでの各人数累計値の平均を取るため、よ
り精度の良いカウント結果を出力しうる。このように、
従来装置にあった「ノイズによる誤カウント」と実施の
形態１にあった「大変動による全体的なノイズ発生時の
挙動」と言う欠点を改善した装置を提供しうる。

【００３７】実施の形態３．図１１〜図１５で実施の形
態３での人数カウントシステムを示す。図１１はこの発
明の実施の形態３で示す画像処理装置を使用する画像処
理システムの構成図であり、図１２は図１１に示す画像
処理装置の構成図であり、図１３は図１１に示す画像処
理装置の動作説明図であり、図１４は図１１に示す画像
処理装置の動作フローチャートであり、図１５は図１４
に示す認識処理の動作フローチャートである。

【００３８】図において、（１）〜（１２）、（３０）
〜（４７）に関しては、図６〜図１０と同様のため、説
明を略す。（２０）〜（２５）に関しては後述する。

【００３９】次に動作に付いて代表的な例を説明する
が、（１）〜（１０）までは、従来例と同様のため、説
明を略す。認識処理部（１１）では、以下の手順で通行
人数をカウントする。先ず、図１３に有るように、予め
監視エリア（３１）〜（３４）を用意する。監視エリア
とは、変化領域がこのエリアを横切った際のみ画像処理
を行うという、画像処理範囲を指定した物である。本装
置では、監視エリアを通路を横切るように配備し、且つ
個数を複数個用意する。ここでは例として監視エリア
（３１）〜（３４）の４エリア用意する。

【００４０】次に、図１５のフローチャートに有るよう
に、各監視エリア（３１）〜（３４）において変化領域
が通行人であるか否かの判断を行う。図１５のフローチ
ャートにおいて、先ずステップ（２１）において、画面
中のいずれかの変化領域（１０）を選択する。選択順序
は特にないが一般には発生順である。また、ステップ
（２２）では、この変化領域の特徴量を計算する。ここ
では特に特徴量として変化領域の面積を算出する。ま
た、ステップ（２３）では、ステップ（２２）で求めた
面積値を予め定めておいた基準値（人間１人分の予想面
積値）で除算する。端数が出た場合は、１捨２入（例）
でまるめる。また、ステップ（２４）では、以上の結果
より、本変化領域は何人分かを決定し、内部の人数カウ
ンターをインクリメントする。ステップ（２５）では全
ての変化領域に関し、以上の処理を繰り返させる。

【００４１】次いで、図１４のフローチャートを参照す
る。ステップ（４１）では、各監視エリア（３１）〜
（３４）においてエリアを横切って通過する人数の、単
位時間（例：１分間）当たりの人数累計を算出する。従
って、図１５のフローチャートの処理は、各監視エリア
（３１）〜（３４）でそれぞれ独立に行われる。

【００４２】次いで、図１３の写真を参照する。ここで
は単位時間内に、実変化領域（３５）〜（３８）が発生
した。うち通行人は実変化領域（３６）〜（３８）であ
る。これは４つの監視エリアを跨いで移動している。た
だし、実変化領域（３６）及び（３７）は、移動する課
程で何回となく連結と分離を繰り返している。ここで
は、仮に監視エリア（３１）と（３４）にいる際に連結
していて、監視エリア（３２）と（３３）にいる際は分
離していたと仮定する。また、実変化領域（３５）は視
野外の木々が風に揺れた為、一緒に揺れた影によってで
きた実変化領域であり、本来はカウントされるものでは
ない、ノイズである。監視エリアを２つ跨いでいるが移
動はしていない。

【００４３】本装置は、単位時間内に各エリアを通過し
た実変化領域の面積を計算し、この実変化領域（３５）
〜（３８）の面積が通行人何人分であるかを判断する。
この実施の形態にもとずく算出では、事前に決められた
基準値（人間１人に当たる予想画素数）により変化領域
の面積を除算するため、監視エリア（３１）と（３４）
において、実変化領域（３６）と（３７）が連結してい
たがその影響を排除し、正しいカウント値を算出する。

【００４４】しかし、ここでは実変化領域（３５）のノ
イズが２つの監視エリアにまたがっているため、誤カウ
ントも２カ所で発生する。誤カウントが発生すると、図
１４のフローチャートのステップ（４１）において、監
視エリア（３１）及び（３２）での人数累計値が「４
人」となる。また、監視エリア（３３）及び（３４）に
おいては、人数累計値は「３人」である。また、ステッ
プ（４２）〜（４７）の処理により、このノイズによる
誤カウントは補正され、正常な数字である「３人」が算
出されるが、本内容は実施の形態２と同様のため、省略
する。

【００４５】以上のように、この実施の形態によると、
単位時間内に各エリアを通過した実変化領域の面積を計
算し、各実変化領域が通行人何人分であるかを判断す
る。従来の方法では、頻繁に通行人の実変化領域が連結
と分離を繰り返す状況では、見落としが多く発生する可
能性があった。しかし、この実施の形態の方法によれ
ば、同様の状況に於いても、正確な通行人の人数を算出
しやすくなるため、見落としによる誤カウントが押さえ
られる。このように、従来装置にあった「通行人の変化
領域が連結と分離を繰り返す状況下では、見落としによ
る誤カウントが発生しやすい」と言う欠点を改善した装
置を提供しうる。

【００４６】実施の形態４.図１６〜２１で実施の形態
４での人数カウントシステムを示す。図１６はこの発明
の実施の形態４で示す画像処理装置を使用する画像処理
システムの構成図であり、図１７は図１６に示す画像処
理装置の構成図であり、図１８は図１６に示す画像処理
装置の閑散時での動作説明図であり、図１９は図１６に
示す画像処理装置の混雑時での動作説明図であり、図２
０は図１６に示す画像処理装置の動作フローチャートで
あり、図２１は図２０に示す認識処理の動作フローチャ
ートである。

【００４７】図において（１）〜（４）に関しては、図
１と同様のため、説明を略す。図１７において、（５）
は輝度センサーの内部構造であり、画像入力部である。
（６）は同じく背景画像蓄積部である。（７）は同じく
背景更新部である。（８Ａ）は同じく現画像蓄積部であ
る。（８Ｂ）は同じく前画像蓄積部である。（９）は同
じく背景差分部である。（１０）は上記より出される変
化領域である。（１１）は変化領域の特徴量を演算する
認識処理部である。（１２）は人間である事を知らせ
る、認識結果信号である。

【００４８】また、図１８において、（３０）は、カメ
ラから取り込まれた現画像である。特に通行人が閑散な
状況の画像である。（３１）〜（３４）は、監視エリア （３５）は、画面中の代表的な実変化領域である。背景
差分により抽出された変化領域である。ここでは判りや
すくするため、変化領域を２値化してから現画像にスー
パーインポーズしている。通行人による実変化領域であ
る。

【００４９】また、図１９において、（５０）は、カメ
ラから取り込まれた現画像である。特に通行人が混雑状
況の画像である。（５１）〜（５４）は、監視エリア
（５５）は、画面中の代表的な実変化領域である。フレ
ーム間差分により抽出された変化領域である。ここでは
判りやすくするため、変化領域を２値化してから現画像
にスーパーインポーズしている。通行人による変化領域
である。（４０）〜（４７）、（２０）〜（２９）に関
しては後述する。

【００５０】次に動作に付いて代表的な例を説明する
が、（１）〜（４）までは、従来例と同様のため、説明
を略す。画像入力部（５）に取り込まれた映像（２）
は、そこでＡＤ変換され１フレームのデジタルデータ
（フレームデータ）に変換される。一般にフレームは５
１２画素×４８０ラインの画素よりなり、各画素は８ｂ
ｉｔである。また、背景画像蓄積部（６）では、背景更
新部（７）と協力して背景画像を作成して内部に蓄積す
る。背景画像の作り方は、過去１０枚のフレームデータ
の平均値を背景画像とするような、過去データ平均法が
一般的である。背景更新部（７）ではこの様な背景画像
算出用演算を行う。

【００５１】また、現画像蓄積部（８Ａ）では、フレー
ムデータをそのまま蓄積する。前画像蓄積部（８Ｂ）で
は、前フレームデータを蓄積する。背景差分部（９）で
は、２種類の差分データを作る。１つは背景差分データ
である。現画像蓄積部（８Ａ）と背景更新部（７）のデ
ータを比較し、その差分を算出する。差分とは画素の８
ｂｉｔデータ値の差である。また、１つはフレーム間差
分データである。現画像蓄積部（８Ａ）と前画像蓄積部
（８Ｂ）のデータを比較し、その差分を算出する。差分
とは、２つの画像の「違う部分」を表している。違う部
分とは、画像が変化した部分である。一般には、通行人
や小動物、車輌のような、急に現れた移動物である事が
多い。これを変化領域（１０）と呼ぶ。

【００５２】背景差分は背景画像と現画像を比較するた
め、比較的移動物のシルエット形状に忠実な変化領域が
得られる。反面、背景画像が逐次更新されていく過程で
移動物を背景に取り込んでしまい、継続的に移動物が往
来する場合は徐々に差分が出にくくなるという欠点もあ
る。また、フレーム間差分は前画像と現画像を比較する
ため、あまりシルエット形状に忠実な変化領域は得られ
にくい。反面、背景画像を用いないため、継続的に移動
物が往来する場合の影響はない。

【００５３】また、認識処理部（１１）では、以下の手
順で通行人数をカウントする。先ず、図１８に有るよう
に、予め監視エリア（３１）〜（３４）（混雑時は図１
９に示す監視エリア（５１）〜（５４）となる、以下同
様）を用意する。監視エリアとは、変化領域がこのエリ
アを横切った際のみ画像処理を行うという、画像処理範
囲を指定した物である。本装置では、監視エリアを通路
を横切るように配備し、且つ個数を複数個用意する。こ
こでは例として監視エリア（３１）〜（３４）の４エリ
ア用意する。次に、図２１のフローチャートに有るよう
に、各監視エリア（３１）〜（３４）において変化領域
が通行人であるか否かの判断を行う。ただしこの際、画
面が「混雑」状況か「閑散」状況かを類推し、判断処理
を分ける。ステップ（２１）において、「混雑」と「閑
散」の分岐を行う。ただし状況判断はステップ（２９）
にて行う。詳細は後述。

【００５４】混雑状況では、ステップ（２２Ａ）で、差
分としてフレーム間差分が選択される。フレーム間差分
では実変化領域（５５）に示されるように、移動物の前
後に薄い実変化領域が発生する。この厚みは移動物の移
動速度に比例する。混雑状況では通行人の速度は均一な
ため、大きな厚みのばらつきは発生しない。背景差分で
は混雑状況下では背景画像が通行人を取り込んでしまい
差分が出にくくなる傾向があるが、フレーム間差分の場
合はその問題もない。ステップ（２３Ａ）にて、これら
フレーム間差分により得られた変化領域の面積を集計す
る。ここでは全画面中の変化領域の面積を加算する。

【００５５】また、ステップ（２４Ａ）では、ステップ
（２３Ａ）にて求めた面積値を、事前に決められた基準
値（フレーム間差分における人間１人に当たる予想画素
数）で除算し、端数が出た場合は、１捨２入（例）でま
るめる。ステップ（２５Ａ）では、以上の結果より、画
面中の実変化領域は通行人何人分かを決定する。

【００５６】閑散状況では、ステップ（２２Ｂ）で、差
分として背景差分が選択される。背景差分では実変化領
域（３５）に示されるように、移動物のシルエット形状
に比較的忠実に実変化領域が発生する。この面積移動物
の移動速度には関係しない。閑散状況では通行人の速度
はまちまちなため、フレーム間差分では面積にばらつき
が出るが、背景差分の場合はより正確な変化領域面積が
得られる。ステップ（２３Ｂ）にて、これら背景差分に
より得られた変化領域の面積を算出する。

【００５７】また、ステップ（２４Ｂ）では、ステップ
（２３Ｂ）にて求めた面積値を、事前に決められた基準
値（背景差分における人間１人に当たる予想画素数）で
除算し、端数が出た場合は、１捨２入（例）でまるめ
る。ステップ（２５Ｂ）では、以上の結果より、この変
化領域は通行人何人分かを決定する。ステップ（２６）
では、以上の結果より、本変化領域は何人分かを決定
し、内部の人数カウンターをインクリメントする。

【００５８】また、ステップ（２７）では、次に行う
「混雑」か「閑散」かの判断のため、画面中の差分値の
面積合計を集計する。一般には背景差分の結果の変化領
域の面積を使用する。ステップ（２８）で、ステップ
（２７）で得られた面積を元に「混雑」か「閑散」かの
判断を行う。事前に決められている既定値を超えたら混
雑、そうでなければ閑散とする判断が最も簡単である。
また、ステップ（２９Ａ）または（２９Ｂ）では、混雑
か閑散かのフラグを立てて、次の処理の際使用する。

【００５９】次いで図２０のフローチャートを参照す
る。ステップ（４１）では、各監視エリア（３１）〜
（３４）においてエリアを横切って通過する人数の、単
位時間（例：１分間）当たりの人数累計を算出する。従
って、図２１のフローチャートの処理は、監視エリア
（３１）〜（３４）でそれぞれ独立に行われる。

【００６０】ここで、もしノイズが監視エリアに有れ
ば、誤カウントが発生する。図２０のフローチャートの
ステップ（４２）において、この４つの人数累計値を元
に、ノイズ判定を行う。判定は４つの人数累計値のばら
つきを見て行う。ばらつきが大きい場合はノイズが発生
したと判断する。ばらつきを見る方法の例として、４つ
の人数累計値の平均を取り、４つの人数累計値がそれぞ
れ平均値の１０％範囲内にあるかどうかをみる方法があ
る。ばらつきが１０％範囲内であれば、ノイズ発生はな
いと判断し、ステップ（４４）にて通行人数は４つの人
数累計値の平均として計算される。

【００６１】ばらつきが１０％を超える監視エリア有れ
ば、その監視エリアのみノイズ発生が有ったと判断し、
ステップ（４３）にて通行人数はその監視エリアを除外
した残りのエリアの人数累計値の平均として計算され
る。ステップ（４６）では、複数の監視エリアのうちの
所定数エリアでノイズを発見したら（例：全エリアの半
数である２エリア）、ステップ（４７）へ分岐する。ス
テップ（４７）では、所定数の監視エリアでノイズが発
生したことより、画面中に何らかの大きな変動が発生し
たと判断する。（例：極端な日照の変動や、巨大な影の
移動等）この場合、全ての監視エリアに、その大変動の
影響が及んでいると判断する。

【００６２】従って、どの監視エリアも正確な人数をカ
ウントしていないとの前提で、その中で最も大変動の影
響を受けてないと思われる監視エリアを決定し、そのエ
リアの人数累計値により通行人数を判断する。最も大変
動の影響を受けてないと思われる監視エリアとは、人数
累計値が最小であった監視エリアである。以上にて結果
（４５）が生成される。この結果は、必要に応じて認識
結果信号（１２）としてホストマシン（４）に通知され
る。

【００６３】以上のように、この実施の形態によると、
通行人が混雑状況において背景差分を使用すると問題と
なる「通行人の背景取り込みによる差分の減少」を、フ
レーム間差分を使用することにより回避する。また、通
行人が閑散状況においてフレーム間差分を使用すると問
題となる「通行人の移動速度のばらつきによる変化領域
の面積のばらつき」を、背景差分を使用することにより
回避する。且つ、この「混雑」「閑散」状況の判断を、
変化領域の面積値より独自に判断し独自に切り替える。
従って、「混雑」「閑散」状況に偏らない、常時均一な
精度による人数カウントが可能となる。このように、通
行人の状況に左右されない均一の精度を持った装置を提
供しうる。

【００６４】

【発明の効果】この発明によれば、画像処理装置は、複
数の監視エリアで算出された各人数累計値のばらつきを
見て、ノイズ発生を監視する為、従来の方法では除外で
きなかったノイズが除外しやすくなることでノイズに対
する耐性が上がり、誤カウントが押さえられる効果があ
る。また、人数カウントも単位時間当たりの算出を行
い、且つ複数監視エリアでの各人数累計値の平均を取る
ため、より精度の良いカウント結果を出力しうる効果が
ある。

【００６５】また、次の発明によれば、画像処理装置
は、複数の監視エリアで算出された各人数累計値のばら
つきを見て、ノイズ発生を監視する為、従来の方法では
除外できなかったノイズが除外しやすくなるため、ノイ
ズに対する耐性が上がり、誤カウントが押さえられる効
果がある。また、画面中に大変動が発生し、全ての監視
エリアが正しい人数累計値を算出できなかったと判断さ
れる場合は、なかでも最も正解値に近いと想像されるエ
リアを類推し、誤差の最小であるカウント値を算出でき
る効果がある。

【００６６】また、次の発明によれば、画像処理装置
は、単位時間内に各エリアを通過した変化領域の面積を
計算し、各変化領域が通行人何人分であるかを判断す
る。このため、従来の方法では、頻繁に通行人の変化領
域が連結と分離を繰り返す状況では、見落としが多く発
生する可能性があったが、この方法によれば、同様の状
況に於いても、正確な通行人の人数を算出しやすくなる
ため、見落としによる誤カウントが押さえられる効果が
ある。

【００６７】また、次の発明によれば、画像処理装置
は、通行人が混雑状況において背景差分を使用すると問
題となる「通行人の背景取り込みによる差分の減少」
を、フレーム間差分を使用することにより回避する。ま
た、通行人が閑散状況においてフレーム間差分を使用す
ると問題となる「通行人の移動速度のばらつきによる変
化領域の面積のばらつき」を、背景差分を使用すること
により回避する。且つ、この「混雑」「閑散」状況の判
断を、変化領域の面積値より独自に判断し独自に切り替
える。従って、「混雑」「閑散」状況に偏らない、常時
均一な精度による人数カウントが可能となる効果があ
る。

【図面の簡単な説明】

【図１】 この発明の実施の形態１で示す画像処理装置
を使用する画像処理システムの構成図である。

【図２】 図１に示す画像処理装置の構成図である。

【図３】 図１に示す画像処理装置の動作説明図であ
る。

【図４】 図１に示す画像処理装置の動作フローチャー
トである。

【図５】 図４に示す認識処理の動作フローチャートで
ある。

【図６】 この発明の実施の形態２で示す画像処理装置
を使用する画像処理システムの構成図である。

【図７】 図６に示す画像処理装置の構成図である。

【図８】 図６に示す画像処理装置の動作説明図であ
る。

【図９】 図６に示す画像処理装置の動作フローチャー
トである。

【図１０】 図９に示す認識処理の動作フローチャート
である。

【図１１】 この発明の実施の形態３で示す画像処理装
置を使用する画像処理システムの構成図である。

【図１２】 図１１に示す画像処理装置の構成図であ
る。

【図１３】 図１１に示す画像処理装置の動作説明図で
ある。

【図１４】 図１１に示す画像処理装置の動作フローチ
ャートである。

【図１５】 図１４に示す認識処理の動作フローチャー
トである。

【図１６】 この発明の実施の形態４で示す画像処理装
置を使用する画像処理システムの構成図である。

【図１７】 図１６に示す画像処理装置の構成図であ
る。

【図１８】 図１６に示す画像処理装置の閑散時での動
作説明図である。

【図１９】 図１６に示す画像処理装置の混雑時での動
作説明図である。

【図２０】 図１６に示す画像処理装置の動作フローチ
ャートである。

【図２１】 図２０に示す認識処理の動作フローチャー
トである。

【図２２】 従来の輝度センサーを使用する画像処理シ
ステムの構成図である。

【図２３】 図２２に示す輝度センサーの構成図であ
る。

【図２４】 図２２に示す輝度センサーの動作説明図で
ある。

【図２５】 図２３に示す認識処理部の動作フローチャ
ートである。

【符号の説明】

（１） カメラ （３） 画像処理装置 （５） 画像入力部 （６） 背景画像蓄積部 （７） 背景更新部 （８）、（８Ａ） 現画像蓄積部 （８Ｂ） 前画像蓄積部 （９） 背景差分部 （１１） 認識処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 磯部 修一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 松岡 利雄 東京都港区芝浦三丁目４番１号 株式会社 エヌ・ティ・ティファシリティーズ内 (72)発明者 川久保 雅之 東京都港区芝浦三丁目４番１号 株式会社 エヌ・ティ・ティファシリティーズ内 Ｆターム(参考） 5B057 AA16 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CC03 DA08 DA13 DB02 DB06 DB09 DC04 DC32 5L096 AA02 AA06 BA02 FA05 FA59 GA08 HA03 HA13

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像入力部と、 上記入力部から取込んだ画像データをデジタル化する手
   段と、 上記画像データにより比較用画像データとなる背景画像
   データを得る手段と、 上記背景画像データを更新する背景更新手段と、 現画像データを背景画像データと比較して、そこより背
   景差分として画像データ内の変化領域を抽出する変化領
   域抽出手段と、 上記変化領域の特徴量を演算する手段と、 上記特徴量が処理対象の特徴量に一致することを認識す
   る認識処理手段とを有する画像処理装置に於いて、 人物の通路に直交する形状の監視エリアを通路に沿って
   複数用意し、 各監視エリアで、個別に認識処理により人物を認識し、 各監視エリアで、単位時間内にエリアを横切る人数をカ
   ウントし、 その人数累計値の各エリア間のばらつきを監視し、 ばらつきが一定範囲以内で有ればその平均値を真の人数
   累計値とし、 ばらつきが一定範囲を超えた監視エリアが有れば、画面
   内に外乱が発生したと判断し、 外乱が発生した監視エリアを除外した残りの監視エリア
   で真の人数累計値を算出する人数カウント機能を備えた
   ことを特徴とする画像処理装置。
2. 【請求項２】 ばらつきが一定範囲を超えた監視エリア
   が所定数有れば、 画面内の広範囲に渡った外乱が発生したと判断し、 最も人数累計値の小さい監視エリアが、外乱の影響を受
   けてないエリアと判断し、 最も人数累計値の小さい監視エリアの累計値を、真の人
   数累計値とする人数カウント機能を有することを特徴と
   する請求項第１項に記載の画像処理装置。
3. 【請求項３】 各監視エリアで、個別に認識処理により
   人物を認識する替わりに、 各監視エリアで、単位時間内にエリアを横切る変化領域
   面積を累計し、 その変化領域面積累計値を単位面積で割ってエリアの人
   数累計値とする人数カウント機能を有する請求項第１項
   乃至第２項の何れかに記載の画像処理装置。
4. 【請求項４】 各監視エリアで単位時間内に発生する変
   化領域の面積を監視し、 現在の通路が混雑しているか閑散としているかを判断
   し、 その結果により、差分の方式を切り替えて、 人数累計値の精度を向上させる機能を有する人数カウン
   ト機能を有する請求項第１項乃至第３項の何れかに記載
   の画像処理装置。