JP2002175513A

JP2002175513A - 通過物体計数装置及び計数方法

Info

Publication number: JP2002175513A
Application number: JP2000372859A
Authority: JP
Inventors: Mitsuru Ideoka; 充出岡; Tomofumi Nishiura; 朋史西浦; Masato Nakajima; 真人中島; Yasuhiro Takemura; 安弘竹村; Kazuhiro Mimura; 一弘味村
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 2000-12-07
Filing date: 2000-12-07
Publication date: 2002-06-21
Anticipated expiration: 2020-12-07
Also published as: JP4825350B2

Abstract

(57)【要約】【課題】計算量を減らし高速処理でき、逐次処理が可
能な通過物体計数装置及び計数方法を提供する。【解決手段】平面２に沿って平面２上の基準線１を通
過する通過物体５を撮像する、平面２に対向して設けら
れた複数の撮像装置１１、１２と；複数の撮像装置１
１、１２によって撮像された通過物体５の画像同士を比
較して、通過物体５上の基準線１に沿った複数の部位に
関して、通過物体５の平面２に交差する奥行方向の奥行
情報と複数の部位のうち少なくとも１つの部位に関し
て、基準線１に垂直で平面２に平行な進行方向の速度情
報を、時系列的に取得する比較演算部２０と；取得され
た奥行情報に速度情報で重み付けした値を基準線１に沿
って速度の向き別に加算した値を時間積分する積分演算
部２１とを備える通過物体計数装置とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、通過物体計数装置
及び計数方法に関し、特にステレオ画像から通過物体を
計数する通過物体計数装置及び計数方法に関するもので
ある。

【０００２】

【従来の技術】２台の撮像装置により得られた通過物体
のステレオ画像から、計数線上での高さ情報と速度情報
を算出し、３次元情報を得る。次に得られた３次元情報
を一定の高さで輪切りにして、その高さについて通過物
体を時間方向に一定時間並べた時の平面的な時空間画像
を作成する。そして作成した平面的な時空間画像を用い
て、前記一定の高さにおいて一定以上の幅×時間の面積
を持つ物体であるかどうかで、通過物体を計数してい
た。

【０００３】

【発明が解決しようとする課題】以上のような従来の通
過物体計数装置によれば、次のような問題があった。一
定時間の平面的な時空間画像で、一定の高さにおいて一
定以上の幅×時間の面積を持つ物体であるかどうかで計
数を行う方法では、計算に時間がかかり、また逐次処理
ができなかった。

【０００４】そこで本発明は、計算量を減らし高速処理
でき、逐次処理が可能な通過物体計数装置及び計数方法
を提供することを目的としている。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に係る発明による通過物体計数装置は、例
えば図１に示すように、平面２に沿って平面２上の基準
線１を通過する通過物体５の奥行情報と速度情報とから
通過物体５を計数する通過物体計数装置１０において；
前記取得された奥行情報に前記速度情報で重み付けした
値を基準線１に沿って速度の向き別に加算した値を時間
積分する積分演算部２１（図２）と；前記時間積分によ
って得られた値と予め設定された閾値とに基づいて基準
線１を通過した通過物体５を計数する通過計数演算部２
２、２３（図２）とを備える。

【０００６】このように構成すると、積分演算部２１
と、通過計数演算部２２、２３とを備えるので、取得さ
れた奥行情報に速度情報で重み付けした値を基準線１に
沿って速度の向き別に加算した値を時間積分した値を取
得することができ、通過計数演算部２２、２３を備える
ので、時間積分によって得られた値と予め設定された閾
値とに基づいて基準線１を通過した通過物体５を計数す
ることができる。なお速度の向きは、同じ速度の方向に
ついて、正の向きと負の向きとがある。

【０００７】前記目的を達成するために、請求項２に係
る発明による通過物体計数装置は、例えば図１に示すよ
うに、平面２に沿って平面２上の基準線１を通過する通
過物体５を撮像する、平面２に対向して設けられた複数
の撮像装置１１、１２と；複数の撮像装置１１、１２に
よって撮像された通過物体５の画像同士を比較して、通
過物体５上の基準線１に沿った複数の部位に関して、通
過物体５の平面２に交差する奥行方向の奥行情報と前記
複数の部位のうち少なくとも１つの部位に関して、基準
線１に垂直で平面２に平行な進行方向の速度情報を、時
系列的に取得する比較演算部２０（図２）と；前記取得
された奥行情報に前記速度情報で重み付けした値を基準
線１に沿って速度の向き別に加算した値を時間積分する
積分演算部２１（図２）とを備える。なお同じ進行方向
について、進行の向きは正の向きと負の向きとがある。

【０００８】このように構成すると、複数の撮像装置１
１、１２と、比較演算部２０とを備えるので、奥行情報
と速度情報を時系列的に取得することができ、積分演算
部２１を備えるので、取得された奥行情報に速度情報で
重み付けした値を基準線１に沿って速度の向き別に加算
した値を時間積分した値を取得することができる。積分
演算部２１で計算されるのは結局通過物体５の体積であ
る。

【０００９】前記目的を達成するために、請求項３に係
る発明による通過物体計数装置は、例えば図１に示すよ
うに、平面２に沿って平面２上の基準線１を通過する通
過物体５を撮像する、平面２に対向して設けられた第１
の撮像装置１１と；第１の撮像装置１１と並列に、且つ
平面２に対向して設けられ、基準線１を通過する通過物
体５を、第１の撮像装置１１の撮像時点より所定の時間
だけ遅らせて撮像する第２の撮像装置１２と；第１の撮
像装置１１によって撮像された前記通過物体５の画像Ａ
と前記所定の時間だけ遅らせて第２の撮像装置１２によ
って撮像された前記通過物体の画像Ｂとを比較して、通
過物体５上の基準線１に沿った複数の部位に関して、通
過物体５の平面２に交差する奥行方向の奥行情報と前記
複数の部位のうち少なくとも１つの部位に関して、基準
線１に垂直で平面２に平行な進行方向の速度情報を、時
系列的に取得する比較演算部２０（図２）と；前記取得
された奥行情報に前記速度情報で重み付けした値を基準
線１に沿って速度の向き別に加算した値を時間積分する
積分演算部２１（図２）とを備える。

【００１０】通過物体５が移動する面は、例えば図１２
に示すように、水平な平面に限らず斜面や階段のように
傾斜した面２’であってもよい。但し、必要に応じて例
えば図１２（ａ）のような場合には、傾斜角度により奥
行情報と速度情報を補正する。

【００１１】また通過物体５の進行方向に交差する基準
線１は、通過物体５の進行方向に垂直な線とするのがよ
い。また第１と第２の撮像装置は、並列に、基準線１と
平行な方向に並べるのがよい。奥行方向は、典型的には
平面に垂直な方向、又は鉛直方向である。

【００１２】このように構成すると、第１の撮像装置１
１によって撮像された通過物体５の画像Ａと所定の時間
だけ遅らせて第２の撮像装置１２によって撮像された通
過物体５の画像Ｂとを比較して、通過物体５上の基準線
１に沿った複数の部位に関して、通過物体５の平面２に
交差する奥行方向の奥行情報と前記複数の部位のうち少
なくとも１つの部位に関して、基準線１に垂直で平面２
に平行な進行方向の速度情報を、時系列的に取得する比
較演算部２０と、前記取得された奥行情報に前記速度情
報で重み付けした値を基準線１に沿って速度の向き別に
加算した値を時間積分する積分演算部２１とを備えるの
で、画像Ａと画像Ｂから通過物体５の位置情報と速度情
報を得ることができる。

【００１３】また請求項４に記載のように、請求項２ま
たは請求項３に記載の通過物体計数装置１０では、積分
演算部２１で時間積分して得られた値が予め設定された
閾値を越えたときに、通過物体５が１だけ通過したもの
として計数する差算通過計数演算部２２を備えるとよ
い。

【００１４】このように構成すると、通過物体５の計数
は、通過物体の通過個数（自然数）に対する時間で把握
することになる。又は一定時間に通過する個数で把握す
る。

【００１５】また請求項５に記載のように、請求項２ま
たは請求項３に記載の通過物体計数装置１０では、積分
演算部２１で時間積分して得られた値を予め設定された
閾値で除算した値を通過物体５が通過した数として計数
する除算通過計数演算部２３を備えるとよい。

【００１６】このように構成すると、通過物体５の計数
は、時刻で区切ってその間に通過した通過物体の個数を
小数点まで求めることになる。

【００１７】予め設定された閾値とは、典型的には通過
物体１個分の体積値である。この体積値は通過物体、場
所、時刻、季節等の条件によって、適切な値を定めると
よい。例えば、通過物体が人であり、場所が遊園地であ
れば子供が中心であり、子供対大人の平均的人数比率を
考慮して定めるが体積値は小さめになる。ラッシュアワ
ーの駅であれば、大人の男性が中心であり、冬季であれ
ばオーバーコートを着ているので、体積は大きく定め
る。これを場合毎に統計的に求めておくとよい。

【００１８】前記目的を達成するために、請求項６に係
る発明による通過物体計数方法は、例えば図４に示すよ
うに、平面に沿って該平面上の基準線を通過する通過物
体を前記平面に対向する方向から撮像して、複数の画像
を取得する撮像工程Ｓ１と；撮像工程Ｓ１で取得された
複数の画像同士を比較して、前記通過物体上の前記基準
線に沿った複数の部位に関して、前記通過物体の前記平
面に交差する奥行方向の奥行情報と前記複数の部位のう
ち少なくとも１つの部位に関して、前記基準線に垂直で
前記平面に平行な進行方向の速度情報を、時系列的に取
得する比較演算工程Ｓ９、Ｓ１２と；前記取得された奥
行情報に前記速度情報で重み付けした値を前記基準線に
沿って速度の向き別に加算した値を時間積分する積分演
算工程Ｓ１３とを備える。

【００１９】前記目的を達成するために、請求項７に係
る発明による通過物体計数方法は、例えば図５に示すよ
うに、平面に沿って該平面上の基準線を通過する通過物
体を、前記平面に対向した第１の位置から、第１の時点
に撮像して画像Ａを取得する第１の撮像工程Ｓ３２と；
前記基準線を通過する前記通過物体を、前記第１の時点
から所定の時間だけ経過した第２の時点に、前記第１の
位置と並列で、且つ前記平面に対向した第２の位置から
撮像して画像Ｂを取得する第２の撮像工程Ｓ３３と；前
記画像Ａと前記画像Ｂとを比較して、前記通過物体上の
前記基準線に沿った複数の部位に関して、前記通過物体
の前記平面に交差する奥行方向の奥行情報と前記複数の
部位のうち少なくとも１つの部位に関して、前記基準線
に垂直で前記平面に平行な進行方向の速度情報を、時系
列的に取得する比較演算工程Ｓ３８、Ｓ３９と；前記取
得された奥行情報に前記速度情報で重み付けした値を前
記基準線に沿って速度の向き別に加算した値を時間積分
する積分演算工程Ｓ４０とを備える。

【００２０】このように構成すると、画像Ａと画像Ｂと
を比較して、通過物体の平面に交差する奥行方向の情報
と基準線に交差し（典型的には垂直に交差し）平面に平
行な進行方向の速度を演算する比較演算工程Ｓ３８、Ｓ
３９を備えるので、通過物体５の位置情報と速度情報を
得ることができる。

【００２１】また請求項８に記載のように、請求項６ま
たは請求項７に記載の通過物体計数方法では、平均的な
前記通過物体の１個分の体積を閾値として予め設定する
工程Ｓ０と；前記積分演算部で時間積分して得られた値
が前記閾値を越えたときに、前記通過物体が１だけ通過
したものとして計数する通過計数演算工程Ｓ１５を備え
るとよい。

【００２２】また請求項９に記載のように、請求項６ま
たは請求項７に記載の通過物体計数方法では、平均的な
前記通過物体の１個分の体積を閾値として予め設定する
工程Ｓ０と；前記積分演算部で時間積分して得られた値
を前記閾値で除算した値を前記通過物体が通過した数と
して計数する除算通過計数演算工程Ｓ２０を備えるとよ
い。

【００２３】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。なお、各図において互い
に同一あるいは相当する部材には同一符号または類似符
号を付し、重複した説明は省略する。

【００２４】図１は、本発明による実施の形態である通
過物体計数装置１０（以下適宜「計数装置１０」とい
う）の模式的斜視図である。図中通過物体５が平面であ
る水平な通路２上を進行方向に移動している。ＸＹ軸を
通路２内に置くように、直交座標系ＸＹＺがとられてお
り、通路２はＹ軸と平行に延設されている。また通路２
の延設方向と垂直即ちＸ軸と平行に基準線である計数線
１がとられている。通過物体５の進行方向は、典型的に
は通路２の延設方向即ちＹ軸と平行である。通過物体５
は、本実施の形態では人物である。また本実施の形態で
は、計数線１は通路２の延設方向と垂直としているが、
特に垂直としなくてもよい。垂直でない場合は、Ｘ軸と
の角度で視差と速度を補正すればよい。計数線１は、こ
の線を通過した通過物体５を計数するための基準線であ
り、仮想的な線であってもよく、実際に物理的に通路２
に描く必要はない。

【００２５】一方、図中通路２の計数線１の鉛直方向上
方には、通過物体である人物５が通過するのに十分な高
さに、通路２の計数線１を通過する通過物体５を撮像す
るための第１の撮像装置１１と第２の撮像装置１２が設
置されている。第１の撮像装置１１と第２の撮像装置１
２は、適切な間隔をあけて並列に、計数線１と平行で且
つ光軸がＺ軸と平行になるように設置してある。ここで
いう人物５が通過するのに十分な高さとは、例えば３０
００ｍｍ程度である。また、適切な間隔とは、例えば５
０ｍｍ程度である。

【００２６】図２を参照して、通過物体計数装置１０の
構成の一例を説明する。計数装置１０は、第１の撮像装
置としての第１のＣＣＤカメラ１１、第２の撮像装置と
しての第２のＣＣＤカメラ１２、演算装置としてのパソ
コン１３を含んで構成される。

【００２７】そして第１のＣＣＤカメラ１１、第２のＣ
ＣＤカメラ１２は、パソコン１３に接続されており、パ
ソコン１３は第１のＣＣＤカメラ１１、第２のＣＣＤカ
メラ１２によってそれぞれ撮像された画像を取得出来る
ように構成されている。

【００２８】パソコン１３は、制御部１４を備えてお
り、計数装置１０全体を制御している。制御部１４に
は、撮像装置用インターフェイス１５が接続されてお
り、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２
は、撮像装置用インターフェイス１５を介して制御部１
４に接続され、制御されている。

【００２９】また制御部１４内には、第１のＣＣＤカメ
ラ１１、第２のＣＣＤカメラ１２により取得したステレ
オ画像から、通過物体５の奥行情報である通過物体５の
高さと、通過物体５の速度情報である通過物体５の速度
を時系列的に取得する比較演算部２０、取得した通過物
体５の高さに速度で重み付けした値を基準線１に沿って
速度の向き別に加算した値を時間積分する積分演算部２
１、積分演算部２１で時間積分して得られた値である体
積値が、予め設定された閾値を越えたときに通過物体５
が１だけ通過したものとして計数する差算通過計数演算
部２２、体積値を予め設定された閾値で除算した値を通
過物体の通過した数として計数する除算通過計数演算部
２３が備えられている。比較演算部２０は、高さを基準
線１に沿って速度の向き別に加算した値に速度で重み付
けするようにしてもよい。

【００３０】また、本実施の形態では、差算通過計数演
算部２２と除算通過計数演算部２３を共に備えるとした
が、どちらか一方を備えればよい。この時、差算通過計
数演算部２２を備えた場合は、例えば、任意の自然数だ
け通過物体５が通過した時間を得ることができ、除算通
過計数演算部２３を備えた場合は、例えばある時刻で区
切った任意の時間間隔における通過物体５の通過した数
を小数（例えば１０．６）として逐次得ることができる
ので、目的や用途に合わせて差算通過計数演算部２２と
除算通過計数演算部２３のいずれかを選択するとよい。

【００３１】制御部１４には、記憶部１８が接続されて
おり、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１
２で撮像された画像や算出された情報等のデータが記憶
できる。

【００３２】また制御部１４には、計数装置１０を操作
するための情報を入力する入力装置１６、計数装置１０
で処理された結果を出力する出力装置１７が接続されて
いる。入力装置１６は例えばキーボードやマウスであ
り、出力装置１７は例えばディスプレイやプリンタであ
る。本図では、入力装置１６、出力装置１７はパソコン
１３に外付けするものとして図示されているが、内蔵さ
れていてもよい。

【００３３】さらに図３に示すように、比較演算部２０
内には、ＣＣＤカメラにより撮像された画像を処理する
画像処理部２５、第１のＣＣＤカメラにより撮像された
画像と、第２のＣＣＤカメラにより撮像された画像から
対応点を求める対応点探索部２６、通過物体５の奥行情
報である高さを算出する奥行情報算出部２７、通過物体
５の速度情報である速度を算出する速度情報算出部２８
が備えられている。画像を処理するとは、例えば第１の
ＣＣＤカメラ１１、第２のＣＣＤカメラ１２からの撮像
信号から画像Ａとしての第１の画像、第２の画像、画像
Ｂとしての第３の画像を取得することをいう。

【００３４】図４のフローを参照して、第１の実施の形
態としての計数装置１０の作用の一例を説明する。ここ
で、第１のＣＣＤカメラ１１で撮像された画像を左画
像、第２のＣＣＤカメラで撮像された画像を右画像とし
て説明する。まず計数装置１０の使用者はパソコン１３
に閾値を設定する（ステップ０（図中「Ｓ０」と表示。
以下同じ））。

【００３５】次にパソコン１３の制御部１４は、第１の
ＣＣＤカメラ１１、第２のＣＣＤカメラ１２で撮像され
た左画像、右画像を、撮像装置インターフェイス１５を
介してステレオ画像として取得する（ステップ１）。

【００３６】制御部１４は、取得したステレオ画像か
ら、制御部１４内の画像処理部１９によって、ある時間
ｔに撮像された第１の画像であるｔフレームの左画像を
取得し（ステップ２）、同時に第２の画像であるｔフレ
ームの右画像を取得する（ステップ３）。また時点ｔよ
りΔｔ経過した時点ｔ＋Δｔに撮像された第３の画像で
あるｔ＋Δｔフレームの右画像を取得する（ステップ
３）。

【００３７】実際には同時並列的に一定間隔で撮像を行
い、第１の画像、第２の画像として時点ｔの画像を、第
３の画像として１フレーム以上ずらした時点ｔ＋Δｔの
画像を採用するようにすればよい。このときΔｔは、計
数装置１０の設定条件により適宜決めてよいが、あるフ
レームＮが撮像されてから、次のフレームＮ＋１が撮像
されるまでの時間とすることが望ましい。即ち１フレー
ムだけずらしたフレームを採用する。この時、Δｔを１
／３０秒とすると、例えば８０ｍ／ｍｉｎで歩く人を撮
像した場合、フレームＮ＋１は、フレームＮと比べて撮
像された人が約４．４ｃｍ進行方向に移動した画像とな
る。

【００３８】次に、ｔフレームの右画像のエッジ抽出を
行い（ステップ５）、細線化する（ステップ６）。そし
て、ｔフレームの右画像の計数線１上のエッジ点を用い
てｔフレームの左画像の第１の対応点探索を行なう（ス
テップ７）。また、エッジ抽出、細線化、対応点探索に
ついては、図６を参照してあとで詳しく説明する。

【００３９】第１の対応点探索により得られた対応点か
ら奥行情報を算出する（ステップ８）。ここで、背景除
去によってあらかじめ非背景部分を規定しておき、その
部分に対して、エッジ点における値を反映させるための
線形補間を行なう（ステップ９）。ここで線形補間と
は、例えば１つのエッジ点と、それに隣接するエッジ点
の３次元座標を用いて、両エッジ点を直線で結ぶことに
より、両エッジ点の間の点の３次元座標を得るようにす
るものである。

【００４０】また同時に、ｔフレームの右画像の計数線
１上のエッジ点を用いてｔ＋Δｔフレームの右画像の第
２の対応点探索を行ない（ステップ１０）、第２の対応
点探索により得られた対応点から速度情報を算出する
（ステップ１１）。そして、同様に線形補間を行なう
（ステップ１２）。また、奥行情報及び速度情報を算出
する方法は、図７、図８を参照してあとで説明する。

【００４１】そして、算出された奥行情報に速度情報を
乗じたものを時間方向に加え体積値を加算する（ステッ
プ１３）。体積値を算出する方法は、図９、図１０を参
照してあとで説明する。ここで奥行情報に速度情報を乗
じて重み付けするのは、通過速度の速い通過物体は、通
過速度と通過フレーム数は反比例するので、単に時空間
像で計算すると体積値が小さくなるためである。また、
通過物体の体積を算出するので、体積の無い通過物体の
影を誤って計数してしまうことがない。

【００４２】これにより得られた体積値と予め設定され
た閾値とを比較して（ステップ１５）、体積値が閾値よ
り大きい場合は（ステップ１５がＹ）、通過物体５であ
る人物が１人通過したと判断して計数し（ステップ１
６）、体積値から閾値を差し引く（ステップＳ１８）。
このとき、前述で算出した速度情報を、通過した通過物
体５の進行の向きとして反映させる（ステップ１７）。
体積値が閾値より小さい場合は（ステップ１５がＮ）、
次のフレームを取得し、さらに体積値を加算する。また
予め設定された閾値とは、典型的には通過物体の最小体
積値である。

【００４３】以上では、計数に差算通過計数演算部２２
を用いた場合を説明したが、除算通過計数演算部２３を
用いた場合は（図中破線で示す）、まず同様に算出され
た奥行情報に速度情報を乗じたものを時間方向に加え体
積値を加算する（ステップ１３）。そして、これにより
得られた体積値で計数するかを判断する（ステップ１
９）。この判断は、例えば取得した画像のフレーム数を
予め設定しておいて、設定したフレーム数になると自動
的に計数する判断をするようにしてもよいし、使用者の
判断で逐次計数する判断をするようにしてもよい。

【００４４】計数する場合は（ステップ１９がＹ）、取
得した体積値を予め設定された閾値で除算し（ステップ
２０）、これにより得られた値を通過物体５である人物
の通過人数として計数する（ステップ２１）。このと
き、前述で算出した速度情報を、通過した通過物体５の
進行の向きとして反映させる（ステップ１７）。計数し
ない場合は（ステップ１９がＮ）、次のフレームを取得
し、さらに体積値を加算する。

【００４５】図５のフローを参照して、第２の実施の形
態としての計数装置１０の作用の一例を説明する。第１
の実施の形態と同様にまず計数装置１０の使用者はパソ
コン１３に閾値を設定し（ステップ３０）、ステレオ画
像を取得する（ステップ３１）。

【００４６】制御部１４は、取得したステレオ画像か
ら、制御部１４内の画像処理部１９によって、ある時間
ｔに撮像された画像Ａとしての第１の画像であるｔフレ
ームの左画像を取得する（ステップ３２）。また時点ｔ
よりΔｔ経過した時点ｔ＋Δｔに撮像された画像Ｂとし
ての第３の画像であるｔ＋Δｔフレームの右画像を取得
する（ステップ３３）。

【００４７】実際には、第１のＣＣＤカメラと第２のＣ
ＣＤカメラとは同時並列的に各時点で撮像を行い、第１
の画像として時点ｔの画像を、第３の画像として１フレ
ーム以上ずらした時点ｔ＋Δｔの画像を採用するように
してもよい。このときΔｔは、計数装置１０の設定条件
により適宜決めてよいが、あるフレームＮが撮像されて
から、次のフレームＮ＋１が撮像されるまでの時間とす
ることが望ましい。

【００４８】次に、ｔフレームの左画像のエッジ抽出を
行い（ステップ３４）、細線化する（ステップ３５）。
そして、ｔフレームの左画像の計数線１上のエッジ点を
用いてｔ＋Δｔフレームの右画像の第３の対応点探索を
行なう（ステップ３６）。

【００４９】次に第３の対応点探索により得られた対応
点から、奥行情報を算出する（ステップ３７）。ここ
で、背景除去によってあらかじめ非背景部分を規定して
おき、その部分に対して、エッジ点における値を反映さ
せるための線形補間を行なう（ステップ３８）。同時に
速度情報も算出し（ステップ３９）、同様に線形補間も
行なう（ステップ４０）。奥行情報及び速度情報を算出
する方法は、図７、図８を参照してあとで説明する。そ
して算出された奥行情報に速度情報を乗じたものを時間
方向に加え体積値を加算する（ステップ４１）。以下、
第１の実施の形態と同様にして計数する。

【００５０】図６を参照して、第３対応点探索について
さらに詳細に説明する。ここで、図示の各フレームでの
通過物体として人物を、ハッチングにより表現している
が、これは断面を示しているものではなく、単に上方か
ら撮像された人物を表現するものである。

【００５１】ここでは奥行情報および速度情報を求める
ために、２枚の画像の対応点を求める。まず、ｔフレー
ムの左画像と、ｔ＋Δｔフレームの右画像での対応を求
める。この際、近傍領域に特徴のない画素に関しては対
応関係が明確に定まらない。そこで、以下のような流れ
で探索を行う。

【００５２】まず、ｔフレームの左画像のエッジ抽出を
行い細線化した画像を求め、そのエッジ点においてのみ
対応点探索を行う。エッジ抽出とは、濃淡で取得された
画像から対象とする通過物体のエッジ点の集合である輪
郭を抽出し、例えば座標で特定することをいう。また細
線化とは、例えばエッジ抽出を行なった画像を、エッジ
抽出で得られた通過物体の輪郭のみを細線で示した画像
とするものである。

【００５３】対応点探索を行うには、まずｔフレームの
左画像の前記特定された輪郭上の点をエッジ点として選
定し、濃淡画像上でそのエッジ点を含む近傍領域にウイ
ンドウを設定する。典型的には計数線上にあるエッジ点
を選定する。エッジ点は典型的には前記細線と計数線と
の交点であり、通常は複数、典型的には１０〜２０点存
在する。これら複数のエッジ点のうち、例えば最も左に
ある点をまず選定する。選定したエッジ点が中心になる
ようにウインドウを設定するとよい。そして前記設定さ
れたウインドウを参照して、ｔ＋Δｔフレームの右画像
にウインドウを設定する。

【００５４】これらのウインドウについて、図１１に示
す式１を用いてｔフレームの左画像とｔ＋Δｔフレーム
の右画像との濃淡値の相関をとる。ここで、Ｉ_Ｌ（ｉ,
ｊ）とＩ_Ｒ（ｉ,ｊ）はそれぞれ左右画像上のウインド
ウ内の濃淡値であり、μ_Ｌ,μ_Ｒ, σ_Ｌ, σ_Ｒはそれぞ
れ左右ウインドウの濃淡値の平均及び分散である。Ｃは
−１から＋１までの範囲内の値をとる。選定された左画
像のエッジ点に対して、右画像のウインドウを少しず
つ、例えば計数線に平行に移動し、また計数線に直交す
る方向に移動しながら、各ウインドウでＣ値を計算す
る。このようにて求めたＣのうち最大値を与える右画像
のウインドウを、選定された左画像のウインドウに対応
する局所領域とみなす。

【００５５】即ち、上記のように左右画像のウインドウ
の相関をとり、左画像で選定したエッジ点を含むウイン
ドウと対応する（Ｃが最大となる）右画像のウインドウ
を探索する。この探索により得られた右画像のウインド
ウの中心が、先に選定した左画像のエッジ点に対応する
右画像のエッジ点となる。

【００５６】ウインドウの探索は、例えば計数線と平行
方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）に行う。例え
ば通過物体が人物である場合は、計数線と平行方向は後
述のように左右画像間の視差と見るので、既に設定した
左画像のウインドウを参照して、例えば高さが１ｍ〜２
ｍと算出される視差の幅を探索すればよい。垂直方向
は、後述のように人物の移動量と見るので、既に設定し
た左画像のウインドウを参照して、時間Δｔ間に人物が
移動すると予想される移動量の幅を探索すればよい。ま
たＣの値が、探索している方向に上昇傾向ならば、さら
にＣの値が最大となり、下降傾向に移るまで同じ探索方
向に探索を継続し、下降傾向ならば、探索方向を変える
か、既に探索した範囲でＣの値が最大となるウインドウ
を選択するようにしてもよい。

【００５７】このようにウインドウの探索を行えば、明
らかに探索不要な部分の左右画像のウインドウの相関を
とらなくてよいので、さらに計算量を減らすことができ
る。以上のようにして左画像に存在する全てのエッジ点
について対応点の探索を行い、左右画像の対応するエッ
ジ点を得る。

【００５８】以上では、第２の実施の形態の第３の対応
点探索について説明したが、第１の実施の形態の第１の
対応点探索、第２の対応点探索についても同様の対応点
探索を行う。

【００５９】図７を参照して、奥行情報と速度情報の算
出についてさらに詳細に説明する。まず前述で得られた
左右画像の対応するエッジ点同士を結ぶベクトルを考
え、これを水平成分（Ｘ軸方向成分）と垂直成分（Ｙ軸
方向成分）に分離する。水平成分は、左右画像間の視差
を表す量と見ることができ、この視差を用いて対象とす
る通過物体までの距離を算出することができる。対し
て、垂直成分は、注目点の通路に沿う方向の移動量と見
ることができ、これを基に対象とする通過物体の速度情
報を得ることができる。こうして、エッジ点における奥
行情報である３次元高さ、速度情報である速度を対の形
で一括して得ることができる。

【００６０】なお、１つの通過物体について得られた速
度は、通常は等しいはずであるので、各エッジ点全てに
ついて速度を求める必要はなく、例えば最も中心に近い
点の速度を採用すればよい。または、各エッジ点の速度
を求めて、突出した値を有するエッジ点は、探索に誤り
があったものとして再探索を行うか又はその点は不採用
とするとよい。あるいは各エッジ点の速度を全て求め
て、それらの平均値を計算し、その物体の速度として採
用してもよい。

【００６１】また、後で説明する速度による重み付けに
は、各点毎の速度を用いてもよいし、平均値で求めた通
過物体の速度を各点共通に用いてもよい。

【００６２】ここで左右画像は、Δｔだけ時間的にずれ
た画像ではあるが、Δｔが充分に小さい値であれば、左
右画像には視差を求めるのに差支えるほどの差は生じな
い。逆にそのようにΔｔを定めることにしてもよい。即
ち視差を求めるのに差支えず、且つ速度情報を得るのに
充分な長さとする。例えば、対象とする通過物体が歩行
者の場合は１／６０〜１／１０秒程度、特に１／４０〜
１／２０秒、さらに好ましくは約１／３０秒とする。

【００６３】このように第２の実施の形態によれば、第
１の実施の形態では３枚の画像を使って高さ、速度を求
めたのに対して、２枚の画像の処理のみで済むので、計
算量を大幅に減らすことができ、処理の高速化が可能に
なる。

【００６４】ここで、図８を参照して、対象とする通過
物体の奥行情報としての平面からの高さｚの算出方法に
ついて説明する。対象とする通過物体５までの距離ａ
は、図１１に示す式２を用いて算出することができる。
ここで、ｗはＣＣＤカメラ間距離（基線長）、ｆはＣＣ
Ｄカメラの結像レンズを単一レンズとしたときそのレン
ズの焦点距離、dはＣＣＤカメラの結像面上の視差であ
る。ここでの焦点距離は、一般に用いられている組み合
わせレンズを使用する場合は、その組み合わせレンズの
焦点距離とする。また、ＣＣＤカメラの結像レンズから
計数線１までの距離をｈとすると、対象とする通過物体
５の高さｚは図１１に示す式３で算出する。

【００６５】図９、図１０を参照して、前述の方法によ
って各フレームで算出した通過物体の高さおよび速度を
用いて、計数を行う方法を説明する。ある位置ｘの、あ
るｔフレームにおける物体の高さをｚ（ｘ，ｔ）、同じ
位置、同じフレームにおける速度をｖ（ｘ，ｔ）とす
る。前述の対応点探索により、ｚ（ｘ，ｔ）には高さ約
０〜１８５ｃｍに対応させた０〜２５５の値が、ｖ
（ｘ，ｔ）には速度約−１２〜１２ｋｍ／ｈに対応させ
た−５〜５の値が求められている（図９（ａ））。

【００６６】次に、そのフレームの積ｚｖを、Ｘ軸方向
へ加算する。この総和、すなわち図１１に示す式４は、
あるフレームの奥行情報に、速度の重みを乗じた値（あ
る時点において単位時間に通過する体積）を意味してい
る。直感的には、計数線を通過したときの人の時空間に
おける断面積と見ることができるので、ここではこの値
を「面積値」と呼ぶことにする（図９（ｂ））。後に速
度の向き別に計測する必要があるため、この加算の作業
も、ｖ（ｘ，ｔ）の正負すなわち通過する人の進行の向
きによって、加算する変数を図１１に示す式５のように
区別しておく。

【００６７】次に、各ラインで算出された面積値を時間
方向に加算していく（図１０−（ａ））。この和、すな
わち図１１に示す式６は、通過した人の体積を表すこと
になる。これをここでは「体積値」と呼ぶことにする
（図１０−（ｂ））。フレーム間隔を一定に保っている
限り、通過速度と通過フレーム数は反比例するので、速
度の重みを考慮したこの加算によって、一人一人の通過
から算出される体積値がある程度正規化される。即ち、
３次元空間における真の体積値が求められる。

【００６８】図１２を参照して、通過物体５が斜面を移
動する場合を説明する。例えば階段や坂道などの傾斜し
た面２’を通過物体５が移動している場合、平面２は基
準線１と第１、第２の撮像装置１１、１２を結ぶ線に垂
直な仮想平面２とするのがよい。

【００６９】対象とする通過物体５が人物の場合は、斜
面であっても鉛直方向に立つので、ＣＣＤカメラの光軸
は鉛直方向に向ける（図１２（ａ））。この場合は、仮
想平面２は水平面となる。この例では、例えば傾斜した
面２’と仮想平面２とのなす角をθとすると、仮想平面
２からの通過物体５の高さを得るには、斜面２’を移動
する通過物体５の時間Δｔの移動量にｔａｎθを乗じた
値を、斜面２’を移動する通過物体５の算出された高さ
から引けばよい。

【００７０】また対象とする通過物体５が、例えば車の
場合は、斜面をそのまま本発明の平面２としてよい。こ
の場合、ＣＣＤカメラの光軸は斜面に垂直な方向に向け
る（図１２（ｂ））。

【００７１】次に、本発明の実施例を使用して、実際に
行なわれた計数実験の結果について述べる。実験は、大
学の校舎の仮設通路で、晴天の昼間に以下の条件で行な
った。実験１：１分あたり約４０人通過実験２：１分あたり約８０人通過実験３：１分あたり約１２０人通過撮像装置の設定条件は、撮像装置としてＣＣＤカメラを
使用し、カメラ高さ２９５ｃｍ、通路幅２００ｃｍ、カ
メラの基線長（カメラ間距離）４７ｍｍ、焦点距離４．
８ｍｍである。また、実際の計数では、前述の除算通過
計数演算部２３を用いて、３０ラインの処理が終了した
時点で計数人数を算出する。３０ライン分の総体積値を
あらかじめ別の入力画像によって決定しておいた１人分
の体積値で割った値を通過人数とする。ここでラインと
は、フレームの処理単位のことである。

【００７２】６００フレーム、時間にして２０秒ごとの
計数結果として、実験１の結果を図１３、実験２の結果
を図１４、実験３の結果を図１５に示す。各図に示す通
過人数に付された正負の符号は、互いに逆の向きに人物
が進行したことを表すものである。また各図中の計数結
果は、自然数として表示しているが、除算通過計数演算
部２３を用いる場合であるので、小数点まで表示するこ
ともできる。

【００７３】各実験の精度は、実験１で８７％、実験２
で８９％、実験３で９０％であった。ただし、この精度
は２０秒ごとで算出したものの平均値であり、計数を長
時間にわたって継続して累積したデータで精度を算出す
ると、各実験とも、９５％を超える高い精度を示した。

【００７４】図１６は、人がカウンターを持って行うマ
ニュアル計数による計数結果と、本発明を使用して計数
した計数結果とを比較したものである。マニュアル計数
では、混み合いが少ない場合は正確に計数できるが、混
み合いが激しくなるにつれて、精度が極端に落ちてい
る。

【００７５】それに対して、本発明を使用した計数で
は、混み合いによらず安定した精度を保っていることが
わかる。

【００７６】以上説明したように本発明の実施の形態に
よれば、２台のＣＣＤカメラより取得したステレオ画像
から通過物体の高さ、速度が取得でき、取得した高さ、
速度から通過物体の体積を速度別に取得できるので、従
来と比較してより正確に通過物体を逐次計数することが
できる。

【００７７】

【発明の効果】以上のように本発明によれば、複数の撮
像装置によって撮像された通過物体の画像同士を比較し
て、通過物体上の基準線に沿った複数の部位に関して、
通過物体の平面に交差する奥行方向の奥行情報と前記複
数の部位のうち少なくとも１つの部位に関して、基準線
に垂直で平面に平行な進行方向の速度情報を、時系列的
に取得する比較演算部と、記取得された奥行情報に前記
速度情報で重み付けした値を基準線に沿って速度の向き
別に加算した値を時間積分する積分演算部とを備えるの
で、複数の撮像装置によって撮像された通過物体の奥行
情報と速度情報を取得し、取得された奥行情報に速度情
報で重み付けした値を基準線に沿って速度の向き別に加
算した値を時間積分した値を取得でき、計算量を減らし
高速処理でき、逐次処理が可能な通過物体計数装置及び
計数方法を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態である通過物体計数装置の
概要を示す模式的斜視ブロック図である。

【図２】本発明の実施の形態である通過物体計数装置の
構成例を示すブロック図である。

【図３】本発明の実施の形態で用いる比較演算部の構成
例を示すブロック図である。

【図４】本発明の第１の実施の形態である通過物体計数
装置の作用の一例あるいは本発明の実施の形態である通
過物体計数方法を示すフローチャートである。

【図５】本発明の第２の実施の形態である通過物体計数
装置の作用の一例あるいは本発明の実施の形態である通
過物体計数方法を示すフローチャートである。

【図６】本発明の実施の形態で、第１の画像と第３の画
像の第３の対応点探索を行う場合の処理例を説明する画
像図である。

【図７】図６の場合における、第１の画像と第３の画像
の対応点を結ぶベクトルを説明する画像図である。

【図８】本発明の実施の形態で、第１の撮像装置と第２
の撮像装置の視差から、通過物体の高さを算出する方法
を説明する様式的正面図である。

【図９】本発明の実施の形態で、計数を行う方法を説明
する様式的斜視図である。

【図１０】図９の場合における、計数を行う方法を説明
する様式的斜視図である。

【図１１】本発明の実施の形態の説明で用いられる計算
式を示す図である。

【図１２】傾斜した面を移動する通過物体を計数する方
法の例として、仮想平面で計数する場合（ａ）と斜面を
そのまま本発明の平面とする場合（ｂ）を説明する図で
ある。

【図１３】本発明の実施の形態による、実験１の計数実
験の結果を示す図である。

【図１４】本発明の実施の形態による、実験２の計数実
験の結果を示す図である。

【図１５】本発明の実施の形態による、実験３の計数実
験の結果を示す図である。

【図１６】マニュアル計数の計数結果と本発明の実施の
形態による通過物体計数装置を使用しての計数の計数結
果との比較を示す図である。

【符号の説明】

１計数線２通路５通過物体１０通過物体計数装置１１第１のＣＣＤカメラ１２第２のＣＣＤカメラ１３演算装置１４制御部１５撮像装置用インターフェイス１６入力装置１７出力装置１８記憶部２０比較演算部２１積分演算部２２差算通過計数演算部２３除算通過計数演算部

───────────────────────────────────────────────────── フロントページの続き (72)発明者中島真人神奈川県横浜市港北区日吉３−14−１慶応義塾大学理工学部内 (72)発明者竹村安弘千葉県船橋市豊富町585 住友大阪セメント株式会社新規技術研究所内 (72)発明者味村一弘千葉県船橋市豊富町585 住友大阪セメント株式会社新規技術研究所内

Claims

【特許請求の範囲】

【請求項１】平面に沿って該平面上の基準線を通過す
る通過物体の奥行情報と速度情報とから前記通過物体を
計数する通過物体計数装置において；前記取得された奥
行情報に前記速度情報で重み付けした値を前記基準線に
沿って速度の向き別に加算した値を時間積分する積分演
算部と；前記時間積分によって得られた値と予め設定さ
れた閾値とに基づいて前記基準線を通過した前記通過物
体を計数する通過計数演算部とを備える；通過物体計数
装置。
【請求項２】平面に沿って該平面上の基準線を通過す
る通過物体を撮像する、前記平面に対向して設けられた
複数の撮像装置と；前記複数の撮像装置によって撮像さ
れた前記通過物体の画像同士を比較して、前記通過物体
上の前記基準線に沿った複数の部位に関して、前記通過
物体の前記平面に交差する奥行方向の奥行情報と前記複
数の部位のうち少なくとも１つの部位に関して、前記基
準線に垂直で前記平面に平行な進行方向の速度情報を、
時系列的に取得する比較演算部と；前記取得された奥行
情報に前記速度情報で重み付けした値を前記基準線に沿
って速度の向き別に加算した値を時間積分する積分演算
部とを備える；通過物体計数装置。
【請求項３】平面に沿って該平面上の基準線を通過す
る通過物体を撮像する、前記平面に対向して設けられた
第１の撮像装置と；前記第１の撮像装置と並列に、且つ
前記平面に対向して設けられ、前記基準線を通過する前
記通過物体を、前記第１の撮像装置の撮像時点より所定
の時間だけ遅らせて撮像する第２の撮像装置と；前記第
１の撮像装置によって撮像された前記通過物体の画像Ａ
と前記所定の時間だけ遅らせて前記第２の撮像装置によ
って撮像された前記通過物体の画像Ｂとを比較して、前
記通過物体上の前記基準線に沿った複数の部位に関し
て、前記通過物体の前記平面に交差する奥行方向の奥行
情報と前記複数の部位のうち少なくとも１つの部位に関
して、前記基準線に垂直で前記平面に平行な進行方向の
速度情報を、時系列的に取得する比較演算部と；前記取
得された奥行情報に前記速度情報で重み付けした値を前
記基準線に沿って速度の向き別に加算した値を時間積分
する積分演算部とを備える；通過物体計数装置。
【請求項４】前記積分演算部で時間積分して得られた
値が予め設定された閾値を越えたときに、前記通過物体
が１だけ通過したものとして計数する差算通過計数演算
部を備える、請求項２または請求項３に記載の通過物体
計数装置。
【請求項５】前記積分演算部で時間積分して得られた
値を予め設定された閾値で除算した値を前記通過物体が
通過した数として計数する除算通過計数演算部を備え
る、請求項２または請求項３に記載の通過物体計数装
置。
【請求項６】平面に沿って該平面上の基準線を通過す
る通過物体を前記平面に対向する方向から撮像して、複
数の画像を取得する撮像工程と；前記撮像工程で取得さ
れた複数の画像同士を比較して、前記通過物体上の前記
基準線に沿った複数の部位に関して、前記通過物体の前
記平面に交差する奥行方向の奥行情報と前記複数の部位
のうち少なくとも１つの部位に関して、前記基準線に垂
直で前記平面に平行な進行方向の速度情報を、時系列的
に取得する比較演算工程と；前記取得された奥行情報に
前記速度情報で重み付けした値を前記基準線に沿って速
度の向き別に加算した値を時間積分する積分演算工程と
を備える；通過物体計数方法。
【請求項７】平面に沿って該平面上の基準線を通過す
る通過物体を、前記平面に対向した第１の位置から、第
１の時点に撮像して画像Ａを取得する第１の撮像工程
と；前記基準線を通過する前記通過物体を、前記第１の
時点から所定の時間だけ経過した第２の時点に、前記第
１の位置と並列で、且つ前記平面に対向した第２の位置
から撮像して画像Ｂを取得する第２の撮像工程と；前記
画像Ａと前記画像Ｂとを比較して、前記通過物体上の前
記基準線に沿った複数の部位に関して、前記通過物体の
前記平面に交差する奥行方向の奥行情報と前記複数の部
位のうち少なくとも１つの部位に関して、前記基準線に
垂直で前記平面に平行な進行方向の速度情報を、時系列
的に取得する比較演算工程と；前記取得された奥行情報
に前記速度情報で重み付けした値を前記基準線に沿って
速度の向き別に加算した値を時間積分する積分演算工程
とを備える；通過物体計数方法。
【請求項８】平均的な前記通過物体の１個分の体積を
閾値として予め設定する工程と；前記積分演算部で時間
積分して得られた値が前記閾値を越えたときに、前記通
過物体が１だけ通過したものとして計数する通過計数演
算工程を備える、請求項６または請求項７に記載の通過
物体計数方法。
【請求項９】平均的な前記通過物体の１個分の体積を
閾値として予め設定する工程と；前記積分演算部で時間
積分して得られた値を前記閾値で除算した値を前記通過
物体が通過した数として計数する除算通過計数演算工程
を備える、請求項６または請求項７に記載の通過物体計
数方法。