JP2000115750A - 移動物体監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 移動物体の滞留検出をカメラで精度良く行う
こと。 【解決手段】 移動物体を撮影したカメラ１ａから取り
込まれた画像に対して画像処理装置３ａのヒストグラム
処理回路３０５およびヒストグラムメモリ３０６により
１次元圧縮データを生成し、これを画像メモリ３０２時
系列に並べて、２次元画像データを生成する。また、２
次元画像データにおいて個別的に分布する２次元画像の
領域である物体領域にラベリング回路３１８により番号
付けする。ＣＰＵ３３０により、ラベリングされた物体
領域の時間軸方向の最小座標値および最大座標値を用い
て物体の存在時間を求め、この存在時間を予め定めた時
間と比較して滞留であるか否かを判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動物体の監視技
術に係り、特に、物体の行動状態を検出し、検出結果に
応じて、案内、表示、制御等を行うことに用いられる監
視技術に係り、例えば、マンコンベア等の物体搬送系で
の物体（乗客）の行動状態を検出し、その検出結果に応
じて、案内、表示、制御を行うことができる監視装置に
関する。

【０００２】

【従来の技術】マンコンベア、例えば、エスカレータ、
移動式歩道等の物体搬送系では、搬送すべき物体として
人（乗客）を搬送する。乗客を搬送する場合、乗客は、
貨物等の無意思の物体と異なり、予想外の行動をとるこ
とが起こり得る。このため、乗客の円滑かつ安全な搬送
を確保するために、乗客の行動状態を監視することが必
要となる。

【０００３】従来、この種の技術としては、撮像した、
移動する物体を含む画像を時系列的に並べて、移動物体
の時間的変化を検出することが開示されている（文献：
情報処理学会研究報告CV72-5, 1991.5.17、特開平６−
０３６０１４号公報）。また、画像処理により、乗客の
多少を判断すること、および、乗降口での乗客の停止、
逆行等を検出することについて開示されている（特開平
９−３０１６６４号公報）。

【０００４】

【発明が解決しようとする課題】上記従来技術のうち前
者は、物体の動きを時系列画像データを基に検出し、物
体のフレーム間での対応付けを必要とせずに、ある一定
方向に移動する複数の移動物体の状態諸量を検出するこ
とを目的としたものである。しかし、この技術では、複
数の移動物体の画像上での重なり、移動物体の行き戻り
等については考慮していないという問題がある。すなわ
ち、物体の移動以外の行動、例えば、うろつき、停止等
による滞留現象については、考慮していないため、物体
がそのような行動に出る場合については対処できないと
いう問題がある。

【０００５】一方、上記従来技術の後者は、画像処理に
より、乗客の多少を判断し、乗降口での乗客の停止等を
検知する最適な乗客案内行うことを目的としている。し
かし、この従来技術は、物体を具体的にどのように検出
して、その数、動きをどのように検出するかについての
具体的な手段（方法）についてまでは開示していない。
さらに、後者の従来技術は、乗降口付近での乗客のうろ
つきについては考慮していないという問題があった。

【０００６】本発明は、上述のような点に鑑みてなされ
たもので、その目的は、カメラからの映像を処理するこ
とにより、検出対象領域内での移動物体の滞留検出を高
精度にできるようにすることにある。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、撮影画像に基づいて移動物体を
監視する移動物体監視装置において、撮像された画像を
取り込む画像入力手段と、取込んだ画像から監視対象の
物体を示す物体データを抽出する物体データ抽出手段
と、前記抽出手段により抽出された物体データを、前記
画像の取り込みに対応して１次元に圧縮して１次元圧縮
物体データを生成する画像圧縮手段と、前記生成された
１次元圧縮物体データを時系列に並べて、空間軸および
時間軸からなる２次元画像データを得る時系列画像生成
手段と、前記２次元画像データにおいて個別的に分布す
る２次元画像の領域である物体領域について、時間軸方
向の長さを算出して、当該物体の存在時間を求める存在
時間算出手段と、前記求められた存在時間が予め定めた
一定時間より長い場合、滞留状態と判定する滞留検出手
段と、前記判定結果を出力する手段とを備えることを特
徴とする移動物体監視装置が提供される。

【０００８】本発明にあっては、さらに、次の各種態様
を単独でまたは組合わせて適宜採用することができる。

【０００９】ａ） 前記時系列画像生成手段は、２次元
画像データとして、２次元の２値画像データを生成す
る。

【００１０】ｂ） 前記物体領域ごとに識別子を付する
ラベリング手段をさらに備える。

【００１１】ｃ） 前記存在時間算出手段は、前記ラベ
リング手段によりラベリングされた物体領域ごとの時間
軸方向の、最小座標値および最大座標値を用いて物体の
存在時間を求める。

【００１２】ｄ） 前記存在時間算出手段は、ラベリン
グされた物体領域のうち、時間軸方向の最小座標値また
は最大座標値が現在時刻に等しい物体領域についてのみ
物体の存在時間を求める。

【００１３】ｅ） 前記存在時間算出手段は、前記物体
領域の輪郭追跡を行ってそれぞれについての方向コード
群を求め、得られた方向コード群の時間軸方向を表す方
向コードの内、正方向または負方向のコードの個数＋１
を物体領域の時間軸方向の長さとする。

【００１４】ｆ） 前記存在時間算出手段は、物体領域
のうち、基準とする２値データの所定の方向で、上記基
準データの片側一方向に、上記基準データと同じ値の２
値データが連続し、かつ、上記基準データの上記所定の
方向と反対方向に上記基準データと違う値の２値データ
が連続するとき、その基準データを線分要素画像として
抽出し、該線分要素画像に対して、輪郭追跡により求め
た方向コード群の時間軸方向を表す方向コードの内、正
方向または負方向のコードの個数＋１を物体領域の時間
軸方向の長さとする。

【００１５】ｇ） 前記存在時間算出手段は、物体領域
のうち現在時刻に存在する物体領域についてのみ時間軸
方向の長さを求める。

【００１６】ｈ） 前記存在時間算出手段は、前記物体
領域の形態に現われる凹部を当該画像データで埋めて穴
埋め画像を得る処理を、前記存在時間算出処理の前に行
う。

【００１７】ｉ） 前記存在時間算出手段は、少なくと
も、開口幅が内部の幅より小さい形態を有する凹部を穴
埋め処理の対象とする。

【００１８】ｊ） 前記存在時間算出手段は、前記物体
領域形態に現われる穴部を、さらに穴埋め対象とするこ
とを特徴とする。

【００１９】ｋ） 前記存在時間算出手段は、前記物体
領域の各画素に対して、水平方向の走査を上から下へ、
または下から上へ、または垂直方向の走査を左から右へ
または右から左へ順次行って、基準とする２値データの
走査方向にのびる両隣のデータが、基準データと同じ２
値データであるとき、上記基準データの上記走査方向と
垂直方向にある上下あるいは左右の２値データうち走査
行あるいは走査列の移動方向側の２値データをを上記基
準データと同じデータに変化させて第１の画像を得、次
に前記と反対の向き（水平方向の走査を上から下に対し
ては下から上に、垂直方向の走査を左から右に対しては
右から左）に順次走査して、基準とする２値データの走
査方向にのびる両隣のデータが、基準データと同じ２値
データであるとき、上記基準データの上記走査方向と垂
直方向にある上下あるいは左右の２値データうち走査行
あるいは走査列の移動方向側の２値データをを上記基準
データと同じデータに変化させて第２の画像を得、前記
第１の画像と第２の画像の論理和画像を得ることにより
穴埋め画像を得る。

【００２０】ｌ） 前記画像入力手段によって取り込ま
れた画像から監視対象の物体を示す物体データを抽出す
べき領域を設定する領域設定手段をさらに備え、前記物
体データ抽出手段は、前記取込んだ画像のうち設定され
た領域内で物体データを抽出する。

【００２１】ｍ） 前記画像入力手段は、カメラをさら
に備え、該カメラにより撮像された画像を取込む。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、エスカレータ、移動式歩道等のマンコンベアの乗客
監視装置を例として説明する。なお、本発明は、マンコ
ンベアに限らず、移動体の監視に適用することができ
る。

【００２３】図１は、本発明の一実施の形態に係るマン
コンベアの乗客監視装置の全体構成を示す。

【００２４】図１に示すように、本発明の乗客監視装置
は、その基本構成として、カメラ１ａと、画像処理装置
３ａとを有する。図１に示す例では、マンコンベア２
ａ、２ｂが、順次配列され、それぞれのコンベア２ａ、
２ｂについて、監視が行われる例を示している。そのた
め、図１の例では、複数箇所のそれぞれにおいて監視を
行うための複数台のカメラ１ａ、１ｂと、各カメラ１
ａ、１ｂごとに設けられる、複数台の画像処理装置３
ａ、３ｂとが配置される。なお、図１では、マンコンベ
ア２ａ、２ｂは、下から上に乗客を移動させるものであ
る。したがって、マンコンベア２ｂ、２ａの順に下から
上に配列される。

【００２５】また、図１の例では、マンコンベアを１台
ずつ順次配列した例を示しているが、もちろん、これに
限定されない。例えば、複数台が並列されることもあ
る。さらに、上から下に向かうマンコンベアが逆並列に
配置されることもある。

【００２６】カメラ１ａ、１ｂは、マンコンベア２ａ、
２ｂの乗り口および降り口をそれぞれ撮影している。昇
りマンコンベアであるとすると、カメラ１ａは、マンコ
ンベア２ａの本体およびその乗り口と、マンコンベア２
ｂの降り口とを撮影する。カメラ１ｂは、マンコンベア
２ｂの本体およびその乗り口とを撮影する。カメラ１
ａ、１ｂで撮影した画像は、画像処理装置３ａ、３ｂに
それぞれ入力される。

【００２７】なお、本実施の形態では、カメラ１ａ、１
ｂと、対応する画像処理装置３ａ、。３ｂとを別に設け
ているが、例えば、画像処理装置３ａをカメラ１ａと同
じ筐体に収容する構成としてもよい。また、カメラを本
願発明の構成要素としては含まず、別途用意されたカメ
ラを接続して、撮影された画像を取込むようにすること
もできる。例えば、複数のカメラを１台の画像処理装置
に接続して、複数のカメラからの画像を切り換えて順次
取込んで、処理するようにすることもできる。

【００２８】画像処理装置３ａ、３ｂは、取り込まれた
画像を処理する画像処理部３００、装置全体の制御や画
像処理部３００の結果を処理するＣＰＵ３３０、ＣＰＵ
３３０のプログラムおよびデータを記憶するメモリ３３
２と、対話的に処理領域等を設定するための入力装置
（マウス）３４０と、マンコンベア制御装置２１ａとの
情報の受け渡しを行うインタフェース部３３１とを備え
る。以下、画像処理装置３ａの動作内容を中心に説明す
る。なお、画像処理装置３ｂも同様に動作する。

【００２９】画像処理部３００は、カメラ１ａからの画
像をディジタル信号に変換するＡ／Ｄ変換機３０１と、
画像を蓄積する画像メモリ３０２と、画像メモリ３０２
に蓄積される画像を表示するためアナログ信号に変換す
るＤ／Ａ変換器３０７とを画像の入出力部として有す
る。また、画像の処理を行う処理回路系として、二つの
画像の差分を求める演算を行う画像間演算回路３０３
と、多値画像（濃淡画像）を２値画像に変換する２値化
回路３０４と、画素分布を求めるヒストグラム処理回路
３０５およびヒストグラムメモリ３０６と、画像の形状
を変換するための形状変換回路３１６と、複数の画像に
ついてラベリングするラベリング回路３１８と、最大値
フィルタ処理および最小値フィルタ処理を行う最大値最
小値フィルタ回路３１９とを有する。

【００３０】ヒストグラム処理回路３０５は、具体的に
は、例えば、図１７に示すような論理演算ユニット３０
５１と、このユニット３０５１にデータを取り込むため
のラッチ３０５２と、セレクタ３０５３、３０５４およ
び３０５６と、レジスタ３０５５および３０５７とを備
える。また、ヒストグラムメモリ３０６は、メモリ本体
３０６１を有する。本実施の形態では、ヒストグラム処
理回路３０５およびヒストグラムメモリ３０６を、ｘ軸
への画像累積とｙ軸への画像累積とを独立に行えるもの
を備えている。もちろん、ｘ、ｙのそれぞれに共用する
ものであってもよい。ヒストグラム処理回路３０５は、
論理演算ユニット３０５１により、ｘ軸、ｙ軸のそれぞ
れの画素について、累積加算を行って、累積値を求め
る。すなわち、ｘ軸、ｙ軸のそれぞれについて、各軸上
の画素数を求める。これは、物体の画像データをｘ軸お
よびｙ軸の各軸上に、画像分布を一次元で表現するデー
タに圧縮したものといえる。なお、ヒストグラムメモリ
３０６には、画像の投影分布、濃度頻度分布等を記憶す
ることができる。

【００３１】形状変換回路３１６は、収縮処理（縮小処
理）と膨張処理（拡大処理）とを行う機能を有する。例
えば、処理すべき画像について、一旦収縮する処理を行
ってから、膨張処理をして元に戻すことにより、小面積
のノイズを除去することができる。また、処理すべき画
像について、その外形を膨張処理した後、収縮処理して
元に戻すことにより、画素の抜け等を補間することがで
きる。

【００３２】ラベリング回路３１８は、物体の移動に伴
う時系列データについて、あるかたまりの領域を抽出
し、に対して識別子、例えば、番号を付して管理する回
路である。

【００３３】ところで、上述したヒストグラム処理回路
３０５およびヒストグラムメモリ３０６と、形状変換回
路３１６と、ラベリング回路３１８と、最大値、最小値
フィルタ回路３１９とについて、本実施の形態では、全
ての回路を用いているが、実施の形態によっては、必ず
しもすべてを必要とせず、一部を省略することもでき
る。

【００３４】ＣＰＵ３３０には、インタフェース部３３
１を介してマンコンベア制御装置２１ａおよび２１ｂが
接続される。マンコンベア制御装置２１ａ、２１ｂは、
マンコンベア２ａおよび２ｂの運転をそれぞれ制御する
と共に、警告、案内等を報知する機能を有する。そのた
め、スピーカ２２ａ、２２ｂがそれぞれ対応して接続さ
れる。また、インタフェース部３３１には、マウス３４
０、カメラ１ａが接続される。

【００３５】カメラ１ａで撮影した映像は画像処理装置
３ａに入力される。画像処理装置３ａは撮影された画像
信号を取り込み、Ａ／Ｄ変換器３０１によって、例えば
２５６階調の濃度データに変換して画像メモリ３０２に
記憶する。なお、カラーカメラの場合は、３組のＡ／Ｄ
変換器により、Ｒ、Ｇ、Ｂの各色成分ごとに画像メモリ
３０２に記憶する。さらに、該画像処理部３００は、Ｃ
ＰＵ３３０の指令に基づいて、画像メモリ３０２のデー
タを用いて、画像間演算、２値化、形状変換、ヒストグ
ラム処理、ラベリング（番号付け）、最大値フィルタ、
最小値フィルタ処理等をそれぞれ、画像間演算回路３０
３、２値化回路３０４、形状変換回路３１６、ヒストグ
ラム処理回路３０５、ラベリング回路３１８、最大値、
最小値フィルタ回路３１９等で処理し、必要に応じて処
理結果、入力画像等をＤ／Ａ変換器３０７によって映像
信号に変換してモニタ３５０に表示する。なお、ヒスト
グラムメモリ３０６は、画像の投影分布、濃度頻度分布
等を記憶するためのメモリである。ＣＰＵ３３０は、メ
モリ３３２を用いて、画像処理部３００の処理結果に基
づいて乗客の滞留等の事象発生有無を判定するととも
に、当該事象の発生したマンコンベア制御装置２１ａま
たは２１ｂに事象発生の情報をインタフェース部３３１
を介して出力する。マンコンベア制御装置２１ａ，２１
ｂは、送られてきた事象の内容によりマンコンベアの停
止や案内装置２２ａ，２２ｂによる案内、表示等を行
う。

【００３６】図２は、本発明の滞留検出の説明図であ
る。図２は、乗降口の上部に設定され、視野の中心軸
を、マンコンベア２ａの両側にあるハンドレール２３Ｌ
および２３Ｒ間の中心付近に設定したカメラ１ａによ
り、マンコンベア２ａ本体および乗降口付近を見た図を
示している。カメラ１ａの視野内には、マンコンベア２
ａの左側ハンドレール２３Ｌ、右側ハンドレール２３
Ｒ、マンコンベア２ａの乗り場、降り場を構成する床板
２７、踏板２８がある。なお、図２に示す例では、乗客
２０が床板上を移動軌跡２９のように移動している。

【００３７】乗客の滞留を検出するために、本監視装置
の設置者あるいは監視員等は、あらかじめマウス３４０
等を用いて乗降口の床板２７付近に滞留検出領域２４
を、ステップ（踏板）２８付近にステップ領域３０を設
定しておく。なお、滞留検出領域２４およびステップ領
域３０は取り込んだ画像を処理して、ステップ（踏板）
２８の領域情報から自動的に設定することも可能であ
る。

【００３８】図３は本発明の一実施例の動作を示す処理
フローである。ＣＰＵ３３０は、画像処理部３００の各
処理回路を制御して、それぞれにおける処理を実行させ
ると共に、得られたデータをメモリ３３２に格納し、さ
らに、それを用いて、自身により、および、画像処理部
３００の各回路により処理を行う。

【００３９】画像処理処理部３００およびＣＰＵ３３０
は、次の手段として機能する。すなわち、撮像された画
像を取り込む画像入力手段と、取込んだ画像から監視対
象の物体を示す物体データを抽出する物体データ抽出手
段と、前記抽出手段により抽出された物体データを、前
記画像の取り込みに対応して１次元に圧縮して１次元圧
縮物体データを生成する画像圧縮手段と、前記生成され
た１次元圧縮物体データを時系列に並べて、空間軸およ
び時間軸からなる２次元画像データを得る時系列画像生
成手段と、前記２次元画像データにおいて個別的に分布
する２次元画像の領域である物体領域について、時間軸
方向の長さを算出して、当該物体の存在時間を求める存
在時間算出手段と、前記求められた存在時間が予め定め
た一定時間より長い場合、滞留状態と判定する滞留検出
手段と、前記判定結果を出力する手段とを実現する。ま
た、前記２次元画像データにおいて個別的に分布する物
体領域ごとに識別子を付するラベリング手段等としても
機能する。なお、前記存在時間算出手段は、前記物体領
域の形態に現われる凹部を当該画像データで埋めて穴埋
め画像を得る処理を行う穴埋め処理を、存在時間算出処
理の前に行う機能をも有する。

【００４０】まず、画像処理装置３が起動されると、画
像メモリ３０２、ヒストグラムメモリ３０６のクリア等
の初期化が行われ（ステップ２００）、カメラ１から画
像が取り込まれる（ステップ２０５）。この画像を基に
マウス３４０を用いて人が対話的に滞留検出領域２４を
設定するか、本装置が自動的に滞留検出領域２４を設定
し、それらの情報をメモリ３３２に記憶する（ステップ
２１０）。次に、背景画像を取り込み、画像メモリ３０
２に記憶し（ステップ２１５）、監視を開始する。な
お、入力画像を繰り返し処理することにより、人物等の
いない背景画像を自動的に生成することも可能である。

【００４１】監視開始以降は、まず、現在の画像を取り
込む（ステップ２２０）。ついで、予め画像メモリ３０
２に記憶してある背景画像との間で差分処理を画像間演
算回路３０３で実行し、その差分結果を２値化回路３０
４で「１」および「０」の値からなる２値画像に変換す
る。なお、取り込んだ画像について、空間積和演算等を
行って、ノイズを除去する処理を行った後、差分処理を
行うようにしてもよい。

【００４２】次に、形状変換回路３１６を用いて、収縮
・膨張処理によりノイズを除去する（ステップ２２
５）。この処理は、２値画像を、１画素〜数画素分、例
えば、２画素分、内側に縮める収縮（縮小）処理を行
い、その後、元の大きさに戻す膨張（拡大）処理を行う
処理である。収縮は、例えば、３×３のマトリクスの中
心画素を、その周辺に一つでも「０」がある時、「０」
とすることにより行うことができる。一方、膨張は、こ
れとは逆に、３×３のマトリクスの中心画素を、その周
辺に一つでも「１」がある時、「１」とすることにより
行うことができる。これにより、１から数画素程度の大
きさの画像を構成する各画素を、収縮により「０」とし
て、膨張時には、３×３のマトリクスの中心画素が、そ
の周辺に一つも「１」がない時には、「１」になり得な
いという不可逆性を利用して、元に戻ることを阻止して
除去する。

【００４３】次に、マンコンベアの交通量を求めるため
に、ステップ領域３０の時刻ｔ−１（前時刻）と時刻ｔ
（現時刻）の２枚の画像間で差分処理（フレーム間差分
処理）を画像間演算回路３０３で実行し、その差分結果
を２値化回路３０４で「１」および「０」の値からなる
２値画像に変換する。また、形状変換回路３１６を用い
て、上述したような収縮・膨張処理によりノイズを除去
する（ステップ２３０）。なお、ステップ２２５、２３
０の収縮・膨張処理は、必ずしも必須ではない。

【００４４】以下、本発明の中心である滞留検出情報生
成処理２４０および滞留判定処理２５０について図４〜
図９を用いて説明する。

【００４５】さて、うろつき、立ち話、いたずら等の滞
留者を検出するためには、個々の物体を追跡して、滞留
検出領域内に指定時間以上存在するかどうかを判定すれ
ばよい。しかし、滞留検出領域が比較的狭く、カメラに
近いため、人物の姿勢等により物体の大きさが大きく変
化したり、人の流れが混んでくるとカメラの視野上、人
物同士の重なりが生じる。そのため、個々の物体の正確
な追跡は困難である。また、乗客のうろつきは、交通量
が少ないときに発生するが、交通量が多いと、うろつく
ことができないので起こらないと考えられる。交通量が
多い場合は、ハンドレールの外側等における人の流れに
あまり影響を与えない場所でのいたずらや立ち話が発生
する可能性がある。そこで、交通量が少ないときも交通
量が多いときも滞留を検出するために、滞留検出領域を
分割して、交通量により滞留検出処理の対象領域を変更
することが考えられる。滞留検出領域２４を複数の領域
に分割して、交通量により滞留検出処理の対象領域を変
えることにより、混雑時においても平常時においても精
度よく滞留検出を行う場合の実施例を以下に説明する。

【００４６】図４は、滞留検出領域２４を、滞留検出領
域Ｗ（全体）２４Ｗ、ハンドレール２３Ｌ付近の滞留検
出領域Ｌ（左側）２４Ｌ、および、ハンドレール２３Ｒ
付近の滞留検出領域Ｒ（右側）２４Ｒに分割した場合を
示す。

【００４７】図５は、上記各滞留検出領域内の乗客２０
の滞留時間を求める滞留検出情報生成処理２４０の処理
の流れを示す。

【００４８】まず、ステップ２２５で求めたノイズ除去
後の２値画像を用いて、ヒストグラム処理回路３０５
で、図６に示す滞留検出領域２４の、ｘ軸投影分布およ
びｙ軸投影分布を作成する（ステップ２４１）。ｘ軸投
影分布およびｙ軸投影分布は、ヒストグラムメモリ３０
６に格納される。ヒストグラムメモリ３０６は、座標値
に対応したアドレスに各座標値における画素の個数（頻
度）を記憶する。ＣＰＵ３３０は、ヒストグラムメモリ
３０６に格納されている、ｘ軸投影分布およびｙ軸投影
分布の頻度がしきい値ｔｈ-h以上の部分を抽出する（ス
テップ２４２）。それを順次、時間軸方向（時系列）に
並べることにより、時間軸ｔおよびｘ軸から成る２次元
画像データ（２値画像）と、時間軸ｔおよびｙ軸から成
る２次元画像データ（２値画像）とを生成する（ステッ
プ２４３）。

【００４９】なお、これらの処理は、ステップ２２０で
取り込んだ画像ごとに行われる。したがって、画像の取
り込みタイミングごとに、ｘ軸およびｙ軸のそれぞれに
１次元圧縮したデータが得られる。これを画像取り込み
タイミングで時間軸上にならべることで、２次元画像デ
ータが得られる。具体的には、画像メモリ３０２に、一
次元データを時間順に格納して、時間軸と１次元空間軸
とからなる２次元の、移動物体の移動軌跡画像を生成す
る。

【００５０】以下の説明は、時間軸ｔおよびｙ軸から成
る２次元画像データ（２値画像）を用いて行うが、時間
軸ｔおよびｘ軸から成る２次元画像データ（２値画像）
に対しても同様である。なお、１軸方向、例えば、ｙ軸
方向についてのみ乗客が移動する場合には、その軸と時
間軸についての２次元画像データを生成すればよい。し
かし、現実には、乗客は２次元で移動するので、ｘ、ｙ
のそれぞれについて時間軸との２次元画像データを生成
して、滞留の検出に用いることが好ましい。

【００５１】図７は、時間軸ｔおよびｙ軸から成る２次
元画像データ（２値画像データ）を示しており、水平方
向は時間軸方向（ｔ方向）、垂直方向はｙ軸方向を示
し、５０ａ，５０ｂ，５０ｃ，５０ｄは、２次元画像デ
ータにおいて個別に分布する２次元画像の領域であっ
て、乗客２０の移動軌跡を表す物体領域である。ここで
は、理解しやすいように、水平方向に時間軸、垂直方向
に滞留検出領域２４のｙ軸を示している。なお、実際の
処理上は、水平方向に領域２４のｙ軸、垂直方向に時間
軸をとった方が、画像をラスタスキャンする関係上、処
理時間の短縮が図れる。

【００５２】図７で、斜線部は値が「１」、白い部分は
値が「０」に当たる。この逆、すなわち、斜線部は値が
「０」、白い部分は値が「１」と見なしてもよい。図７
で、時間軸は左端が現在時刻、左から右にいくにつれて
過去の時刻になっており、時間軸の長さはあらかじめ決
められた値になる。なお、時間軸については、右端が現
在時刻、右から左にいくにつれて過去の時刻になるよう
にすることも可能である。ｙ軸は上端が０で、下にいく
ほど大きくなり、ｙ軸の長さは滞留検出領域のｙ軸方向
の大きさに等しい。２次元画像データは、乗客２０の重
なり、乗客２０と背景の明るさの関係により、一部が切
れた凹部５１や、一部が抜けた穴５２が生ずることもあ
る。

【００５３】このような２次元画像データに対して、移
動軌跡を表す、連結しているひとかたまりの領域（物体
領域）ごとに一つのラベルを付けるラベリング処理（例
えば、ラベリング、田村秀行監修、総研出版、「コンピ
ュータ画像処理入門」、pp.75-76）をラベリング回路３
１８で行い、図８（ａ）に示すように、各物体領域にラ
ベル（番号）１〜４をつける（ステップ２４４）。すな
わち、同一の領域に含まれる画素は、同一の値（ラベ
ル）を持つラベル画像（多値画像）が得られる。このラ
ベリング処理は、各画素が隣接しているかを調べること
によって行う。隣接して存在する画素にそれぞれ同じラ
ベルを付すことによって、一塊の領域に属する画素に、
各塊ごとにラベル値を付す。

【００５４】次に、２値化回路３０４を用いて各ラベル
の値で２値化処理することにより、ラベルごとに２値画
像を求める。ラベル１のみを「１」、その他を「０」と
する２値化処理により、図８（ｂ）に示すように、ラベ
ル１の領域（黒い領域）のみの２値画像が得られる。該
２値画像を用いて既に述べたと同様にして、ヒストグラ
ム処理回路３０５でｘ軸投影分布を求め、該投影分布か
らラベル１の領域の時間軸最小座標値ｔｓ−５０ａおよ
び最大座標値ｔｅ−５０ａを求める（ステップ２４
５）。他のラベルについても同様にして、時間軸最小座
標値および最大座標値が求められる。

【００５５】次に、図９を用いて、滞留判定処理（ステ
ップ２５０）について説明する。まず、ステップ２３０
で求めたステップ領域３０の面積がしきい値ｔｈ-ａｓ
以上かどうかで、マンコンベアの交通量の多少を判断す
る（ステップ２５１）。交通量がそれほど多くない通常
の場合には、滞留検出領域全体（Ｗ）を対象にして、前
述の滞留検出情報生成処理２４０により求めた各ラベル
（物体領域）ごとの時間軸最小座標値ｔｓおよび最大座
標値ｔｅを参照し、まず、時間軸最小座標値ｔｓが現時
刻（ｔ＝０）に等しいかチェックする。その上で、等し
いラベル（物体領域）のみについて、該物体領域の最大
座標値ｔｅに一周期を表す所定時間（例えば、前記画像
取り込み周期）を掛けることにより、物体の滞留検出領
域内に存在する時間（滞留時間）を求める。なお、この
周期としては、例えば、３００ｍsecとすることができ
る。

【００５６】そして、この滞留時間が指定時間ｔｈ-ｔ
以上かどうか判定する（ステップ２５２）。なお、時間
軸最小座標値ｔｓが現時刻（ｔ＝０）に等しいというこ
とは、現時点で該物体が滞留検出領域内に存在すること
を意味する。

【００５７】指定時間ｔｈ-ｔ以上であれば、滞留が発
生したと判断し、乗客に対してマイク等で注意案内を行
うための信号を出力する（ステップ２６０）とともに、
ステップ２２０に戻り、以上述べた処理を繰り返す。一
方、指定時間未満であれば、滞留は発生していないと判
断し、ステップ２２０に戻り、以上述べた処理を繰り返
す。

【００５８】一方、出勤時の駅のマンコンベアのよう
に、連続的に乗客が来るような交通量が多い場合には、
滞留検出領域全体に対して上で述べた２次元画像データ
から、各ラベル（物体領域）ごとの時間軸最小座標値ｔ
ｓおよび最大座標値ｔｅを求めて、滞留発生を判定する
と、誤った判断をすることになり得る。また、交通量が
多い場合には、床板２７の中央付近で滞留が発生する可
能性は極めて低く、発生するとしても、両側のハンドレ
ール付近になると考えられる。そこで、交通量が多い場
合には、判定すべき滞留検出領域を両側のハンドレール
付近の滞留検出領域Ｌおよび滞留検出領域Ｒに限定して
処理を行う。すなわち、滞留検出領域Ｌおよび滞留検出
領域Ｒを対象にして、前述の滞留検出情報生成処理２４
０により求めた各ラベル（物体領域）ごとの、時間軸最
小座標値ｔｓおよび最大座標値ｔｅを参照し、まず、時
間軸最小座標値ｔｓが現時刻（ｔ＝０）に等しいかチェ
ックする。そして、等しいラベル（物体領域）のみにつ
いて、該物体領域の最大座標値ｔｅに前述の一周期を表
す所定時間を掛けることにより、物体の滞留時間を求
め、この滞留時間が指定時間ｔｈ-ｔ以上かどうか判定
する（ステップ２５３）。指定時間ｔｈ-ｔ以上であれ
ば、滞留が発生したと判断し、乗客に対してマイク等で
注意案内を行うための信号を出力する（ステップ２６
０）とともに、ステップ２２０に戻り、以上述べた処理
を繰り返す。一方、指定時間未満であれば、滞留は発生
していないと判断し、ステップ２２０に戻り、以上述べ
た処理を繰り返す。

【００５９】以上のように、上記実施例のマンコンベア
の乗客監視装置では、物体の移動軌跡の一部に欠け等が
あっても、時系列データ（２値画像）をラベリングする
ことによりラベル（物体領域）ごとの滞留時間を簡単に
求めることができ、滞留者の検出が容易にできる。

【００６０】なお、上記実施例では、領域内の物体デー
タを抽出するのに背景画像を用いて、背景差分により抽
出したが、物体データを抽出する処理なら何でもよい。

【００６１】また、物体データの投影分布を２値化処理
した後に２値画像の時系列データを生成したが、物体デ
ータの投影分布データを、そのまま時系列に並べて２次
元の多値データからなる時系列データを生成し、その
後、該２次元多値データを２値化回路で２値化してして
も良い。

【００６２】さらに、滞留検出領域を複数設定し、交通
量によって処理領域を選択したが、交通量がそれほど多
くない場合には、ステップ領域の交通量を求めるステッ
プおよび滞留判定における交通量の判定ステップは省略
してもよい。

【００６３】次に、別の実施例として、前述のラベリン
グによりラベル（物体領域）ごとの滞留時間を簡単に求
めて滞留検出を行う代わりに、時系列データ（２値画
像）の穴や凹部を埋め、物体領域の輪郭線を追跡し、輪
郭線の方向コードを求め、該方向コードから線分の長さ
を求め、物体の滞留時間を抽出する場合の実施例につい
て説明する。

【００６４】この実施の形態について、図１０、図１１
に示す。図１０は図３と全体の処理の流れは同じであ
る。図１１は図３における滞留検出情報生成処理２４０
および滞留判定処理２５０に相当する図１０の滞留検出
情報生成処理３４０および滞留判定処理３５０のみを示
しており、図１０の他の部分は図３と同じであるので説
明を省略する。

【００６５】滞留検出情報生成処理３４０において、滞
留検出領域のｘ軸投影分布、ｙ軸投影分布作成（ステッ
プ３４１）、２値化処理（ステップ３４２）、および、
時系列データ生成処理（ステップ３４３）は、すでに述
べた図５の滞留検出領域のｘ軸投影分布、ｙ軸投影分布
作成（ステップ２４１）、２値化処理（ステップ２４
２）、および、時系列データ生成処理（ステップ２４
３）と同じ処理である。

【００６６】図７に示す時系列データ（２値画像）に対
して、穴埋め処理を行い、穴５２や凹部５１を埋める
（ステップ３４４）。穴埋め処理の具体的な方法として
は、形状変換回路３１６による膨張・収縮処理（例え
ば、収縮と膨張、田村秀行監修、総研出版、「コンピュ
ータ画像処理入門」、pp.76-77）により、穴埋めするこ
とも可能である。例えば、図１２（ａ）に示す２値画像
に対して４連結で膨張・収縮処理をすると、図１２
（ｂ）に示す黒い部分が穴埋めされて、斜線部分と黒い
部分を合わせた領域が抽出される。

【００６７】しかしながら、膨張・収縮処理では、隣接
する物体領域間が近いと両領域が統合されるという不都
合が発生する。そこで、本実施の形態では、最大値、最
小値フィルタ回路を用いて、隣接物体との接合を防ぎつ
つ穴埋め処理を行う。すなわち、２値画像をラベリング
して背景の値を「０」とした第１のラベル画像に対して
最大値フィルタ処理を施して得られる第１の最大値フィ
ルタ画像に対して、さらに最小値フィルタ処理を施して
第１の最小値フィルタ画像を得る。一方、上記第１のラ
ベル画像の背景の値を画像メモリの最大濃度とした第２
のラベル画像に対して最小値フィルタ処理を施して得ら
れる第２の最小値フィルタ画像に対して、さらに最大値
フィルタ処理を施して第２の最大値フィルタ画像を得、
上記第１の最小値フィルタ画像と第２の最大値フィルタ
画像との一致部分を抽出することにより、近接する物体
領域を統合することなく穴５２や凹部５１を埋めて、全
体として凸多角形から成る物体領域を求めることができ
る。なお、このような穴埋め技術については、特許第２
６９０４９１号に開示されている。

【００６８】図１２（ａ）に示す２値画像について上記
穴埋め処理をすると、図１２（ｂ）に示す黒い部分が穴
埋めされて、上記第１の最小値フィルタ画像と第２の最
大値フィルタ画像との一致部分として斜線部分と黒い部
分を合わせた領域が抽出される。

【００６９】また、別の穴埋め手段としては、文献：情
報処理学会研究報告CV72-5, 1991.5.17、または、特開
平６−０３６０１４号公報に開示されている技術があ
る。これによれば、図１３（ａ）に示す時系列データ
（２値画像）の各画素値g(t,y) (t=0 .....n, y=0
.....m, 左上の画素をg(0, 0))に対して、左下（=g(0,
m)）から開始し、左から右へ、下から上にアクセス
し、このとき、g(t-1, y)=1 and g(t, y)=1 and g(t+1,
y)=1 ならば、g(t, y-1)=1とし、それ以外は何もしな
いことにより、図１３（ｂ）に示すように穴５２や物体
領域の上側に切れ目のある凹部５１ｂが埋めら。しか
し、物体領域の下側に切れ目のある凹部５１ａは、部分
的にしか埋められず、凹部が残ってしまうという問題が
ある。これは、時系列データ（２値画像）の各画素値g
(t,y) に対して、右下（=g(n, m)）から開始し、右から
左へ、下から上にアクセスし、このとき、g(t-1, y)=1
and g(t, y)=1 and g(t+1, y)=1 ならば、g(t, y-1)=1
とし、それ以外は何もしないというように処理の方向を
変えても同じである。

【００７０】この凹部が、時間軸方向の物体領域の長さ
を求めるときに、輪郭線の方向コードを用いて時間軸方
向の物体領域の長さを求めると実際より長くなってしま
う、後述する線分要素が途中で切れて正しい長さが求ま
らない、という問題を発生させる。

【００７１】そこで、この問題を解決するために、物体
領域の上側および下側のいずれの側にも存在する凹部を
埋めて凸状の物体領域を生成する方法について説明す
る。

【００７２】まず、時系列データ（２値画像）の各画素
値g(t,y) ( t=0 .......n, y=0 .....m, 左上の画素をg
(0, 0)) に対して、左上（=g(0, 0)）から開始し、左か
ら右へ、上から下にアクセスし、このとき、g(t-1, y)=
1 and g(t, y)=1 and g(t+1, y)=1 ならば、g(t, y+1)
=1とし、それ以外は何もしないことにより、図１４
（ｃ）に示すような穴５２および物体領域の下側に切れ
目のある凹部５１ａが穴埋めされた画像g1(t, y)が得ら
れる。

【００７３】次に、時系列データ（２値画像）の各画素
値g(t,y) に対して、左下（=g(0, m)）から開始し、左
から右へ、下から上にアクセスし、このとき、g(t-1,
y)=1 and g(t, y)=1 and g(t+1, y)=1 ならば、g(t, y
-1)=1とし、それ以外は何もしないことにより、図１３
（ｂ）に示すような穴５２および物体領域の上側に切れ
目のある凹部５１ｂが穴埋めされた画像g2(t, y)が得ら
れる。

【００７４】最後に、上記画像g1(t, y)とg2(t, y)との
論理和演算により、図１４（ｄ）に示すように、斜線部
分と黒い部分を合わせた穴埋め画像g3(t, y)を得る。該
画像g3(t, y)は、物体領域の上側および下側に膨張した
画像になるが、凸状をしているので、後述の処理で正し
い時間軸方向の長さを求めることができる。ただし、物
体領域が近接していると、両領域が統合されるという不
都合が発生する可能性がある。

【００７５】上記の例では、左上および左下を起点とし
て処理を行ったが、左上と右下、右上と右下、または右
上と左下のいずれかの組を起点として処理を行っても問
題はない。要は、物体領域の上下（左右）両側から上記
穴埋めの処理を行い、凸状の物体領域を求めることが重
要である。また、以上の例では横軸に時間軸をとった
が、縦軸に時間軸をとった場合も以下に示すように同様
に処理できる。

【００７６】該時系列２値画像の各画素値g(x, t) ( x=
0 .......n, t=0 .....m, 左上の画素をg(0, 0)) に対
して、左上（=g(0, 0)）から開始し、左から右へ、上か
ら下に順にアクセスし、あるいは右上（=g(n, 0)）から
開始し、右から左へ、上から下に順にアクセスし、この
とき、g(x-1, t)=1 and g(x, t)=1 and g(x+1, t)=1
ならば、g(x, t+1)=1とし、それ以外は何もしないこと
により、画像g1(x, t)を得る。次に、該時系列２値画像
の各画素値g(x, t) に対して、左下（=g(0, m)）から開
始し、左から右へ、下から上に順にアクセスし、あるい
は右下（=g(n, m)）から開始し、右から左へ、下から上
に順にアクセスし、このとき、g(x-1, t)=1 and g(x,
t)=1 and g(x+1, t)=1 ならば、g(x, t-1)=1 とし、そ
れ以外は何もしないことにより、画像g2(x, t)を得る。
最後に、上記画像g1(x, t)とg2(x, t)の論理和演算によ
り、穴埋め画像g3(x, t)を得ることができる。

【００７７】また、走査の方向を変えて処理しても同じ
である。すなわち、該時系列２値画像の各画素値g(x,
t) ( x=0 .......n, t=0 .....m, 左上の画素をg(0,
0)) に対して、左上（=g(0, 0)）から開始し、上から下
へ、左から右に順にアクセスし、あるいは左下（=g(0,
m)）から開始し、下から上へ、左から右に順にアクセス
し、このとき、g(x, t-1)=1 and g(x, t)=1 and g(x, t
+1)=1 ならば、g(x+1, t)=1とし、それ以外は何もしな
いことにより、画像g1(x, t)を得る。次に、該時系列２
値画像の各画素値g(x, t) に対して、右上（=g(n, 0)）
から開始し、上から下へ、右から左に順にアクセスし、
あるいは右下（=g(n, m)）から開始し、下から上へ、右
から左に順にアクセスし、このとき、g(x, t-1)=1 and
g(x, t)=1 and g(x, t+1)=1 ならば、g(x-1, t)=1と
し、それ以外は何もしないことにより、画像g2(x, t)を
得る。最後に、上記画像g1(x, t)とg2(x, t)の論理和演
算により、穴埋め画像g3(x, t)を得ることができる。

【００７８】次に、凸状になった物体領域から時間軸方
向の長さを求める線分長さ抽出処理（ステップ３４５）
について説明する。

【００７９】図１５（ａ）に示す穴埋め後の２値画像デ
ータの物体領域５０’に対して輪郭線追跡処理（例え
ば、境界線追跡、田村秀行監修、総研出版、「コンピュ
ータ画像処理入門」、pp.83-85）により、輪郭線の方向
コード（チェイン・コード）を求める。具体的には、g
(0, 0)を開始点として、上から下へ走査し、g(0, y)=1
の画素の有無をチェックする。g(0, y)=1の画素が無い
場合は処理を終了し、ステップ３５０へすすむ。g(0,
y)=1の画素がある場合は、g(0, y)=1を開始点５３とし
て、輪郭線追跡処理を行う。図１５（ｂ）に示す点ｐか
らみた方向をコード０〜７で表すと、輪郭線追跡処理に
より輪郭線を表すチェイン・コードとして図１５（ｃ）
に示す方向コード群が得られる。このチェイン・コード
について、方向コード：０、１、７の個数、または、方
向コード：３、４、５の個数を求め、（該個数＋１）の
値を時間軸方向（ｔ方向）の長さとして求める。図１５
の例では、長さは２５となる。

【００８０】また、線分長さ抽出手段としては、文献：
情報処理学会研究報告CV72-5, 1991.5.17、または、特
開平６−０３６０１４号公報に開示されているように、
図１５（ａ）に示す時系列データ（２値画像）をg(t,y)
、線分要素画像をr(t, y)として、左下（=g(0, m)）か
ら開始し、左から右へ、下から上に順にアクセスし、こ
のとき、 g(t, y)=1 and g(t+1, y)=1 and g(t+2, y)=1...... and g(t+k, y)=1 or g(t, y)=1 and g(t, y+1)=0 and g(t, y+2)=0...... and g(t, y+k)=0 ならば、r(t, y)=1 とし、それ以外なら、r(t, y)=0（k
は正数）とすることにより、図１６（ａ）の黒い部分５
４で示される線分要素画像r(t, y)が求まる。図１６
（ａ）は、ｋ＝２の場合を示す。

【００８１】該線分要素画像r(t, y)に対して、上記輪
郭線追跡と同様にして時間軸方向の線分の長さを求め
る。具体的には、r(0, 0)を開始点として上から下へ走
査し、r(0, y)=1の画素の有無をチェックする。r(0, y)
=1の画素が無い場合は処理を終了し、ステップ３５０へ
すすむ。r(0, y)=1の画素が有る場合はr(0, y)=1を開始
点５５として時間軸ｔの最大値まで（方向コード＝４が
現れるまで）輪郭線追跡処理を行う。

【００８２】図１６（ｂ）に示す点ｐからみた方向をコ
ード０〜７で表すと、輪郭線追跡処理により輪郭線を表
すチェイン・コードとして図１６（ｃ）に示す方向コー
ド群が得られる。このチェイン・コードについて上記と
同様に方向コード：０、１、７の個数を求め、（該個数
＋１）の値を時間軸方向（ｔ方向）の長さとして求め
る。図１６の例では、長さは２５となる。

【００８３】次に、滞留判定処理（３５０）について説
明する。まず、ステップ３３０で求めたステップ領域３
０の面積がしきい値ｔｈ-ａｓ以上かどうかで、マンコ
ンベアの交通量の多少を判断する（ステップ３５１）。
交通量がそれほど多くない通常の場合には、滞留検出領
域全体（Ｗ）を対象にして、前述の滞留検出情報生成処
理３４０により求めた長さ情報を基に、前述の一周期を
表す所定時間より求まる、物体の滞留検出領域内に存在
する時間（滞留時間）が指定時間ｔｈ-ｔ以上かどうか
判定する（ステップ３５２）。長さ情報があるというこ
とは、現時点で該物体が滞留検出領域内に存在すること
を意味する。

【００８４】指定時間ｔｈ-ｔ以上であれば、滞留が発
生したと判断し、乗客に対してマイク等で注意案内を行
うための信号を出力する（ステップ３６０）とともに、
ステップ３２０に戻り、以上述べた処理を繰り返す。一
方、指定時間未満であれば滞留は発生していないと判断
し、ステップ３２０に戻り、以上述べた処理を繰り返
す。

【００８５】一方、交通量が多い場合には、滞留検出領
域Ｌおよび滞留検出領域Ｒを対象にして、前述の滞留検
出情報生成処理３４０により求めた時間軸方向の長さ情
報を基に、前述の一周期を表す所定時間より求まる、物
体の滞留検出領域内に存在する時間（滞留時間）が指定
時間ｔｈ-ｔ以上かどうか判定する（ステップ３５
３）。指定時間ｔｈ-ｔ以上であれば、滞留が発生した
と判断し、乗客に対してマイク等で注意案内を行うため
の信号を出力する（ステップ３６０）とともに、ステッ
プ３２０に戻り、以上述べた処理を繰り返す。一方、指
定時間未満であれば滞留は発生していないと判断し、ス
テップ３２０に戻り、以上述べた処理を繰り返す。

【００８６】以上に述べた本発明の実施の形態によれ
ば、それぞれの形態に応じて、次の作用効果が期待でき
る。

【００８７】第１に、ラベリングされた物体領域ごとの
時間軸方向の最小座標値および最大座標値を用いて物体
の存在時間を求めることにより、高精度にかつ容易に滞
留物体を抽出できる。

【００８８】第２に、ラベリングされた物体領域のうち
時間軸方向の最小座標値または最大座標値が現在時刻に
等しい物体領域についてのみ物体の存在時間を求めるこ
とにより、短時間で処理できる。

【００８９】第３に、時系列２値画像の穴や凹部を埋
め、凸状の物体領域からなる２値画像を得、この穴埋め
後の画像データの物体領域の輪郭追跡により求めた方向
コード群の時間軸方向を表す方向コードの内、正方向ま
たは負方向のコードの個数＋１を物体領域の時間軸方向
の長さとして求め、該長さから物体の存在（滞留）時間
を求めて滞留物体を検出することにより、高精度に滞留
物体を検出できる。

【００９０】第４に、前記穴埋め手段により穴埋めされ
た物体領域の輪郭追跡により求めた方向コード群の時間
軸方向を表す方向コードの内、正方向または負方向のコ
ードの個数＋１を物体領域の時間軸方向の長さとするこ
とにより、高精度に滞留物体を検出できる。

【００９１】第５に、物体領域のうち現在時刻に存在す
る物体領域のみについて時間軸方向の長さを求めること
により、短時間で処理できる。

【００９２】

【発明の効果】本発明によれば、カメラからの映像を処
理することにより、検出対象領域内での移動物体の滞留
検出を高精度に行うことができる。

【図面の簡単な説明】

【図１】 本発明の全体構成を示すブロック図である。

【図２】 本発明の実施の形態におけるマンコンベアの
監視すべき領域を示す説明図である。

【図３】 本発明の第１の実施の形態における監視処理
の流れを示すフローチャートである。

【図４】 本発明の実施の形態における監視すべき領域
の設定において、ステップ領域および複数の滞留検出領
域設定の例を示す説明図である。

【図５】 滞留検出情報生成の処理の流れを示すフロー
チャートである。

【図６】 抽出された監視対象物の画像に基づく、ｘ軸
投影分布、および、ｙ軸投影分布作成の説明図である。

【図７】 ２次元画像データの画像分布例を示す説明図
である。

【図８】 ２次元画像データにおける物体領域のラベル
画像の例を示す説明図である。

【図９】 滞留判定の処理の流れを示すフローチャート
である。

【図１０】 本発明の第２の実施の形態における監視処
理の流れを示すフローチャートである。

【図１１】 本発明の第２の実施の形態の滞留検出情報
生成および滞留判定の処理の流れを示すフローチャート
である。

【図１２】 ２次元画像の穴埋め処理の説明図である。

【図１３】 ２次元画像の他の穴埋め処理の説明図であ
る。

【図１４】 穴埋め処理結果を示す説明図である。

【図１５】 ２次元画像データの物体領域の輪郭追跡に
よる時間軸方向の長さを求める説明図である。

【図１６】 ２次元画像データの物体領域の線分要素に
よる時間軸方向の長さを求める説明図である。

【図１７】 ヒストグラム処理回路およびヒストグラム
メモリの構成の一例を示すブロック図である。

【符号の説明】

１ａ、１ｂ…カメラ、２ａ、２ｂ…マンコンベア、３
ａ、３ｂ…画像処理装置、２１ａ, ２１ｂ…マンコンベ
ア制御装置、２２ａ、２２ｂ…案内装置、２３…ハンド
レール、２４…滞留検出領域、３００…画像処理部、３
０２…画像メモリ、３０３…画像間演算回路、３０４…
２値化回路、３０５…ヒストグラム処理回路、３０６…
ヒストグラムメモリ、３１６…形状変換回路、３１８…
ラベリング回路、３１９…最大値、最小値フィルタ回
路、３３０…ＣＰＵ、３３１…インタフェース部、３３
２…メモリ、３４０…マウス、３５０…モニタ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 飛田 敏光 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 (72)発明者 山下 健一 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 (72)発明者 千葉 久生 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 Ｆターム(参考） 3F321 DA05 EA04 EB07 EC06 5C054 AA02 CC02 CH01 EA01 EA05 EA07 EB05 FC11 FC15 FC16 FF07 GA04 GB05 GD01 HA05 HA27

Claims (14)

【特許請求の範囲】
1. 【請求項１】 撮影画像に基づいて移動物体を監視する
   移動物体監視装置において、 撮像された画像を取り込む画像入力手段と、 取込んだ画像から監視対象の物体を示す物体データを抽
   出する物体データ抽出手段と、 前記抽出手段により抽出された物体データを、前記画像
   の取り込みに対応して１次元に圧縮して１次元圧縮物体
   データを生成する画像圧縮手段と、 前記生成された１次元圧縮物体データを時系列に並べ
   て、空間軸および時間軸からなる２次元画像データを得
   る時系列画像生成手段と、 前記２次元画像データにおいて個別的に分布する２次元
   画像の領域である物体領域について、時間軸方向の長さ
   を算出して、当該物体の存在時間を求める存在時間算出
   手段と、 前記求められた存在時間が予め定めた一定時間より長い
   場合、滞留状態と判定する滞留検出手段と、 前記判定結果を出力する手段とを備えることを特徴とす
   る移動物体監視装置。
2. 【請求項２】 請求項１に記載の移動物体監視装置にお
   いて、 前記時系列画像生成手段は、２次元画像データとして、
   ２次元の２値画像データを生成することを特徴とする移
   動物体監視装置。
3. 【請求項３】 請求項１および２のいずれか一項に記載
   の移動物体監視装置において、 前記物体領域ごとに識別子を付するラベリング手段をさ
   らに備えることを特徴とする移動物体監視装置。
4. 【請求項４】 請求項３に記載の移動物体監視装置にお
   いて、 前記存在時間算出手段は、前記ラベリング手段によりラ
   ベリングされた物体領域ごとの時間軸方向の、最小座標
   値および最大座標値を用いて物体の存在時間を求めるこ
   とを特徴とする移動物体監視装置。
5. 【請求項５】 請求項４に記載の移動物体監視装置にお
   いて、 前記存在時間算出手段は、ラベリングされた物体領域の
   うち、時間軸方向の最小座標値または最大座標値が現在
   時刻に等しい物体領域についてのみ物体の存在時間を求
   めることを特徴とする移動物体監視装置。
6. 【請求項６】 請求項２に記載の移動物体監視装置にお
   いて、 前記存在時間算出手段は、前記物体領域の輪郭追跡を行
   ってそれぞれについての方向コード群を求め、得られた
   方向コード群の時間軸方向を表す方向コードの内、正方
   向または負方向のコードの個数＋１を物体領域の時間軸
   方向の長さとすることを特徴とする移動物体監視装置。
7. 【請求項７】 請求項２に記載の移動物体監視装置にお
   いて、 前記存在時間算出手段は、前記物体領域のうち、基準と
   する２値データの所定の方向で、上記基準データの片側
   一方向に、上記基準データと同じ値の２値データが連続
   し、かつ、上記基準データの上記所定の方向と反対方向
   に上記基準データと違う値の２値データが連続すると
   き、その基準データを線分要素画像として抽出し、該線
   分要素画像に対して、輪郭追跡により求めた方向コード
   群の時間軸方向を表す方向コードの内、正方向または負
   方向のコードの個数＋１を物体領域の時間軸方向の長さ
   とすることを特徴とする移動物体監視装置。
8. 【請求項８】 請求項６および７に記載の移動物体監視
   装置において、 前記存在時間算出手段は、物体領域のうち現在時刻に存
   在する物体領域についてのみ時間軸方向の長さを求める
   ことを特徴とする移動物体監視装置。
9. 【請求項９】 請求項６、７および８に記載の移動物体
   監視装置において、 前記存在時間算出手段は、前記物体領域の形態に現われ
   る凹部を当該物体領域を構成する画像データで埋めて穴
   埋め画像を得る処理を、前記存在時間算出処理の前に行
   うことを特徴とする移動物体監視装置。
10. 【請求項１０】 請求項９に記載の移動物体監視装置に
    おいて、 前記存在時間算出手段は、少なくとも、開口幅が内部の
    幅より小さい形態を有する凹部を穴埋め処理の対象とす
    ることを特徴とする移動物体監視装置。
11. 【請求項１１】 請求項９および１０のいずれか一項に
    記載の移動物体監視装置において、 前記存在時間算出手段は、前記物体領域の形態に現われ
    る穴部を、さらに穴埋め対象とすることを特徴とする移
    動物体監視装置。
12. 【請求項１２】 請求項９に記載の移動物体監視装置に
    おいて、 前記存在時間算出手段は、前記物体領域の各画素に対し
    て、水平方向の走査を上から下へ、または下から上へ、
    または垂直方向の走査を左から右へまたは右から左へ順
    次行って、基準とする２値データの走査方向にのびる両
    隣のデータが、基準データと同じ２値データであると
    き、上記基準データの上記走査方向と垂直方向にある上
    下あるいは左右の２値データうち走査行あるいは走査列
    の移動方向側の２値データをを上記基準データと同じデ
    ータに変化させて第１の画像を得、次に前記と反対の向
    き（水平方向の走査を上から下に対しては下から上に、
    垂直方向の走査を左から右に対しては右から左）に順次
    走査して、基準とする２値データの走査方向にのびる両
    隣のデータが、基準データと同じ２値データであると
    き、上記基準データの上記走査方向と垂直方向にある上
    下あるいは左右の２値データうち走査行あるいは走査列
    の移動方向側の２値データをを上記基準データと同じデ
    ータに変化させて第２の画像を得、前記第１の画像と第
    ２の画像の論理和画像を得ることにより穴埋め画像を得
    ることを特徴とする移動物体監視装置。
13. 【請求項１３】 請求項１〜１２のいずれか一項に記載
    の移動物体監視装置において、 前記画像入力手段によって取り込まれた画像から監視対
    象の物体を示す物体データを抽出すべき領域を設定する
    領域設定手段をさらに備え、 前記物体データ抽出手段は、前記取込んだ画像のうち設
    定された領域内で物体データを抽出することを特徴とす
    る移動物体監視装置。
14. 【請求項１４】 請求項１３に記載の移動物体監視装置
    において、 前記画像入力手段は、カメラをさらに備え、該カメラに
    より撮像された画像を取込むことを特徴とする移動物体
    監視装置。