JP2000034088A - マンコンベアの乗客監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 乗客のハンドレールからの乗り出し検出をカ
メラで精度良く行う。 【解決手段】 画像処理装置３０ａは、マンコンベア２
およびその上の乗客を撮影した画像をカメラ１ａから画
像メモリ３０２に取り込む。画像処理部３００およびＣ
ＰＵ３３０は、取り込まれた画像に基づいて、指定され
た乗り出し検出領域における画像の変化を検出して、ハ
ンドレールからの乗客の乗り出し候補を示す画像を抽出
する。また、抽出された乗り出し候補を示す画像につい
て特徴量を抽出する。ＣＰＵ３３０は、その特徴量が注
意対象とすべき乗り出しであることを表わしているかを
判定し、いずれかの乗り出し候補が注意対象とすべき乗
り出しである場合、注意喚起のための信号をインタフェ
ース部３３１からマンコンベア制御装置２１ａに出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マンコンベアの乗
客監視方法および装置に係り、特に、乗客の行動状態を
検出し、その結果に基づいて案内、表示、制御を行う監
視方法および装置に関する。

【０００２】

【従来の技術】乗客を乗せて搬送するマンコンベアは、
一般に、現場には監視員がいない無人状態で運転され
る。ところが、この種のコンベアでは、手摺からその外
側に身を乗り出したり、乗降口付近に乗客が滞留するこ
とがあり得る。そのため、乗客を監視し、必要に応じて
警報を出力することが行なわれている。

【０００３】例えば、乗り出しに関する技術としては、
手摺に沿って、その外側空間における乗客のはみ出し
を、光電センサ、赤外線センサ等のスイッチを設けて、
乗客のはみ出しを検知するものがある（特開平９−３０
１６６５号公報、特開平８−８３１７１号公報、特開昭
６３−２５２８９６号公報、特開昭６３−７４８８７号
公報）。また、ハンドレールに加わる荷重を検知して、
乗り出しを検知するものがある（特開平２１２３０９３
号公報）。

【０００４】

【発明が解決しようとする課題】上記従来技術は、乗り
出しに関しては、センサを配置して検出することが行わ
れている。ところが、マンコンベアは、それを設置する
建造物における構造の都合から、種々の設置条件があ
り、それに合わせて、センサ類を設置することは、手間
がかかる共に、処理回路等との接続に際しても、多数の
信号線を長い距離引き回す必要がある等の問題がある。

【０００５】本発明の目的は、カメラの画像を処理する
ことにより、マンコンベアにおける乗り出し検出ができ
るようにしたマンコンベアの乗客監視方法および装置を
提供することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の第１の態様によれば、ハンドレールから
の乗客の乗り出しを監視するマンコンベアの乗客監視装
置において、マンコンベアおよびその上の乗客を撮影し
て、その画像を取り込む画像入力手段と、前記画像入力
手段により取り込まれた画像に基づいて、指定された乗
り出し検出領域における画像の変化を検出して、ハンド
レールからの乗客の乗り出し候補を抽出する乗り出し候
補抽出手段と、前記乗り出し候補抽出手段により抽出さ
れた乗り出し候補について、該乗り出し候補を示す画像
の特徴量を抽出し、その特徴量が注意対象とすべき乗り
出しであることを表わしているかを判定して、いずれか
の乗り出し候補が注意対象とすべき乗り出しである場
合、注意喚起のための信号を出力する乗り出し判定手段
とを備えることを特徴とするマンコンベアの乗客監視装
置が提供される。

【０００７】前記乗り出し候補抽出手段は、ハンドレー
ルを表わす画像の表現態様の変化の検出、および、ハン
ドレールのエッジを示すエッジ情報の変化の検出のいず
れか一方、または、両者に基づいて、乗り出し候補を抽
出する構成とすることができる。この場合、前記ハンド
レールを表わす画像の表現態様の変化として、ハンドレ
ールを表わす画像の明るさを示す情報、および、色を示
す情報のうち、少なくとも一方を用いることができる。
また、指定された乗り出し検出領域における画像の変化
している部分が、ハンドレールに沿って予め定めたしき
い値以上の長さを有する場合、その部分を乗り出し候補
として抽出する構成とすることができる。

【０００８】また、前記乗り出し判定手段は、乗り出し
候補の特徴量として、例えば、次の１以上の手段により
抽出されるものを採用することができる。

【０００９】（ａ）画像の、ハンドレールに沿って定め
られる乗り出し検出線のハンドレール外側方向における
画素分布についての、前記乗り出し検出線から連続して
分布する長さを示す連続性情報を求め、前記連続性情報
が予め定めたしきい値以上であるとき、当該乗り出し候
補を注意対象とすべき乗り出しであると判定する。

【００１０】（ｂ）乗り出し候補を示す画像と背景画像
との相関情報を求め、相関値がしきい値より小さい乗り
出し候補について、注意対象とすべき乗り出しであると
判定する。

【００１１】（ｃ）画像の面積を表わす面積情報を求
め、面積がしきい値より大きい場合、当該乗り出し候補
を注意対象とすべき乗り出しであると判定する。

【００１２】さらに、乗り出し判定において、一定周期
で乗り出し判定を行い、前記注意対象とすべき乗り出し
を、ｎ回連続して判定した場合に、注意喚起のための信
号を出力する構成とすることができる。

【００１３】また、本発明の他の態様にれば、ハンドレ
ールからの乗客の乗り出しを監視するマンコンベアの乗
客監視方法において、マンコンベアおよびその上の乗客
を撮影して、その画像を取り込み、前記取り込まれた画
像に基づいて、指定された乗り出し検出領域における画
像の変化を検出して、ハンドレールからの乗客の乗り出
し候補を抽出し、前記抽出された乗り出し候補につい
て、該乗り出し候補を示す画像の特徴量を抽出し、その
特徴量が注意対象とすべき乗り出しであることを表わし
ているかを判定し、いずれかの乗り出し候補が注意対象
とすべき乗り出しである場合、注意喚起のための信号を
出力することを特徴とするマンコンベアの乗客監視方法
が提供される。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００１５】図１は、本発明のマンコンベア乗客監視装
置の全体構成を示すブロック図である。

【００１６】図１に示すように、本発明の乗客監視装置
は、その基本構成として、カメラと、画像処理装置３０
ａとを有する。図１に示す例では、マンコンベア２ａ、
２ｂが、順次配列され、それぞれのコンベア２ａ、２ｂ
について、監視が行われる例を示している。そのため、
図１の例では、複数箇所のそれぞれにおいて監視を行う
ための複数台のカメラ１ａ、１ｂと、各カメラ１ａ、１
ｂごとに設けられる、複数台の画像処理装置３０ａ、３
０ｂとが配置される。なお、図１では、マンコンベア２
ａ、２ｂは、下から上に乗客を移動させるものである。
したがって、マンコンベア２ｂ、２ａの順に下から上に
配列される。

【００１７】また、図１の例では、マンコンベアを１台
ずつ順次配列した例を示しているが、もちろん、これに
限定されない。例えば、複数台が並列されることもあ
る。さらに、上から下に向かうマンコンベアが逆並列に
配置されることもある。

【００１８】カメラ１ａ、１ｂは、マンコンベア２ａ、
２ｂの乗り口および降り口をそれぞれ撮影している。昇
りマンコンベアであるとすると、カメラ１ａは、マンコ
ンベア２ａ本体およびその乗り口と、マンコンベア２ｂ
の降り口とを撮影する。カメラ１ｂは、マンコンベア２
ｂの本体およびその乗り口とを撮影する。カメラ１ａ、
１ｂで撮影した画像は、画像処理装置３０ａ、３０ｂに
それぞれ入力される。

【００１９】画像処理装置３０ａ、３０ｂは、取り込ま
れた画像を処理する画像処理部３００、装置全体の制御
や画像処理部３００の結果を処理するＣＰＵ３３０、Ｃ
ＰＵ３３０のプログラムおよびデータを記憶するメモリ
３３２と、対話的に処理領域等を設定するための入力装
置（マウス）３４０と、マンコンベア制御装置２１との
情報の受け渡しを行うインタフェース部３３１とを備え
る。以下、画像処理装置３０ａの動作内容を中心に説明
する。なお、画像処理装置３０ｂも同様に動作する。

【００２０】画像処理部３００は、カメラ１ａからの画
像をディジタル信号に変換するＡ／Ｄ変換機３０１と、
画像を蓄積する画像メモリ３０２と、画像メモリに蓄積
される画像を表示するためアナログ信号に変換するＤ／
Ａ変換器３０７とを画像の入出力部として有する。ま
た、画像の処理を行う処理回路系として、二つの画像の
差分を求める演算を行う画像間演算回路３０３と、多値
画像（濃淡画像）を２値画像に変換する２値化回路３０
４と、画素分布を求めるヒストグラム処理回路３０５お
よびヒストグラムメモリ３０６と、画像について空間積
和演算を行う空間積和演算回路３１５と、画像の形状を
変換するための形状変換回路３１６と、二つの画像につ
いて、正規化相関関係を求める正規化相関演算回路３１
７と、複数の画像についてラベリングするラベリング回
路３１８とを有する。

【００２１】ヒストグラム処理回路３０５は、具体的に
は、例えば、図１３に示すような論理演算ユニット３０
５１と、このユニット３０５１にデータを取り込むため
のラッチ３０５２と、セレクタ３０５３、３０５４およ
び３０５６と、レジスタ３０５５および３０５７とを備
える。また、ヒストグラムメモリ３０６は、メモリ本体
３０６１を有する。本実施の形態では、ヒストグラム処
理回路３０５およびヒストグラムメモリ３０６を、ｘ軸
への画像累積とｙ軸への画像累積とを独立に行えるもの
を備えている。もちろん、ｘ、ｙのそれぞれに共用する
ものであってもよい。ヒストグラム処理回路３０５は、
論理演算ユニット３０５１により、ｘ軸、ｙ軸のそれぞ
れの画素について、累積加算を行って、累積値を求め
る。なお、ヒストグラムメモリ３０６には、画像の投影
分布、濃度頻度分布等を記憶することができる。

【００２２】前記積和演算回路３１５は、処理すべき画
像について荷重マトリクスを用いて空間フィルタリング
処理を行うための回路であって、入力画像からマスクを
介してマトリクス状に画素データを取り込んで、それぞ
れ荷重マトリクスの重みとの積を求めると共に、和を求
め、結果を、出力画像中のある画素の値として出力する
演算を、入力画像の全部または一部について順次行う。
荷重マトリクスの重み分布を選ぶことにより、ノイズ除
去、エッジ強調等の処理を行うことができる。

【００２３】形状変換回路３１６は、処理すべき画像に
ついて、その外形を膨張処理して画素の抜け等を補間す
る処理を行う。また、一旦縮小してから、膨張処理をし
て元に戻すことにより、小面積のノイズを除去すること
ができる。

【００２４】正規化相関演算回路３１７は、乗り出し候
補を示す画像の特徴量として、当該乗り出し候補を示す
画像と背景画像との相関値を求める回路である。本実施
の形態の正規化相関演算回路３１７は、乗り出し候補を
示す画像と背景画像とについて、それぞれＸ、Ｙ方向に
３画素ずつ飛んだ画素について相関値をまず計算し、そ
の上で、相関値が一定の範囲内である領域について、前
記相関値を計算した画素の周りの点について、順次相関
値を計算して、より正確な相関値を求める構成となって
いる。

【００２５】ラベリング回路３１８は、乗り出し候補画
像について、あるかたまりの領域に対して識別子、例え
ば、番号を付して管理する回路である。

【００２６】ところで、上述したヒストグラム処理回路
３０５およびヒストグラムメモリ３０６と、空間積和演
算回路３１５と、形状変換回路３１６と、正規化相関演
算回路３１７と、ラベリング回路３１８とについては、
本実施の形態では、全ての回路を用いているが、実施の
形態によっては、必ずしも必要とせず、省略することも
できる。

【００２７】ＣＰＵ３３０には、インタフェース部３３
１を介してマンコンベア制御装置２１ａおよび２１ｂが
接続される。マンコンベア制御装置２１ａ、２１ｂは、
マンコンベア２ａおよび２ｂの運転をそれぞれ制御する
と共に、警告、案内等を報知する機能を有する。そのた
め、スピーカ２２ａ、２２ｂがそれぞれ対応して接続さ
れる。また、インタフェース部３３１には、マウス３４
０、カメラ１ａが接続される。

【００２８】カメラ１ａで撮影した画像は、画像処理装
置３０ａに入力される。画像処理装置３０ａは、撮影さ
れた画像信号を取り込み、Ａ／Ｄ変換器３０１によっ
て、例えば、１２８階調の濃度データに変換して、画像
メモリ３０２に記憶する。なお、カラーカメラの場合に
は、３組のＡ／Ｄ変換器により、Ｒ、Ｇ、Ｂの各色成分
毎に画像メモリ３０２に記憶する。

【００２９】さらに、該画像処理部３００は、ＣＰＵ３
３０の指令に基づいて、画像メモリ３０２のデータを用
いて、空間積和演算、画像間演算、２値化、形状変換、
ヒストグラム処理、正規化相関演算等をそれぞれ、空間
積和演算回路３１５、画像間演算回路３０３、２値化回
路３０４、形状変換回路３１６、ヒストグラム処理回路
３０５、正規化相関演算回路３１７等で処理し、必要に
応じて処理結果、入力画像等をＤ／Ａ変換器３０７によ
って画像信号に変換してモニタ３５０に表示する。

【００３０】ＣＰＵ３３０は、メモリ３３２を用いて、
画像処理部３００の処理結果に基づいて乗客の乗り出し
候補を抽出すると共に、抽出された乗り出し候補につい
て、注意すべき対象であるかの判定を行い、その結果に
応じて、事象の発生したマンコンベア制御装置２１ａま
たは２１ｂに事象発生の情報、すなわち、当該マンコン
ベアに注意すべき事象が発生していることを喚起する情
報をインタフェース部３３１を介して伝送する。具体的
には、例えば、乗り出しが発生していることに伴う注意
喚起のための信号を出力する。マンコンベア制御装置２
１は、送られてきた事象の内容によりマンコンベアの停
止や案内装置２２による案内、表示等を行う。

【００３１】図２は、本発明の乗り出し検出の説明図で
あり、カメラの視野の中心軸をマンコンベアの両側のハ
ンドレール間の中心付近で乗降口の上部に設定したカメ
ラからマンコンベア本体および乗降口付近を見た図を示
している。マンコンベアの左側ハンドレール２３Ｌ、右
側ハンドレール２３Ｒ、マンコンベアの乗り場、降り場
を構成する床板２７、踏板２８がある。乗客２０が左側
ハンドレール２３Ｌから乗り出している。

【００３２】乗客の乗り出しを検出するために、本監視
装置の設置者あるいは監視員等はあらかじめマウス３４
０等を用いて乗り出し候補検出線２４Ｌ、２４Ｒを設定
しておく。また、乗り出し監視領域２６Ｌ、２６Ｒは乗
り出し候補検出線２４Ｌ、２４Ｒを基に自動的に設定さ
れる。なお、該検出線２４Ｌ、２４Ｒは必ずしも線分で
ある必要はなく、代わりに広がりを持つ領域を設定する
ことも可能である。また、乗り出し候補検出線２４Ｌ、
２４Ｒは取り込んだ画像を処理して、自動的に設定する
ことも可能である。また、乗り出し候補検出線２４Ｌ、
２４Ｒは、ハンドレールの外側エッジにできるだけ近い
位置に設定されるのが望ましいが、ハンドレール上また
はハンドレールの外側であっても構わない。

【００３３】次に、本発明の第１の実施の形態につい
て、図３を参照して説明する。図３は本発明の動作を示
す処理フローである。図３において、ステップ２００〜
ステップ２２０までは、準備のための処理である。すな
わち、ここまでの処理により、前記画像入力手段により
取り込まれた画像を用いて上記乗客の状態を監視するた
めの領域を設定する処理領域設定手段が実現される。こ
の処理が行われた後、画像入力手段により取り込まれた
画像に基づいて、指定された乗り出し検出領域における
画像の変化を検出して、ハンドレールからの乗客の乗り
出し候補を示す画像を抽出する乗り出し候補抽出処理２
３０（ステップ２３１〜２３５）が行なわれる。この
後、前記乗り出し候補抽出手段により抽出された乗り出
し候補を示す画像について特徴量を抽出し、その特徴量
が注意対象とすべき乗り出しであることを表わしている
かを判定して、いずれかの乗り出し候補が注意対象とす
べき乗り出しである場合、注意喚起のための信号を出力
する乗り出し判定処理（ステップ２４０〜２６０）が実
行される。

【００３４】図３において、まず、画像処理装置３０ａ
が起動されると、画像メモリ３０２、ヒストグラムメモ
リ３０６のクリア等の初期化を行う（ステップ２０
０）。次に、カメラ１ａから画像を取り込む（ステップ
２１０）。この画像を基に、マウス３４０を用いて人が
対話的に乗り出し候補検出線２４Ｌ、２４Ｒを設定する
か、本装置が自動的に乗り出し候補検出線２４Ｌ、２４
Ｒを設定し、それらの情報をメモリ３３２に記憶し（ス
テップ２２０）、監視を開始する。

【００３５】以下、本発明の中心である乗り出し候補抽
出処理２３０および乗り出し判定処理２４０について、
図２〜図５を用いて説明する。

【００３６】図４は、現在時刻をｔとしたときに、時刻
ｔ−２、時刻ｔ−１、時刻ｔのように時間経過ととも
に、乗客２０がマンコンベアの踏板２８の移動とほぼ同
期して上方に移動している様子を模式的に表している。

【００３７】乗り出し候補抽出処理２３０では、まず、
現在時刻ｔの入力画像５０２を取り込み、画像メモリ３
０２に記憶するとともに、空間積和演算回路３１５を用
いて平滑化してノイズを除去する（ステップ２３１）。
そして、前前回（時刻ｔ−２）と前回（時刻ｔ−１）と
において取り込んで画像メモリ３０２に記憶してある画
像５００、５０１を、空間積和演算回路３１５を用いて
平滑化してノイズを除去する。

【００３８】ついで、画像間演算回路３０３を用いて、
まず、画像５００と５０１との間で差分処理をした後、
２値化回路３０４を用いて２値化し、差分２値画像５０
３を得る。同様に、画像５０１と５０２から差分２値画
像５０４を得る（ステップ２３２）。そして、得られた
２個の差分２値画像５０３、５０４を形状変換回路３１
６を用いて、膨張処理により、それぞれ１〜２画素分外
側に膨らませて、物体の重なりによる抜けを減らし、膨
張結果画像５０５、５０６を得る（ステップ２３３）。
そして、得られた２個の膨張結果画像５０５、５０６の
論理積演算を画像間演算回路３０３を用いて行うことに
より論理積結果画像５０７を得る（ステップ２３４）。
なお、図４に示す画像５０３〜５０７は、いずれも２値
画像であり、白い部分が値「０」、テキスチャ部分が値
「１」を表している。

【００３９】次に、得られた論理積結果画像５０７に対
して、乗り出し候補検出線２４Ｌに沿って値が「１」の
部分を検出し、その長さがあるしきい値（例えば、腕を
検出できる値）以上の部分を、図４に示す画像５０８の
ように、乗り出し候補２９として検出する（ステップ２
３５）。この場合のしきい値としては、例えば、１０画
素分の長さとすることができる。

【００４０】以上のように、本例では、取込まれた画像
について、指定された乗り出し検出領域における画像変
化を検出して、乗り出し候補を抽出する処理２３０が実
行される。この後、乗り出し判定処理２４０が行なわれ
る。

【００４１】乗り出し判定処理２４０について、図５
（ａ）〜（ｅ）を用いて説明する。なお、本例では、乗
り出し候補の特徴量として、前記画像の、ハンドレール
に沿って定められる乗り出し検出線のハンドレール外側
方向における画素分布についての、前記乗り出し検出線
から連続して分布する長さを示す連続性情報を用いる。
そして、連続性情報が予め定めたしきい値以上であると
き、当該乗り出し候補を注意対象とすべき乗り出しであ
ると判定する。

【００４２】乗客２０が乗り出し候補検出線２４Ｌを遮
っていても、必ずしも全べての場合において、実際にハ
ンドレールから乗り出している訳ではない。例えば、カ
メラを左右のハンドレール間のほぼ中心に設定したとす
ると、カメラ視野の広がりにより、ハンドレール近くに
きちんと立って乗車している乗客２０の上部は、画像で
はハンドレールの外側に見え、見かけ上、乗り出し候補
検出線２４Ｌを遮ることになる。そこで、実際に乗り出
しが発生しているかを、物体のハンドレールからの連続
性を考慮して判定する。

【００４３】そのために、乗り出し候補抽出処理２３０
で得た全ての乗り出し候補２９の一つ一つについて、そ
の先頭ｙ座標および最終ｙ座標を基に、横方向に一定の
幅を持つ候補領域２５を設定し、該領域２５内の値
「１」の部分をヒストグラムメモリ３０６とヒストグラ
ム処理回路３０５とを用いてｘ軸に投影し、図５(b) に
示すようなｘ軸投影分布を求める。実際には、各ｘ座標
に対応する画素数の値が各ｘ座標に対応したヒストグラ
ムメモリ３０６に格納される。この画素数がしきい値Ｎ
-th以上である部分が候補領域２５の右端（右のハンド
レールからの乗り出しの場合は左端）から連続して続く
物体の存在長Ｌを求める（ステップ２４０）。そして、
前記、存在長Ｌと異常判定しきい値(Ｌ-th)と比較する
ことにより、異常事象が発生したかどうか判断する（ス
テップ２５０）。ここで、前記候補領域の幅としては、
例えば、２５画素とすることができる。また、前記しき
い値Ｎ-thとしては、例えば、４とすることができる。
さらに、前記異常判定しきい値Ｌ-thとしては、例え
ば、１０とすることができる。

【００４４】異常事象が発生していなければ、ステップ
２３０に戻り、異常が発生していたら、異常内容に対応
した信号、すなわち、注意喚起のための信号を関係する
マンコンベア装置２１に送る。マンコンベア装置２１は
送られてきた異常内容信号に基づき案内装置２２により
音声や表示などの案内を行うとともに必要があれば、停
止・減速等のマンコンベアの制御を行い（ステップ２６
０）、その後、ステップ２３０の監視状態に戻る。

【００４５】なお、異常判定処理２５０は、該長さＬが
あらかじめ決められたしきい値Ｌ-thを越える場合に、
乗り出しが発生したと判断する。一方、ハンドレール近
くにきちんと立って乗車している乗客２０の場合は、図
５（ｃ）、（ｄ）に示すように、物体存在長Ｌ’がしき
い値Ｌ-thを満足しないので、乗り出しではないと判断
する。

【００４６】次に、本発明の第１の実施の形態の変形例
について説明する。前記第１の実施の形態では、乗り出
し判定処理２４０では、物体存在長Ｌを求めて異常を判
定しているが、監視領域内２５の物体（画像）の面積を
求め、その値がしきい値Ｓ-th以上かどうか、あるい
は、該面積を監視領域の高さで割った値がしきい値Ｌ１
-th以上かどうかで異常を判定するものである。このよ
うにすれば、より簡単な処理で実現可能となるこの場
合、図５（ｅ）に示すように、乗り出し候補検出線２４
ＬからＬoff（オフセット値）離れた位置に幅Ｗの検出
領域３０を自動的に設定し、該領域３０内の面積がしき
い値Ｓ１-th以上かどうかで、異常を判定することも可
能である。例えば、（Ｌoff＝５、Ｓ１-th＝３０）とす
ることができる。

【００４７】次に、本発明の第２の実施の形態として、
乗り出し候補抽出処理および／または乗り出し判定処理
に、背景情報を用いる例を示す。

【００４８】図６は、第２の実施の形態の動作を示す処
理フローである。まず、画像処理装置３が起動される
と、画像メモリ３０２、ヒストグラムメモリ３０６のク
リア等の初期化が行われ（ステップ１３００）、カメラ
１から画像を取り込む（ステップ１３１０）。この画像
を基に、マウス３４０を用いて人が対話的に設定する
か、本装置が自動的に乗り出し候補検出線２４Ｌ、２４
Ｒを設定し、それらの情報をメモリ３３２に記憶する
（ステップ１３２０）。次に、背景画像を取り込み、画
像メモリ３０２に記憶し（ステップ１３３０）、監視を
開始する。背景画像は、入力画像全体でもよいが、最低
必要となる、乗り出し監視領域２６Ｌ、２６Ｒの背景画
像が得られればよい。なお、該背景画像は、入力画像中
に移動物体が存在しないことを認識して自動的に生成す
ることも可能である。

【００４９】以下、本発明の中心である乗り出し候補抽
出処理１３４０および乗り出し検出３５０について、図
６〜図８を用いて説明する。

【００５０】図７は、乗客２０がハンドレール２３Ｌか
ら乗り出している様子を模式的に表している。乗り出し
候補抽出処理１３４０は、現在時刻ｔの入力画像６００
を取り込み、画像メモリ３０２に記憶するとともに、空
間積和演算回路３１５を用いて平滑化してノイズを除去
する（ステップ１３４１）。以下の処理では、背景画像
が作成済みの乗り出し監視領域２６Ｌ、２６Ｒ内だけを
処理する。これは、該領域２６Ｌ、２６Ｒにウインドウ
を設定することにより実現される。

【００５１】次に、すでに画像メモリ３０２に記憶して
ある背景画像６０１を空間積和演算回路３１５を用いて
平滑化してノイズを除去し、画像間演算回路３０３を用
いて、画像６００と６０１との間で差分処理をした後、
２値化回路３０４を用いて２値化し、差分２値画像６０
２を得る（ステップ１３４２）。なお、画像６０２は、
白い部分が値「０」、テキスチャ部分が値「１」を表し
ている。

【００５２】次に、得られた差分２値画像６０２に対し
て、乗り出し候補検出線２４Ｌに沿って値が「１」の部
分を検出し、その長さがあるしきい値（例えば、腕を検
出できる値）以上の部分を乗り出し候補２９として検出
する（ステップ１３４３）。なお、乗り出し候補２９を
抽出するには、乗り出し監視領域２６Ｌ全体の背景差分
処理をする必要はなく、乗り出し候補検出線２４Ｌ上の
画素の表現態様、すなわち、画素の濃度情報（明るさ情
報）または色情報があれば、該直線２４Ｌ上のみの背景
差分処理により乗り出し候補２９を抽出できる。

【００５３】以上が乗り出し候補抽出処理１３４０であ
る。引き続いて、乗り出し判定処理１３５０について、
図８を用いて説明する。ここでは、実際に乗り出しが発
生しているかを乗り出しが発生している可能性のある部
分の背景画像と入力画像の相関値（類似性）を特徴量と
して考慮して判定する。

【００５４】そのために、乗り出し候補抽出処理１３４
０で得た全ての乗り出し候補２９の一つ一つについて、
その先頭ｙ座標および最終ｙ座標を基に横方向にある一
定の幅を持つ候補領域２５を設定し、入力画像６０１'
の該領域２５を切り出しパターン６０４とし、背景画像
６０２'の該領域２５をテンプレートパターン６０５と
し、正規化相関演算回路３１７を用いて正規化相関演算
を実施し、両パターンの一致度（相関値）を求める。
（ステップ１３５０）。そして、前記、相関値と異常判
定しきい値(C-th)と比較することにより、異常事象が発
生したかどうか判断する（ステップ１３６０）。すなわ
ち、乗り出し候補が、注意すべき対象であるかどうか判
断する。

【００５５】異常事象が発生していなければ、ステップ
１３４０に戻り、異常が発生していたら、異常内容に対
応した信号を関係するマンコンベア装置２１に送る。マ
ンコンベア装置２１は送られてきた異常内容信号に基づ
き案内装置２２により音声や表示などの案内を行うと共
に、必要があれば、停止・減速等のマンコンベアの制御
を行い（ステップ１３７０）、ステップ１３４０の監視
状態に戻る。

【００５６】なお、異常判定処理１３６０は、該両パタ
ーンの一致度（相関値）があらかじめ決められたしきい
値Ｃ-th以下の場合に、乗り出しが発生したと判断し、
ハンドレール近くにきちんと立って乗車している乗客２
０の場合は、該両パターンの一致度（相関値）があらか
じめ決められたしきい値Ｃ-thを越えるので、乗り出し
ではないと判断する。これは、乗り出しが無い場合に
は、入力画像と背景画像のパターンはほぼ同じになるの
で、両者の一致度が高くなるからである。乗り出しの検
出に正規化相関演算を用いることにより、明るさの変動
に対して安定した判断が可能となる。なお、しきい値Ｃ
-thとしては、例えば、０．６とすることができる。

【００５７】次に、本発明の第３の実施の形態として、
乗り出し候補検出にハンドレールのエッジ情報を用いる
例を示す。

【００５８】図９は、本発明の第３の実施の形態の動作
を示す処理フローである。まず、画像処理装置３が起動
されると画像メモリ３０２、ヒストグラムメモリ３０６
のクリア等の初期化が行われ（ステップ４００）、カメ
ラ１から画像を取り込む（ステップ４１０）。この画像
を基にマウス３４０を用いて人が対話的に設定するか、
本装置が自動的に乗り出し候補検出線２４Ｌ、２４Ｒを
設定し、それらの情報をメモリ３３２に記憶する（ステ
ップ４２０）。次に、背景画像を取り込み、画像メモリ
３０２に記憶する（ステップ４３０）。次に、該背景画
像に対して空間積和演算回路３１５を用いて微分処理
し、ハンドレールの外側エッジを切り出し、ハンドレー
ル情報６０（微分２値画像７０３）として記憶する（ス
テップ４３５）。なお、ハンドレール情報６０（微分２
値画像７０３）は本監視装置の設置者あるいは監視員等
があらかじめマウス３４０等を用いて乗り出し候補検出
線２４Ｌ、２４Ｒとしてハンドレールの外側エッジ部分
にきちんと設定できれば、それを用いることも可能であ
る。

【００５９】以下、本発明の中心である乗り出し候補抽
出処理４４０について図９〜図１０を用いて説明する。

【００６０】図１０は、乗客２０がハンドレール２３Ｌ
から乗り出している様子を模式的に表している。

【００６１】乗り出し候補抽出処理４４０は、現在時刻
ｔの入力画像７００を取り込み、画像メモリ３０２に記
憶する（ステップ４４１）。次に、空間積和演算回路３
１５を用いて微分処理し、２値化回路３０４を用いて２
値化し、微分２値画像７０２を得る（ステップ４４
２）。続いて、該微分２値画像７０２と予め求めてある
ハンドレール情報６０との間で画像間演算回路３０３を
用いて排他的論理和演算(EOR)を行い、さらに、その結
果と該ハンドレール情報６０との間で論理積演算(AND)
を行い、乗り出し候補画像７０５を抽出する（ステップ
４４３）。なお、画像７０２,７０３,７０４,７０５
は、２値画像であり、白い部分が値「０」、黒い部分が
値「１」を表している。

【００６２】次に、乗り出し候補画像７０５に対してラ
ベリング回路３１８を用いて、ラベリング処理により各
領域に対して番号付けをし、番号のついた物体毎にその
長さを求め、物体の長さがあるしきい値（例えば、腕を
検出できる値）以上の部分を乗り出し候補２９として検
出する（ステップ４４４）。

【００６３】以上が乗り出し候補抽出処理４４０であ
る。この後、乗り出し判定処理４５０に移行する。この
乗り出し判定処理は、前述の図３の乗り出し判定処理２
４０、または、図６の乗り出し判定処理１３５０と同じ
処理でよい。また、異常判定４６０、注意案内４７０
も、図３（ステップ２５０、２６０）、図６（ステップ
１３６０、３７０）と同じでよい。

【００６４】以上述べたように、乗り出し候補検出にハ
ンドレールのエッジ情報を用いることにより、ハンドレ
ールの表現態様、すなわち、明るさまたは色とほぼ同じ
服装の乗客であっても、物理的に乗客がハンドレールを
隠すため、該乗客の乗り出しを検出することができる。
したがって、本手段は、ハンドレールとその背景とのコ
ントラストが大きい場合には非常に有効である。ただ
し、コントラストが小さい場合、エッジ情報がうまく求
まらなくなることが考えられる。そこで、新たな手段と
して、エッジ情報を用いた手段と、ハンドレールの明る
さあるいは色情報を用いた手段との両手段を用いて乗り
出し候補検出を行う手段が考えられる。これによれば、
前記両手段の欠点を補いあうと共に、両手段の利点を共
に利用することができ、検出精度を向上することが期待
できる。

【００６５】先に述べたように、乗客２０が乗り出し候
補検出線２４Ｌを遮っていても、必ずしも全部が実際に
ハンドレールから乗り出している訳ではない。例えば、
ハンドレール近くにきちんと立って乗車している乗客２
０の上部は、画像ではハンドレールの外側に見え、乗り
出し候補検出線２４Ｌを遮ることになる。そのため、ハ
ンドレール外を通行中の人物５０と上記ハンドレール近
くにきちんと立って乗車している乗客２０とが、カメラ
の視野上、重なることにより、乗り出しの誤検出が発生
する可能性が起こり得る。このような誤検出の発生の可
能性が予想できる場合には、次の第４の実施の形態のよ
うにして対応することができる。この対応策は、事象の
継続性に着眼したものである。

【００６６】マンコンベア上の乗客２０は、マンコンベ
ア２と同じ速度で一定方向に移動しており、ハンドレー
ル外の通行人、および、対向するマンコンベアの乗客と
は、それぞれ相対速度が異なっている。すなわち、移動
方向あるいは移動速度が異なっている。そこで、すでに
述べたいくつかの実施の形態のようにして検出した乗り
出し検出について、それが連続してｎ回続いた場合にの
み、真の乗り出し発生と判断する。このようにすること
で、当該マンコンベアの乗客と、それ以外の人とを区別
することができる。また、コンベアの乗客の乗り出しで
あっても、注意を要しない、瞬時的な乗り出しの場合を
除くことができる。

【００６７】本実施の形態について、図１１および図１
２を用いて説明する。図１１は、マンコンベア上の乗客
２０とハンドレール外の通行人５０との重なり発生の状
態を模式的に表したものである。図１１(Ａ)(a)〜(c)
は、（ｔ−２）〜（ｔ）までの時刻経過と共に、乗客２
０と通行人５０が反対方向に、図１１(Ｂ)(a)〜(c)は、
（ｔ−２）〜（ｔ）までの時刻経過と共に、乗客２０と
通行人５０が同一方向に画面上異なる速度で、それぞれ
移動している例を示す。

【００６８】この図から分かるように、乗り出し発生の
有無を複数回連続でチェックすることにより、重なりに
よる誤検出を減らすことができる。

【００６９】図１２は、本実施の形態の動作を示す処理
フローである。まず、画像処理装置３が起動されると、
画像メモリ３０２、ヒストグラムメモリ３０６のクリ
ア、乗り出し検出カウンタ等の初期化が行われる（ステ
ップ８００）。カメラ１から画像を取り込む（ステップ
８１０）。この画像を基に、マウス３４０を用いて人が
対話的に乗り出し候補検出線２４Ｌ、２４Ｒを設定する
か、本装置が自動的に乗り出し候補検出線２４Ｌ、２４
Ｒを設定し、それらの情報をメモリ３３２に記憶し（ス
テップ８２０）、監視を開始する。

【００７０】監視において、乗り出し候補抽出処理８３
０、乗り出し判定処理８４０および異常判定処理８５０
は、図３の乗り出し候補抽出処理２３０、乗り出し判定
処理２４０および異常判定処理２５０とそれぞれ同じで
ある。したがって、ここでは、説明を繰り返さない。

【００７１】異常判定処理８５０で異常事象が発生して
いれば、乗り出し検出カウンタを＋１し（ステップ８６
０）、該乗り出し検出カウンタの値が所定値ｎ以上かど
うか判定する（ステップ８７０）。カウンタの値がｎ以
上であれば、真に乗り出しが発生したと判断し、異常内
容に対応した信号を関係するマンコンベア装置２１に送
る。マンコンベア装置２１は、送られてきた異常内容信
号に基づき案内装置２２により音声や表示などの案内を
行うとともに必要があれば、停止・減速等のマンコンベ
アの制御を行い（ステップ８８０）、ステップ８３０の
監視状態に戻る。カウンタの値がｎ未満であれば、その
ままステップ８３０の監視状態に戻る。異常判定処理８
５０で異常事象が発生していなければ、乗り出し検出カ
ウンタをクリアし（ステップ８９０）、ステップ８３０
の監視状態に戻る。なお、ｎは通常３〜５である。

【００７２】以上、図１２に示す例は、図３の例を基に
した処理の流れを示すが、図６、図９でも基本的には同
じであり、ステップ１３６０およびステップ４６０の処
理がステップ８５０、８６０、８７０および８９０に置
き変わるだけである。

【００７３】以上の説明では、乗り出しに関する処理の
みを示したが、本発明は、他の処理をあわせて行うこと
を妨げない。例えば、マンコンベアの乗降口での滞留
を、同じカメラまたは他のカメラを用いて行うようにし
てもよい。その際には、乗り出し検出線２３Ｌ、２３Ｒ
と同様に、滞留監視領域２７の設定を行う。そして、こ
の滞留監視領域内での画像の変化を観察して、滞留を検
出する。

【００７４】以上に述べた各実施の形態によれば、ハン
ドレールからの乗り出し候補を検出するための乗り出し
候補検出線あるいは／および検出領域をマンコンベアの
ハンドレール上またはハンドレールと背景の境界部また
はハンドレールのすぐ外側に設定し、カメラからの画像
情報を処理することにより、乗り出し候補の抽出を行う
ことができる。そして、抽出した乗り出し候補につい
て、抽出した画像の特徴量を求め、その特徴量を用い
て、注意対象である乗り出しであるかを判定することが
できる。したがって、高精度で、乗り出し検出ができ
る。

【００７５】また、本発明では、乗り出し候補の抽出
を、ハンドレールの表現態様、例えば、明るさ、色情
報、ハンドレールのエッジ情報等を用いて行うことがで
きる。このため、それぞれの態様に応じて、高精度の乗
り出し検出ができる。また、ハンドレールのエッジ情報
およびハンドレールの明るさまたは色情報を用いて乗り
出し候補を検出することにより、さらに高精度の乗り出
し検出ができる。

【００７６】一方、本発明では、乗り出し候補について
注意対象であるか否かを判定する際に、ハンドレールか
ら外側に突出している画像の連続性を示す情報を用いる
こと、背景画像との相関情報を用いること、物体の面積
情報を用いること等の手法を用いることができる。この
ため、真の乗り出しを検出することができて、誤検出の
発生を減らして、高精度の乗り出し検出が期待できる。

【００７７】また、ｎ回連続して乗り出しを検出した場
合に真の乗り出し検出とすることにより、誤検出を減ら
して高精度の乗り出し検出ができる

【００７８】

【発明の効果】本発明によれば、カメラの画像を処理す
ることにより、マンコンベアにおける乗り出し検出がで
き、しかも、高精度に検出が出きる効果がある。

【図面の簡単な説明】

【図１】 本発明の全体構成図を示す説明である。

【図２】 本発明のマンコンベアの監視領域を示す説明
図である。

【図３】 本発明の第１の実施の形態の監視処理の流れ
を示すフローチャートである。

【図４】 複数時刻において取り込んだ画像について、
差分、膨張の各処理を行って、乗り出し候補を抽出する
手順を示す説明図である。

【図５】 （ａ）〜（ｅ）はハンドレールから外側に向
かう画像の画素分布の連続性を示す情報を用いた乗り出
し判定の原理を示す説明図である。

【図６】 本発明の第２の実施の形態の監視処理の流れ
を示すフローチャートである。

【図７】 ハンドレールの明るさまたは色情報を用いた
乗り出し候補抽出の手順を説明する説明図である。

【図８】 入力画像と背景画像との相関情報を用いた乗
り出し判定処理の説明図である。

【図９】 本発明の第３の実施の形態の監視処理の流れ
を示すフローチャートである。

【図１０】 ハンドレールのエッジ情報を用いた乗り出
し候補抽出の手順を示す説明図である。

【図１１】 （Ａ）および（Ｂ）は乗客と通行人との重
なり発生の状態を模式的に表した図説明である。

【図１２】 本発明の第４の実施の形態の監視処理の流
れを示すフローチャートである。

【図１３】 ヒストグラム処理回路およびヒストグラム
メモリの構成の一例を示す回路図である。

【符号の説明】

１ａ、１ｂ…カメラ、２ａ、２ｂ…マンコンベア、３０
ａ、３０ｂ…画像処理装置、２１ａ、２１ｂ…マンコン
ベア制御装置、２２ａ、２２ｂ…案内装置、２３Ｌ、２
３Ｒ…ハンドレール、３００…画像処理部、３５０…モ
ニタ、３３２…メモリ、３３０…CPU、３３１…インタ
フェース部、３４０…マウス

───────────────────────────────────────────────────── フロントページの続き (72)発明者 崎村 茂寿 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 飛田 敏光 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 (72)発明者 山下 健一 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 (72)発明者 千葉 久生 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 Ｆターム(参考） 3F321 EA01 EB07 EC06 GA28

Claims (11)

【特許請求の範囲】
1. 【請求項１】 ハンドレールからの乗客の乗り出しを監
   視するマンコンベアの乗客監視装置において、 マンコンベアおよびその上の乗客を撮影して、その画像
   を取り込む画像入力手段と、 前記画像入力手段により取り込まれた画像に基づいて、
   指定された乗り出し検出領域における画像の変化を検出
   して、ハンドレールからの乗客の乗り出し候補を抽出す
   る乗り出し候補抽出手段と、 前記乗り出し候補抽出手段により抽出された乗り出し候
   補について、該乗り出し候補を示す画像の特徴量を抽出
   し、その特徴量が注意対象とすべき乗り出しであること
   を表わしているかを判定して、いずれかの乗り出し候補
   が注意対象とすべき乗り出しである場合、注意喚起のた
   めの信号を出力する乗り出し判定手段とを備えることを
   特徴とするマンコンベアの乗客監視装置。
2. 【請求項２】 請求項１に記載の監視装置において、 前記乗り出し候補抽出手段は、ハンドレールを表わす画
   像の表現態様の変化を検出して、乗り出し候補を抽出す
   ることを特徴とするマンコンベアの乗客監視装置。
3. 【請求項３】 請求項１に記載の監視装置において、 乗り出し候補抽出手段は、ハンドレールのエッジを示す
   エッジ情報の変化を検出して、乗り出し候補を抽出する
   ことを特徴とするマンコンベアの乗客監視装置。
4. 【請求項４】 請求項１に記載の監視装置において、 前記乗り出し候補抽出手段は、ハンドレールを表わす画
   像の表現態様の変化の検出、および、ハンドレールのエ
   ッジを示すエッジ情報の変化の検出に基づいて、乗り出
   し候補を抽出することを特徴とするマンコンベアの乗客
   監視装置。
5. 【請求項５】 請求項２および４のいずれか一項に記載
   の監視装置において、 前記乗り出し候補抽出手段は、前記ハンドレールを表わ
   す画像の表現態様の変化として、ハンドレールを表わす
   画像の明るさを示す情報、および、色を示す情報のう
   ち、少なくとも一方を用いて乗り出し候補を抽出するこ
   とを特徴とするマンコンベアの乗客監視装置。
6. 【請求項６】 請求項１、２、３、４および５のいずれ
   か一項に記載の監視装置において、 前記乗り出し候補抽出手段は、指定された乗り出し検出
   領域における画像の変化している部分が、ハンドレール
   に沿って予め定めたしきい値以上の長さを有する場合、
   その部分を乗り出し候補として抽出することを特徴とす
   るマンコンベアの乗客監視装置。
7. 【請求項７】 請求項１に記載の監視装置において、 前記乗り出し判定手段は、 前記乗り出し候補を示す画像の特徴量として、前記画像
   の、ハンドレールに沿って定められる乗り出し検出線の
   ハンドレール外側方向における画素分布についての、前
   記乗り出し検出線から連続して分布する長さを示す連続
   性情報を求め、 前記連続性情報が予め定めたしきい値以上であるとき、
   当該乗り出し候補を注意対象とすべき乗り出しであると
   判定することを特徴とするマンコンベアの乗客監視装
   置。
8. 【請求項８】 請求項１に記載の監視装置において、 前記乗り出し判定手段は、 前記乗り出し候補を示す画像の特徴量として、当該乗り
   出し候補を示す画像と背景画像との相関情報を求め、 相関値がしきい値より小さい乗り出し候補について、注
   意対象とすべき乗り出しであると判定することを特徴と
   するマンコンベアの乗客監視装置。
9. 【請求項９】 請求項１に記載の監視装置において、 前記乗り出し判定手段は、 前記乗り出し候補を示す画像の特徴量として、当該画像
   の面積を表わす面積情報を求め、 当該面積がしきい値より大きい場合、当該乗り出し候補
   を注意対象とすべき乗り出しであると判定することを特
   徴とするマンコンベアの乗客監視装置。
10. 【請求項１０】 請求項１〜９のいずれか一項に記載の
    監視装置において、 前記乗り出し判定手段は、一定周期で乗り出し判定を行
    い、前記注意対象とすべき乗り出しを、ｎ回連続して判
    定した場合に、注意喚起のための信号を出力することを
    特徴とするマンコンベアの乗客監視装置。
11. 【請求項１１】 ハンドレールからの乗客の乗り出しを
    監視するマンコンベアの乗客監視方法において、 マンコンベアおよびその上の乗客を撮影して、その画像
    を取り込み、 前記取り込まれた画像に基づいて、指定された乗り出し
    検出領域における画像の変化を検出して、ハンドレール
    からの乗客の乗り出し候補を抽出し、 前記抽出された乗り出し候補について、該乗り出し候補
    を示す画像の特徴量を抽出し、その特徴量が注意対象と
    すべき乗り出しであることを表わしているかを判定し、 いずれかの乗り出し候補が注意対象とすべき乗り出しで
    ある場合、注意喚起のための信号を出力することを特徴
    とするマンコンベアの乗客監視方法。