JP2000137790A - マンコンベアの画像監視方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】マンコンベア監視において、監視領域をカメラ
画像から自動設定し、人出を大幅に省力化する。 【解決手段】マンコンベア１とその周辺を撮影している
テレビカメラ２と、その映像を処理する画像処理装置３
によって構成される。空運転時の画像から、マンコンベ
アのステップ領域を抽出し、ヒストグラム処理によりス
テップの前縁（デマケーションライン）間の距離をそれ
ぞれ検出し、実機の前縁間距離が一定値となる関係を利
用してカメラパラメータ（テレビカメラの俯角や設置高
さ）を求める。実機の仕様から与えられる水平、垂直
（奥行き）方向の値とその任意領域を、上記のパラメー
タを用いて座標変換して画像上に自動設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はマンコンベアの画像
監視システムに関し、特に、任意の監視領域（計算領
域）を自動設定する方式に関する。

【０００２】

【従来の技術】一般に、乗客を載せて搬送するマンコン
ベアは無人運転される。人身事故などを未然に防止する
ために、マンコンベア上と乗降口付近の乗客のを含む画
像を時系列に撮影し、乗客の挙動による画像の乱れから
転倒などの異常を検知することが知られている（特開平
５−３１９７６２号）。

【０００３】

【発明が解決しようとする課題】マンコンベアの乗客の
異常を画像処理により検知する場合、ハンドレールや乗
降口など、監視領域の設定に問題がある。カメラ高さ
や、カメラの俯角をあらかじめ人手により測っておき、
この値を用いて座標変換式から領域を設定する方式もあ
る。しかしながら、高さは正確に測れたとしても、カメ
ラの俯角を正確に求めることは困難であり、結局精度の
高い領域設定が出来ない実際には、設置済のカメラから
撮影したマンコンベアの画像上で、人がマウス等を用い
て位置指標と対話的に領域設定しているが、精度のよい
設定には時間が掛る。このため、監視カメラの普及とと
もに、自動設定に対するニーズが高まっている。

【０００４】先に、本出願人は『マンコンベアの乗客監
視方法および装置（特願Ｈ１０−２０３４８１号）』を
出願し（以下、先願と呼ぶ）、その明細書中に「時系列
の差分画像の累積画像からステップ領域を自動抽出し、
そのｘ軸投影分布から領域のｘ軸中心座標を求める（図
９、段落：００５９〜００６１）」ことを開示してい
る。

【０００５】しかし、この先願による領域設定は、マン
コンベアの３次元空間における水平（Ｘ）、奥行き
（Ｚ）の情報が考慮されていないので完全な自動化は不
可能で、マウス等による領域設定の支援に止まる。つま
り、画像上の任意点の実距離の情報が付加されなけれ
ば、任意の監視領域の自動設定はできない。

【０００６】本発明の目的は、従来技術の問題点に鑑
み、上記した先願の見地を発展させ、設置されたテレビ
カメラの位置情報を画像処理により求め、その位置情報
を基に任意の監視領域の自動設定を可能にする、マンコ
ンベアの画像監視方法および装置を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記目的を達成する本発
明は、周辺を含むマンコンベアの稼動状況を周期的に撮
影し、予め設定された監視領域における画像の変化から
乗客の動作を監視するマンコンベアの画像監視方法にお
いて、マンコンベアの画像からステップ（踏段）のデマ
ケーションライン（前縁）の各位置（座標）を求めると
ともに、実機における各デマケーションラインの間隔が
一定値となる関係を利用して、画像上の座標系と実空間
の水平及び奥行き方向の座標系を対応付けるパラメータ
（カメラの向き、高さ）を求め、このパラメータを用い
て任意の監視領域を画像上に自動設定することにより達
成される。

【０００８】上記における監視領域の自動設定は、実機
の仕様に基づいて指定された実空間の水平（Ｘ）及び奥
行き（Ｚ）方向の複数の座標値を、前記パラメータを用
いて画像上の座標に変換して画像上に実空間の座標軸
（Ｘ−Ｚ面）を設定し、該座標軸を基準として任意の監
視領域を設定、描画する。

【０００９】また、ハンドレール境界線など、前記実空
間のＸ軸より高い位置にある監視領域を設定する場合
に、Ｚ軸から垂直にとる前記カメラ高さを前記高い位置
の分だけ補正する。

【００１０】また、前記パラメータは射影変換による座
標変換式を用い、カメラの据付け高さ（Ｈ）と俯角
（θ）をそれぞれ所定刻みで可変しながら、各デマケー
ションラインの画像上の座標（ｘ，ｙ）を実空間の座標
（Ｘ，Ｚ）に変換し、変換後のデマケーションラインの
座標（Ｘ，Ｚ）による各間隔が一定値となるように前記
カメラの据付け高さ（Ｈ）と俯角（θ）を最適化する。

【００１１】本発明の方法を適用するマンコンベアの画
像監視装置は、無人状態で運転中のマンコンベアを時系
列に撮影した画像を取り込み、その変化部分の累積から
マンコンベアのステップ領域を検出するステップ領域検
出手段と、前記ステップ領域における複数のデマケーシ
ョンライン（前縁）の画像上の位置座標を検出するデマ
ケーションライン位置検出手段と、前記位置座標を実空
間における位置座標に変換した場合、実空間におけるデ
マケーションラインの間隔が全て所定寸法となる関係を
利用して、設置されているテレビカメラのカメラ設置高
さ（Ｈ）とカメラ俯角（θ）を算出するカメラパラメー
タ算出手段と、算出されたカメラパラメータを利用して
マンコンベア監視に必要な監視領域を設定する計測領域
設定手段と、を有する画像処理装置を備えている。

【００１２】また、前記ステップ領域検出手段は、予め
０クリアしている累積画像を準備するとともに、任意の
時間間隔で入力したカメラ画像のフレーム間差分処理し
た画像を２値化し、この画像と前記累積画像とのＯＲ演
算で重ね合わせ画像を作成し、この重ね合わせ画像の中
に前記ステップ領域の形状に類似している図形が現れる
まで前記フレーム間差分処理、２値化処理およびＯＲ演
算を繰り返し実行する。

【００１３】また、前記デマケーションライン位置検出
手段は、前記ステップ領域の画像と無人状態で運転中の
マンコンベアの入力画像でマスク処理して水平線となる
デマケーションラインの各々を抽出し、ヒストグラム処
理による水平方向濃度の投影分布からその各ピークに相
当するデマケーションラインの位置座標を求める。

【００１４】次に、本発明の作用を説明する。マンコン
ベアのハンドレールや、乗降口等の領域を設定するため
には、カメラの設置情報（カメラの焦点距離Ｆ、カメラ
の俯角θ、カメラ設置高さＨ）の情報が必要となる。こ
のカメラパラメータが定義できれば、画像上に３次元空
間を投影したＸ（水平方向）、Ｚ（奥行き）座標の距離
が全て定義できる。パラメータの内、カメラの焦点距離
Ｆは設置前から既知であるため、本発明ではそれ以外の
パラメータ（カメラの俯角θ、カメラ設置高さＨ）を、
カメラからの取り込み画像を元に算出する。

【００１５】すなわち、マンコンベアの画像から抽出し
たステップ領域で、各デマケーションラインの各置座標
（ｘ，ｙ）を求め、上記Ｈ、θをパラメータとして実空
間（Ｘ−Ｚ面）に座標変換した場合、実機におけるデマ
ケーションラインの間隔が一定値に収斂するように、画
像上の座標系と実空間の座標系を対応付けるパラメータ
Ｈ、θの最適値を求め、この最適パラメータを用いて実
空間の位置で指定される任意の監視領域を画像上に自動
設定する。

【００１６】図２に、本発明のマンコンベア監視装置の
監視領域設定方法の手順を示す。最初に、カメラから無
人状態で稼動中のマンコンベア画像を取り込み（ｓ２
０）、この画像を時系列に累積してマンコンベアのステ
ップ領域を検出する（ｓ２１）。次に、このステップ領
域から、各ステップの前縁（デマケーションライン）の
位置を求め、画像上における前縁座標（ｘ，ｙ）間の距
離を算出する（ｓ２２）。実空間におけるマンコンベア
のステップ間隔は一定値なので、画像上で求めた前縁間
隔を数１，２により実空間に座標変換したときの各値が
全て一定値になるように、カメラパラメータのＨ、θを
定める（ｓ２３）。

【００１７】

【数１】

【００１８】

【数２】

【００１９】最後に、決定されたカメラパラメータを用
いて、指定の監視領域を自動設定する（ｓ２４）。パラ
メータＨ、Ｆ、θが決まっている場合、数１、数２に実
空間上の座標Ｚ，Ｘを与えることで画像上の座標点ｘ，
ｙを求めることができ、マンコンベアの任意の位置を指
定した監視領域の自動設定が可能になる。

【００２０】

【発明の実施の形態】以下、本発明の一実施例を図面に
したがって説明する。図１は、本発明の一実施例による
マンコンベア監視装置の全体構成を示す。マンコンベア
１に対し、テレビカメラ２が設置されており、テレビカ
メラ２の映像信号が画像処理装置３に取り込まれ、モニ
タ４に表示される。

【００２１】画像処理装置３は、取り込まれた画像を処
理する画像処理部１００、全体の制御や画像処理結果を
元に領域設定や監視処理を行うＣＰＵ１１２、ＣＰＵ１
１２のプログラムやデータを記憶するメモリ１１１、異
常出力などマンコンベア制御装置との情報授受を行うイ
ンターフェース部１１３を備えている。

【００２２】画像処理部１００は、カメラ２からの画像
をディジタル信号に変換するＡ／Ｄ変換器１０１、変換
後の画像を蓄積する画像メモリ１０２、画像メモリ１０
２に格納されている画像を表示するためアナログ信号に
変換するＤ／Ａ変換器１０３を有し、これらにより画像
入出力部を構成する。

【００２３】また、領域設定や異常判定のための画像処
理の機能として、画像と画像の間で加算、減算などを行
なう画像間演算回路１０４、２値化処理などの画素変換
回路１０５、画像の投影分布などを求めるヒストグラム
回路１０６、その結果を格納するヒストグラムメモリ１
０７、画像の平滑化や微分処理等を実行する空間積和演
算回路１０８、２値画像の膨張、収縮処理などをおこな
う形状変換回路１０９、２値画像の物体にラベル付けす
るラベリング回路１１０を有し、以上の機能は、メモリ
１１１にプログラミングされたＣＰＵ１１２の処理によ
り実行される。

【００２４】図３に、マンコンベアの監視領域の一例を
示す。マンコンベア１のステップ領域１６、ハンドレー
ル境界１７−ａ、１７−ｂ、乗降口領域１８、ハンドレ
ール巻き込み口領域１９−ａ、１９−ｂなどが、取り込
み画像から後述のように求めたカメラパラメータを元
に、画像１５上に自動設定する。

【００２５】この監視領域に対し、たとえばハンドレー
ルからの乗り出しを画像処理で監視し、ハンドレール境
界１７からのしきい値を越えて乗客の画像が検出される
とき、警報やマンコンベア１の停止などが行なわれる。

【００２６】図４は、本画像処理装置の概略の動作を示
す処理フローである。まず、画像処理装置３が起動され
ると、画像メモリ１０３、ヒストグラムメモリ１０７等
の画像処理部１００の初期化を行う（Ｓ１）。次に、カ
メラ２からの画像を取り込み、本発明の監視領域設定が
後述のように行われる（Ｓ２）。

【００２７】Ｓ３の処理はマンコンベアの乗客監視の手
順を示す。この監視手順は、上記先願の明細書の段落０
０３９〜００４４に詳述されている。まず、カメラ２か
ら実運転中の現在の画像を一定周期で取り込み（ｓ３
１）、あらかじめ画像メモリ１０２に記憶してある背景
画像との間で、画像演算差分回路１０４による差分処理
を行い、その結果を画像変換回路１０５で２値画像に変
換する（ｓ３２）。マンコンベア１や乗降口付近に人が
存在する場合は、人の画像が差分画像として検出でき
る。

【００２８】次に、乗客異常判定処理を行う（ｓ３
３）。たとえば、ＣＰＵ１１２はハンドレール境界１７
の外側に設定される監視領域に、上記の２値画像が存在
しその画素数がしきい値を越える場合、乗り出しまたは
乗り出し候補と判定する。異常有りの場合は（ｓ３
４）、異常信号を出力し（ｓ３５）、スピーカによる警
報ないしはマンコンベアの停止が行われる。

【００２９】以下、本発明の特徴部をなす監視領域自動
設定のための構成と動作を、一実施例によって詳細に説
明する。図５に、マンコンベアを横から見たカメラの設
置状態と座標関係を示す。マンコンベア１の斜面を水平
面と仮定し、その面の奥行き方向をＺ軸、マンコンベア
１の水平方向をＸ軸と定義し、Ｚ軸に対するマンコンベ
ア１とカメラ２の俯角をθ、マンコンベア１からカメラ
２までのＺ軸に垂直な設置高さをＨとする。奥行きＺと
水平方向距離Ｘはカメラパラメータθ、Ｈから、上記し
た数１、数２のように定義できる。なお、Ｆはカメラレ
ンズの焦点距離でカメラの固有値、（ｘ，ｙ）はカメラ
の受光素子（ＣＣＤ）面の座標系を示す。また、カメラ
２とＺ軸に直交する点が原点（０，０）に相当する。

【００３０】図６に、カメラ受光素子の座標と画像メモ
リの座標の関係の説明図を示す。図示例の場合、カメラ
２のＣＣＤ（ｘ，ｙ）と、画像メモリ１０２の座標
（ｐ，ｑ）との関係は、数３によって定義される。

【００３１】

【数３】

【００３２】ここで、ＣＣＤは２／３インチの場合で、
そのサイズは約８．８×６．６ｍｍで、（ｘ，ｙ）の原
点は中央である。また、画像メモリ１１２は５１２×４
８０画素数で、（ｐ，ｑ）の原点は左上である。

【００３３】したがって、画像メモリ（つまり、モニタ
４の画面）の座標（ｐ，ｑ）は、数３によってＣＣＤ座
標（ｘ，ｙ）に変換でき、さらに数１、数２により実距
離を求めることができる。以下では、説明を簡単にする
ために、画像座標はＣＣＤの座標（ｘ，ｙ）を用いる。

【００３４】監視領域の設定は、前述した図２の手順に
従って行われる。まず、処理ｓ２１〜ｓ２３によるカメ
ラパラメータの求め方を詳細に説明する。カメラレンズ
の焦点距離Ｆは設置前に決定しているので、ここでは他
のパラメータＨ，θを画像処理により求める。

【００３５】図７は、画像処理によるマンコンベアのス
テップ領域の検出手順（ｓ２１）を示す。撮影されてい
る画像の中にはマンコンベアだけでなく周辺の建物の構
造物などがある。このため、自動的にマンコンベアの領
域を切り出す処理を実行する。ここで、以下の処理はデ
パートなどのマンコンベアは開店前の時点では人が誰も
いない状態があるので、そのタイミングにこの自動設定
処理を実行することを前提として説明する。すなわち、
人が乗っていない状態で空運転されることを想定してい
る。

【００３６】まず、カメラ２からの画像を所定周期で入
力する（ｓ２１１）。この画像を24−aとして示す。空
運転中のマンコンベアの移動部分を抽出するために、画
像間演算回路104でフレーム間差分処理を実行する（ｓ
２１２）。これにより、デマケーションラインの黄色い
部分を抽出した画像25−aが作成できる。画像25−aを画
素変換回路105により、所定のしきい値で２値化処理し
（ｓ２１３）、この画像を画像間演算回路104により蓄
積中の累積画像とＯＲ処理していくと（ｓ２１４）、累
積画像27−aのように徐々にデマケーションラインの情
報が増えていく。累積画像27−aを形状変換回路109によ
り、膨張処理などの整形処理をすると（ｓ２１５）、画
像28−a、28−b、28−c のように、累積回数に応じて徐
々にマンコンベア１のステップ領域の形状に近づいて行
く。

【００３７】この整形画像28の形状が台形かチェック
し、台形のサイズなどが予め定めた所定値内に入ってい
れば、その物体がマンコンベアのステップ領域で有ると
判断し（ｓ２１６）、検出が終了する。なお、ステップ
領域の検出処理の実行プログラムと画像処理部100の関
係回路が、本発明で言うステップ領域検出手段に相当す
る。

【００３８】ところで、マンコンベアの移動速度は通常
30m／minであるが、上記フレーム間差分処理の時間間隔
を適正に設定することが必要になる。すなわち、ステッ
プ間距離は一般には500mm程度で、この間隔の移動時間
は約１秒である。したがって、フレーム間差分の時間を
１秒程度にしている場合は、新、旧の画像に変化が無く
デマケーションラインを検出できない。また、その半分
の時間間隔0.5秒程度に設定した場合は、デマケション
ラインの間隔を1／2したような位置にフレーム間差分画
像が現れるが、常にこの位置だけが検出されてしまうた
めに、累積画像28−c のようなきれいなパターンは得ら
れない。

【００３９】一方、33ミリ秒のリアルタイムにフレーム
間差分処理を実行すればこのような問題はなくなるが、
逆に33ミリ秒の時間間隔では移動していないように見え
てしまい、フレーム間差分画像が検出できなくなる。こ
の問題は、マンコンベアの上の方と、下の方では画像分
解能が異なるために、特に上の方でフレーム間隔が短い
とデマケーションラインの検出ができなくなる。

【００４０】そこで、上方、下方ともにデマケーション
ラインが良好に検出できる方法を示す。ここでは、マン
コンベアの領域がどこにあるかまだ分かっていない状態
なので、時間間隔を100〜500ミリ秒の間で変化させ、フ
レーム間差分を求める方式としている。すなわち、最初
に100ミリ秒でフレーム間差分した場合は、次が200ミリ
秒、300ミリ秒、400ミリ秒、500ミリ秒、100ミリ秒とサ
イクリックに変化させる。これにより、画面の上方、下
方の位置によらず、移動している領域の画像を良好に累
積することが可能となる。

【００４１】また、もし、画像累積処理中に人が進入し
た場合は、一旦画像をクリアしなければ永久に、上記ス
テップ領域を抽出できなくなってしまう。そこで、フレ
ーム間差分の画像はデマケーションラインが主であるの
で、物体の高さが小さいことに着目し、２値化処理した
画像に対しラベリング回路110でラベリング処理を実行
し、ラベリング画像の各物体の内、所定高さ以上の物体
が入った場合は、累積画像27を一旦クリアすることで、
人の進入や急激な明るさ変化などに対しても対応可能と
なる。なお、本実施例では、フレーム間差分処理画像を
２値化し、ＯＲ演算を繰り返しているが、フレーム間差
分画像を所定回数累積していく方式もある。

【００４２】以上のステップ領域検出手段の結果画像か
ら、台形図形の領域を指定してステップ領域を設定する
ことが可能である。しかし、ハンドレールの位置や、乗
降口付近の領域を正確に設定することは出来ない。すな
わち、画像上の任意領域の設定は、任意の位置に対する
水平、垂直（奥行き）の情報が求まらなければ困難なの
で、この画像からの自動設定方式は不十分なものにな
る。

【００４３】そこで、任意の位置に自動的に領域設定で
きるように、ステップの前縁（デマケーションライン）
座標間の距離を算出し（ｓ２２）、実機におけるステッ
プ間距離が全て一定となる条件を利用して、カメラパラ
メータのＨ、θを算出し（ｓ２３）、画像上の座標
（ｘ，ｙ）と実空間の座標（Ｘ，Ｚ）の関連付けを実現
する。なお、以下に示す検出処理の実行プログラムと画
像処理部100の関連回路が、本発明で言うデマケーショ
ンライン位置検出手段に相当する。

【００４４】図８に、ステップの前縁（デマケーション
ライン）位置の検出方法を示す。まず、ｓ２１で検出し
たステップ領域画像30−aとマンコンベアの入力画像30
−bでマスク（ＡＮＤ）処理して、入力画像の中からス
テップ領域だけの画像30−cを抽出する（ｓ２２１）。

【００４５】この画像にはデマケーションラインだけで
なくハンドレール近傍の縦線も存在しているので、この
切り出し画像に対し空間積和演算回路108で垂直微分
（水平線の検出）を実行し（ｓ２２２）、デマケーショ
ンラインを強調した画像31−aを抽出する。この強調画
像に対し、ヒストグラム処理回路106で水平方向に濃度
の投影分布を求めると（ｓ２２３）、エッジ成分の位置
にピークが現れるパターン（32−b）が得られる。この
投影分布に対し、所定のしきい値を設定し、山のピーク
点ｐ（ｎ）を検出する。ここで、ｎは山の数である。

【００４６】通常、マンコンベア１のステップ間隔は図
９のような寸法になっている。ステップ34の前縁（デマ
ケーションライン）35の間隔は約500mmである。つま
り、図６で求めたピーク点ｐ（ｎ）はデマケーションラ
イン35に相当し、ピーク点とピーク点の間隔は500mmに
なっているはずである。この点に着目すると、カメラパ
ラメータＨ、θを以下のように決定できる。

【００４７】図１０はカメラパラメータ（Ｈ、θ）の算
出処理の一例を示す。なお、カメラパラメータ算出手段
は、以下の算出処理のプログラムを実行するＣＰＵ112
が主体となる。

【００４８】まず、カメラ高さＨを２〜４ｍまで、カメ
ラ俯角θを１０〜４０度まで、それぞれ任意の刻みで可
変設定し（ｓ２３１，ｓ２３２）、その時のデマケーシ
ョンラインの実距離Ｚをピーク点ｐ（ｎ）を変えながら
数１より２点ずつ求め（ｓ２３４１，ｓ２３４２）、２
点の実距離Ｚ（ｎ）、Ｚ（ｎ＋１）の差分の絶対値の累
積、すなわち実ステップ間隔の累積Lengを求める（ｓ２
３４３）。なお、ｘは０、ｙはｐ（ｎ）の値を代入す
る。

【００４９】ステップの数が10個なら9個の幅の累積を
求めることが出来る。この累積値の平均とステップ間距
離の実寸500mmの差が、Ｈ、θに関する評価値〔Ｈ〕
〔θ〕となるので（ｓ２３５）、この評価値をＨ、θの
全ての組み合わせについて計算する。そして、評価値
〔Ｈ〕〔θ〕が最小となるときのＨ、θの組み合わせを
求める（ｓ２３６）。この結果がカメラ画像の処理結果
から求まる最適パラメータとなる。カメラパラメータ
Ｈ、θが求まると、実空間の原点（０，０）に対し、
Ｘ、Ｚ空間を描画することができる。

【００５０】図１１に、実空間の原点に対するＸ、Ｚ平
面のモニタ画面上での描画例を示す。この図で、Ｘ（水
平方向）軸は0.5ｍきざみ、Ｚ（奥行き方向）軸は１ｍ
きざみで描画している。この描画には、数４、数５を用
いて、画像座標系（ｘ，ｙ）に変換した値を用いる。

【００５１】

【数４】

【００５２】

【数５】

【００５３】マンコンベアの画像１５上で、ステップ領
域１６を設定したい場合、マンコンベアの仕様から、例
えば、Ｚ軸を１〜５ｍの範囲、Ｘ軸を±0.5ｍの範囲を
指定して、対応するｘ，ｙの位置を数３、数４から求め
れば、ステップ領域16を自動設定することができる。な
お、本発明の計測領域設定手段は、数４、数５による座
標演算を行うＣＰＵ100と、座標軸や計測領域（監視領
域）を描画する描画プロセッサ（図示なし）、画像メモ
リ102、Ｄ／Ａ変換器103、モニタ４からなる。

【００５４】また、ハンドレールの位置を求めたい場合
は、図１２のように、Ｚ軸面をハンドレールの位置に設
定する。このため、これまでのカメラ高さＨからハンド
レールの高さｈを減算した高さＨ’を新たなカメラ高さ
として、数４、数５を計算すればよい。

【００５５】図１３に、Ｈ’で計算した描画例を示す。
マンコンベア１に対しハンドレールの位置を、例えばＺ
軸が2〜7ｍの範囲、Ｘ軸が0.7ｍの範囲で指定して、対
応するｘ，ｙの位置を求めれば、境界線17−a、17−bの
自動設定が行われる。

【００５６】以上のように、座標変換のためのカメラパ
ラメータをマンコンベアのカメラ画像から画像処理して
求め、これを元に高さを含む実空間の監視領域を画面上
に描画設定できる。なお、カメラの横向きの角度を上記
実施例では０度で計算している。実際の運用では、カメ
ラ横向き角度φも必要になることが多い。その場合は、
数１、数２に変えて、数６、数７を用いて同様な計算を
実行すればよい。

【００５７】

【数６】

【００５８】

【数７】

【００５９】上記の実施例で示した数１、数２及び数４
〜数７の座標変換式は、画像処理で言う射影変換による
ものであるが、本発明はこの変換方式に限られるもので
はない。また、カメラ高さＨ、θの最適値の計算方式
も、ニューラルネットワークで求めるなど種々の代案が
ある。すなわち、本発明は画像上のステップ間距離が実
空間で全て一定値となる関係を利用して、座標変換のた
めのカメラパラメータを求めるものであり、この技術思
想を含むものを広く包含する。

【００６０】

【発明の効果】本発明はマンコンベアの画像を処理して
画像上のステップ間距離を求め、実空間のステップ間距
離が一定値となる関係を利用してカメラパラメータ（カ
メラの設置高さ、カメラの向き）を求め、このパラメー
タを用いて実空間におけるマンコンベアの任意の監視領
域を画像上に自動設定する。これによれば、任意の監視
領域の設定を設置カメラの画像から簡単、かつ高精度に
設定できるので、立ち上げやメンテナンス時の領域設定
に要した人出を省力化でき、また、精度の高い監視が可
能になる。

【図面の簡単な説明】

【図１】本発明の一実施例によるマンコンベア監視装置
の構成図。

【図２】本発明の一実施例によるマンコンベア監視領域
の自動設定方法の概略手順を示すフローチャート。

【図３】マンコンベア監視装置の監視領域の描画例を示
す説明図。

【図４】マンコンベア監視装置の概略の動作を示すフロ
ーチャート。

【図５】横から見たマンコンベアとカメラの設置状態と
座標関係を示す説明図。

【図６】カメラのＣＣＤ面座標（ｘ，ｙ）と画像メモリ
の座標（ｐ，ｑ）の位置関係を示す説明図。

【図７】マンコンベア画像からステップ領域を抽出する
フローチャート。

【図８】ステップ領域図形から画像上のステップ間距離
を求めるフローチャート。

【図９】マンコンベアの実ステップ間距離の説明図。

【図１０】カメラパラメータの算出方法の一例を示すフ
ローチャート。

【図１１】実距離によるＸＺ平面と自動設定した監視領
域（ステップ）の描画例を示す説明図。

【図１２】図５に対して、Ｚ軸面をハンドレール上に設
定したときの座標関係を示す説明図。

【図１３】ＸＺ平面と自動設定したハンドレール境界線
の描画例を示す説明図。

【符号の説明】

１…マンコンベア、２…テレビカメラ、３…画像処理装
置、４…モニタ、１００…画像処理部、１０１…Ａ／Ｄ
変換器、１０２…画像メモリ、１０３…Ｄ／Ａ変換器、
１０４…画像間演算回路、１０５…画素変換回路、１０
６…ヒストグラム処理回路、１０７…ヒストグラムメモ
リ、１０８…空間積和演算回路、１０９…形状変換回
路、１１０…ラベリング回路、１１１…メモリ、１１２
…ＣＰＵ、１１３…インターフェース装置、１６…ステ
ップ領域、１７…ハンドレールの境界、１８…乗降口付
近の領域、１９…ハンドレール巻き込み口付近の領域、
３４…ステップ、３５…デマケーションライン（ステッ
プの前縁）。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 崎村 茂寿 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 飛田 敏光 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 (72)発明者 山下 健一 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 (72)発明者 千葉 久生 茨城県ひたちなか市市毛1070番地 株式会 社日立製作所水戸工場内 Ｆターム(参考） 3F321 EA01 HA00 5B057 AA20 BA02 CA01 CA08 CB01 CB08 CC03 DA06 DA07 DA08 DC05 5C054 AA01 CE02 CH02 FC12 FE09 HA27

Claims (9)

【特許請求の範囲】
1. 【請求項１】 周辺を含むマンコンベアの稼動状況を周
   期的に撮影し、予め設定された監視領域における画像の
   変化から乗客の動作を監視するマンコンベアの画像監視
   方法において、 マンコンベアの画像からステップ（踏段）のデマケーシ
   ョンライン（前縁）間の各位置（座標）を求めるととも
   に、実機におけるデマケーションラインの間隔が一定値
   となる関係を利用して、画像上の座標系と実空間の水平
   及び奥行き方向の座標系を対応付けるパラメータ（カメ
   ラの向き、高さ）を求め、このパラメータを用いて任意
   指定の監視領域を画像上に自動設定することを特徴とす
   るマンコンベアの画像監視方法。
2. 【請求項２】 マンコンベア及びその周辺をテレビカメ
   ラで周期的に撮映し、予め設定された監視領域における
   画像の変化から乗客の不安全な動作を検出するマンコン
   ベアの画像監視方法において、 マンコンベアの無人状態で動作中の画像を所定時間間隔
   で取り込み、時系列の画像変化の累積からステップ（踏
   段）領域を抽出し、該ステップ領域からデマケーション
   ライン（前縁）の画像上の各位置（座標）求め、 次に、実機におけるデマケーションラインの各間隔（距
   離）が一定値であることを利用して、画像上の水平
   （ｘ）及び垂直（ｙ）方向の座標と実空間の水平（Ｘ）
   及び奥行き（Ｚ）方向の座標を対応付けるパラメータ
   （カメラ向き、カメラ高さ）を求め、 次に、実機の仕様に基づいて指定された実空間の水平
   （Ｘ）及び奥行き（Ｚ）方向の複数の座標値を前記パラ
   メータを用いて画像上の座標に変換して画像上に実空間
   の座標軸（Ｘ−Ｚ面）を設定し、該座標軸を基準として
   任意の監視領域を設定、描画することを特徴とするマン
   コンベアの画像監視方法。
3. 【請求項３】 請求項２において、 ハンドレール境界線など、前記実空間のＸ軸より高い位
   置にある監視領域を設定する場合に、Ｚ軸から垂直にと
   る前記カメラ高さを前記高い位置の分だけ補正すること
   を特徴とするマンコンベアの画像監視方法。
4. 【請求項４】 請求項２または３において、 前記所定時間間隔は、１００〜５００ミリ秒の間でサイ
   クリックに可変することを特徴とするマンコンベアの画
   像監視方法。
5. 【請求項５】 請求項２、３または４において、 前記パラメータは射影変換による座標変換式を用い、カ
   メラの据付け高さ（Ｈ）と俯角（θ）をそれぞれ所定刻
   みで可変しながら、各デマケーションラインの画像上の
   座標（ｘ，ｙ）を実空間の座標（Ｘ，Ｚ）に変換し、変
   換後のデマケーションラインの座標（Ｘ，Ｚ）による各
   間隔が一定値となるように前記カメラの据付け高さ
   （Ｈ）と俯角（θ）を最適化することを特徴とするマン
   コンベアの画像監視方法。
6. 【請求項６】 周辺を含むマンコンベアの稼動状況を周
   期的に撮影するテレビカメラと、予め設定された監視領
   域の画像を処理する画像処理装置を備え、マンコンベア
   の危険な状況を監視するマンコンベアの画像監視装置に
   おいて、 無人状態で運転中のマンコンベアを時系列に撮影した画
   像を取り込み、その変化部分の累積からマンコンベアの
   ステップ領域を検出するステップ領域検出手段と、前記
   ステップ領域における複数のデマケーションライン（前
   縁）の画像上の位置座標を検出するデマケーションライ
   ン位置検出手段と、前記位置座標を実空間における位置
   座標に変換した場合、実空間におけるデマケーションラ
   インの間隔が全て所定寸法となる関係を利用して、設置
   されているテレビカメラのカメラ設置高さ（Ｈ）とカメ
   ラ俯角（θ）を算出するカメラパラメータ算出手段と、
   算出されたカメラパラメータを利用してマンコンベア監
   視に必要な監視領域を設定する計測領域設定手段を、前
   記画像処理装置に備えたことを特徴とするマンコンベア
   の画像監視装置。
7. 【請求項７】 請求項６において、 前記ステップ領域検出手段は、予め０クリアしている累
   積画像を準備するとともに、任意の時間間隔で入力した
   カメラ画像のフレーム間差分処理した画像を２値化し、
   この画像と前記累積画像とのＯＲ演算で重ね合わせ画像
   を作成し、この重ね合わせ画像の中に前記ステップ領域
   の形状に類似している図形が現れるまで前記フレーム間
   差分処理、２値化処理およびＯＲ演算を繰り返し実行す
   ることを特徴とするマンコンベアの画像監視装置。
8. 【請求項８】 請求項７において、 前記ステップ領域検出手段は、前記２値化処理した画像
   に所定値より大きい図形が現れた場合は、前記累積画像
   を０クリアすることを特徴とするマンコンベアの画像監
   視装置。
9. 【請求項９】 請求項６、７または８において、 前記デマケーションライン位置検出手段は、前記ステッ
   プ領域の画像と無人状態で運転中のマンコンベアの入力
   画像でマスク処理して水平線となるデマケーションライ
   ンの各々を抽出し、ヒストグラム処理による水平方向濃
   度の投影分布からその各ピークに相当するデマケーショ
   ンラインの位置座標を求めることを特徴とするマンコン
   ベアの画像監視装置。