JP2021046282A - エレベータの利用者検知システム - Google Patents

Abstract

【課題】ドアの開閉状態に応じて、利用者または物を正しく検知する。【解決手段】一実施形態に係るエレベータの利用者検知システムは、撮像手段と、検知エリア設定手段と、検知処理手段と、検知エリア変更手段とを備える。上記撮像手段は、乗りかご１１から乗場１５に向けてドアを含む所定の範囲内を撮影する。上記検知エリア設定手段は、上記撮影手段によって得られた撮影画像上に上記乗場１５を含む検知エリアを設定する。上記検知処理手段は、上記検知エリア設定手段によって設定された上記検知エリア内の画像を用いて利用者または物を検知する。上記検知エリア変更手段は、上記ドアが戸閉方向または戸開方向に移動したときに、撮影画像上における上記ドアの先端部の位置を検出し、この検出された上記ドアの先端部の位置に基づいて上記検知エリアの範囲を変更する。【選択図】図１

Description

本発明の実施形態は、エレベータの利用者検知システムに関する。

通常、エレベータの乗りかごが乗場に到着して戸開すると、所定時間経過後に戸閉して出発する。その際、エレベータの利用者は乗りかごがいつ戸閉するのか分からないため、乗場から乗りかごに乗車するときに戸閉途中のドアにぶつかることがある。

このような乗車時のドアの衝突を回避するため、カメラの撮影画像を用いて乗りかごに乗車する利用者を検知し、その検知結果をドアの開閉制御に反映させるシステムがある。

特許第６０９２４３３号公報

上述したシステムでは、ドア全開時に予め設定された検知エリア内で利用者の有無を検知することを前提としており、例えば戸閉途中つまりドアが閉まりかけたとき、あるいは、ドアが戸閉途中から全開位置にリオープンするときの状況は想定されていない。このため、戸閉が開始されたときに、例えば間口の内側に移動するドアが検知エリア内に入り込まないように、十分な余裕を持って検知エリア全体を細長く縮小することが一般的である。

本発明が解決しようとする課題は、ドアの開閉状態に応じて、利用者または物を正しく検知することのできるエレベータの利用者検知システムを提供することである。

一実施形態に係るエレベータの利用者検知システムは、撮像手段と、検知エリア設定手段と、検知処理手段と、検知エリア変更手段とを備える。

上記撮像手段は、乗りかごから乗場に向けてドアを含む所定の範囲内を撮影する。上記検知エリア設定手段は、上記撮影手段によって得られた撮影画像上に上記乗場を含む検知エリアを設定する。上記検知処理手段は、上記検知エリア設定手段によって設定された上記検知エリア内の画像を用いて利用者または物を検知する。上記検知エリア変更手段は、上記ドアが戸閉方向または戸開方向に移動したときに、撮影画像上における上記ドアの先端部の位置を検出し、この検出された上記ドアの先端部の位置に基づいて上記検知エリアの範囲を変更する。

図１は一実施形態に係るエレベータの利用者検知システムの構成を示す図である。 図２は同実施形態における乗りかご内の出入口周辺部分の構成を示す図である。 図３は同実施形態におけるカメラの撮影画像の一例を示す図である。 図４は同実施形態における利用者検知システムの戸開時の利用者検知処理を示すフローチャートである。 図５は同実施形態における実空間での座標系を説明するための図である。 図６は同実施形態における撮影画像をブロック単位で区切った状態を示す図である。 図７は同実施形態における乗りかごのドアの全開時に設定された検知エリアの一例を示す図である。 図８は同実施形態における乗りかごのドアが図７の状態から戸閉方向に移動したときの検知エリアの一例を示す図である。 図９は同実施形態における乗りかごのドアが図８の状態からさらに戸閉方向に移動したときの検知エリアの一例を示す図である。 図１０は同実施形態における世界座標系から画像座標系への透視投影変換するための図であり、図１０（ａ）は画像座標系と、同図（ｂ）は世界座標系を示している。 図１１は同実施形態における撮影画像上におけるドア領域を説明するための図である。 図１２は同実施形態におけるドア開閉機構の一例を示す図である。 図１３は同実施形態におけるドアモータの回転量を用いた検知エリア変更処理（１）を示すフローチャートである。 図１４は同実施形態におけるエッジ検出を用いた検知エリア変更処理（２）を示すフローチャートである。 図１５は同実施形態における機械学習を用いた検知エリア変更処理（３）を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。
なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

図１は一実施形態に係るエレベータの利用者検知システムの構成を示す図である。なお、ここでは、１台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。

乗りかご１１の出入口上部にカメラ１２が設置されている。具体的には、カメラ１２は、乗りかご１１の出入口上部を覆う幕板１１ａの中にレンズ部分を直下方向、もしくは、乗場１５側あるいは乗りかご１１内部側に所定の角度だけ傾けて設置される。

カメラ１２は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズもしくは魚眼レンズを有し、１秒間に数コマ（例えば３０コマ／秒）の画像を連続的に撮影可能である。カメラ１２は、乗りかご１１が各階の乗場１５に到着したときに起動され、かごドア１３付近を含めて撮影する。

このときの撮影範囲はＬ１＋Ｌ２に調整されている（Ｌ１≫Ｌ２）。Ｌ１は乗場側の撮影範囲であり、かごドア１３から乗場１５に向けて所定の距離を有する。Ｌ２はかご側の撮影範囲であり、かごドア１３からかご背面に向けて所定の距離を有する。なお、Ｌ１，Ｌ２は奥行き方向の範囲であり、幅方向（奥行き方向と直交する方向）の範囲については少なくとも乗りかご１１の横幅より大きいものとする。

各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３を戸開している時には乗場ドア１４も戸開しており、かごドア１３が戸閉している時には乗場ドア１４も戸閉しているものとする。

カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０によってリアルタイムに解析処理される。なお、図１では、便宜的に画像処理装置２０を乗りかご１１から取り出して示しているが、実際には、画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。

画像処理装置２０には、記憶部２１と検知部２２とが備えられている。記憶部２１は、カメラ１２によって撮影された画像を逐次保存すると共に、検知部２２の処理に必要なデータを一時的に保存しておくためのバッファエリアを有する。なお、記憶部２１には、撮影画像に対する前処理として、歪み補正や拡大縮小、一部切り取り等の処理が施された画像が保存されるとしても良い。

検知部２２は、カメラ１２の撮影画像を用いてかごドア１３付近にいる利用者を検知する。この検知部２２を機能的に分けると、検知エリア設定部２２ａ、検知処理部２２ｂ、検知エリア変更部２２ｃで構成される。

検知エリア設定部２２ａは、カメラ１２によって撮影された画像上に乗場１５を含む検知エリアＥ１を設定する。詳しくは、後述するように、検知エリア設定部２２ａは、乗りかご１１の出入口からシル１８，４７を含み、乗場１５に向けて所定の距離Ｌ３を有する検知エリアＥ１を設定する（図３参照）。

検知処理部２２ｂは、検知エリア設定部２２ａによって設定された検知エリアＥ１内の画像を用いて利用者または物を検知する。ここで言う「物」とは、例えば利用者の衣服や荷物、さらに車椅子等の移動体を含む。

検知エリア変更部２２ｃは、かごドア１３の開閉動作に応じて検知エリアＥ１の範囲を動的に変更する処理を行う。詳しくは、検知エリア変更部２２ｃは、かごドア１３の移動時に画像上における当該かごドア１３の先端部の位置を検出し、この検出されたかごドア１３の先端部の位置に基づいて検知エリアＥ１のＸ軸方向（戸開閉方向）のサイズを変更する。なお、画像処理装置２０の一部あるいは全部の機能をかご制御装置３０に持たせることでも良い。

かご制御装置３０は、乗りかご１１に設置される各種機器類（行先階ボタンや照明等）の動作を制御する。また、かご制御装置３０は、戸開閉制御部３１を備える。戸開閉制御部３１は、乗りかご１１が乗場１５に到着したときのかごドア１３の戸開閉を制御する。詳しくは、戸開閉制御部３１は、乗りかご１１が乗場１５に到着したときにかごドア１３を戸開し、所定時間経過後に戸閉する。ただし、かごドア１３の戸閉動作中のときに、検知処理部２２ｂによって利用者が検知された場合には、戸開閉制御部３１は、かごドア１３の戸閉動作を禁止して、かごドア１３を全開方向にリオープンして戸開状態を維持する。

図２は乗りかご１１内の出入口周辺部分の構成を示す図である。
乗りかご１１の出入口にかごドア１３が開閉自在に設けられている。図２の例では２枚戸両開きタイプのかごドア１３が示されており、かごドア１３を構成する２枚のドアパネル１３ａ，１３ｂが間口方向（水平方向）に沿って互いに逆方向に開閉動作する。なお、「間口」とは、乗りかご１１の出入口と同じである。

乗りかご１１の出入口の両側に正面柱４１ａ，４１ｂが設けられており、幕板１１ａと共に乗りかご１１の出入口を囲っている。「正面柱」は、出入口柱あるいは出入口枠とも言い、裏側にはかごドア１３を収納するための戸袋が設けられているのが一般的である。図２の例では、かごドア１３が戸開したときに、一方のドアパネル１３ａが正面柱４１ａの裏側に設けられた戸袋４２ａに収納され、他方のドアパネル１３ｂが正面柱４１ｂの裏側に設けられた戸袋４２ｂに収納される。

正面柱４１ａ，４１ｂの一方あるいは両方に表示器４３や、行先階ボタン４４などが配設された操作盤４５、スピーカ４６が設置されている。図３の例では、正面柱４１ａにスピーカ４６、正面柱４１ｂに表示器４３、操作盤４５が設置されている。ここで、乗りかご１１の出入口上部の幕板１１ａの中央部に、広角レンズを有するカメラ１２が設置されている。

図３はカメラ１２の撮影画像の一例を示す図である。上側は乗場１５、下側は乗りかご１１内である。図中のＥ１は検知エリアを表している。

かごドア１３は、かごシル４７上を互いに逆方向に移動する２枚のドアパネル１３ａ，１３ｂを有する。乗場ドア１４も同様であり、乗場シル１８上を互いに逆方向に移動する２枚のドアパネル１４ａ，１４ｂを有する。乗場ドア１４のドアパネル１４ａ，１４ｂは、かごドア１３のドアパネル１３ａ，１３ｂと共に戸開閉方向に移動する。

カメラ１２は乗りかご１１の出入口上部に設置されている。したがって、乗りかご１１が乗場１５で戸開したときに、図１に示したように、乗場側の所定範囲（Ｌ１）とかご内の所定範囲（Ｌ２）が撮影される。このうち、乗場側の所定範囲（Ｌ１）に、乗りかご１１に乗車する利用者を検知するための検知エリアＥ１が設定されている。

実空間において、検知エリアＥ１は、出入口（間口）の中心から乗場方向に向かってＬ３の距離を有する（Ｌ３≦乗場側の撮影範囲Ｌ１）。全開時における検知エリアＥ１の横幅Ｗ１は、出入口（間口）の横幅Ｗ０以上の距離に設定されている。検知エリアＥ１は、図３に斜線で示すように、シル１８，４７を含み、三方枠１７ａ，１７ｂの死角を除いて設定される。後述するように、検知エリアＥ１の横方向（Ｘ軸方向）のサイズは、かごドア１３の開閉動作に合わせて変更される。

以下に、本システムの動作について、（ａ）利用者検知処理、（ｂ）検知エリア変更処理に分けて説明する。

（ａ）利用者検知処理
図４は本システムにおける戸開時の利用者検知処理を示すフローチャートである。

まず、初期設定として、画像処理装置２０に備えられた検知部２２の検知エリア設定部２２ａによって検知エリア設定処理が実行される（ステップＳ１０）。この検知エリア設定処理は、例えばカメラ１２を設置したとき、あるいは、カメラ１２の設置位置を調整したときに、以下のようにして実行される。

すなわち、検知エリア設定部２２ａは、乗りかご１１が全開した状態で、出入口から乗場１５に向けて距離Ｌ３を有する検知エリアＥ１を設定する。図３に示したように、検知エリアＥ１は、シル１８，４７を含み、三方枠１７ａ，１７ｂの死角を除いて設定される。ここで、乗りかご１１が全開した状態では、検知エリアＥ１の横方向（Ｘ軸方向）のサイズはＷ１であり、出入口（間口）の横幅Ｗ０以上の距離を有する。

ここで、乗りかご１１が任意の階の乗場１５に到着すると（ステップＳ１１のＹｅｓ）、かご制御装置３０は、かごドア１３を戸開して乗りかご１１に乗車する利用者を待つ（ステップＳ１２）。

このとき、乗りかご１１の出入口上部に設置されたカメラ１２によって乗場側の所定範囲（Ｌ１）とかご内の所定範囲（Ｌ２）が所定のフレームレート（例えば３０コマ／秒）で撮影される。画像処理装置２０は、カメラ１２で撮影された画像を時系列で取得し、これらの画像を記憶部２１に逐次保存しながら（ステップＳ１３）、以下のような利用者検知処理をリアルタイムで実行する（ステップＳ１４）。なお、撮影画像に対する前処理として、歪み補正や、拡大縮小、画像の一部の切り取りなどを行っても良い。

利用者検知処理は、画像処理装置２０に備えられた検知部２２の検知処理部２２ｂによって実行される。検知処理部２２ｂは、カメラ１２によって時系列で得られる複数の撮影画像から検知エリアＥ１内の画像を抽出することにより、これらの画像に基づいて利用者または物の有無を検知する。

具体的には、図５に示すように、カメラ１２は、乗りかご１１の出入口に設けられたかごドア１３と水平の方向をＸ軸、かごドア１３の中心から乗場１５の方向（かごドア１３に対して垂直の方向）をＹ軸、乗りかご１１の高さ方向をＺ軸とした画像を撮影する。このカメラ１２によって撮影された各画像において、検知エリアＥ１の部分をブロック単位で比較することで、かごドア１３の中心から乗場１５の方向、つまりＹ軸方向に移動中の利用者の足元位置の動きを検知する。

図６に撮影画像を所定のブロック単位でマトリックス状に分割した例を示す。原画像を一辺Ｗblockの格子状に区切ったものを「ブロック」と呼ぶ。図６の例では、ブロックの縦横の長さが同じであるが、縦と横の長さが異なっていても良い。また、画像全域に渡ってブロックを均一な大きさとしても良いし、例えば画像上部ほど縦（Ｙ軸方向）の長さを短くするなどの不均一な大きさにしても良い。

検知処理部２２ｂは、記憶部２１に保持された各画像を時系列順に１枚ずつ読み出し、これらの画像の平均輝度値をブロック毎に算出する。その際、初期値として最初の画像が入力されたときに算出されたブロック毎の平均輝度値を記憶部２１内の図示せぬ第１のバッファエリアに保持しておくものとする。

２枚目以降の画像が得られると、検知処理部２２ｂは、現在の画像のブロック毎の平均輝度値と上記第１のバッファエリアに保持された１つ前の画像のブロック毎の平均輝度値とを比較する。その結果、現在の画像の中で予め設定された閾値以上の輝度差を有するブロックが存在した場合には、検知処理部２２ｂは、当該ブロックを動きありのブロックとして判定する。現在の画像に対する動きの有無を判定すると、検知処理部２２ｂは、当該画像のブロック毎の平均輝度値を次の画像との比較用として上記第１のバッファエリアに保持する。以後同様にして、検知処理部２２ｂは、各画像の輝度値を時系列順にブロック単位で比較しながら動きの有無を判定することを繰り返す。

検知処理部２２ｂは、検知エリアＥ１内の画像に動きありのブロックがあるか否かをチェックする。その結果、検知エリアＥ１内の画像に動きありのブロックがあれば、検知処理部２２ｂは、検知エリアＥ１内に人または物が存在するものと判断する。

このような方法により、かごドア１３の戸開時に検知エリアＥ１内で利用者または物の存在が検知されると（ステップＳ１５のＹｅｓ）、画像処理装置２０からかご制御装置３０に対して利用者検知信号が出力される。かご制御装置３０の戸開閉制御部３１は、この利用者検知信号を受信することにより、かごドア１３の戸閉動作を禁止して戸開状態を維持する（ステップＳ１６）。

詳しくは、かごドア１３が全開状態になると、戸開閉制御部３１は戸開時間のカウント動作を開始し、所定の時間Ｔ（例えば１分）分をカウントした時点で戸閉を行う。この間に利用者が検知され、利用者検知信号が送られてくると、戸開閉制御部３１はカウント動作を停止してカウント値をクリアする。これにより、上記時間Ｔの間、かごドア１３の戸開状態が維持されることになる。

なお、この間に新たな利用者が検知されると、再度カウント値がクリアされ、上記時間Ｔの間、かごドア１３の戸開状態が維持されることになる。ただし、上記時間Ｔの間に何度も利用者が来てしまうと、かごドア１３をいつまでも戸閉できない状況が続いてしまうので、許容時間Ｔｘ（例えば３分）を設けておき、この許容時間Ｔｘを経過した場合にかごドア１３を強制的に戸閉することが好ましい。

上記時間Ｔ分のカウント動作が終了すると、戸開閉制御部３１はかごドア１３を戸閉し、乗りかご１１を目的階に向けて出発させる（ステップＳ１７）。

なお、図４のフローチャートでは、かごドア１３の戸開時に利用者を検知する場合を想定して説明したが、戸閉時も同様であり、戸閉が開始されて全閉するまでの間（戸閉動作中）に検知エリアＥ１内で利用者または物が検知された場合に戸閉動作が一時中断される。その際、下記（ｂ）の検知エリア変更処理で説明するように、かごドア１３が全開した状態から戸閉方向に移動したときに、検知エリアＥ１の範囲が変更される。

（ｂ）検知エリア変更処理
検知エリア変更処理は、かごドア１３の開閉動作に応じて検知エリアＥ１の範囲を動的に変更する処理である。「検知エリアＥ１の範囲を動的に変更する」とは、具体的には、かごドア１３が戸閉方向または戸開方向に移動したときに、予め全開時に撮影画像上に設定された検知エリアＥ１のＸ軸方向（戸開閉方向）のサイズをかごドア１３の先端部に合わせて縮小あるいは拡大することである。

この検知エリア変更処理は、かごドア１３が全開している状態から戸閉方向に移動して全閉するまでの間（戸閉途中から戸開方向へリオープンする場合も含む）に実行される。また、かごドア１３が全閉した状態から戸開方向へ移動して全開するまでの間（戸開途中から戸閉方向へリクローズする場合も含む）に検知エリア変更処理を実行することでも良い。図７乃至図９の例では、かごドア１３が全開している状態から戸閉方向に移動したときに変更される検知エリアＥ１の一例を示している。

以下に、検知エリア変更処理について詳しく説明する。
図１０は世界座標系から画像座標系への透視投影変換するための図であり、図１０（ａ）は画像座標系と、同図（ｂ）は世界座標系を示している。

３次元空間の座標を２次元画像の座標に変換するための１つの手法として、透視投影変換がある。透視投影変換は、視点をｚ軸上に置いて、ｚ軸に垂直な面に投影する変換である。カメラ座標系と画像座標系、世界座標系とカメラ座標系との関係は、下記のような概略式で表される。

［画像座標系］＝［内部パラメータ］・［カメラ座標系］ …（１）
［カメラ座標系］＝［外部パラメータ］・［世界座標系］ …（２）
上記（１）式および（２）式により、透視投影変換は、下記のような概略式で表される。
［画像座標系］＝［内部パラメータ］・［外部パラメータ］・［世界座標系］…（３）

内部パラメータとは、カメラ座標系から画像座標系に変換するための値である。外部パラメータとは、世界座標系からカメラ座標系に変換するための値である。これらのパラメータは、キャリブレーション処理によって予め算出されている。上記（３）式より、世界座標系の座標点から画像座標系の座標点が得られる。また、逆変換すれば、画像座標系の座標点から世界座標系の座標点が得られる。

図１０に示すように、予め設定された検知エリアＥ１内の任意の点Ａは、３次元の世界座標系では（Ｘａ，Ｙａ，Ｚａ）であり、２次元の画像座標系では（ｕａ，ｖａ）で表される。世界座標系の座標（Ｘａ，Ｙａ，Ｚａ）から画像座標系の座標（ｕａ，ｖａ）への変換は、上記（３）式に示した透視投影変換式を用いて行える。

全開時に乗場１５に設定された検知エリアＥ１には、三方枠１７ａ，１７ｂなどのエレベータ構造物によって隠れる部分がある（図３参照）。この部分は撮影画像に映っている領域であって、その奥にある乗場１５の床面１６ではないため、検知エリアＥ１から除外する必要がある。そこで、除外対象部分の各点の世界座標に対応する画像座標を算出することにより、検知エリアＥ１から当該除外対象部分を除外しておく。なお、上記三方枠１７ａ，１７ｂなどの除外対象部分が占める３次元空間範囲は、エレベータの設計値として予め与えられている。

ここで、本実施形態では、かごドア１３が全開状態から戸閉方向に移動したとき、そのときのかごドア１３の移動に合わせて検知エリアＥ１の範囲を変更する。その際、下記に示す３つの方法のいずれかを用いてかごドア１３の先端部の位置（ドア先端位置）を検出し、そのドア先端位置に基づいて検知エリアＥ１の範囲を動的に変更することを特徴である。
方法ａ：ドアモータの回転量
方法ｂ：エッジ検出
方法ｃ：機械学習

「かごドア１３の先端部」とは、図１１に示すように、具体的にはドアパネル１３ａ，１３ｂの先端部１３ａ−１，１３ｂ−１のことであり、撮影画像上では、かごシル４７上から外側に放射状に延びる斜めエッジとして検出される。「かごドア１３の先端部の位置」とは、ドアパネル１３ａ，１３ｂの先端部１３ａ−１，１３ｂ−１がかごシル４７と接触する下端５１ａ，５１ｂの位置のことであり、撮影画像上では、かごシル４７を横切るＹ軸方向（戸開閉方向と直交する方向）のエッジ（以下、縦エッジと称す）として検出される。「エッジ」とは、画像内の直線や曲線に加えて、色・輝度・模様などの特徴が異なる領域間の境界線を意味する。

なお、図中の１４ａ−１，１４ｂ−１は、乗場ドア１４を構成する２枚のドアパネル１３ａ，１３ｂの先端部である。５２ａ，５２ｂは、先端部１４ａ−１，１４ｂ−１の下端である。実際には、この乗場ドア１４を含めて撮影画像に映るドア領域を検出し、全開時に設定された検知エリアＥ１から当該ドア領域を除くことで、検知エリアＥ１の範囲を変更する。斜線で示す部分がドア領域である。ドア領域内の任意の点Ｄは、世界座標では（Ｘｄ，Ｙｄ，Ｚｄ）、画像座標では（ｕｄ，ｖｄ）で表せる。

以下に、方法ａ，方法ｂ，方法ｃを用いた検知エリア変更処理について、詳しく説明する。

［方法ａ］
図１２はドア開閉機構の一例を示す図である。
かごドア１３は、ドアモータ６１の駆動によりドア開閉機構６２を介して開閉動作する。この場合、ドア方式が中央両開き方式であれば、かごドア１３を構成する２枚のドアパネル１３ａ，１３ｂは互いに逆方向に開閉動作する。片開き方式であれば、かごドア１３を構成する２枚のドアパネル１３ａ，１３ｂは同じ方向に開閉動作する。

乗場ドア１４もかごドア１３と同じドア方式であり、かごドア１３の開閉動作に追従して同時に移動する。ドア開閉機構６２は、例えば複数の滑車６３やこれらの滑車６３に巻回されたベルト６４などを備え、ドアモータ６１の回転力を戸開力に変換してかごドア１３に伝える。

ここで、ドアモータ６１の回転量からかごドア１３が移動した距離を算出できるので、その移動距離からドア先端位置がどこにあるのかが分かる。なお、ドアモータ６１の回転量の他に、例えばベルト６４の移動量をセンサ６５で光学的あるいは機械的に検出し、そのベルト６４の移動量からドア先端位置を検出することもできる。

図１３は上記方法ａ（ドアモータの回転量）を用いた検知エリア変更処理（１）を示すフローチャートである。

いま、かごドア１３が全開した状態から戸閉方向に移動を開始したとする。検知部２２に備えられた検知エリア変更部２２ｃは、かご制御装置３０からドアモータ６１の回転量を取得し（ステップＳ２１）、その回転量に基づいてかごドア１３が全開位置から戸閉方向に移動した距離を算出する（ステップＳ２２）。

検知エリア変更部２２ｃは、かごドア１３の移動距離に基づいてドア先端位置を検出する（ステップＳ２３）。ここで検出されたドア先端位置の座標は、３次元空間である世界座標系の情報である。したがって、検知エリア変更部２２ｃは、前述の透視投影変換処理によって当該ドア先端位置の座標を画像座標系に変換し（ステップＳ２４）、その変換後のドア先端位置に基づいて移動後のドア領域を検出する（ステップＳ２５）。

具体的に説明すると、例えばドアモータ６１の回転量からかごドア１３がＸ軸方向（戸開閉方向）にｘｍだけ移動したとする（ここでは簡単のため、かごドア１３の開閉方向を世界座標のＸ軸方向とする）。この場合ドア領域内の任意の点Ｄの世界座標（Ｘｄ，Ｙｄ，Ｚｄ）が（Ｘｄ＋ｘｍ，Ｙｄ，Ｚｄ）に移動したことになる。

前述の透視投影変換処理によって、世界座標（Ｘｄ＋ｘｍ，Ｙｄ，Ｚｄ）から画像座標（ｕｍ，ｖｍ）を求める。これにより、ドア領域が画像上で（ｕｍ，ｖｍ）に移動したことが分かる。このような処理をドア領域内のすべての点に対して行うことで、移動後のドア領域を検出することができる。

移動後のドア領域が検出されると、検知エリア変更部２２ｃは、全開時に設定された検知エリアＥ１から上記ドア領域を除外することで、検知エリアＥ１の範囲を変更する（ステップＳ２６）。このときの検知エリアＥ１の状態が図８、図９であり、かごドア１３の開口に合わせてＸ軸方向に狭まっている。

［方法ｂ］
図１１で説明したように、かご先端部の位置は、かごシル４７上では縦エッジ（画像座標）として検出される。したがって、縦エッジからかごドア１３の移動距離を求め、その移動量からドア領域（画像座標）を決定することで、検知エリアＥ１の範囲を変更することでも良い。

図１４は上記方法ｂ（エッジ検出）を用いた検知エリア変更処理（２）を示すフローチャートである。

いま、かごドア１３が全開した状態から戸閉方向に移動を開始したとする。検知エリア変更部２２ｃは、撮影画像上でシル領域上を移動するかごドア１３の縦エッジをドア先端部の位置として検出する（ステップＳ３１）
エッジの検出は、例えばＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタやＣａｎｎｙフィルタなどの一般的な画像処理を用いれば良い。また、ハフ変換やエッジ追跡処理などを追加することで、より安定した検出結果が得られるようにしても良い。また、差分検知やオプティカルフローの処理を用いることで、動きのあるドア先端部のエッジだけを検出することでも良い。これらの処理により、ドア先端部の一部が人物の進入によって隠される場合でも、他の部分のエッジからドア先端部の位置を正しく検出することができる。

ここで検出されたドア先端位置は、２次元の画像座標系で得られた情報である。したがって、検知エリア変更部２２ｃは、前述の透視投影変換の逆変換を行うことで、ドア先端位置の世界座標を求める（ステップＳ３２）。例えば、ドア先端位置が２次元の画像座標系では（ｕｍ，ｖｍ）とした場合に、世界座標系では（Ｘｄ＋ｘｍ，Ｙｄ，Ｚｄ＝０）として求められる。これにより、３次元空間において、かごドア１３がＸ軸方向にｘｍだけ移動したことが分かる。

なお、一般的には、画像座標（ｕ，ｖ）から世界座標（Ｘ，Ｙ，Ｚ）への逆変換では、自由度があるために、（Ｘ，Ｙ，Ｚ）の値を一意に決定できない。しかし、本実施形態では、かごシル４７と接触する下端５１ａ，５１ｂの位置をドア先端位置としているため、Ｚ方向は床面（Ｚ＝０）にあるという制約がある。したがって、世界座標（Ｘ，Ｙ，０）として一意に決めることができる。

このようにして、かごドア１３が移動した距離が得られると（ステップＳ３３）、以後は、検知エリア変更部２２ｃは、上記方法ａと同様の手順によって、その移動距離からドア領域（画像座標）を検出し、そのドア領域を検知エリアＥ１から除外することで検知エリアＥ１の範囲を変更する（ステップＳ３４〜Ｓ３７）。

（エッジ検出による別の方法）
かごドア１３の縦エッジをドア先端位置として検出し、そのドア先端位置からドア領域を検出する場合について説明したが、別の方法として、かごドア１３の斜めエッジからドア先端位置を検出することも可能である。

すなわち、図１１で説明したように、かごドア１３の先端部１３ａ−１，１３ｂ−１は、撮影画像上では、かごシル４７から放射状に延びる斜めエッジ（画像座標）として検出される。したがって、この斜めエッジの下端をドア先端位置（画像座標）として検出し、そのドア先端位置を基準にして当該斜めエッジよりも外側に存在する領域をドア領域（画像座標）として検出することができる。

［方法ｃ］
ドア先端の検出に機械学習を用いても良い。具体的には、例えばUnet（文献１）やSegNet（文献２）など、ディープラーニング（deep learning）によるセマンティックセグメンテーション手法を用いることができる。

（文献１）
"U-Net: Convolutional Networks for Biomedical Image Segmentation", Olaf Ronneberger, Philipp Fischer, Thomas Brox, Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS, Vol.9351: 234--241, 2015.
（文献２）
"SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation.", Vijay Badrinarayanan, Alex Kendall and Roberto Cipolla, PAMI, 2017.。

図１５は上記方法ｃ（機械学習）を用いた検知エリア変更処理（３）を示すフローチャートである。

予めカメラ１２によって撮影された多数の画像を用いて、少なくとも戸開閉に関わるエレベータ構造物を上述したディープラーニングによって学習し、その学習結果を例えば画像処理装置２０の記憶部２１に蓄積しておく（ステップＳ４１）。「戸開閉に関わるエレベータ構造物」には、かごドア１３、乗場ドア１４、これからの移動経路上に設けられたかごシル４７、乗場シル１８などが含まれる。

ここで、戸閉時にカメラ１２によって撮影された画像が画像処理装置２０に入力されると（ステップＳ４２）、検知エリア変更部２２ｃは、上記学習結果に基づいて撮影画像上に映るエレベータ構造物を認識し、所定の色で区別表示する（ステップＳ４３）。この場合、例えばエレベータ構造物を「ドア部」、「シル部」、「床面部」などに分類して、それぞれに異なる色で区別表示できる。なお、このような区別表示は、ディープラーニングの学習結果を表示する方法として一般的に知られている。

検知エリア変更部２２ｃは、上記区別表示されたエレベータ構造物の中で「ドア部」と「シル部」との境界をドア先端位置（ｕｍ，ｖｍ）として検出する（ステップＳ４４）。以後は、上記方法ａと同様に、検知エリア変更部２２ｃは、ドア先端位置（ｕｍ，ｖｍ）に基づいてドア領域を検出し（ステップＳ４５）、当該ドア領域を検知エリアＥ１から除外することで検知エリアＥ１の範囲を変更する（ステップＳ４６）。

このように、上記方法ａ，ｂ，ｃのいずれかの方法を用いて、かごドア１３の先端位置を検出することで、かごドア１３の移動に合わせて検知エリアＥ１の範囲を動的に変更することができる。

ここで、一般的な方法として、戸閉が開始されてからの経過時間によってかごドア１３の先端位置を検出する方法がある。しかし、このような方法では、例えば何らかの原因でかごドア１３が正常に移動しなかった場合に、上記経過時間から検出されたドア先端位置と実際のドア先端位置との間に誤差が生じる。このような誤差を含んだドア先端位置に基づいて検知エリアＥ１の範囲を変更すると、検知エリアＥ１が実際のかごドア１３の開口状態と合わず、例えばかごドア１３の開口よりも外側に存在する利用者や物を誤検知してしまう可能性がある。

一方、本実施形態では、上述したような時間経過でエリア変更する方法とは違って、実際のかごドア１３の開口状態に合わせて、検知エリアＥ１の範囲を的確に変更することができる。すなわち、上記方法ａであれば、モータ回転量から実際のかごドア１３の移動距離を求めているので、先端位置を正確に検出できる。上記方法ｂ、上記方法ｃでも同様である。上記方法ｂであれば、かごドア１３のエッジ情報（縦エッジあるいは斜めエッジ）に基づいて、実際のかごドア１３の先端位置を正確に検出できる。上記方法ｃであれば、ディープラーニングによってエレベータ構造物を学習した結果に基づいて、実際のかごドア１３の先端位置を正確に検出できる。

これらの方法によって検出されたドア先端位置に基づいて検知エリアＥ１の範囲を変更すれば、実際のかごドア１３の開口状態と検知エリアＥ１を合わせることができる。したがって、例えばかごドア１３の先端部が戸閉動作に従って間口の内側へ進入する動きを誤検知することなく、また、その一方でかごドア１３の先端部に合わせた検知エリアＥ１を確保して、当該検知エリアＥ１内の利用者または物の接近を正しく検知して戸開閉制御に反映させることができる。

なお、上記実施形態では、かごドア１３の戸閉時を想定して説明したが、戸開時でも同様にエリア変更しても良い。この場合、かごドア１３が全閉した状態から戸開方向へ移動して全開するまでの間（戸開途中から戸閉方向へリクローズする場合も含む）に、上記同様の手法にて検知エリアＥ１を変更すれば良い。

以上述べた少なくとも１つの実施形態によれば、ドアの開閉状態に応じて、利用者または物を正しく検知することのできるエレベータの利用者検知システムを提供することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１３ａ，１３ｂ…ドアパネル、１４…乗場ドア、１４ａ，１４ｂ…ドアパネル、１５…乗場、１７ａ，１７ｂ…三方枠、１８…乗場シル、４７…かごシル、２０…画像処理装置、２１…記憶部、２２…検知部、２２ａ…検知エリア設定部、２２ｂ…検知処理部、２２ｃ…検知エリア変更部、３０…かご制御装置、３１…戸開閉制御部、Ｅ１…検知エリア。

上記撮像手段は、乗りかごから乗場に向けてドアを含む所定の範囲内を撮影する。上記検知エリア設定手段は、上記撮像手段によって得られた撮影画像上に上記乗場を含む検知エリアを設定する。上記検知処理手段は、上記検知エリア設定手段によって設定された上記検知エリア内の画像を用いて利用者または物を検知する。上記検知エリア変更手段は、上記ドアが戸閉方向または戸開方向に移動したときに、撮影画像上における上記ドアの先端部の位置を検出し、この検出された上記ドアの先端部の位置に基づいて上記検知エリアの範囲を変更する。
上記構成において、上記検知エリア変更手段は、上記撮影画像から上記ドアがシル上を移動したときに上記シル上から外側に放射状に延びる斜めエッジを検出し、上記斜めエッジの下端を上記ドアの先端部の位置として検出することを特徴とする。

Claims (11)

1. 乗りかごから乗場に向けてドアを含む所定の範囲内を撮影する撮像手段と、
   この撮影手段によって得られた撮影画像上に上記乗場を含む検知エリアを設定する検知エリア設定手段と、
   この検知エリア設定手段によって設定された上記検知エリア内の画像を用いて利用者または物を検知する検知処理手段と、
   上記ドアが戸閉方向または戸開方向に移動したときに、上記撮影画像上における上記ドアの先端部の位置を検出し、この検出された上記ドアの先端部の位置に基づいて上記検知エリアの範囲を変更する検知エリア変更手段と
   を具備したことを特徴とするエレベータの利用者検知システム。
2. 上記検知エリア変更手段は、
   上記ドアを駆動するためのモータの回転量から上記ドアの移動距離を求め、上記ドアの移動距離に基づいて上記ドアの先端部の位置を検出することを特徴とする請求項１記載のエレベータの利用者検知システム。
3. 上記検知エリア変更手段は、
   上記ドアを開閉方向に移動させるための開閉機構に設置されたセンサから上記ドアの移動距離を取得し、上記ドアの移動距離に基づいて上記ドアの先端部の位置を検出することを特徴とする請求項１記載のエレベータの利用者検知システム。
4. 上記検知エリア変更手段は、
   上記撮影画像から上記ドアがシル上を移動したときの戸開閉とは直交する方向の縦エッジを検出し、上記縦エッジの位置を上記ドアの先端部の位置として検出することを特徴とする請求項１記載のエレベータの利用者検知システム。
5. 上記検知エリア変更手段は、
   上記撮影画像から上記ドアがシル上を移動したときに上記シル上から外側に放射状に延びる斜めエッジを検出し、上記斜めエッジの下端を上記ドアの先端部の位置として検出することを特徴とする請求項１記載のエレベータの利用者検知システム。
6. 上記検知エリア変更手段は、
   予め戸開閉に関わるエレベータ構造物を機械学習した結果に基づいて、上記撮影画像から上記ドアが移動したときの上記ドアの先端部の位置を検出することを特徴とする請求項１記載のエレベータの利用者検知システム。
7. 上記エレベータ構造物には、少なくとも上記ドアと上記ドアの移動経路上に設けられたシルとを含み、
   上記検知エリア変更手段は、
   上記ドアと上記シルとの境界を上記ドアの先端部の位置として検出することを特徴とする請求項６記載のエレベータの利用者検知システム。
8. 上記機械学習として、ディープラーニングが用いられることを特徴とする請求項６記載のエレベータの利用者検知システム。
9. 上記検知エリア変更手段は、
   上記ドアの先端部の位置から上記ドアが映る領域を検出し、上記ドアの全開時に設定された上記検知エリアから上記ドアが映る領域を除外することを特徴とする請求項１記載のエレベータの利用者検知システム。
10. 上記撮像手段は、
    上記乗りかごの出入口上部に設置されることを特徴とする請求項１記載のエレベータの利用者検知システム。
11. 上記検知処理手段の検知結果に基づいて、上記ドアの開閉動作を制御する戸開閉制御手段をさらに具備したことを特徴とする請求項１記載のエレベータの利用者検知システム。

Images