以下、実施の形態について図面を参照して説明する。開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。
(第1実施形態)
図1は、実施形態に係るエレベータ遠隔監視システムの概略構成例を示す図である。
図1に示すように、エレベータ遠隔監視システムは、エレベータシステム1と、遠隔監視システム2とを含む。なお、以下では説明の都合上、遠隔監視システム2について先に説明する。
図1に示すように、遠隔監視システム2は、中央監視センタ装置41と、遠隔監視装置40と、エレベータ制御装置30とを含む。遠隔監視装置40は、遠隔監視対象の建物内に設置され、中央監視センタ装置41と通信可能に接続されている。エレベータ制御装置30は、遠隔監視装置40同様、遠隔監視対象の建物内に設置され、遠隔監視装置40に接続されている。
中央監視センタ装置41は、エレベータシステム1内の機器の稼働状態を遠隔から診断するための遠隔診断スケジュールデータを遠隔監視装置40に送信する。遠隔監視装置40は、中央監視センタ装置41から送信されて来る遠隔診断スケジュールデータを受信すると、当該遠隔診断スケジュールデータにより示される診断タイミングにおいて診断処理実行指令を生成し、これをエレベータ制御装置30に出力する。エレベータ制御装置30は、遠隔監視装置40から出力されて来る診断処理実行指令にしたがって、後述する画像処理装置と共に診断処理を実行し、当該診断処理の結果を示す診断結果情報を遠隔監視装置40に出力する。遠隔監視装置40は、エレベータ制御装置30から出力されて来る診断結果情報の入力を受け付けると、当該診断結果情報を中央監視センタ装置41に送信する。中央監視センタ装置41は、遠隔監視装置40から送信されて来る診断結果情報を受信すると、当該診断結果情報を図示しないモニタ等に表示出力する。
これによれば、中央監視センタ装置41にいる監視員は、エレベータシステム1内の機器の稼働状態を遠隔から把握することができる。なお、本実施形態においては、エレベータシステム1内の機器の稼働状態は、主に、後述する画像センサの状態を指すものとするが、これに限定されるものではない。
図1に示すように、エレベータシステム1は、昇降路内を昇降する乗りかご11と、各階の乗場15に設置された乗場ドア14と、乗りかご11および遠隔監視装置40に接続されるエレベータ制御装置30とを含む。エレベータ制御装置30は、乗りかご11の昇降動作、後述するかごドアの開閉動作、後述する照明装置の点灯動作、後述する画像センサの動作等、エレベータシステム1内の各種機器の動作を制御する。
図1に示すように、乗りかご11は、かごドア13と、かごドア13上部の幕板11a底部に設置されたカメラ12と画像処理装置20とからなる画像センサと、天井に設置された照明装置16とを備えている。
各階の乗場15において、乗りかご11の到着口には乗場ドア14が開閉自在に設置されている。乗場ドア14は、乗りかご11の到着時にかごドア13に係合して開閉動作する。なお、動力源(ドアモータ)は乗りかご11側にあり、乗場ドア14はかごドア13に追従して開閉するだけである。以下の説明においては、かごドア13が戸開している時には乗場ドア14も戸開しており、かごドア13を戸閉している時には乗場ドア14も戸閉しているものとする。
カメラ12は、例えば車載カメラ等の小型の監視用カメラであり、等距離射影方式の魚眼レンズを有し、1秒間に数コマ(例えば、30コマ/秒)の画像を連続的に撮影する。カメラ12の撮影範囲は、乗りかご11側と乗場15側とがほぼ同じになるように設定されるが、魚眼レンズに起因した歪を補正した後の画像として扱う際の範囲は、乗場側がL1となり、乗りかご側がL2となるように設定されている(L1≧L2)。
カメラ12によって連続的に撮影された各画像(映像)は、画像処理装置20によってリアルタイムに画像処理される。具体的には、画像処理装置20は、予め設定されたエリア(以下、検知エリアと表記する)における画像の輝度値の変化に基づいてかごドア13に最も近い利用者(の動き)を検知し、検知された利用者が乗りかご11に乗車する意思を有しているか否かの判定や、検知された利用者の手や腕が戸袋に引き込まれる可能性があるか否かの判定等を行う。画像処理装置20による画像処理の結果は、必要に応じて、エレベータ制御装置30による制御処理(主に、戸開閉制御処理)に反映される。
エレベータ制御装置30は、乗りかご11が乗場15に到着した時のかごドア13の戸開閉を制御する。詳しくは、エレベータ制御装置30は、乗りかご11が乗場15に到着した時にかごドア13を戸開し、所定時間経過後に戸閉する。
但し、画像処理装置20により乗りかご11に乗車する意思のある利用者が検知された場合には、エレベータ制御装置30は、かごドア13の戸閉動作を禁止して戸開状態を維持する(かごドア13の戸開時間を延長する)。また、画像処理装置20により手や腕が戸袋に引き込まれる可能性のある利用者が検知された場合には、エレベータ制御装置30は、かごドア13の戸開動作を禁止するまたはかごドア13の戸開速度を通常時よりも遅くする、あるいはかごドア13から離れることを促す旨のメッセージを乗りかご11内に流す等して、手や腕が戸袋に引き込まれる可能性があることを当該利用者に対して通知する。
図2は、画像処理装置20の機能構成例を示すブロック図である。図2に示すように、画像処理装置20は、画像入力部201と、検知エリア設定部202と、利用者検知部203と、キャリブレーション部204と、記憶部205と、通信処理部206と、自動診断処理部210とを備えている。
画像入力部201は、カメラ12によって撮影された画像の入力を受け付けると、カメラ12のパラメータ(カメラパラメータ)を指定することにより、当該入力された画像であって半球状の投影面を平面に射影した画像を透視投影画像に変換する。これによれば、魚眼レンズに起因した画像の歪が補正され、利用者を検知するにあたって必要な範囲の画像を得ることができる。透視投影変換後の画像(つまり歪補正後の画像)は、検知エリア設定部202およびキャリブレーション部204に送られる。
検知エリア設定部202は、画像入力部201から送られて来る歪補正後の画像に対して、利用者を検知するための検知エリアを設定する。
利用者検知部203は、検知エリア設定部202により設定された検知エリアにおける画像の輝度値の変化に基づいてかごドア13に最も近い利用者を検知する。
キャリブレーション部204は、画像入力部201から送られて来る歪補正後の画像に基づいて、カメラ12の設置時に、カメラ12の取り付け位置にずれが生じているか否かを検知し、ずれが生じている場合には当該ずれを補正するキャリブレーションを行う。なお、キャリブレーション部204の詳細については後述するため、ここではその詳しい説明を省略する。
記憶部205には、キャリブレーション時に使用される設定値が記憶される。なお、記憶部205に記憶される設定値については、キャリブレーション部204の詳細と共に後述するため、ここではその詳しい説明を省略する。
通信処理部206は、エレベータ制御装置30等の外部装置と実行される通信(信号の送受信)を制御する。
自動診断処理部210は、キャリブレーション部204によるキャリブレーションとは別のタイミングにおいて(具体的には、診断処理時に)、カメラ12の取り付け位置にずれが生じているか否かを検知し、ずれが生じている場合には、当該ずれの補正を行う。
以下では、まず、画像処理装置20のキャリブレーション部204によるキャリブレーションについて説明する。
上記したように、画像処理装置20の利用者検知部203は、予め設定された検知エリアにおける画像の輝度値の変化に基づいてかごドア13に最も近い利用者を検知する利用者検知処理を実行する。この利用者検知処理では、予め設定された検知エリアにおける画像の輝度値の変化に注目するため、当該検知エリアは、画像上の決まった位置に常に設定される必要がある。
しかしながら、カメラ12や幕板11aの公差等によって、カメラ12の取り付け位置(取り付け角度)にずれが生じてしまうと、上記した検知エリアにもずれが生じてしまうため、利用者検知部203は、実際に注目したいエリアとは異なるエリアの画像の輝度値の変化に注目してしまい、その結果、本来であれば検知する必要のある利用者(や物体)を検知できない、あるいは、本来であれば検知する必要のない利用者(や物体)を誤検知してしまう、等の可能性がある。
図3は、カメラ12の取り付け位置にずれがない場合に撮影された画像の一例を示す。なお、図1においては示されていないが、乗りかご11側には、かごドア13の開閉をガイドするためのシル(敷居)(以下、かごシルと表記する)13aが設けられている。同様に、乗場15側には、乗場ドア14の開閉をガイドするためのシル(以下、乗場シルと表記する)14aが設けられている。また、図3中の斜線部分は、画像上に設定された検知エリアe1を示している。ここでは一例として、乗場15にいる利用者を検知するために、検知エリアe1が、長方形状のかごシル13aの長辺のうちの乗りかご11側の長辺から、乗場15側に向けて所定の範囲を有して設定される場合を想定する。なお、検知エリアe1は、手や腕の戸袋への引き込まれを抑止するために乗りかご11側に設定されても良いし、乗場15側および乗りかご11側の双方に複数設定されても良い。
一方、図4は、カメラ12の取り付け位置にずれがある場合に撮影された画像の一例を示す。なお、図4中の斜線部分は、図3同様に、画像上に設定された検知エリアe1を示す。
図4に示すように、カメラ12の取り付け位置にずれがあると、カメラ12によって撮影された画像は、図3に示す場合に比べて、例えば回転した画像(傾いた画像)となる。しかしながら、検知エリアe1は、図3同様、画像上の決まった位置に設定されるため、本来であれば図3に示すように、長方形状のかごシル13aの長辺のうちの乗りかご11側の長辺から、乗場15側に所定の範囲を有して設定されるにも関わらず、図4に示すように、長方形状のかごシル13aの長辺とは全く関係のない位置から所定の範囲を有して設定されてしまうことになる。これによれば、上記したように、本来であれば検知する必要のある利用者を検知できなかったり、検知する必要のない利用者を誤検知してしまったりする可能性がある。なお、図4では、カメラ12の取り付け位置のずれに起因して、画像が回転してしまった場合を例示したが、カメラ12の取り付け位置のずれに起因して、画像が上下左右方向にずれてしまった場合も同様の可能性がある。
キャリブレーション部204は、図4に示したようなカメラ12の取り付け位置のずれを検知し、当該ずれを補正するキャリブレーションを行う。キャリブレーション部204によるキャリブレーションを実現するためには、図5に示すように、事前にマーカm1およびマーカm2が撮影範囲内に適切に設置される必要がある。
なお、ここでは、マーカm1およびマーカm2が正方形状であり、4つの黒い丸印を模様として含むものとしたが、マーカm1およびマーカm2は、乗りかご11と乗場15の床面と容易に識別可能であり、かつ、正方形の中心点p1およびp2を高精度に判別可能な模様であれば、どのようなものであっても構わない。
記憶部205には、キャリブレーション時に使用される設定値が記憶されている。具体的には、記憶部205には、基準点に対するマーカの相対位置を示す第1設定値と、基準点に対するカメラ12のレンズ中心点の相対位置を示す第2設定値と、基準点に対するかごシル13aの各頂点(四隅)の相対位置を示す第3設定値と、カメラパラメータと、が記憶されている。
なお、基準点とは、カメラ12の取り付け位置にずれが生じているか否かを検知するための指標となる位置であり、例えば図5に示すように、長方形状のかごシル13aの長辺のうちの乗りかご11側の長辺の中央のp3がこれに相当する。なお、基準点は、上記した長方形状のかごシル13aの長辺のうちの乗りかご11側の長辺の中央ではなく、カメラ12の取り付け位置にずれが生じていない場合に当該カメラ12の撮影範囲内に含まれる位置であれば任意の位置が基準点に設定されて構わない。
ここで、キャリブレーション部204によるキャリブレーションの概要について説明する。なお、記憶部205には、上記したように、第1設定値、第2設定値、第3設定値およびカメラパラメータが記憶されているものとする。例えば、第1設定値は、図5に示すように、マーカm1とマーカm2とが乗りかご11の床面のうち、かごシル13aに沿った間口両端の床面に設置された状態で撮影された画像上でのマーカm1の中心点p1と基準点p3との相対位置、ならびに、マーカm2の中心点p2と基準点p3との相対位置を、カメラパラメータによって世界座標系に変換した値に相当する。
まず、キャリブレーション部204は、図5に示すように、マーカm1およびマーカm2が乗りかご11の床面のうち、かごシル13aに沿った間口両端の床面に設置された状態で撮影された画像から、マーカm1およびマーカm2のサイズと画像座標とを取得し、取得されたマーカm1およびマーカm2のサイズと画像座標とに基づいて、基準点p3に対する中心点p1の相対位置と、基準点p3に対する中心点p2の相対位置とを算出する。キャリブレーション部204は、算出された基準点p3に対する中心点p1の相対位置と、基準点p3に対する中心点p2の相対位置とを、事前に記憶部205に記憶された第1設定値に一致させることが可能なカメラパラメータ(例えばカメラ12の回転角等)を推定する。
次に、キャリブレーション部204は、推定されたカメラパラメータを用いて、画像座標におけるマーカm1とカメラ12のレンズ中心点の相対位置と、マーカm2とカメラ12のレンズ中心点の相対位置とを世界座標系に変換し、これを、記憶部205に記憶された第1設定値と合成することにより、世界座標系における基準点p3に対するカメラ12のレンズ中心点の相対位置を算出する。キャリブレーション部204は、算出された値と第2設定値とを比較し、カメラ12の取り付け位置のずれが予め設定された許容範囲内であるか否かを判定する。
最後に、キャリブレーション部204は、カメラ12の取り付け位置のずれが許容範囲外であると判定された場合に、世界座標系における基準点p3に対するカメラ12のレンズ中心点の相対位置と、記憶部205に記憶された第3設定値とを合成することにより、世界座標系におけるカメラ12のレンズ中心点に対するかごシル13aの各頂点の相対位置を算出する。キャリブレーション部204は、算出された値を、画像入力部201による透視投影変換時に使用するカメラパラメータに反映させる。これによれば、カメラ12の取り付け位置のずれを補正した画像を得ることが可能になる。
キャリブレーション部204によるキャリブレーションが完了すると、検知エリア設定部202は、ずれ補正後の画像に対して検知エリアを再度設定する。キャリブレーション部204は、カメラ12の取り付け位置のずれの有無や補正の成否を示す情報を通信処理部206に出力し、通信処理部206は当該情報をエレベータ制御装置30に送信する。
次に、画像処理装置20の自動診断処理部210について説明する。図6は、自動診断処理部210の機能構成の一例を示すブロック図である。
図6に示すように、自動診断処理部210は、画像変換部211と、画像認識部212と、設定値推定部213と、ずれ判定部214と、結果通知部215とを含む。
画像変換部211は、キャリブレーション部204によるキャリブレーション時に記憶部205に記憶された座標に基づいて、画像入力部201に入力された画像からシル周辺のみを切り出す処理を実行する。切り出された画像は基準画像とされ、記憶部205には、当該基準画像の切り出し座標が記憶される。これによれば、入力された画像に含まれる乗りかご11内や乗場15の余計な情報を除外することが可能なため、後述する診断処理時の計算量を削減することが可能である。
画像認識部212は、画像入力部201より入力された画像(基準画像、比較画像)に対してAKAZE(Accelerated KAZE)等の局所特徴量アルゴリズムを適用して、キーポイントを抽出し、抽出されたキーポイントの特徴量記述子を算出する。画像認識部212は、基準画像から抽出されたキーポイントの特徴量記述子と、比較画像から抽出されたキーポイントの特徴量記述子とを比較し、比較画像から抽出されたキーポイントのうち、基準画像から抽出されたキーポイントとの相違度が閾値以下のキーポイントを検出し、当該検出された比較画像のキーポイントとこれに対応する基準画像のキーポイントのペアを、対応点として検出する。
設定値推定部213は、画像認識部212により検出された対応点に基づいて、カメラ12の取り付け位置のずれを補正するための補正値の算出に使用されるカメラパラメータを推定する。
ずれ判定部214は、設定値推定部213により推定されたカメラパラメータと、記憶部205に記憶されたカメラパラメータとの差分を算出し、差分が閾値以上であった場合、当該差分をカメラパラメータの補正値として記憶部205に記憶する。記憶部205に記憶されたカメラパラメータの補正値は、画像入力部201による透視投影変換時に使用されるカメラパラメータに反映される。
結果通知部215は、各部211~214により実行された各種処理の結果に関する通知を受けると、これら各種処理結果を、通信処理部206を介して、エレベータ制御装置30に通知する。
ここで、図7のフローチャートを参照して、本実施形態に係るエレベータ遠隔監視システムにおいて実行される診断処理の手順の一例について説明する。
まず、エレベータ制御装置30は、遠隔監視装置40から出力されて来る診断処理実行指令を受けると、画像処理装置20のキャリブレーション部204によるキャリブレーションが完了しているか否かを確認する(ステップS1)。ステップS1の処理の結果、キャリブレーションが完了していないと判定された場合(ステップS1のNo)、エレベータ制御装置30は、ここでの一連の処理を終了させる。
一方で、キャリブレーションが完了していると判定された場合(ステップS1のYes)、エレベータ制御装置30は、基準画像に関する情報(基準画像情報)が記憶部205に保存されているか否かに基づいて、診断処理を行うことが可能か否かを判定する(ステップS2)。
ステップS2の処理の結果、診断処理を行うことができないと判定された場合、つまり、診断処理を実行するのが初めてであり、上記した基準画像情報が記憶部205に保存されていない場合(ステップS2のNo)、エレベータ制御装置30は、乗りかご11を基準階を除いた特定階まで移動させ、かごドア13を戸開し、照明装置16を点灯させた上で、基準画像の撮影を行うための指示を各部に出力する(ステップS3)。
自動診断処理部210は、カメラ12により撮影された基準画像に基づいて基準画像情報を生成し、これを記憶部205に保存して(ステップS4)、ここでの一連の処理を終了させる。
ここで、図8のフローチャートを参照して、図7のステップS4の処理(すなわち、基準画像情報を生成・保存する処理)の詳細について説明する。
自動診断処理部210の画像変換部211は、カメラ12により撮影された画像であって、画像入力部201により透視投影変換が行われた画像の入力を受け付けると、キャリブレーション時に記憶部205に記憶された座標に基づいて、当該入力された画像からシル周辺部分のみを切り出す。画像変換部211は、切り出された画像を基準画像とし、当該基準画像の切り出し座標を基準画像情報として記憶部205に一時的に保存する(ステップS4-1)。図9は、画像変換部211によりシル周辺部分のみが切り出された基準画像の一例を示している。
続いて、画像認識部212は、画像変換部211により切り出された基準画像に対してAKAZE等の局所特徴量アルゴリズムを適用して、キーポイントを抽出する(ステップS4-2)。図9では一例として、7つのキーポイントk1~k7が基準画像から抽出された場合を想定している。
画像認識部212は、抽出されたキーポイントの数が基準値以上であるか否かを判定する(ステップS4-3)。具体的には、画像認識部212は、基準点p3を含むかごシル13aの中心を境に、左右で各2点以上のキーポイントが抽出されたか否かに基づいて、抽出されたキーポイントの数が基準値以上であるか否かを判定する。例えば図9に示す基準画像の場合、2つのキーポイントk1,k2が画像左側から抽出され、2つのキーポイントk3,k4が画像右側から抽出されているため、画像認識部212は、抽出されたキーポイントの数は基準値以上であると判定する。
ステップS4-3の処理の結果、抽出されたキーポイントの数が基準値以上であると判定された場合(ステップS4-3のYes)、画像認識部212は、抽出されたキーポイントの特徴量記述子を算出する(ステップS4-4)。そして、画像認識部212は、基準画像上のキーポイントの座標に、記憶部205に一時的に保存された切り出し座標を合成して、基準画像上のキーポイントの座標を、切り出し前の画像上の座標に変換する(ステップS4-5)。切り出し前の画像上のキーポイントの座標と、当該キーポイントの特徴量記述子とは共に基準画像情報として記憶部205に保存される。
しかる後、画像認識部212は、診断可能である旨を結果通知部215に通知し(ステップS4-6)、ここでの一連の処理を終了させる。なお、結果通知部215は、画像認識部212より診断可能である旨の通知を受けると、通信処理部206を介して、診断可能である旨をエレベータ制御装置30に通知する。
一方で、ステップS4-3の処理の結果、抽出されたキーポイントの数が基準値未満であると判定された場合(ステップS4-3のNo)、画像認識部212は、基準画像からキーポイントの抽出を試行した回数(以下、キーポイント抽出試行回数と表記)が規定値未満であるか否かを判定する(ステップS4-7)。
ステップS4-7の処理の結果、キーポイント抽出試行回数が規定値未満であると判定された場合(ステップS4-7のYes)、画像認識部212は、基準画像の切り出し範囲や、照明装置16による照度、カメラ12の露光時間といった撮影条件を変更して再度撮影を行うための指示を各部に出力し(ステップS4-8)、図7のステップS3に相当する処理を再度実行させる。
一方で、ステップS4-7の処理の結果、キーポイント抽出試行回数が規定値以上であると判定された場合(ステップS4-7のNo)、画像認識部212は、基準画像の切り出し範囲や、撮影条件を変更したとしても基準値以上のキーポイントを抽出することができないとして、診断不能である旨を結果通知部215に通知し(ステップS4-9)、ここでの一連の処理を終了させる。なお、結果通知部215は、画像認識部212より診断不能である旨の通知を受けると、通信処理部206を介して、診断不能である旨をエレベータ制御装置30に通知する。
なお、基準画像の撮影は、最初の診断処理時に行われるのではなく、例えば、キャリブレーション部204によるキャリブレーション完了後に、マーカが除外され、利用者検知部203により一定時間以上利用者が検知されない状態が続いた場合に行われるとしてもよい。
再度図7の説明に戻る。上記したステップS2の処理の結果、診断処理を行うことが可能と判定された場合、つまり、図8に示した基準画像情報を生成・保存する処理が既に実行され、基準画像情報が記憶部205に保存されている場合(ステップS2のYes)、エレベータ制御装置30は、記憶部205に記憶された基準画像情報を参照して、基準画像が撮影された時の条件と同条件で比較画像の撮影を行うための指示を各部に出力する(ステップS5)。
自動診断処理部210は、カメラ12により撮影された比較画像に基づいて比較画像情報を生成し、記憶部205に保存された基準画像情報と、当該比較画像情報とを対象にした画像情報マッチングを行う(ステップS6)。
ここで、図10のフローチャートを参照して、図7のステップS6の処理(すなわち、局所特徴量を使用した画像情報マッチング処理)の詳細について説明する。
自動診断処理部210の画像認識部212は、ステップS5の処理においてカメラ12により撮影された画像であって、画像入力部201により透視投影変換が行われた比較画像の入力を受け付けると、当該比較画像に対してAKAZE等の局所特徴量アルゴリズムを適用して、キーポイントを抽出する(ステップS6-1)。続いて、画像認識部212は、抽出されたキーポイントの特徴量記述子を算出する(ステップS6-2)。比較画像から抽出されたキーポイントの座標と、当該キーポイントの特徴量記述子とが、上記した比較画像情報に相当する。
その後、画像認識部212は、基準画像情報と比較画像情報とを対象にした画像情報マッチングを行う。具体的には、画像認識部212は、記憶部205に保存された基準画像情報により示され、基準画像から抽出されたキーポイントの特徴量記述子と、比較画像から抽出されたキーポイントの特徴量記述子とを比較し、比較画像から抽出されたキーポイントのうち、基準画像から抽出されたキーポイントとの相違度が閾値以下のキーポイントを検出し、当該検出された比較画像のキーポイントとこれに対応する基準画像のキーポイントのペアを、対応点として検出する(ステップS6-3)。図11は、比較画像の一例を示し、上記したステップS6-3の処理の結果、比較画像から抽出されたキーポイントk1’~k3’が、対応点の一方として抽出された場合を示している。
なお、対応点を検出するための条件には、基準画像のキーポイントとの相違度の他に、基準画像のキーポイントの座標との距離(画像間の座標の差異)がさらに加えられてもよい。また、対応点の候補として複数の候補が検出されてしまった場合、上記した相違度や距離がより小さい候補を、対応点として検出すればよい。なお、対応点を検出するための画像情報マッチング処理においては誤マッチングが生じてしまう場合もあるが、RANSACアルゴリズムを用いて外れ値を除外したり、対応点同士の座標差分や角度差分でソートして中央値と比較することで外れ値を除外したりすることで、上記した誤マッチングを減らすことが可能である。
画像認識部212は、検出された対応点の数が基準値以上であり、かつ、検出された対応点の位置関係が予め設定された条件を満たしているか否かを判定する(ステップS6-4)。
ステップS6-4の処理の結果、検出された対応点の数と位置が条件を満たすと判定された場合(ステップS6-4のYes)、画像認識部212は、検出された対応点とカメラ12のレンズ中心点との角度の差分や、基準画像のキーポイント間の距離と比較画像のキーポイント間の距離との差分を算出し(ステップS6-5)、ここでの一連の処理を終了させる。なお、算出された各種差分を示す差分情報は、設定値推定部213へと出力される。
一方で、ステップS6-4の処理の結果、検出された対応点の数が基準値未満である、あるいは、検出された対応点の位置関係が予め設定された条件を満たしていないと判定された場合(ステップS6-4のNo)、画像認識部212は、診断処理を行うことはできないとして、診断不能である旨を結果通知部215に通知し(ステップS6-6)、ここでの一連の処理を終了させる。なお、結果通知部215は、画像認識部212より診断不能である旨の通知を受けると、通信処理部206を介して、診断不能である旨をエレベータ制御装置30に通知する。
再度図7の説明に戻る。ステップS6の処理により、画像認識部212より出力された差分情報の入力を受け付けると、設定値推定部213は、当該差分情報に基づいて、カメラ12の取り付け位置のずれを推定することが可能であるか否かを判定する(ステップS7)。具体的には、設定値推定部213は、差分情報により示される各種差分が過度に大きい場合、カメラ12の取り付け位置のずれを推定することができないと判定し、各種差分が過度に大きくない場合、カメラ12の取り付け位置のずれを推定することができると判定する。
ステップS7の処理の結果、カメラ12の取り付け位置のずれを推定することができないと判定された場合(ステップS7のNo)、設定値推定部213は、機器が破損している疑いがあるとして、診断結果として異常が生じている旨を結果通知部215に通知し(ステップS8)、ここでの一連の処理を終了させる。なお、結果通知部215は、設定値推定部213よりこの通知を受けると、通信処理部206を介して、異常が生じている旨の診断結果情報をエレベータ制御装置30に通知する。エレベータ制御装置30は、結果通知部215よりこの通知を受けると、遠隔監視装置40を介して中央監視センタ装置41に当該通知内容を示す診断結果情報を送信して、保守員による点検作業を促す。
一方で、ステップS7の処理の結果、カメラ12の取り付け位置のずれを推定することが可能であると判定された場合(ステップS7のYes)、設定値推定部213は、対応点として検出されたキーポイントの一方であって比較画像のキーポイントとカメラ12のレンズ中心点との相対位置を、対応点として検出されたキーポイントの他方であって基準画像のキーポイントとカメラ12のレンズ中心点との相対位置に一致させることが可能なカメラパラメータを推定する(ステップS9)。推定されたカメラパラメータは、ずれ判定部214に出力される。
ずれ判定部214は、設定値推定部213により推定されたカメラパラメータの入力を受け付けると、当該カメラパラメータと、記憶部205に保存されているカメラパラメータとの差分を算出し、算出された差分が閾値以上であるか否かに基づいて、カメラ12の取り付け位置にずれが生じているか否かを判定する(ステップS10)。
ステップS10の処理の結果、算出された差分が閾値未満であり、カメラ12の取り付け位置にずれは生じていないと判定された場合(ステップS10のNo)、ずれ判定部214は、カメラ12の取り付け位置にずれはなく、正常である旨を結果通知部215に通知し(ステップS11)、ここでの一連の処理を終了させる。なお、結果通知部215は、ずれ判定部214より正常である旨の通知を受けると、通信処理部206を介して、カメラ12の取り付け位置は正常である旨の診断結果情報をエレベータ制御装置30に通知する。
一方で、ステップS10の処理の結果、算出された差分が閾値以上であり、カメラ12の取り付け位置にずれが生じていると判定された場合(ステップS10のYes)、ずれ判定部214は、算出された差分を、カメラパラメータの補正値として記憶部205に保存する(ステップS12)。しかる後、ずれ判定部214は、カメラ12の取り付け位置にずれがあり、補正を行った旨を結果通知部215に通知し(ステップS13)、ここでの一連の処理を終了させる。なお、結果通知部215は、ずれ判定部214より補正が実施された旨の通知を受けると、通信処理部206を介して、カメラ12の取り付け位置にずれがあり、補正が行われた旨の診断結果情報をエレベータ制御装置30に通知する。
以上説明した第1実施形態によれば、エレベータ遠隔監視システムは、カメラ12の取り付け位置にずれが生じているか否かを定期的に診断する診断処理を実行し、当該診断処理の結果、カメラ12の取り付け位置にずれが生じている場合には、カメラパラメータの補正値により、カメラ12によって撮影される画像を補正することが可能であるため、エレベータシステム1の運用開始後に、カメラ12の取り付け位置にずれが生じたとしても、検知エリアe1を適切な位置に設定し続けることが可能であり、利用者の検知精度の低下を抑制することが可能である。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態は、画像変換部211により基準画像の切り出し座標に加えて、基準画像自体も記憶部205に保存される点で、上記した第1実施形態と相違している。また、カメラパラメータの補正値を算出するために使用される差分がテンプレートマッチングにより算出される点でも、上記した第1実施形態と相違している。なお、以下では、上記した第1実施形態と相違する点のみを説明し、上記した第1実施形態と同様な点についての説明は省略する。
図12は、図7に示すステップS4の詳細な処理であって、第2実施形態に係る一連の処理手順の一例を示すフローチャートである。
まず、自動診断処理部210の画像変換部211は、カメラ12により撮影された画像であって、画像入力部201により透視投影変換が行われた画像の入力を受け付けると、キャリブレーション時に記憶部205に記憶された座標に基づいて、当該入力された画像からシル周辺部分のみを切り出す(ステップS4-11)。続いて、画像変換部211は、切り出された画像を基準画像とし、当該基準画像と当該基準画像の切り出し座標とを基準画像情報として記憶部205に一時的に保存する(ステップS4-12)。しかる後、画像認識部212は、診断可能である旨を結果通知部215に通知し(ステップS4-13)、ここでの一連の処理を終了させる。なお、結果通知部215は、画像認識部212より診断可能である旨の通知を受けると、通信処理部206を介して、診断可能である旨をエレベータ制御装置30に通知する。
図13は、図7に示すステップS6の詳細な処理であって、第2実施形態に係る一連の処理手順の一例を示すフローチャートである。
まず、画像認識部212は、カメラ12により撮影された画像であって、画像入力部201により透視投影変換が行われた比較画像の入力を受け付けると、記憶部205に保存された基準画像をテンプレート画像として当該比較画像内で走査させ、ZNCC(正規化相互相関)の値(類似度)が最大となる座標を特定し、当該類似度を無回転類似度として扱う(ステップS6-11)。
続いて、画像認識部212は、上記した無回転類似度が予め設定された閾値未満であるか否かを判定する(ステップS6-12)。なお、ステップS6-12の処理の結果、無回転類似度が閾値未満でない、つまり、閾値以上であると判定された場合(ステップS6-12のNo)、後述するステップS6-19の処理に進む。
一方で、ステップS6-12の処理の結果、無回転類似度が閾値未満であると判定された場合(ステップS6-12のYes)、画像認識部212は、カメラ12のレンズ中心点を回転軸としたアフィン変換により、比較画像を粗く広範囲に回転させた複数の画像を含む第1回転画像群を生成する。具体的には、画像認識部212は、カメラ12のレンズ中心点から2度刻みで-10度から+10度の回転行列を生成して、10種類の画像を含む第1回転画像群を生成する(ステップS6-13)。その後、画像認識部212は、生成された10種類の画像を含む第1回転画像群内で基準画像を順に走査させ、ZNCCの値(類似度)が最大となる画像および座標を特定し、当該類似度を第1回転類似度として扱う(ステップS6-14)。
次に、画像認識部212は、無回転類似度および第1回転類似度のうち最大の類似度を示す画像の角度を中心にして、0.5度刻みで-1.5度から+1.5度の回転行列を生成して、6種類の画像を含む第2回転画像群を生成する(ステップS6-15)。その後、画像認識部212は、生成された6種類の画像を含む第2回転画像群内で基準画像を順に走査させ、ZNCCの値(類似度)が最大となる画像および座標を特定し、当該類似度を第2回転類似度として扱う(ステップS6-16)。
画像認識部212は、無回転類似度、第1回転類似度および第2回転類似度のうち最大の類似度が予め設定された閾値以上であるか否かを判定する(ステップS6-17)。なお、ステップS6-17の処理の結果、最大の類似度が閾値未満であると判定された場合(ステップS6-17のNo)、画像認識部212は、診断処理を行うことはできないとして、診断不能である旨を結果通知部215に通知し(ステップS6-18)、ここでの一連の処理を終了させる。なお、結果通知部215は、画像認識部212より診断不能である旨の通知を受けると、通信処理部206を介して、診断不能である旨をエレベータ制御装置30に通知する。
一方で、ステップS6-17の処理の結果、最大の類似度が閾値以上であると判定された場合(ステップS6-17のYes)、画像認識部212は、当該類似度を示す画像の座標と、基準画像の切り出し座標との差分を算出し(ステップS6-19)、ここでの一連の処理を終了させる。なお、算出された差分を示す差分情報は、カメラパラメータの推定に使用されるため、設定値推定部213へと出力される。
以降は、設定値推定部213が、上記した差分情報に基づきカメラパラメータを推定する等、上記した第1実施形態と同様な処理が実行されるため、ここではその詳しい説明は省略する。
なお、本実施形態では、画像認識部212は、ZNCCの値(類似度)に基づいて当該類似度が最大となる画像および座標を特定するとしたが、これに限定されず、例えばSADやSSD等の値(相違度)に基づいて当該相違度が最小となる画像および座標を特定するとしてもよい。これによれば、輝度変化には弱くなってしまう一方で計算量を削減することが可能であるため、画像認識部212にかかる負荷を低減することが可能である。また、第1回転画像群で回転角のあたりを取る場合、基準画像と比較画像とを縮小して、計算量を削減するとしてもよい。
以上説明した第2実施形態においても、エレベータ遠隔監視システムは、カメラ12の取り付け位置にずれが生じているか否かを定期的に診断する診断処理を実行し、当該診断処理の結果、カメラ12の取り付け位置にずれが生じている場合には、カメラパラメータの補正値により、カメラ12によって撮影される画像を補正することが可能であるため、エレベータシステム1の運用開始後に、カメラ12の取り付け位置にずれが生じたとしても、検知エリアe1を適切な位置に設定し続けることが可能であり、利用者の検知精度の低下を抑制することが可能である。
(第3実施形態)
さらに、第3実施形態について説明する。第3実施形態は、基準画像がエッジ画像である点で、上記した第1実施形態と相違している。また、カメラパラメータの補正値を算出するために使用される差分がテンプレートマッチングにより算出される点でも、上記した第1実施形態と相違している。第3実施形態は、シル周辺の人工物は複雑なテクスチャを有していないというエレベータに共通する特徴を利用して、基準画像と比較画像とをエッジ画像に変換した上で、画像情報マッチング処理を行う。なお、以下では、上記した第1実施形態と相違する点のみを説明し、上記した第1実施形態と同様な点についての説明は省略する。
図14は、図7に示すステップS4の詳細な処理であって、第3実施形態に係る一連の処理手順の一例を示すフローチャートである。
まず、自動診断処理部210の画像変換部211は、カメラ12により撮影された画像であって、画像入力部201により透視投影変換が行われた画像の入力を受け付けると、キャリブレーション時に記憶部205に記憶された座標に基づいて、当該入力された画像からシル周辺部分のみを切り出す(ステップS4-21)。続いて、画像変換部211は、切り出された画像(基準画像)をエッジ画像に変換して基準エッジ画像とし、これを基準画像情報として記憶部205に一時的に保存する(ステップS4-22)。また、画像変換部211は、上記した基準画像の切り出し座標を基準画像情報として記憶部205に一時的に保存する(ステップS4-23)。しかる後、画像認識部212は、診断可能である旨を結果通知部215に通知し(ステップS4-24)、ここでの一連の処理を終了させる。なお、結果通知部215は、画像認識部212より診断可能である旨の通知を受けると、通信処理部206を介して、診断可能である旨をエレベータ制御装置30に通知する。
図15は、図7に示すステップS6の詳細な処理であって、第3実施形態に係る一連の処理手順の一例を示すフローチャートである。
まず、画像認識部212は、カメラ12により撮影された画像であって、画像入力部201により透視投影変換が行われた比較画像の入力を受け付けると、当該比較画像をエッジ画像(比較エッジ画像)に変換する(ステップS6-21)。
続いて、画像認識部212は、カメラ12のレンズ中心点を回転軸として、比較エッジ画像を粗く広範囲に回転させた複数の画像を含む第1回転画像群を生成する(ステップS6-22)。その後、画像認識部212は、比較エッジ画像内と、生成された複数の画像を含む第1回転画像群内と、で基準エッジ画像を順に走査させ、相違度が最小となる画像および座標を特定し、当該相違度を第1回転相違度として扱う(ステップS6-23)。
次に、画像認識部212は、最小の相違度を示す画像の角度を中心にして、当該画像を細かく回転させた複数の画像を含む第2回転画像群を生成する(ステップS6-24)。その後、画像認識部212は、生成された第2回転画像群内で基準エッジ画像を順に走査させ、相違度が最小となる画像および座標を特定し、当該相違度を第2回転相違度として扱う(ステップS6-25)。
ここで、画像認識部212は、比較エッジ画像、第1回転画像群および第2回転画像群のうち最小の相違度を示す画像および座標を使用して、ZNCCの値(類似度)を算出する(ステップS6-26)。
画像認識部212は、算出された類似度が予め設定された閾値以上であるか否かを判定する(ステップS6-27)。なお、ステップS6-27の処理の結果、算出された類似度が閾値未満であると判定された場合(ステップS6-27のNo)、画像認識部212は、診断処理を行うことはできないとして、診断不能である旨を結果通知部215に通知し(ステップS6-28)、ここでの一連の処理を終了させる。なお、結果通知部215は、画像認識部212より診断不能である旨の通知を受けると、通信処理部206を介して、診断不能である旨をエレベータ制御装置30に通知する。
一方で、ステップS6-27の処理の結果、算出された類似度が閾値以上であると判定された場合(ステップS6-27のYes)、画像認識部212は、当該類似度を示す画像の座標と、基準画像の切り出し座標との差分を算出し(ステップS6-29)、ここでの一連の処理を終了させる。なお、算出された差分を示す差分情報は、カメラパラメータの推定に使用されるため、設定値推定部213へと出力される。
以降は、設定値推定部213が、上記した差分情報に基づきカメラパラメータを推定する等、上記した第1実施形態と同様な処理が実行されるため、ここではその詳しい説明は省略する。
以上説明した第3実施形態においても、エレベータ遠隔監視システムは、カメラ12の取り付け位置にずれが生じているか否かを定期的に診断する診断処理を実行し、当該診断処理の結果、カメラ12の取り付け位置にずれが生じている場合には、カメラパラメータの補正値により、カメラ12によって撮影される画像を補正することが可能であるため、エレベータシステム1の運用開始後に、カメラ12の取り付け位置にずれが生じたとしても、検知エリアe1を適切な位置に設定し続けることが可能であり、利用者の検知精度の低下を抑制することが可能である。
以上説明した少なくとも一つの実施形態によれば、カメラ12の取り付け位置のずれに起因した利用者の検知精度の低下を抑止し得るエレベータ遠隔監視システムを提供することが可能である。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
一実施形態によれば、エレベータ遠隔監視システムは、画像処理装置と、エレベータ制御装置と、遠隔監視装置と、を具備する。前記画像処理装置は、乗りかごのドア上部に設置されたカメラによって撮影される画像に基づいて、前記ドア近辺の利用者を検知する。前記エレベータ制御装置は、前記画像処理装置によって前記利用者が検知された場合に、前記ドアの戸開閉動作を制御する。前記遠隔監視装置は、前記画像処理装置により前記利用者が正常に検知可能な状態であるか否かを監視する。前記画像処理装置は、キャリブレーション手段と、診断処理手段と、通知処理手段と、を備える。前記キャリブレーション手段は、前記カメラの設置時に、前記ドア近辺にマーカが置かれた状態で当該カメラにより撮影された画像に基づいて、検知エリアを適切に設定する。前記診断処理手段は、前記キャリブレーション手段による前記検知エリアの設定が完了している状態で、前記遠隔監視装置から診断処理実行指令を受けると、前記カメラの取り付け位置にずれが生じているか否かを検出するための診断処理を実行する。前記通知処理手段は、前記診断処理手段による診断結果を前記遠隔監視装置に通知する。前記診断処理手段は、前記キャリブレーション手段による前記検知エリアの設定が完了している状態で前記カメラによって撮影された画像であって、前記診断処理が実行されるにあたって基準となる基準画像に関する基準画像情報を生成し、前記診断処理実行指令を受けると、前記基準画像の撮影時と同条件で撮影された比較画像に関する比較画像情報を生成し、前記基準画像情報と前記比較画像情報とを対象にした画像情報マッチングを行い、前記画像情報マッチングの結果、前記カメラの取り付け位置にずれが生じていることが検出された場合、当該ずれの補正を行うと共に、前記カメラの取り付け位置のずれを補正したことを前記遠隔監視装置に通知し、前記画像情報マッチングの結果、前記カメラの取り付け位置にずれが生じているか否かを検出することができない場合、前記カメラの取り付け位置に異常が生じていることを前記遠隔監視装置に通知する。