JP2017214191A - 輸送機器制御システム、及び、輸送機器制御方法 - Google Patents

Abstract

【課題】エレベータ等輸送機器での乗客数の多少に拘わらず、輸送機器に対する非接触の操作を認識して輸送機器を制御できるようなシステム、及び、その方法を提供することを目的とする。【解決手段】所定領域に所在する複数の人員に操作盤への入力を許容し、当該操作盤からの出力信号に基づいて、輸送機器を制御する輸送機器の制御システムは、所定領域を俯瞰して撮像可能な撮像装置と、撮像装置からの出力画像を処理する画像処理装置と、画像処理装置による画像処理の結果に基づいて輸送機器を制御する制御装置と、を備え、画像処理装置は、所定領域に存在する複数の人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、制御装置は、対象者によって操作盤が操作されなくても、手挙げ挙動に基づいて輸送機器を制御する。【選択図】図１

Description

本発明は、輸送機器制御システム、及び、その方法に係り、詳しくは、エレベータ、エスカレータ等人員を乗降させながら輸送する昇降装置の制御に関し、さらに詳しくは、昇降装置に搭乗する人員の挙動に基づいて、昇降装置を制御するためのシステムに関する。

従来から、エレベータ機器において、乗客は、乗りかごの操作盤に設けられているボタン等の操作端末を操作することにより、乗りかごのドアの開閉や行先階を指定することができる。これに対して、乗客が、操作盤に触れなくてもエレベータ機器を制御できるようにした従来技術も存在する（特許文献１）。この従来技術では、操作盤に搭載されたカメラが操作盤に近づく乗客の指を認識して、ドアの開閉や行先階の指定を可能にしている。一方、エレベータの乗りかご内の全体を俯瞰できるように画像センサを設け、画像センサが取得した乗客の画像に基づいて、乗客の人数、車椅子等の乗客の状態を把握し、これをエレベータ機器の制御に利用することも行われている（特許文献２、３）。

特開２０１３−１２４１６６号公報 特開２０１４−０１３９３２号公報 特開２００５−２５５４０４号公報

前記特許文献１に係るエレベータ機器では、乗客の指の動きを認識するための専用カメラを必要とする。専用カメラに依らずに乗客の操作盤に対する動作を認識するためには、エレベータ内に備え付けられた防犯カメラの様な汎用のカメラをエレベータ機器の乗りかごを俯瞰する画像センサとして兼用することが考えられる。しかしながら、乗りかご内で乗客が混雑していると、画像センサは、乗客の操作盤に対する操作が他の乗客の陰になって認識できないというおそれがある。

そこで、本発明は、エレベータ等輸送機器での乗客数の多少に拘わらず、輸送機器に対する非接触の操作を認識して輸送機器を制御できるようなシステム、及び、その方法を提供することを目的とする。

かかる課題を解決するために本発明においては、所定領域に所在する複数の人員に操作盤への入力を許容し、当該操作盤からの出力信号に基づいて、輸送機器を制御する輸送機器制御システムは、所定領域を俯瞰して撮像可能な撮像装置と、撮像装置からの出力画像を処理する画像処理装置と、画像処理装置による画像処理の結果に基づいて輸送機器を制御する制御装置と、を備え、画像処理装置は、所定領域に存在する複数の人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、制御装置は、対象者によって操作盤が操作されなくても、手挙げ挙動に基づいて輸送機器を制御するようにした。

本発明によれば、エレベータ等輸送機器での乗客数の多少に拘わらず、輸送機器に対する非接触の操作を認識して輸送機器を制御できるようなシステム、及び、その方法を実現できる。

第１の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態による画像認識機能の説明に供する概念図である。 第２の実施の形態による画像認識機能の説明に供する概念図である。 第１の実施の形態の変形例による画像認識処理の処理手順を示すフローチャートである。 第１の実施の形態の変形例による画像認識処理の処理手順を示すフローチャートである。 第２の実施の形態による画像認識機能の説明に供する概念図である。 他の実施の形態による画像認識機能の処理手順を示すフローチャートである。 他の実施の形態による画像認識機能の説明に供する概念図である。

次に、本発明の実施の形態を、図面に基づいて説明する。以下の第１の実施の形態においては、輸送機器としての昇降装置であるエレベータ装置を例にとり、エレベータ装置の乗りかご内の乗客（人員）の画像に基づいて、乗りかごの動作を制御する制御システムを説明する。図１は、乗りかご５１の斜視図である。符号５８は乗りかご５１を開閉するドアである。制御システムは、画像センサと、画像処理処置装置と、画像処理の結果に基づいて乗りかご５１の動作を制御する制御装置と、を備える。符号５２は画像センサであり、符号５４は、画像センサ５２からの撮像信号（出力画像）に基づいて画像処理を行う画像処理装置として、さらに、画像処理の結果に基づいて、乗りかご５１の制御、例えば、ドア５８の開閉、行先階の指定等ユーザ対応制御を行う制御装置としての、処理ユニットである。

画像センサ５２は、撮像装置であり、乗りかご５１内の乗客を監視する等のために従来から利用され、乗りかご５１の天井の奥側の角部に存在し、所定領域としての乗りかご５１内の領域をドア５８側に向かって俯瞰し、乗りかご５１内部を撮像できる。画像センサ５２は乗りかご５１内の少なくとも1人の乗客の上半身が視野内に収まる視野角を有している。処理ユニット５４は、画像センサ５２によって得られた画像情報を取り込み、画像処理を行う。符号５９は乗りかご５１の昇降方向（重力方向）に沿った座標系であり、符号６９は画像センサ５２の視線方向に沿った座標系を示す。処理ユニット５４は画像センサ５２の座標系６９のｘ、ｙ、ｚ軸に対する角度（θ、ψ、ρ）等撮像対象に合わせて画像センサ５２の視線方向を制御することもできる。

画像センサ５２は、処理ユニット５４が乗客の挙動を識別できるようにするために、画像までの距離情報も出力できる距離画像センサとして実現される。画像センサ５２には、Time Of Flightと呼ばれ、センサ内部に近赤外の発光体を有し、近赤外光を発光してからその近赤外光が視野角内の物体に反射してから戻ってくるまでの時間を計測することで物体までの距離を画素単位で計測する計測方式を適用できる。この他にも、画像センサ５２に、ステレオカメラやレーザレーダ等の画素単位で距離を計測できる方式を適用してもよい。その他、後述の直上画像を生成できるように、３次元データに変換できる画像データを取得できる任意の計測方式を適用することもできる。

画像センサ５２は、監視カメラと同様に画像の撮像面を有しており、複数の画素の夫々について、撮像対象までの距離を計測して距離画像を得ることができる。距離画像とは、画像中の各画素までの距離の情報を持つ画像である。画像センサ５２は、座標系６９に沿って、乗りかご５１内の乗客１３１、１３２及び１３３（図５参照）を視野内に捉えることができる。

図２に、処理ユニット５４の機能ブロック図を示す。処理ユニット５４は画像データ取得部１を備える。画像データ取得部１は、所定周期で、画像センサ５２から距離画像を、フレーム単位で取得して記憶する。

処理ユニット５４は、さらに、画像データ取得部１が取得した距離画像１５１（図３参照）を基に、乗りかご５１内の乗客の手挙げ挙動、例えば、乗客１３１（対象者）の手１４１を挙手する挙動（図６参照）を検出する手挙げ検出部２と、対象者の挙手挙動を契機として、挙手挙動に継続する対象者の動作を、距離画像１５１に基づいて認識する動作認識部３Ａと、距離画像１５１に基づいて乗りかご５１内の状況（乗客の配置等）を認識する状況認識部３Ｂとを備える。

動作認識部３Ａは、乗客１３１の挙動のうち、前記挙手挙動に継続し、挙手挙動の関連する関連挙動を特定の「ジェスチャ」として、区別、或いは、識別等して、これを乗りかご５１の制御のために利用させる。「ジェスチャ」としては、例えば、挙げた手を左右に振る、挙げた手を下す等がある。また、処理ユニット５４中の後述の制御部４を除く部分を画像処理装置と言い換えてもよい。

さらに、処理ユニット５４は、動作認識部３Ａ、及び／又は、状況認識部３Ｂからの認識結果を受けて、乗りかご５１のドア５８の開閉、停止階の設定等を制御するための制御信号を生成する制御信号生成部３Ｃとを備える。制御信号生成部３Ｃは、制御信号を、乗りかご５１を含むエレベータ装置を制御する制御装置である制御部４に出力する。なお、制御信号生成部３Ｃは制御部４に含まれてもよいものとする。ここで以下、３Ａ、３Ｂ及び３Ｃを纏めてジェスチャ認識部３と呼ぶ。ジェスチャ認識部３は、以上述べた３Ａ、３Ｂ及び３Ｃの各機能を備えている。

制御部４は、制御信号生成部３Ｃから出力された制御信号に基づいて、乗りかご５１のドア５８の開閉、乗りかご５１の停止階への停止等乗りかご５１の運行を制御するためにモータに対する制御を実行する。乗りかご５１のドア５８の開閉、停止階への停止のための操作は操作盤からも可能であり、操作盤からの操作信号は制御部４に出力される。制御部４は、操作盤に設けられているディスプレイに情報を表示するため、停止階用のボタンを点灯させる等のための制御信号を出力する。また、制御部４は、制御信号生成部３Ｃの制御信号中に乗客に向けたアナウンスやディスプレイや照明機器等の乗りかご５１内の装置への制御が含まれる場合には、該当する機器を制御する。乗りかご５１のドア５８の開閉のための制御には、ドア５８の開放時間や開閉速度の調整を含む。なお、「部」は、プログラム、及び／又は、ハードウェアによって実現される。「部」を「モジュール」に言い換えてもよい。

処理ユニット５４は、マイクロコンピュータとして、画像センサ５２とは独立して構成されてもよいし、画像センサ５２と一体に構成されてもよい。さらに、処理ユニット５４は、乗りかご５１とネットワークで接続された遠隔の計算機として実現されてもよい。処理ユニット５４の複数のモジュールを乗りかご５１と遠隔に分けて存在させてもよい。さらにまた、処理ユニット５４は、統合基板のマイクロコンピュータとして実現される他、複数の制御基板から構成されてもよい。

次に、画像センサ５２の計測動作の詳細について説明する。図３において、符号１５０は距離画像１５１中の画素、符号５０は画素１５０に対応した空間中の対応点、符号６９は既述のとおり、画像センサ５２を基準とした座標系、ｉ_Ｓ（ｕ、ｖ）は画素１５０の距離画像１５１上の座標、Ｉ_Ｓ（Ｘ_Ｓ、Ｙ_Ｓ、Ｚ_Ｓ）は対応点５０の座標系６９で定義された座標である。

座標系６９の原点Ｏ_Ｓ画像センサ５２の投影の中心であり、座標軸Ｘ_Ｓ、Ｙ_Ｓ、Ｚ_Ｓは画像センサ５２から見て左、上、奥にあたる。Ｉ_Ｓは、画像センサ５２を座標系の基準としたときの３次元データである。Ｉ_Ｓの要素中のＺ_Ｓが、画素１５０の距離値に相当する。処理ユニット５４が、画像センサ５２の投影モデルをピンホールモデルで近似し、画像センサ５２の焦点距離をλとすると、Ｉ_Ｓの要素中で残るＸ_Ｓ、Ｙ_Ｓは順に、下記の式（１）、式（２）によって計算される。処理ユニット５４は、この距離画像１５１中の画素１５０から対応点５０を求める手順を、距離画像１５１内の全てもしくは所定領域内の画素１５０で繰り返し行うことで、距離画像１５１を３次元データに変換することができる。

さらに、処理ユニット５４は、距離画像１５１を、対応点５０を介して任意の視点に視点変換することが可能である。例えば、距離画像１５１を、乗りかご５１が乗りかご５１の真上の視点から見下す方向に変換されることを、図４を用いて説明する。最初に、対応点５０の座標が、座標系６９から任意の座標に座標変換できることを、下記の式（３）を用いて示す。式（３）において、対応点５０の座標は、座標系６９における座標Ｉ_Ｓ（Ｘ_Ｓ、Ｙ_Ｓ、Ｚ_Ｓ）から、乗りかご５１内の座標系５９の座標Ｉ（Ｘ、Ｙ、Ｚ）に変換されている。

位置（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ）は座標系５９における画像センサ５２の設置位置、角度（θ、ψ、ρ）は図１に示す様に座標系５９における画像センサ５２の設置角度である。これらの設置位置や設置角度のデータは事前に計測される。

次に、処理ユニット５４は、対応点５０の座標Ｉ（Ｘ、Ｙ、Ｚ）から、対応点５０を乗りかご５１の無限遠の真上から見下ろした際の直上画像２５１中の画素２５０の座標ｊ（ｍ、ｎ）を求める。ここで、直上画像２５１の座標系２５９のｍ、ｎのスケールは、実空間の座標系５９のＸ、Ｚの実寸に比例するようにされる。画素２５０の諧調は、対応点５０の座標Ｉ（Ｘ、Ｙ、Ｚ）のＹ座標（高さ）に比例する様にされる。処理ユニット５４は、画素１５０の距離画像１５１上の座標ｉ（ｕ、ｖ）から、直上画像２５１中において対応する画素２５０の座標ｊ（ｍ、ｎ）を、距離画像１５１中の全てもしくは所定領域内において繰り返すことにより、乗りかご５１の無限遠の真上から見下ろした際の直上画像２５１を生成できる。なお、距離画像１５１から直上画像２５１を求める演算を直上変換と呼ぶ。

処理ユニット５４は、直上画像２５１中における縦幅及び横幅（座標系２５９中のｍ及びｎ軸方向の幅）からは、座標系２５９と座標系５９の比例関係を用いて、乗りかご５１内の実寸の座標系５９における縦幅、及び、横幅を求めることができる。

処理ユニット５４は、直上画像２５１中の諧調から、座標系２５９におけるＹ座標（高さ）との比例関係を用いて、乗りかご５１内の実寸の座標系５９における高さＹ座標（高さ）を求めることができる。

処理ユニット５４は、直上画像２５１と距離画像１５１の間では、領域間の対応も取れる。例えば、直上画像中の所定領域に含まれる画素２５０の各々から距離画像１５１中における対応点を、対応点５０を介して見つけることにより、前記所定領域に対する距離画像１５１上の対応領域を求めることができる。反対に同様の手順で、距離画像１５１中の所定領域から、直上画像２５１のうちの対応領域を求めることもできる。

既述の直上変換は、手挙げ検出部２、及び、ジェスチャ認識部３において実行される。

次に、図５に基づいて、距離画像１５１Ａが画像データ取得部１で取得された場合を例にとり、手挙げ検出部２、ジェスチャ認識部３、そして、制御部４の動作について説明する。図５において、１３１、１３２、１３３は乗客であり、１５８は乗りかご５１のドア５８であり、１５７は乗りかご５１のドア５８付近の操作盤である。距離画像１５１Ａおいて、操作盤１５７はそのすぐ前に乗客１３２が立っているために、乗客１３１及び１３３は乗客１３２に動いてもらう様に頼まなければ操作盤１５７を操作することは困難である。

図５の距離画像１５１Ａの乗客１３１が手を高く挙げると、画像データ取得部１（画像センサ５２）は、図６に示すように、挙手した乗客１３１Ｂを含む距離画像１５１Ｂを取得する。手挙げ検出部２は、挙手された手１４１を検出する。

手１４１は、乗りかご５１内において高い位置（座標系５９のＹ座標が大きい）を示すことより、画像センサ５２の視野内において、周囲の乗客１３２、１３３等により遮蔽されることや、手１４１を挙げた乗客１３１Ｂの身体によって遮蔽される可能性が少なく、距離画像１５１Ｂにおいて明瞭に区別、或いは、識別される。画像センサ５２の手前に、手１４１よりも身長が高い乗客が居る場合には、挙手された手１４１が遮蔽されるおそれがなくはないが、真っ直ぐに挙手された手１４１の高さは、乗客１３１Ｂの身長に腕の長さを足した値になり、平均的な成人の身長よりも大きいことを考慮すると、挙手された手１４１が遮蔽されるおそれ低い。

手挙げ検出部２が、挙手された手１４１を識別するために、直上画像２５１（図４）において、手１４１の高さの変化を検出すればよい。図７に距離画像１５１Ａ（図５）の直上画像２５１Ａ、図８に距離画像１５１Ｂ（図６）の直上画像２５１Ｂを示す。図７及び図８において、２３１、２３２、２３３は乗客の直上画像であり、そして、２３１Ｂは挙手した乗客２３１の直上画像であり、さらに、夫々乗客１３１、１３２、１３３、１３１Ｂに対応する。２５５は乗りかご５１の床面５５の領域の直上画像であり、２５８はドア１５８(図５及び図６)の直上画像、２５７は操作盤１５７(図５及び図６)の直上画像、そして、２４１は手１４１（図６）の直上画像に夫々対応する。手挙げ検出部２は直上画像２５１Ａと直上画像２５１Ｂの差分を画素ごとに計算することによって、手２４１が挙手されていることを識別することができる。

距離画像１５１Ｂにおいて、距離の動揺、即ち、ノイズ等から区別して、確実に、挙手された手２４１を識別されるように、手挙げ検出部２は、挙手された手２４１の高さ（座標系５９のＹ座標）の範囲を、平均的な体型の大人の手の高さから規定してもよい。あるいは、直上画像２５１Ｂにおいて、手２４１に最も近い乗客２３１Ｂの身長から、挙手された手２４１の高さの範囲を規定してもよい。

乗客２３１の身長は、次の様にして簡易に求めることができる。まず、手挙げ検出部２は、挙手が発生する前のフレームの直上画像２５１Ａにおいて、領域２５５に対して、座標系５９で定義した高さＹが床面５５よりも高い画素を抽出し、これらの複数の画素の連結領域を、乗客２３１、２３２、２３３夫々の領域とする。そして、手挙げ検出部２は、直上画像２５１Ａ中における乗客２３１の領域内の画素の高さＹの最大値から、直上画像２５１Ａ中における乗客２３１の身長を求める。そして、手挙げ検出部２は、連続する複数のフレームで乗客の身長を追跡して処理することにより、直上画像２５１Ａ中における乗客２３１の身長が直上画像２５１Ｂにおいて変わることなく、挙手した乗客２３１Ｂの身長であると判定する。なお、画素の連結領域からは、輪郭がわかるため、乗客の領域である輪郭画像が区別できるものとする。

手挙げ検出部２は、手１４１（図６）を識別する際に、直上画像２５１Ｂにおける手２４１の高さの変化を検出する手法以外の手法を採用してもよい。例えば、手挙げ検出部２は、機械学習により挙手された手１４１（２４１）の形状パターンを事前に学習しておき、距離画像１５１Ｂにこの形状パターンに適合する領域があることにより、挙手を識別するようにしてもよい。

ジェスチャ認識部３は、手１４１を挙げた乗客１３１Ｂが乗りかご５１に対してドア５８（図１参照）の開放等所定の制御をしようとする意図を持って所定の動作をした際、その動作を「ジェスチャ」（継続挙動）として認識する。即ち、「ジェスチャ」とは、乗客が自身の意図を制御システム（処理ユニット５４）に操作盤１５７に接触することなく伝えるためにパラメータである。ジェスチャ認識部３によって認識される「ジェスチャ」と制御コマンドの対応関係は、制御テーブルＴ１として、処理ユニット５４のメモリに事前に登録されていればよい。制御部４は、制御テーブルＴ１を参照して、ジェスチャ認識部３によって認識された、乗客のジェスチャの態様に基づいて、これに対応する制御コマンドを選択、決定、又は、特定し、この制御コマンドをドア５８の開閉用アクチュエータの駆動回路等に出力する。例えば、「ドアの即時閉」は、手１４１がドア５８の閉まる方向に振られるジェスチャに対応し、「ドアの開延長」は、手１４１がドア５８の開く方向に振られるジェスチャに対応する動作を認識する。制御テーブルＴ１において、ドア５８は片開きとして管理されている。なお、ジェスチャ認識部３は、乗客１３１Ｂの挙手を「ジェスチャ」のトリガとして認識する。

ジェスチャ認識部３は、乗客によって複数のフレームに亘って連続して行われる複数の動作を互いに関連する動作とし、これを、一つ、又は、一組のジェスチャとして他のジェスチャから区別することができる。例えば、ジェスチャ認識部３は、手１４１が揺れる動作をトリガとして認識し、次いで、手１４１を左右に動かす動作を認識し、さらに手が下される動作を認識し、これを一つ又は一組のジェスチャとして制御部４に出力する。制御部４は、制御テーブルＴ１に基づいて、「行先階の指定」に係る制御コマンドを特定する。なお、ジェスチャ認識部３は、手１４１の移動量も認識し、この認識情報を「ジェスチャ」の認識情報と共に制御部４に出力する。制御部４は移動量に基づいて乗りかご５１の停止階を決定する。

状況認識部３Ｂは、既述のジェスチャの認識に加えて、乗りかご５１内の乗客の状況（混雑度等）を認識する。例えば、状況認識部３Ｂは、距離画像１５１Ａにしたがって、ドア５８付近に乗客１３３（挙手したとする）とは別の乗客１３１と１３２（挙手していない乗客）とが存在することを認識する（図９参照）。ドア５８付近及び操作盤１５７付近に別の乗客が存在すると、乗客１３３（挙手したとする）は操作盤１５７にも近づきにくいために、制御部４は、手挙げ挙動（挙手）そのものを、乗客１３３の降車意思と見做し、挙手を直近階等に降車するためのコマンドに対応させてもよい。なお、ジェスチャ認識部３は、乗客１３１、１３２、１３３の位置を、直上画像２５１Ａ中の乗客２３１、２３２、２３３の重心位置から求めることができる。重心位置は、座標系５９（図１参照）で定義された高さＹが床面５５よりも高い画素の連結領域（乗客２３１、２３２、２３３：図７）夫々の重心として算出される。なお、制御部４は、ドア５８付近に別の乗客が存在するか否かに拘わらず、乗客１３３（挙手したとする）が操作盤１５７から離れている（両者の位置が所定値以上）場合、挙手を直近階等に降車するためのコマンドに対応させてもよい。なお、制御テーブルＴ１内に状況を参照するジェスチャが無い場合には、本発明の実施の形態１から状況認識部３Ｂを省いても良い。

手挙げ検出部２、及び／又は、制御部４は、挙手した乗客１３１Ｂとドア５８との間に他の乗客が存在しない場合、及び／又は、挙手した乗客１３１Ｂが操作盤１５７の近傍に存在する場合、乗客１３１Ｂの「挙手」を非接触インターフェース（画像センサ５２）に対するとして入力として扱わないようにしてもよい。さらに、ジェスチャ認識部３、及び／又は、制御部４は、挙手した乗客１３１Ｂとドア５８との間に他の乗客が存在しない場合、及び／又は、挙手した乗客１３１Ｂが操作盤１５７の近傍に存在する場合、乗客１３１Ｂの「ジェスチャ」を非接触インターフェース（画像センサ５２）に対するとして入力として扱わないようにしてもよい。さらに、制御部４は、ドア５８付近に別の乗客が存在するか否かに拘わらず、挙手した乗客１３１Ｂが操作盤１５７から離れている（両者の位置が所定値以上）場合、挙手を直近階等に降車するためのコマンドに対応させてもよい。乗客と制御コマンドとの対応関係は、図９の制御テーブルの例に限定されない。制御部４は、非接触インターフェースへの入力に基づいて、制御テーブルにしたがって、例えば、乗りかご５１のドア５８等の諸部材、そして、乗りかご５１の運行等を制御する。

ジェスチャ認識部３は、挙手した乗客１３１Ｂの互いに関連する複数の連続挙動、例えば、図９の手が揺れる、左右に手が動く、そして、手が下される夫々認識結果を一つのジェスチャとして一度に制御部４に出力する他、夫々の認識結果を夫々の動作の都度夫々制御部４に出力するようにしてもよい。制御部４は、「行先階の指定」の認識に基づいて、指定された階に停止することを登録（呼び登録）する。制御部４は、ジェスチャ認識部３が「手が下げられる」の認識結果を受け取った際に、挙手した乗客１３１Ｂが円滑に乗りかご５１から降車できるように、乗りかご５１が停止されてドア５８が開放される前に、「奥のお客様が降車されますので、ドアの前をお開け下さい」等のアナウンスをスピーカから出力するようにしてもよい。

ジェスチャ認識部３と制御部４とは連携して、乗客の挙動の認識、次いで、乗りかご５１の制御を、乗客との間でインタラクティブに進めることができる。例えば、既述の関連挙動において、ジェスチャ認識部３が、手１４１の揺れを認識し、これが制御部４に出力されると、制御部４は、乗客１３１Ｂに対して、停止階のリクエストを受領したこと、そして、停止階の動作を促すための映像出力（メッセージ、点灯等）を、操作盤２５７のモニタ等を介して提供する。続いて、制御部４が手１４１が左右に振られたことの認識を受領すると、指定された行先階を、操作盤２５７のモニタに出力し、或いは、操作盤２５７の行先階に対応するボタンを点灯させる。

既述の実施の形態によれば、操作盤の傍ら等に、乗客の挙動を検出するための専用のセンサを必要とすることなく、乗りかご５１内の監視用画像センサ５２を利用しても、乗りかご５１内での乗客の混雑の如何に拘らず、画像センサ５２が乗客の挙動を認識して、乗りかご５１の運行を制御することができる。乗客は、不特定多数が触れる操作盤への直接の操作を避けることができるために、衛生面を気にする乗客には好都合でもある。

ところで、複数の乗客が同時、又は、同時と見做され得る短時間の間に手挙げ挙動（挙手）を行うことがある。既述の制御システムは、複数の乗客のうちどの乗客のジェスチャに基づいて、輸送機器（乗りかご５１）を制御すべきかを決定するために排他制御を適用する。どのジェスチャ、換言すれば、どの制御コマンドを排他制御のためにするかは、制御テーブルによって事前に決められていてよい。例えば、典型的には、「ドアの即時閉」と「ドアの開延長」とはドアを対象とする点において同じであるため、両者は排他制御の対象となる。排他制御とは、要するに、複数のジェスチャ、又は、複数の制御コマンドのうち、どのジェスチャ、又は、制御コマンドを優先するかということであり、これはジェスチャ、又は、制御コマンドの優先度に基づいて決定される。排他制御は、制御信号生成部３Ｃによって実行されることでよい。図１０にしたがって、排他制御のフローチャートを説明する。

手挙げ検出部２は、複数の乗客の挙手を識別する（ＳＰ１）。手挙げ検出部２は、複数の乗客夫々の挙手の検出時刻を記録する（ＳＰ２）。検出時刻の代わりに、距離画像１５１Ａ（図６）のフレーム番号を記録してもよい。次に、ジェスチャ認識部３は、複数の乗客１３１夫々のジェスチャを認識する(ＳＰ３)。

次いで、制御信号生成部３Ｃは、同じタイミングで行われた複数のジェスチャ夫々について（ＳＰ４〜ＳＰ８）、先ず、当該ジェスチャに対応する制御処理が排他制御の対象となっているかを判定する（ＳＰ５）。「同じタイミング」とは、ステップＳＰ２で登録された時刻が互いに近いこと、例えば、数秒以内であることでよい。

図１１は、制御コマンドと優先度の関係を規定した制御テーブルである。制御信号生成部３Ｃは、図１１に基づいて、制御コマンドが排他制御の対象になっているか否かを判定する。図１１において、「ドアの即時閉」（図９：ドアの閉じる方向に手が振られるジェスチャに対応）と「ドアの開延長」（図９：ドアが開く方向に手が振られるジェスチャに対応）は共に“ドア”に係るために、両者は排他制御の対象となる。乗客の安全のために、「ドアの即時閉」よりも「ドアの開延長」は優先されるべきとして、前者に優先度「２」が設定され、後者に優先度「１」が設定される。図１１において、優先度の値が低いほど優先度は高くなる。

一方、「行先階の指定」は「表示呼び登録」（停止階用のボタンの点灯）を対象とし、「降車の合図」は「降車のアナウンス」を対象として、夫々他の制御コマンドと制御対象おいて重複しないため、共に排他制御の対象とされないものとして、優先度は設定されない。

好適には、優先度は乗客の安全の観点から決定される。例えば、「ドアの即時閉」よりも「ドアの開延長」の優先度を高くすることで、前者のためのジェスチャをある乗客がとった直後に、ドア５８から降りようとする他の乗客が後者のジェスチャをとれれば、ドア５８の開放時間が延長されることによって余裕を持って降車できるため、ドア５８付近の乗客との衝突を避けることが可能になる。

制御信号生成部３Ｃは、制御コマンドが、「ドアの即時閉」、又は、「ドアの開延長」であると、制御コマンドを排他制御の対象であると判定し、制御コマンドが、「行先階の指定」、又は、「降車の合図」であると、制御コマンドを排他制御の対象でないと判定する。

次いで、制御信号生成部３Ｃは、ジェスチャに対応する制御コマンドが排他制御の対象であると判定すると（ＳＰ５でＹＥＳ）、図１１に基づいて、制御コマンドの優先度が最も高いか否かを判定し（ＳＰ６）、ジェスチャに対応する制御コマンドが排他制御の対象ではないと判定すると（ＳＰ５でＮＯ）、制御信号生成部３Ｃは制御コマンドに基づいて乗りかご５１の動作を制御し、制御部４で制御開始をする(ＳＰ７)。

制御信号生成部３Ｃは、制御コマンドの優先度が最も高いものではないと判定すると（ＳＰ６でＮＯ）、この制御コマンドを処理することなく、ＳＰ５に戻って次の制御コマンドを処理する。制御信号生成部３Ｃは、制御コマンドの優先度が最も高いものであると判定すると（ＳＰ６でＹＥＳ）、ＳＰ７に移行して、制御コマンドに対応する制御を実行する。制御信号生成部３Ｃは、ＳＰ５〜ＳＰ７に係る排他制御を、複数の乗客によって同時に実行されたジェスチャ（制御コマンド）に適用することにより、複数のジェスチャに基づく制御の衝突（「ドアの即時開」と「ドアの開延長」の衝突）を避けることができる。制御信号生成部３Ｃは、同じ優先度のジェスチャが複数ある場合には、ＳＰ２での時刻の早い順に処理する。このような排他制御によって、複数の乗客が同時にジェスチャを行っても、ジェスチャに基づいて乗りかご５１を制御できる。

本発明の実施の形態を、図面に基づいて説明する。第１の実施の形態と同様の部分については説明を省略する。

画像認識機能を持つ昇降装置の機能構成図（図１２）に示したとおり、処理ユニット５４は、所定の周期でフレームであるカメラ画像を取得する画像データ取得部１’と、画像データ取得部１が取得したカメラ画像を基に、乗りかご５１内の所定の対象（例えば、乗客１３１の手１４１）を検出する手挙げ検出部２’と、検出した手１４１の動作を認識するジェスチャ認識部３’と、ジェスチャ認識部３’の認識結果に基づいてエレベータ装置を制御する制御部４とから構成される。なお、画像処理を行う画像処理装置は、画像データ取得部１’と、手挙げ検出部２’と、ジェスチャ認識部３’とから構成される。

図１２に、処理ユニット５４の機能ブロック図を示す。処理ユニット５４は画像データ取得部１’を備える。画像データ取得部１’は、所定周期で、画像センサ５２から距離画像を、フレーム単位で取得して記憶する。

処理ユニット５４は、さらに、画像データ取得部１が取得した距離画像１５１（図３参照）を基に、乗りかご５１内の乗客の手挙げ挙動、例えば、乗客１３１（対象者）が手１４１を挙手するといった手挙げ挙動（図６参照）を検出する手挙げ検出部２と、対象者の挙手挙動を契機として、挙手挙動に継続する対象者の動作を、距離画像１５１に基づいて認識するジェスチャ認識部３’を備える。

画像データ取得部１’は、乗りかご５１内において画像センサ５２と同様に設置された防犯カメラ等の一般的なカメラから、カメラ画像を取得する。カメラ画像は、２次元的な画像であればよく、カラー画像でも、モノクロ画像でも近赤外画像でもよく、距離画像１５１Ａ及び１５１Ｂと同様に乗客１３１、１３１Ｂ及び手１４１が映った画像を取得する。

手挙げ検出部２’は、距離画像１５１Ｂのように高く手を挙げた乗客が映るカメラ画像中の画像的特徴からパターン認識により手１４１を検出する。パターン認識は例えば、事前に手の画像の学習サンプルを収集し、画像的特徴を機械学習により学習しておき、カメラ画像中において手の画像的特徴を備えた部分を手として検出する。他にも、カメラ画像がカラー画像の場合には、肌色の領域を手として検出してもよい。

既述の実施の形態によれば、ジェスチャの認識に専用の画像センサを必要とすることなく、防犯カメラ等の一般的なカメラで、乗りかご５１内での乗客の混雑の如何に拘らず、画像センサ５２が乗客の挙動を認識して、乗りかご５１の運行を制御することができる。

なお既述の実施の形態においては、乗りかご５１中に設置した画像センサ５２を設置した場合について述べたが、本発明はこれに限らない。例えば、図１３に示すように、エレベータホールの高い場所に画像センサ５２Ｈを備え付ければ、第１の実施の形態の機能構成によって、エレベータホールの乗客３１Ｈ、３２Ｈ及び３３Ｈの手挙げを検出し、ジェスチャを認識することができる。

このため、乗客はエレベータホールに備え付けられた操作盤５７Ｈに触れることなく、行先階の指定等の乗りかご５１の運行の制御や乗りかご５１中の装置の制御ができる。なお、第２の実施の形態についても、防犯カメラ等をエレベータホールに備え付けることで、同様に、エレベータホールの乗客３１Ｈ、３２Ｈ及び３３Ｈの手挙げを検出し、ジェスチャを認識することができる。

また既述の実施の形態においては、制御部４がエレベータを制御の対象とした場合について述べたが、本発明はこれに限らず、画像センサ５２や一般的なカメラが、ジェスチャ認識の対象とする乗客等の人を見下ろすように設置されていれば、制御部４はエレベータ以外の装置を制御することができる。

例えば、図１４に示すように、エスカレータ６１等の乗客コンベアを制御することができる。エスカレータ６１のデッキ６５付近を斜め上から視野に収めるように画像センサ５２Ｅを設置し、エスカレータ６１の乗客３１Ｅ、３２Ｅ及び３３Ｅ等が手を挙げてから左右に大きく振るジェスチャをした際に、制御部４がエスカレータを緊急停止する構成としてもよい。

この構成では、乗客３１Ｅが、エスカレータ６１のデッキ６５で転倒し、負傷して動けない場合でかつ、エスカレータ６１を緊急停止させる緊急停止ボタン５７Ｅの周りに乗客３２Ｅ及び３３Ｅがいる場合においても、手を挙げてから左右に大きく振るジェスチャをすることで、制御部４は速やかにエスカレータ６１を停止できる。

本発明のジェスチャを用いた輸送機器の制御はエレベータやエスカレータ以外の装置にも、適用することができる。

１……画像データ取得部、２……手挙げ検出部、３……ジェスチャ認識部、４……制御部、５１……乗りかご、５４……処理ユニット、５５……床面、５８……ドア、１５７……操作盤。

Claims (10)

1. 所定領域に所在する複数の人員に操作盤への入力を許容し、当該操作盤からの出力信号に基づいて、輸送機器を制御する輸送機器制御システムであって、
   前記所定領域を俯瞰して撮像可能な撮像装置と、
   前記撮像装置からの出力画像を処理する画像処理装置と、
   前記画像処理装置による画像処理の結果に基づいて前記輸送機器を制御する制御装置と、
   を備え、
   前記画像処理装置は、
   前記所定領域に存在する複数の前記人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、
   前記制御装置は、
   前記対象者によって前記操作盤が操作されなくても、前記手挙げ挙動に基づいて前記輸送機器を制御するようにした
   輸送機器制御システム。
2. 前記輸送機器が昇降装置であり、
   前記画像処理装置は、
   前記対象者の前記手挙げ挙動に継続し、前記昇降装置の制御に関する関連挙動と、前記手挙げ挙動が発生した際の前記輸送機器の状況との少なくとも一方を識別し、
   前記制御装置は、
   識別された前記関連挙動に基づいて前記昇降装置に対する制御情報を設定し、
   当該制御情報に基づいて、前記昇降装置を制御する
   請求項１記載の輸送機器制御システム。
3. 前記所定領域が前記昇降装置としてのエレベータの乗りかごであり、
   前記撮像装置が前記乗りかご内の乗客を俯瞰するように設置されている
   請求項２記載の輸送機器制御システム。
4. 前記制御装置は、
   前記関連挙動の複数と前記制御情報の複数の対応を規定する制御テーブルを備え、
   識別された前記関連挙動に基づいて、前記制御テーブルを参照して、対応する前記制御情報を設定し、
   対応する前記制御情報に基づいて、前記昇降装置を制御する
   請求項２記載の輸送機器制御システム。
5. 前記画像処理装置は、
   前記撮像装置によって撮像された前記対象者の画像を、前記所定領域を前記昇降装置の昇降方向に沿って見下ろす方向の画像に変換し、
   当該変換された画像に含まれる、前記昇降方向の距離の情報に基づいて、前記対象者の画像から前記手挙げ挙動と前記関連挙動とを識別する
   請求項２記載の輸送機器制御システム。
6. 前記画像処理装置が、所定期間内の複数の前記手挙げ挙動を識別した場合、
   前記制御装置は、前記画像処理装置が前記手挙げ挙動を識別した時刻と、
   前記制御装置に設定された、前記関連挙動に基づいた制御の何れを優先させるかの情報である優先度と、に基づいて前記制御情報を設定し、
   前記制御装置は当該制御情報に基づき前記輸送機器に対して整合性がとれかつ前記人員の安全を確保する制御となる排他制御を行う
   請求項２記載の輸送機器制御システム。
7. 前記制御装置は前記所定領域を開閉する扉の開閉態様の制御、及び／又は、前記昇降装置が複数の階に沿って昇降する際の目的階への発着、及び／又は、前記昇降装置が前記人員に提供するための装置の少なくとも１つ以上を制御する
   請求項２記載の輸送機器制御システム。
8. 前記撮像装置は、前記所定領域内あるいは前記所定領域内における前記人員が搭乗直前に集まる領域の何れかの１箇所以上を撮像可能である
   請求項１〜７の何れか１項に記載の輸送機器制御システム。
9. 輸送機器制御システムはエレベータである
   請求項８記載の輸送機器制御システム。
10. 所定領域に所在する複数の人員に操作盤への入力を許容し、当該操作盤からの出力信号に基づいて、輸送機器を制御する輸送機器の制御方法であって、
    前記所定領域に存在する複数の前記人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、
    前記対象者によって前記操作盤が操作されなくても、前記手挙げ挙動に基づいて前記輸送機器を制御するようにした
    輸送機器制御方法。