JP2019177973A

JP2019177973A - 入力装置及び入力方法

Info

Publication number: JP2019177973A
Application number: JP2018067670A
Authority: JP
Inventors: 雅志神谷; Masashi Kamiya
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-03-30
Filing date: 2018-03-30
Publication date: 2019-10-17

Abstract

【課題】利用者にとってスムーズな操作が可能で、誤った操作が発生しない入力装置を提供する。【解決手段】利用者やエレベーター内の様子を撮像するカメラと、カメラで撮像された画像に含まれているエレベーター利用者の顔向きを推定する顔向き推定部と、顔向き推定部によって推定された利用者の顔向きから、操作盤の表示位置を決定する表示制御部と、表示制御部によって決定された表示位置に操作盤を表示する表示装置と、顔向き推定部によって推定された利用者の顔向きから、利用者が表示装置によって表示された操作盤を向いているかを推定し、操作の可否を判定する操作可否判定部と、操作可否判定部によって判定された操作の可否及びカメラで撮影された画像に含まれている利用者の身体部位の位置から操作盤の操作を検出する操作検出部と、操作検出部によって検出された操作に応じて、エレベーターを制御するエレベーター制御部とを備える。【選択図】図２

Description

本発明は、機器の制御を実行可能にする入力装置及び入力方法に関する。

従来、機器の制御を実行するためには、利用者は操作盤が設置されている位置まで移動し、ボタンを押すなどする必要があった。

例えば、エレベーターにおいては、階登録やドア開閉を実行するための操作盤は、扉付近の壁や側面の壁に設置されており、利用者は乗車後に操作盤付近まで移動して、目的の階のボタンやドア開閉ボタンを押す必要がある。利用者が操作のため操作盤付近まで移動したいと考えても、エレベーターが混雑している状況では移動が困難である。

そこで、利用者の状態に合わせてかご内にある操作盤の位置を可変にすることで、混雑時においてもスムーズに操作盤を操作できるようにする技術がある（例えば、特許文献１参照）。

特開２０１６‐１６９０９６号公報（第４頁、図１）

従来の技術では、利用者の位置をもとに操作盤の表示位置を決定するため、利用者がどちらを向いているかが分からず、利用者の顔や体が向いていない位置に操作盤を表示してしまう可能性がある。その結果、利用者は操作盤を視認できず、スムーズに操作盤を操作できないという問題点があった。

本発明は、上述のような課題を解決するためになされたもので、利用者にとってスムーズな操作が可能な入力装置及び入力方法を提供することを目的とする。

本発明の一態様に係る操作盤入力装置は、閉空間の内部にいる前記閉空間の利用者を撮像するカメラと、前記カメラで撮像された画像に含まれている１または複数の前記利用者の顔向きを推定する顔向き推定部と、前記顔向き推定部によって推定された前記顔向きの方向に操作盤の表示位置を決定する表示制御部と、前記表示位置に前記操作盤を表示する表示装置とを備えることを特徴とする。

本発明は、利用者に対して簡単に操作盤の位置を視認させることができ、これによりスムーズな操作盤の操作が可能となる。

実施の形態１にかかる入力装置を持つエレベーターの構成を示す説明図である。実施の形態１にかかる入力装置の構成を概略的に示すブロック図である。実施の形態１にかかる入力装置の内部を上部から見た説明図である。実施の形態１にかかる表示する操作盤の例を概略的に示す説明図である。実施の形態１にかかる入力装置によって操作盤を表示する処理の流れを示すフローチャートである。実施の形態１にかかる入力装置によって操作盤の操作を実行する処理の流れを示すフローチャートである。実施の形態１にかかる入力装置の構成のうち、利用者位置検出部を更に備える場合の構成を概略的に示すブロック図である。実施の形態２にかかる入力装置の構成を概略的に示すブロック図である。実施の形態３にかかる入力装置の構成を概略的に示すブロック図である。

実施の形態１．
図１は、本実施の形態にかかる入力装置２００を持つエレベーターかご１００の構成を示す説明図である。エレベーターかご１００は、カメラ１、操作盤表示部２、表示装置１２（図示しない）、天井１００a、正面壁１００ｂ、側面壁１００ｃ、床面１００ｄ、及び入力装置２００を備える。入力装置２００が、カメラ１を含む構成であってもよい。また、表示装置１２は、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのうちの一箇所以上の操作盤表示部２に映像を表示できるものであればよい。つまり、操作盤表示部２は、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのうちの一箇所以上に表示される表示面である。表示装置１２は、例えば、ディスプレイやプロジェクタである。表示装置１２がプロジェクタまたはディスプレイである場合、表示装置１２は天井１００ａの上部や下部、正面壁１００ｂ、または側面壁１００ｃの背面などに設置される。また、表示装置１２がプロジェクタである場合、表示装置１２は天井１００a、正面壁１００ｂ、側面壁１００ｃ、及び床面１００ｄのうちの一箇所以上の面の操作盤表示部２に映像を投影する。

図２は、本実施の形態にかかる入力装置２００の構成を概略的に示すブロック図である。入力装置２００は、カメラ１、顔向き推定部１０ａ、表示制御部１１、表示装置１２、操作可否判定部２０、操作検出部２１、及び制御信号出力部２２を備える。なお、以降の説明は、カメラ１は入力装置２００に含まれる構成とする。

図３は、本実施の形態にかかる入力装置２００の内部を上部から見た説明図である。エレベーターかご１００を上部から見た場合、エレベーター利用者４、位置３２０、正面壁１００ｂ、側面壁１００ｃ、床面１００ｄ、及び入力装置２００が存在する。なお、位置３２０は、エレベーター利用者４の顔向きの延長線３１０と壁面との交点の位置である。

まず、各構成部の機能について説明する。
カメラ１は、エレベーターかご１００の内部が撮像できる位置に設置される。カメラ１は、図示しない光学レンズ、光学フィルタ、及びイメージセンサを備える。また、カメラ１は、必要であればイメージセンサを制御するプロセッサを備える。カメラ１は、時間的に連続したデジタル画像の画像データを生成し、出力する（以下、動画像と呼ぶ）。カメラ１から出力される動画像は、カラー信号、またはモノクロ信号である。カラー信号は、ＲＧＢでも、ＹＣｂＣｒでも、ＨＳＶ等でもよい。「ＲＧＢ」は、３原色の信号（Ｒｅｄ（赤：Ｒ）、Ｇｒｅｅｎ（緑：Ｇ）、Ｂｒｕｅ（青：Ｂ））を独立した三つの信号として扱うものである。「ＹＣｂＣｒ」は、輝度Ｙと、色差Ｃｂ及び色差Ｃｒからなり、色差ＣｂはＢから輝度Ｙを差し引いた（Ｂ−Ｙ）に特定の定数を掛けた値であり、色差ＣｒはＲから輝度Ｙを差し引いた（Ｒ−Ｙ）に特定の定数を掛けた値である。ＨＳＶは色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、明度（Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）の三つの成分からなる色空間である。カメラ１と顔向き推定部１０ａとは操作検出部２１へ有線により接続してもよい。同様にカメラ１と操作検出部２１とは有線により接続してもよい。また、カメラ１、顔向き推定部１０ａ、または操作検出部２１に無線通信部を設け、カメラ１と顔向き推定部１０ａとを無線通信によるデータ伝送としてもよい。同様にカメラ１と操作検出部２１とを無線通信によるデータ伝送としてもよい。以降では、動画像に含まれる連続したデジタル画像の画像データの１枚をフレーム画像と呼び、各処理はフレーム画像を入力として行うように説明するが、必ずフレーム画像である必要はなく、動画像（複数枚のフレーム画像）を利用してもよい。

顔向き推定部１０ａは、フレーム画像であるカメラ画像Ｉ１からエレベーター利用者４の顔向きを推定し、基点と方向の情報とを有する顔向き情報Ｉ２を出力する。なお、基点は顔の位置を示す。基点は、例えば鼻先の位置など顔の特定の場所である。

方向の推定方法としては、例えば機械学習を用いた手法がある。本手法の１つの形態では、カメラ１に対して様々な顔向きをした人物の顔画像を複数枚準備し、それぞれの画像について目尻、目頭、鼻の頭、または口角などの顔の特徴となる部分の座標と、顔向き（例えば、カメラ正面を向いた状態を０度として、時計回りで角度を割り当てる）をラベル付けする。これらのラベル情報から、学習と呼ばれる統計的な処理を行い、顔向きと顔の特徴となる部分の座標との関係をモデル化する。

この統計的な処理方法としては、例えば教師あり学習の１つであるＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）と呼ばれる方法がある。ＳＶＭは、識別器の方式を利用することで顔向きを判別するための識別境界線を導出するものである。識別境界線は、データの次元数によっては識別境界面や識別境界超平面となる。「超平面」とは、二次元の平面をそれ以外の次元へ一般化した部分空間をいう。その他、従来から提案されている学習の方式を用いてもよい。

顔向き推定部１０ａはフレーム画像であるカメラ画像Ｉ１を取得し、カメラ画像Ｉ１にエレベーター利用者４の顔が映っている場合、学習に用いた顔の特徴となる部分の座標をカメラ画像Ｉ１から検出する。その座標と事前に学習したモデルとを比較することで、カメラ画像Ｉ１に映っているエレベーター利用者４の顔向きを推定する。

表示制御部１１は、顔向き情報Ｉ２から操作盤３を表示する操作盤表示部２の位置を決定する。図４は、実施の形態１にかかる表示する操作盤の例を概略的に示す説明図である。操作盤３は、階ボタン３ａや扉開閉ボタン３ｂ、及び階表示部３ｃ等を備える。操作盤３の表示方法としては、顔向きの延長線３１０の先にある天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄなどの構造物の位置３２０にディスプレイを設置する方法や、それらの位置にプロジェクタで投影する方法がある。

カメラ画像Ｉ１から得られた顔向き情報Ｉ２をもとに、操作盤表示部２の表示位置を決定するためには、カメラ１がエレベーターかご１００内のどこに設置されており、どの方向を向いているかという情報（一般に外部パラメータと呼ばれる）を、事前に知っておく必要がある。また、操作盤表示部２の表示位置を顔向きの延長線と交差するように精度よく決定するためには、設置したカメラ１の焦点距離、光軸の中心位置、またはカメラ１に設置されたレンズの歪曲収差という情報（一般に内部パラメータと呼ばれる）も、事前に獲得しておくことが望ましい。

これらのパラメータを獲得する処理（作業）は、一般的に行われるカメラキャリブレーションという処理（作業）であるが、本実施の形態においてはいかなるカメラキャリブレーションの方法をも利用することができる。例えば、エレベーターかご１００の四隅の角（正面壁１００ｂ側面壁１００ｃ、床面１００ｄが交わる点）など、エレベーターかご１００内における位置が既知で且つ固定である点について、カメラ１の画像上で映る座標を手動または自動で決定する。自動で決定する場合は、例えばカメラ１の画像を入力とし、機械学習によってモデル化した四隅の角を画像上から検出する処理を実行する。このようにして複数のエレベーターかご１００の空間上の点と画像上の点とで対応を見つけ出し、それらを変換することのできる行列を計算によって求めることで、外部パラメータの推定が可能である。

内部パラメータを獲得する方法は、例えば、チェッカーボードと呼ばれる図柄の紙をカメラ１で撮影する方法がある。「チェッカーボード」とは、均一な大きさの白と黒の矩形が一定間隔で順に並んで描かれているものである。この方法は、画像上に現れる矩形の間隔等を検出することで内部パラメータを獲得する。以上のような方法で獲得したパラメータをもとに、エレベーターかご１００内の空間上のある一点が、カメラ画像Ｉ１においてどの座標に出現するかを計算によって求めることができる。

先述の方法で、顔向き推定部１０ａが顔向き情報Ｉ２（基点、及び方向）を推定し、外部パラメータと内部パラメータとを獲得できると、エレベーターかご１００内においてエレベーター利用者４がどの位置からどの方向を見ているかを、カメラ１の画像から推定することができる。また、天井１００ａ、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄの幅や高さなどのサイズ情報が既知であるとした場合、エレベーター利用者４の顔向きの延長線が、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれかにおける、どの位置と交差するかを推定することができる。従って、表示制御部１１はここで推定した位置に操作盤３を表示することを決定する。表示制御部１１は、推定した操作盤３の表示位置を表示位置情報Ｉ３として表示装置１２へ出力する。

なお、表示制御部１１が決定する操作盤３の位置は、エレベーター利用者４が乗車した際に一度だけ顔向きを推定して決定する。または、操作盤３の位置は、常時、カメラ画像Ｉ１から顔向きを推定して決定する。後者の場合、表示制御部１１が決定する操作盤３の位置はエレベーター利用者４の顔向きに追従して変化することになる。

表示装置１２は、表示位置を指定する信号を受けて、操作盤表示部２に操作盤３を表示する。先述の通り、表示装置１２は、ディスプレイまたはプロジェクタである。

操作可否判定部２０は、顔向き情報Ｉ２と操作盤３を表示している位置の情報とから、利用者が操作盤３を向いているかどうかを判定する。操作盤３を向いていると判定した場合は、操作盤の操作を可能であることを示すように操作可能情報Ｉ４を出力する。一方、利用者が顔向きを変えたり、かご内を操作盤３とは別の方向に歩く等の動作により操作盤を向いていないと判定した場合は、操作盤の操作が不可能であることを示すように操作可能情報Ｉ４を出力する。

操作検出部２１は、カメラ画像Ｉ１と操作盤の表示位置に関する表示位置情報Ｉ３とから、操作盤において利用者が触れている位置を検出する。例えば、利用者の手や足などの身体部位や、傘や杖など利用者が把持するものの一部または全体について、エレベーター内での位置が操作盤を表示している位置と一致しているかを検出する。

身体部位や把持するものの位置を特定するためには、例えば、背景差分法を用いることができる。背景差分法の１つの形態は、例えば以下である。予め、エレベーター内に利用者が存在しない時点のカメラ画像Ｉ１を記憶する。次に、利用者がエレベーターに乗車したときのカメラ画像Ｉ１と、先述の予め記憶しておいたカメラ画像Ｉ１との間で、画素毎に画素値の差を算出する。そして、算出した差が一定の閾値以上である場合に、そこに利用者の手や足、または把持するものが存在するとして検出する。背景差分法の別の形態としては、過去の一定数のカメラ画像Ｉ１を蓄積して算出した画素毎の平均値と現在のカメラ画像Ｉ１の画素値との差分をとる方法や、画素毎ではなく複数の画素を１つのブロックとして、ブロック単位で画素値の差分をとる方法などがある。

また、背景差分法の他にも、機械学習を用いた手法で、身体部位や把持するものの位置を特定する方法も存在する。本手法の１つの形態では、予め準備した複数枚の画像から手や足などが映る座標情報を特定し、この座標情報が示す画像領域から特徴を抽出する。一般的な特徴として、ＨｏＧ（ＨｉｓｔｏｇｒａｍｏｆＧｒａｄｉｅｎｔ）やＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）など、輝度など画素値の変位に基づいた情報を得る手法がある。「ＨｏＧ」とは、局所領域の輝度の勾配方向をヒストグラム化したものである。「ＳＩＦＴ」とは、画像からキーポイントと呼ばれる特徴点を抽出し、特徴量の記述をおこなうものである。これらの情報または特徴量と、手や足といったラベル情報とから、学習と呼ばれる統計的な処理を行うことで、手や足が持つ特徴を統計的に推定する（一般に、検出器とよばれるものが生成される）。この推定結果を用いて、新たなカメラ画像Ｉ１から手や足が持つ特徴を探索し、その位置を特定する。

なお、利用者が操作盤３を触れていることを検出できない、つまり利用者の身体部位や利用者が把持するものの位置が操作盤３に当たっていない場合は、操作検出部２１は操作情報Ｉ５を出力しない。これにより、例えば操作盤の操作後に目的階に向かっている最中に、操作盤が表示されている壁にもたれ掛かるなどして意図せず操作盤に身体が触れてしまった場合でも利用者の目的階以外の階が登録されてしまうような誤動作を防止する。

制御信号出力部２２は、利用者がどのボタンを操作したかという操作検出部２１からの信号に基づいて、エレベーターの特定の階を登録する信号や扉の開閉を行う信号をエレベーターの制御部へ出力する。

次に、入力装置２００における処理のうち、操作盤３を表示するまでの流れを説明する。図５は、入力装置２００における処理を示すフローチャートである。

まず、顔向き推定部１０ａはカメラ１からフレーム画像であるカメラ画像Ｉ１を取得する（Ｓ１０）。

顔向き推定部１０ａは、カメラ画像Ｉ１から顔向きを推定する。推定した結果として顔向き情報Ｉ２を表示制御部１１へ出力する（Ｓ１１）。

表示制御部１１は、顔向き推定部１０ａから顔向き情報Ｉ２を受信し、エレベーター利用者４の顔向きの延長線３１０が、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれかと交差する位置３２０を推定する。推定した位置について、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれであるかを表す情報（予め、それぞれに割り当てたＩＤ番号などでよい）と、その中でどの位置かという情報（例えば正面壁であれば、正面壁の左上の角を原点とし、その原点から推定した交差する位置までの水平方向及び垂直方向の距離）とを操作盤表示部２の表示位置である表示位置情報Ｉ３として表示装置１２へ出力する（Ｓ１２）。但し、ディスプレイの設置位置やプロジェクタの投影位置が事前に分かっている場合で、推定した表示位置にディスプレイが無い、またはプロジェクタで投影ができないと判断できる場合には、表示制御部１１は表示装置１２へ表示位置情報Ｉ３を出力しない。

表示装置１２は、表示制御部１１から表示位置情報Ｉ３を受信し、その内容に従った位置である操作盤表示位置に、操作盤３を表示する（Ｓ１３）。

次に、入力装置２００の処理のうち、操作盤３を表示した後、利用者が操作盤を操作するまでの流れを説明する。図６は、入力装置２００の処理を示すフローチャートである。

まず、顔向き推定部１０ａはカメラ１からフレーム画像であるカメラ画像Ｉ１を取得する（Ｓ２０）。

顔向き推定部１０ａは、カメラ画像Ｉ１から顔向きを推定する。推定した結果として顔向き情報Ｉ２を操作可否判定部２０へ出力する（Ｓ２１）。

なお、Ｓ２０及びＳ２１の処理内容はＳ１０及びＳ１１と同じであり、顔向き情報Ｉ２は表示制御部１１及び操作可否判定部２０の両方に出力される。

操作可否判定部２０は、顔向き推定部１０ａから顔向き情報Ｉ２を受信し、表示制御部１１から表示位置情報Ｉ３を受信する。まず、受信した顔向き情報Ｉ２から、エレベーター利用者４の顔向きの延長線３１０が、天井１００a、正面壁１００ｂ、側面壁１００ｃまたは床面１００ｄのいずれかと交差する位置３２０を推定する。推定した位置について、天井１００a、正面壁１００ｂ、側面壁１００ｃまたは床面１００ｄのいずれであるかを表す情報（予め、それぞれに割り当てたＩＤ番号などでよい）と、その中でどの位置かという情報（例えば正面壁であれば、正面壁の左上の角を原点とし、その原点から推定した交差する位置までの水平方向及び垂直方向の距離）とを推定することで、操作盤表示位置を決定する。（Ｓ２２）．

次に、推定した位置と受信した表示位置情報Ｉ３とから、エレベーター利用者４が表示されている操作盤３を見ているかどうかを判定する。推定した位置が操作盤３の表示領域に含まれている場合に、エレベーター利用者４が操作盤３を見ていると判定する。または、推定した位置が操作盤３の表示領域から一定の範囲内である場合に、エレベーター利用者４が操作盤３を見ていると判定してもよい。操作盤３を見ていると判定した場合、操作可能情報Ｉ４を操作検出部２１に出力し、操作盤３を見ていないと判定した場合、処理を終了する（Ｓ２３）。

操作検出部２１は、操作可否判定部２０から操作可能情報Ｉ４を受信する。また、表示制御部１１から表示位置情報Ｉ３を受信する。また操作検出部２１は、カメラ画像Ｉ１を取得する。先述の方法で、操作検出部２１は、カメラ画像Ｉ１からエレベーター利用者４が操作盤３に触れているか触れていないかを検出する。エレベーター利用者４が操作盤３に触れている場合には、操作検出部２１は、エレベーター利用者４が操作盤３のどの位置に触れているかというエレベーター利用者４の操作を検出する。エレベーター利用者４が操作盤３に触れており、且つ操作可能情報Ｉ４が入力されている場合に、触れているボタンの種類を示すような操作情報Ｉ５を制御信号出力部２２に出力する（Ｓ２４）。

制御信号出力部２２は、操作検出部２１から操作情報Ｉ５を受信し、その信号に基づいてエレベーターを制御する。例えば、３階を示すボタンに触れているという信号を受信した場合に、３階を目的階として登録する（Ｓ２５）。

以上のように構成された入力装置２００においては、エレベーター利用者４は簡単に操作盤３の位置を視認することができ、スムーズで誤った操作が発生しない操作盤３の操作ができるようになる。また、もたれかかり等によって誤った操作が発生するのを防止できる。

実施の形態１における入力装置２００は、カメラは１台ではなく複数台を使用してもよい。このようにすることで、エレベーター利用者４がカメラの死角に入り、実施の形態１における検出などの処理ができないことを防ぐことができる。また、入力装置２００は、複数台の各々で推定した顔向き情報Ｉ２の平均を取ることで推定精度を上げるようにしてもよい。

実施の形態１における入力装置２００は、操作検出部２１でエレベーター利用者４の操作を検出するために、カメラと異なるセンサを利用するように構成してもよい。例えば、センサからの距離を測定可能なセンサ（例えば、Ｍｉｃｒｏｓｏｆｔ社製Ｋｉｎｅｃｔ（登録商標））を利用することが挙げられる。このようなセンサを利用することで、エレベーター利用者４の手や足などの身体部位や、傘や杖などエレベーター利用者４が把持するものなどの位置や形状が推定しやすくなるため、エレベーター利用者４が触れている位置の推定精度が向上できる。

また、入力装置２００は、顔向きの推定に関してもカメラと異なるセンサを利用してもよい。例えば、事前に学習を行う顔向きモデルを３次元モデルとし、エレベーター利用者４の顔向きを３次元的に求めてもよい。

また、入力装置２００は、複数台のカメラを利用し、三角測量の原理によってカメラからの距離を測定するようにしてもよい。先述のセンサ同様に、利用者の手や足などの身体部位や、傘や杖などエレベーター利用者４が把持するものなどの位置や形状が推定しやすくなるため、エレベーター利用者４が触れている位置の推定精度が向上できる。

実施の形態１における入力装置２００は、複数のエレベーター利用者４がエレベータかご１００の内部にいる場合にも実現が可能である。最も単純な形態としては、エレベーター利用者４毎に操作盤３を表示して操作を検出する方法である。その他にも、複数人の顔向きの延長線３１０とエレベーターかご１００との交点の位置３２０が一定の距離より近い場合には共通の操作盤３を１つ表示しても良い。共通の操作盤３の位置は、例えば、交点の位置または其々の位置の中間となる位置に、１つの操作盤を表示する。

実施の形態１における入力装置２００は、カメラ画像Ｉ１から乗車した複数のエレベーター利用者４が家族など知り合いの関係にあることを推定し、その場合には共通の操作盤３を１つ表示するように構成しても良い。例えば、子供を抱えながら乗車したエレベーター利用者４などが想定できるが、人物間の距離（接触状態）を検出することで関係性を推定し、操作盤３の表示位置や個数を制御することができる。

実施の形態１における入力装置２００は、特定のエレベーター利用者４に対応して表示した操作盤３に対し、その操作盤３がそのエレベーター利用者４に向けたものであることを、判別しやすいように操作盤３の表示内容の一部を改変してもよい。例えば、表示した操作盤３の真横に、対応するエレベーター利用者４の顔画像をカメラ１で撮影して表示したり、エレベーター利用者４の衣服の色や帽子などの装着物をアイコン化した画像を表示したりしてもよい。

実施の形態１における入力装置２００は、特定のエレベーター利用者４に対応して表示した操作盤３に対し、その操作盤３がそのエレベーター利用者４に向けたものであることを、判別しやすいように操作盤３の表示サイズを改変してもよい。例えば、エレベーター利用者４がエレベーターに乗車後、表示された操作盤３に近づくにつれて、表示を大きくしても良い。このように、エレベーター利用者４は自らの動きに連動して表示が変化すると、その操作盤３を自身に対して表示されたものであることを認識しやすくなる。

また、入力装置２００は、エレベーター利用者４がエレベーターに乗車した際に、操作盤３を大きく表示し、近づくにつれて小さく表示してもよい。このように、エレベーター利用者４は自らの動きに連動して表示が変化すると、その操作盤３を自身に対して表示されたものであることを認識しやすくなる。また、操作盤３から遠い場所にいる場合にも見やすくなる。

実施の形態１における入力装置２００は、操作検出部２１は、エレベーター利用者４の手や足などの身体部位や、傘や杖などエレベーター利用者４が把持するものが、表示されている操作盤３に触れているかどうかを検出することとして説明を行ったが、操作盤３を完全に触れておらず、一定の距離に近づいた場合に、操作盤３を触れたこととして検出してもよい。このようにすることで、エレベーター利用者４は非接触でボタンの操作を行うことができ、衛生面などにおいて有利な入力装置２００を実現できる。

実施の形態１における入力装置２００は、操作可否判定部２０によって一定時間以上、エレベーター利用者４の顔向きが操作盤３の方向に向いていず、操作盤３を見ていないと判定した場合に、操作可能情報Ｉ４を表示制御部１１に出力し、その時点で操作盤表示部２に表示している操作盤３の表示を消すようにしてもよい。このようにすることで、消費電力を抑制できる効果が得られる。

実施の形態１における入力装置２００は、カメラ１で撮像された動画像からエレベーターかご１００の内部にいる１人以上のエレベーター利用者４の立ち位置を検出する利用者位置検出部２３を更に備えてもよい。図７は、実施の形態１にかかる入力装置の構成のうち、利用者位置検出部を更に備える場合の構成を概略的に示すブロック図である。利用者位置検出部２３は、表示制御部１１に対して検出したエレベーター利用者４の立ち位置情報Ｉ６を出力し、表示制御部１１は、顔向き推定部１０ａから受信した顔向き情報Ｉ２から顔向きの延長線を推定する際に、利用者位置検出部２３から受信した立ち位置情報Ｉ６を参照し、その延長線に別のエレベーター利用者４がいると判断した場合には、他の利用者に重ならない、最も近い位置に操作盤３を表示するように制御する。このようにすることで、エレベーターかご１００内に他の利用者がいる場合にも、操作盤３を視認しやすくなる。

実施の形態２．
図８は、本実施の形態にかかる入力装置２００ａの構成を概略的に示すブロック図である。図８において、図２に示される構成要素と同一または対応する構成要素には、図２における符号と同じ符号を付している。実施の形態２においては、図２で示された顔向き推定部１０ａの代わりに視線推定部１０ｂが、カメラ１、表示制御部１１、操作可否判定部２０に接続されている点が、実施の形態１と異なる。以降、実施の形態１と異なる点について説明する。

まず、視線推定部１０ｂの機能について説明する。
視線推定部１０ｂは、カメラ画像Ｉ１からエレベーター利用者４の視線を推定し、基点と方向とを有する視線情報Ｉ７を出力する。基点は左右どちらかの瞳孔の中心位置や両目の中間の位置などの特定の場所とする。次に、方向は利用者がどちらの方向を見ているかという情報である。

方向の推定方法としては、例えば目頭と目尻との位置に対する、瞳孔の位置を利用して推定する方法や、赤外光を照射したときの角膜での反射と、瞳孔の位置関係とを用いる方法（角膜反射法と呼ばれる）などがあるが、視線推定部１０ｂにおいては、これらのいかなる方法も利用することができる。

次に、各部の作用について、実施の形態１と異なる点を説明し、実施の形態１と同様な点は説明を省略する。
まず、視線推定部１０ｂはカメラ画像Ｉ１を取得する。

視線推定部１０ｂは、カメラ画像Ｉ１から視線を推定する。推定した結果として視線情報Ｉ７を表示制御部１１と操作可否判定部２０とへ出力する。

表示制御部１１は、視線推定部１０ｂから視線情報Ｉ７を受信し、エレベーター利用者４の視線の延長線３１０が、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれかと交差する位置を推定する。推定した位置について、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれであるかを表す情報と、その中でどの位置かという情報とを表示位置情報Ｉ３として表示装置１２へ出力する。但し、ディスプレイの設置位置やプロジェクタの投影位置が事前に分かっている場合で、推定した表示位置にディスプレイが無い、またはプロジェクタで投影ができないと判断できる場合には、表示制御部１１は表示装置１２へ信号を出力しない。

操作可否判定部２０は、視線推定部１０ｂから視線情報Ｉ７を受信し、表示制御部１１から表示位置情報Ｉ３を受信する。まず、受信した視線情報Ｉ７から、エレベーター利用者４の視線の延長線３１０が、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれかと交差する位置を推定する。推定した位置について、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれであるかを表す情報と、その中でどの位置かという情報とを推定する。次に、推定した位置と受信した表示位置情報Ｉ３とから、エレベーター利用者４が表示されている操作盤３を見ているかどうかを判定する。

以上のように構成された入力装置２００ａにおいては、利用者は簡単に操作盤の位置を視認することができ、スムーズに操作盤を操作できるようになる。また、もたれかかり等によって誤った操作が発生するのを防止できる。また、実施の形態１での顔向きを利用する場合と比較して、より正確にエレベーター利用者４が視認しやすい位置に操作盤３を表示することができる。

実施の形態３．
図９は、本実施の形態にかかる入力装置２００ｂの構成を概略的に示すブロック図である。図９において、図２に示される構成要素と同一または対応する構成要素には、図２における符号と同じ符号を付している。実施の形態２においては、図２で示された顔向き推定部１０ａの代わりに体向き推定部１０ｃが、カメラ１、表示制御部１１、操作可否判定部２０に接続されている点が、実施の形態１と異なる。以降、実施の形態１と異なる点について説明する。

まず、体向き推定部１０ｃの機能について説明する。
体向き推定部１０ｃは、カメラ画像Ｉ１からエレベーター利用者４の体向きを推定し、基点と方向情報とを有する体向き情報Ｉ８を出力する。基点は頭や胸などの特定の場所とする。次に、方向情報は利用者の体がどちらの方向を向いているかという情報である。

方向の推定方法としては、例えば両肩の位置を利用する方法がある。エレベーター利用者４は前進しながらエレベーターかご１００に乗車するが、その時点の両肩の位置を画像認識によって追跡し続けることで、エレベーター利用者４の体がどちらを向いているかを推定することができる。それ以外にも、足の先の向きを検出することで体向きを推定する方法などがあるが、体向き推定部１０ｃにおいては、これらのいかなる方法も利用することができる。

次に、各部の作用について、実施の形態１と異なる点を説明し、実施の形態１と同様な点は説明を省略する。
まず、体向き推定部１０ｃはカメラ画像Ｉ１を取得する。

体向き推定部１０ｃは、カメラ画像Ｉ１から視線を推定する。推定した結果として体向き情報Ｉ８を表示制御部１１と操作可否判定部２０とへ出力する。

表示制御部１１は、体向き推定部１０ｃから体向き情報Ｉ８を受信し、エレベーター利用者４の体向きの延長線３１０が、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれかと交差する位置を推定する。推定した位置について、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれであるかを表す情報と、その中でどの位置かという情報とを表示位置情報Ｉ３として表示装置１２へ出力する。但し、ディスプレイの設置位置やプロジェクタの投影位置が事前に分かっている場合で、推定した表示位置にディスプレイが無い、またはプロジェクタで投影ができないと判断できる場合には、表示制御部１１は表示装置１２へ信号を出力しない。

操作可否判定部２０は、体向き推定部１０ｃから体向き情報Ｉ８を受信し、表示制御部１１から表示位置情報Ｉ３を受信する。まず、受信した体向き情報Ｉ８から、エレベーター利用者４の視線の延長線３１０が、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれかと交差する位置を推定する。推定した位置について、天井１００a、正面壁１００ｂ、側面壁１００ｃ及び床面１００ｄのいずれであるかを表す情報と、その中でどの位置かという情報とを推定する。次に、推定した位置と受信した表示位置情報Ｉ３とから、エレベーター利用者４が表示されている操作盤３を見ているかどうかを判定する。

以上のように構成された入力装置２００ｂにおいては、利用者は簡単に操作盤の位置を視認することができ、スムーズに操作盤を操作できるようになる。また、もたれかかり等によって誤った操作が発生するのを防止できる。また、実施の形態１での顔向きを利用する場合と比較して、カメラ１の設置位置などの制約から顔向きを正確に推定できない場合にも、体向きを推定することでエレベーター利用者４が操作盤３を視認しやすい位置を推定することができる。

また、以上の例ではエレベーターを例として説明したが、壁などの面で仕切られた閉空間にあって、その空間を使用する人（利用者）が、壁などの面を向き、面の上または面から近い空間に表示された操作盤をする場合であれば、これらの実施の形態に限るものではない。

また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１カメラ、２操作盤表示部、３操作盤、３ａ階ボタン、３ｂ扉開閉ボタン、４エレベーター利用者４、１００エレベーターかご、１００ａ天井、１００ｂ正面壁、１００ｃ側面壁、１００ｄ床面、２００，２００ａ，２００ｂ入力装置、１０ａ顔向き推定部、１０ｂ視線推定部、１０ｃ体向き推定部、１１表示制御部、１２表示装置、２０操作可否判定部、２１操作検出部、２２制御信号出力部、２３利用者位置検出部。

Claims

閉空間の内部にいる前記閉空間の利用者を撮像するカメラと、
前記カメラで撮像された画像に含まれている１または複数の前記利用者の顔向きを推定する顔向き推定部と、
前記顔向き推定部によって推定された前記顔向きの方向に操作盤の表示位置を決定する表示制御部と、
前記表示位置に前記操作盤を表示する表示装置と
を備える入力装置。
前記顔向きに基づいて前記操作盤の操作の可否を判定する操作可否判定部と、
前記操作の可否及び前記画像に含まれている前記利用者の身体部位の位置、または動きに基づいて前記操作盤の操作を検出する操作検出部と、
をさらに備える請求項１に記載の入力装置。
前記操作可否判定部は、前記顔向き推定部によって推定された前記利用者の顔向きの延長線と、前記表示装置によって表示された操作盤の位置とが一致するか、または一定の距離以内である場合に、前記利用者による操作盤の操作を可能にすると判定する
請求項２に記載の入力装置。
前記操作検出部によって検出された前記操作盤の操作に基づいて、前記閉空間にかかる動作信号を前記閉空間の制御部に出力する制御信号出力部と
をさらに備える請求項２または３に記載の入力装置。
前記顔向き推定部は、前記画像から、前記利用者の顔の特定部位を検出し、統計的な処理によって事前に作成した顔向きモデルとの比較をすることによって前記利用者の顔向きを推定する
請求項１から４のいずれか一項に記載の入力装置。
前記表示制御部は、前記顔向き推定部が推定した顔向きの延長線と前記閉空間の壁、床、または天井との交点の位置に操作盤を表示するように制御する
請求項１から５のいずれか一項に記載の入力装置。
前記顔向き推定部は、前記画像から、複数の前記利用者の顔向きを推定し、
前記表示制御部は、前記顔向き推定部によって推定された複数の前記利用者の顔向きの延長線と前記閉空間の壁、床、若しくは天井との交点の位置が一定の距離より近い場合に、交点の位置若しくは其々の位置の中間となる位置に、１つの操作盤を表示するように制御する
請求項１から６のいずれか一項に記載の入力装置。
前記表示制御部は、既に表示している操作盤の表示位置に対して、前記顔向き推定部によって推定された顔向きが前記操作盤の方向に設定時間以上向いていない場合に、操作盤の表示を消すように制御する
請求項１から７のいずれか一項に記載の入力装置。
前記カメラで撮像された画像から、１または複数の前記利用者の位置を検出する利用者位置検出部を更に備え、
前記表示制御部は、前記利用者位置検出部によって前記閉空間の内部に複数の前記利用者がいることを検出した場合に、其々の利用者について、前記顔向き推定部が推定した顔向きの延長線に他の利用者がいると判定した場合に、他の利用者がおらず、且つ顔向きの延長線と前記閉空間の壁、床、または天井との交点の位置に操作盤を表示するように制御する
請求項１から８のいずれか一項に記載の入力装置。
前記利用者位置検出部による前記利用者の位置にしたがって、前記表示制御部が操作盤の表示位置に加え、表示サイズを拡大または縮小するように制御する
請求項９に記載の入力装置。
閉空間の内部にいる前記閉空間の利用者を撮像するカメラと、
前記カメラで撮像された画像に含まれている前記利用者の視線方向を推定する視線推定部と、
前記視線推定部によって推定された前記利用者の視線方向の延長線と前記閉空間の壁、床、または天井との交点の位置に操作盤の位置を決定する表示制御部と、
前記表示位置に前記操作盤を表示する表示装置と、
前記視線方向に基づいて前記操作盤の操作の可否を判定する操作可否判定部と、
前記操作の可否及び前記画像に含まれている前記利用者の身体部位の位置、または動きに基づいて前記操作盤の操作を検出する操作検出部と、
前記操作検出部によって検出された前記操作盤の操作に基づいて、前記閉空間にかかる動作信号を前記閉空間の制御部に出力する制御信号出力部と
を備える入力装置。
閉空間の内部にいる前記閉空間の利用者を撮像するカメラと、
前記カメラで撮像された画像に含まれている前記利用者の体向きを推定する体向き推定部と、
前記体向き推定部によって推定された前記利用者の体向きの延長線と前記閉空間の壁、床、または天井との交点の位置に操作盤の位置を決定する表示制御部と、
前記表示位置に前記操作盤を表示する表示装置と、
前記体向きに基づいて前記操作盤の操作の可否を判定する操作可否判定部と、
前記操作の可否及び前記画像に含まれている前記利用者の身体部位の位置、または動きに基づいて前記操作盤の操作を検出する操作検出部と、
前記操作検出部によって検出された前記操作盤の操作に基づいて、前記閉空間にかかる動作信号を前記閉空間の制御部に出力する制御信号出力部と
を備える入力装置。
閉空間の内部にいる前記閉空間の利用者を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像に含まれている１または複数の前記利用者の顔向きを推定する顔向き推定ステップと、
前記顔向き推定ステップによって推定された前記利用者の顔向きに基づいて操作盤の表示位置を決定する表示制御ステップと、
前記表示位置に前記操作盤を表示する表示ステップと
を備える入力方法。
利用者の顔向きに基づいて操作盤の操作の可否を判定する操作可否判定ステップと、
前記操作可否判定ステップによって判定された操作盤の操作の可否及び撮像された画像に含まれている前記利用者の身体部位の位置や動きに基づいて操作盤の操作を検出する操作検出ステップと、
前記操作検出ステップによって検出された操作盤の操作に基づいて、前記閉空間にかかる動作信号を前記閉空間の制御部に出力する制御信号出力ステップと
をさらに備える請求項１３に記載の入力方法。