JP2004246856A - インタフェース装置 - Google Patents

Abstract

【課題】室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作の実現、ならびに立位、座位、伏位などの一般的な全ての姿勢での腕指しと、その腕指しによる指示動作によって室内空間の室内機器の操作を容易になし得るインタフェース装置を提供する。
【解決手段】インタフェース装置において、室内空間５において複数のステレオカメラ１−１から１−ｎにより室内を撮像し、各ステレオカメラ単位で視野内の撮像画像と室内空間５の座標系に基づいた距離画像を生成する画像処理手段と、前記各ステレオカメラ１−１〜１−ｎからの距離情報に基づきユーザ４の体勢と腕指しを抽出する手段と、前記腕指しが識別された場合に、腕が指し示している方向、その動きから、意図して出されたサインであるかどうかを識別する手段とを具備する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、インタフェース装置に係り、特に、ユーザの腕指しによる指示動作を判定して、対応する機能を持つ、身振りによる室内空間におけるインタフェース装置に関するものである。
【０００２】
【従来の技術】
これまでに、図２８に示すようなカメラ８１−１，８１−２付きのディスプレイ８２の前にユーザ８４が位置し、そのユーザ８４の指さし等によりマウスなどを操作するシステムは存在するが、それらは２、３台の少ないカメラ画像から、そのユーザ８４の位置を測定し、マウスなどを操作させている。
【０００３】
それゆえ、認識対象領域８３はディスプレイ８２前の特定の空間程度であり、非常に狭い場所でしか使えず、かつ一度に１人しか使えないといった問題点がある。
【０００４】
さらに、図２９に示すようなハンドサインの認識システムも、カメラ９１の前の固定的な環境でユーザ９４の手のみの画像を取得して認識することで、インタフェース装置として使われているため、同様の問題点を有する。なお、この図において、９２はディスプレイ、９３は認識対象領域である。
【０００５】
【特許文献１】
特開平１１−３２７７５３号公報 第５−１０頁 図１
【特許文献２】
特開２０００−２１６号公報 第４−５頁 図１
【特許文献３】
特開２００２−２５１２３５号公報 第４−７頁 図１
【０００６】
【発明が解決しようとする課題】
上述したように、かかる従来の装置では、特定の狭い固定的な環境のみでしかインタフェース装置が動作しないといった問題点がある。
【０００７】
本発明は、上記状況に鑑みて、室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作の実現、ならびに立位、座位、伏位などの一般的な全ての姿勢での腕指しと、その腕指しによる指示動作によって室内空間の室内機器の操作を容易になし得るインタフェース装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕インタフェース装置において、室内空間において複数のステレオカメラにより該室内を撮像し、前記各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、前記各ステレオカメラからの距離情報に基づき、ユーザの位置姿勢と腕指しを抽出する位置姿勢・腕指し認識手段と、前記ユーザの腕指しが識別された場合に、該腕が指し示している方向、その動きから、指示動作であるかどうかを認識する指示動作認識手段と、
を具備することを特徴とする。
【０００９】
〔２〕上記〔１〕記載のインタフェース装置において、前記指示動作認識手段の動作に基づき、予め登録された室内機器を操作するコマンドを送出し、その結果を受信する操作コマンド送受信装置を具備することを特徴とする。
【００１０】
〔３〕上記〔１〕又は〔２〕記載のインタフェース装置において、前記位置姿勢・腕指し認識手段は、集められた３次元情報から前記距離データを室内空間座標系に沿って、段違い引き出し法により取り出し、データを２次元平面に投影することで複数のユーザの姿勢認識処理をする位置姿勢認識部と、該得られた複数のユーザの２次元投影図から腕指しの方向を識別する腕指し認識部とを有することを特徴とする。
【００１１】
〔４〕上記〔１〕又は〔２〕記載のインタフェース装置において、前記指示動作認識手段は、前記得られた腕指しの方向の時系列データからその指示動作を認識する指示動作認識部を有し、更に、腕指し操作の対象となる操作対象機器の情報や操作方法を保存する操作機器データベースと、前記操作対象機器の基本情報、位置、操作方法を記憶する操作機器登録部とを具備することを特徴とする。
【００１２】
〔５〕上記〔１〕記載のインタフェース装置において、前記腕指しを抽出する位置姿勢・腕指し認識手段は、各ステレオカメラから得られた３次元距離情報を、室内座標系に基づいて、２０ｃｍごとに階層的に区切って情報を切り出す段違い引き出し法により、各引き出し内に入った点列を２次元平面に投影した後、二値化して、２次元の二値画像となし、各階層単位でラベリングを行った後で各クラスタの全体重心を求め、２次元平面において求めた重心をラベリングされた対象単位で再び階層的に積み上げて、３次元点列として利用し、Ｚ軸に沿って各階層ごとの重心をプロットして、最上部（頭部）より８階層分（上半身）までをＸＹ平面上にプロットし、全体重心と比較して大きな外れ値があった場合を腕指し動作が行われたとするとともに、最上部より８階層分までの二値画像と等価の矩形形状である画像モーメントを求めて得られた８組のデータのうち面積が一定の範囲にあり、かつ画像モーメントの長辺と短辺の差が最も大きい階層の長辺の垂直方向を体の向きとし、前記した腕指し動作が認識された場合、最も全体重心からプレート重心が離れた階層の二値画像の重心と全体重心との間に垂直二等分線をひき、人の体に相当する領域にある二値画像を消し去り、腕部分のみを残し、その腕部分のみの二値画像に対して画像モーメントを計算し、その長辺、重心、腕先端位置、全体重心を計算することで腕指しのＸＹ平面上での向きを決定し、身長、目の高さ、腕長係数から腕指しのＺ方向の向きを決定して腕指しの方向を求め、指示動作を認識することを特徴とする。
【００１３】
〔６〕上記〔５〕記載のインタフェース装置において、頭の高さ及び座高に相当する高さから腕指し判定の下限を設定して、該下限より下にある疑似腕指しの場合は、腕指しではないと判定することを特徴とする。
【００１４】
〔７〕上記〔６〕記載のインタフェース装置において、前記下限より下にある疑似腕指しの場合が脚を投げ出した場合である。
【００１５】
〔８〕上記〔５〕記載のインタフェース装置において、前記画像モーメントの長辺と身長との比が一定に達していない場合は、腕指しでないと判定することを特徴とする。
【００１６】
〔９〕上記〔５〕記載のインタフェース装置において、平均重心から腕指し先端までの距離をｒ１、前記平均重心から腕指し末端までの距離をｒ２とすると、ｒ１／ｒ２が身長から設定された値以下である場合は、腕指しでないと判定することを特徴とする。
【００１７】
〔１０〕上記〔８〕又は〔９〕記載のインタフェース装置において、該当する場合が、小さい腕指しであることを特徴とする。
【００１８】
〔１１〕上記〔５〕記載のインタフェース装置において、前記画像モーメントの長辺Ｌ_１ 、短辺Ｌ_２ より面積Ｓを求め、この面積Ｓに上限を、前記画像モーメントの長辺Ｌ_１ に下限を設定し、この限度から外れる場合は、腕指しでないと判定することを特徴とする。
【００１９】
〔１２〕上記〔５〕記載のインタフェース装置において、腕指し先端と平均重心間距離と、腕指し末端と平均重心間距離の比が設定値以上の場合は、腕指しでないと判定することを特徴とする。
【００２０】
〔１３〕上記〔１１〕又は〔１２〕記載のインタフェース装置において、前記限度から外れる場合は、両手を広げた場合であることを特徴とする。
【００２１】
〔１４〕上記〔５〕記載のインタフェース装置において、ユーザの腕指し先端を中心に、所定の半径内に相手の平均重心を発見した場合は、腕指しでないと判定することを特徴とする。
【００２２】
〔１５〕上記〔１〕又は〔２〕記載のインタフェース装置において、前記室内空間のうち特定エリアを予め登録しておき、その特定エリアにユーザがいる場合にそのユーザの腕指しを識別することを特徴とする。
【００２３】
〔１６〕上記〔１５〕記載のインタフェース装置において、前記特定エリアを介護ベッドの頭部サイドとし、その特定エリア内にユーザがいる場合は、その特定エリア用の腕指し識別を行うことを特徴とする。
【００２４】
〔１７〕上記〔１６〕記載のインタフェース装置において、前記特定エリアを介護ベッドの頭部サイドとし、その特定エリア内にユーザがいない場合は、ユーザが立位、座位又は伏位かどうか判定し、それぞれの姿勢での腕指しを識別することを特徴とする。
【００２５】
本発明によれば、室内空間にいる各ユーザの姿勢をカメラからの距離情報によって識別しながら各ユーザの室内の位置を特定する。また、予め登録された室内機器を直接腕で指し示す指示動作（腕指し）を行うことで、その室内機器を操作するコマンドを送出する。
【００２６】
更に、本発明では、指示動作（腕指し）によって操作する室内機器とその操作内容を登録する手段を提供する。及び、同時に室内機器に対応したコマンドを登録する手段を与える。
【００２７】
また、腕指しを的確に検出するととともに、一見、腕指しのように見える挙動（疑似腕指し）を腕指しから確実に除外して、正確な腕指しの判定を行うことができる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
【００２９】
図１及び図２は本発明の一実施形態のシステム構成を示す図であり、図３は図１及び図２に示した情報統合認識装置のブロック図である。
【００３０】
図１において、複数のステレオカメラ１−１から１−ｎによって死角がないように室内空間５が撮影され、ユーザ４−１，４−２，…，４−ｎは室内空間５の中を自由に移動する。各ステレオカメラ１は２台以上のカメラの撮像素子が平行に固定されていて、ステレオカメラ１−１から１−ｎの撮像出力は画像処理装置２に与えられる。ステレオカメラ１自体は既に公知のものであり、たとえばポイントグレイ社のデジクロップスやサーノフ研究所のアケーディアのようなものが用いられる。
【００３１】
画像処理装置２は各ステレオカメラ１からの映像を入力として毎秒１０枚〜３０枚程度の画像を処理し、そこから得られた距離画像とカラー画像の結果を情報統合認識装置３に与える。なお、６は操作対象機器であり、ここではエアコン６−Ａやテレビジョン６−Ｂが示されている。８は表示装置である。
【００３２】
図１には室内空間を全て認識対象領域（操作可能空間）５としてカバーする例を示しているが、図２では説明を簡単にするために、ステレオカメラ１の１台のみを下向きに設置し、その下の室内空間のみを認識対象領域（操作可能空間）５として示した。この図２の操作可能空間５では、一人のユーザ４のみが対象として示されているが、基本的な仕組みは全て図１に示されているものと同様である。
【００３３】
図３に示すように、情報統合認識装置３は、位置姿勢認識部３１、腕指し認識部３２、指示動作認識部３３、操作機器データベース３４、操作機器登録部３５とを含む。位置姿勢認識部３１は画像処理装置２によって集められた３次元情報からその距離データを室内空間座標系（図１、図２のＸ，Ｙ，Ｚ軸）に沿って、図５に示す段違い引き出し法により取り出し、データを２次元平面に投影することで複数のユーザの姿勢認識処理をする。腕指し認識部３２はその得られた複数のユーザの２次元投影図から腕指しの方向を識別する。指示動作認識部３３は、得られた腕指しの方向の時系列データからその指示動作を認識する。操作機器データベース３４には腕指し操作の対象となる操作対象機器６の情報や操作方法を保存する。操作機器登録部３５には操作対象機器６の基本情報、位置、操作方法を保存する。
【００３４】
図１、図２及び図３に示すように、操作コマンド送受信装置９は、情報統合認識装置３で決定された操作対象機器６に操作コマンドを送信し、操作対象機器６でこれを受信して、操作対象機器６を操作する。同時に操作コマンド送受信装置９は操作対象機器６から必要情報を受信する。操作コマンドの送受信方法としては、指向性を持たない微弱電波による通信方法であるブルートゥース（Ｂｌｕｅｔｏｏｔｈ）やエコネット（ＥＣＨＯＮＥＴ）などを用いる。
【００３５】
図１と図２は室内におけるこのインタフェース装置の実施形態であるが、本発明はこの実施形態に限定されるものではなく、例えば室内空間を工場や公共の空間などに置き換えて、指示動作を利用するあらゆる場面にも適用できる。
【００３６】
図４は本発明の一実施形態の動作を説明するためのフローチャートであり、図３を部分的に詳細化したものである。
【００３７】
図１の室内空間５に出入りする全てのユーザ４−１から４−ｎはステレオカメラ１−１から１−ｎによって撮影され、この撮像出力は画像処理装置２に与えられる。すなわちこの室内空間５に出入りする人は、図４の流れに従って、この室内に入ってから出るまでの全てを撮影され、その行動が監視される。
【００３８】
画像処理装置２は、各カメラ単位でその視野内のカラー画像と室内の座標系に基づいた距離情報を生成して情報統合認識装置３に与える。各ステレオカメラ１−１から１−ｎ間の共通する座標系Ｘ、Ｙ、Ｚ（図１，図２）は予め設定しておく。
【００３９】
こうして、各ステレオカメラ１−１から１−ｎにより、室内空間５の３次元距離情報が獲得される（ステップＳ４１）。
【００４０】
このステップＳ４１おいて各ステレオカメラ１−１から１−ｎにより得られた３次元距離情報（Ｘ、Ｙ、Ｚ）は、全体として扱うのではなく、室内座標系に基づいて、図５に示すように、２０ｃｍごとに階層的に区切って３次元距離の点列を切り出して使う。境界面において失ってしまう情報をなくすために、切り出しを１０ｃｍずらして再度行うことによって情報を失わず連続的に３次元距離の点列を切り出す（ステップＳ４２）。
【００４１】
次に、図６に示すように、各引き出し（図５における０〜１５）内に入った点列を２次元平面に投影した後、二値化する。これにより、各引き出し内の情報は２次元の二値画像となる。そしてこの各階層単位でラベリングを行った後で（図６では２人のユーザをＡ、Ｂとラベリング）、各クラスタの全体重心（図６におけるＴｏｔａｌ中の☆）を求める（ステップ４３）。このように、最初にラベリングすることで複数人物に対応する。
【００４２】
次いで、図７に示すように、２次元平面において求めた重心をラベリングされた対象単位で再び階層的に積み上げ、３次元点列として利用する（ステップＳ４４）。
【００４３】
さらに、図８（ａ）に示すようにＺ軸（高さ方向）に沿って各階層ごとの重心をプロットして、最上部（頭部）より８階層分（上半身に相当）までをＸＹ平面上にプロットし、大きな外れ値があった場合を腕指し動作が起こったときとする。このとき同時に体の向きを計測するため、図８（ｂ）に示すように、最上部より８階層分〔図８（ｂ）では６階層分のみ記載〕までの二値画像の画像モーメントを計算する。画像モーメントとは、図９に示すような２値画像と等価の矩形のことを指し、画素を（ｘ，ｙ）、画素の値をＩ（ｘ，ｙ）とすると、式（１）によって、その矩形の重心（ｘ_ｇ ，ｙ_ｇ ）、傾きθ、長辺Ｌ_１ 、短辺Ｌ_２ が求められる。
【００４４】
【数１】

【００４５】
そこで得られた８組のデータのうち面積が一定の範囲にあり、かつ長辺Ｌ_１ と短辺Ｌ_２ の差が最も大きい階層の、長辺Ｌ_１ の垂直方向を体の向きとする（ステップＳ４５）。
【００４６】
腕指し動作が認識された場合（ステップＳ４６におけるＹＥＳの場合）は、最も全体重心からプレート重心が離れた階層の二値画像〔図８（ｃ）〕を用いてその腕指しの方向を決定する。具体的には、後述するが、全体重心と腕指し相当階層の重心との間に垂直二等分線をひき、人の体に相当する領域にある二値画像を消し去り〔図８（ｄ）〕、腕部分の画像のみを残す。そして、その腕部分のみの二値画像に対して画像モーメントを計算し、その長辺Ｌ_１ 、短辺Ｌ_２ 、重心（ｘ_ｃ ，ｙ_ｃ ）、傾きθを計算し、そのＸＹ平面上での向きを決定する。
【００４７】
高さ方向を示すＺ方向は、３次元距離情報から得られる腕の角度αは水平面に射影されたものであり、垂直方向の情報は含まれていない。そこで、腕の垂直方向の角度α_ｖ を、身長ｈ，目の高さｈ_ｅｙｅ ，腕の高さｈ_ａｒｍ ，腕長係数ｌより式（２）を用いて求める。
【００４８】
【数２】

【００４９】
ここで方向の基点を肩の付け根の高さではなく目の高さｈ_ｅｙｅ とした。これは図１０に示すように、実際の観察の結果、人が何かに向かって腕指しをする場合、腕そのものの方向１０４で対象物を指すのではなく、目と指先を結んだ線の方向で指し示すことがより多く観察されたからである。目の高さｈ_ｅｙｅ １０２は得られた頭の高さ（身長ｈ）１０３から１０ｃｍを減じた値とした。腕長係数ｌとして日本人成人の平均である０．４を利用した。なお、図１０において、１０１は肩の高さ、１０５は腕指しの方向を示している。
【００５０】
そして、腕指し水平方向も目の位置と腕先の位置関係に基づいた上で求める。図１１に示すように、人の平均重心１１１位置（ｘ_ｇ ，ｙ_ｇ ）をｇ、腕重心１１２位置（ｘ_ｃ ，ｙ_ｃ ）をｃ、腕先端１１３位置（ｘ_ｐ ，ｙ_ｐ ）をｐ、腕水平方向１１５をα_ｈ 、図８（ｄ）で得られた画像モーメント（腕本体）１１４の長辺をＬ_１ とする。このとき、腕指し水平方向α_ｈ １１５は式（３）に基づき求められる。
【００５１】
【数３】

【００５２】
なお、図１１において、１１６は腕指しの方向を示している。
【００５３】
この方法により、腕指しの３次元方向が確定され、指示動作が認識される（ステップＳ４７）。腕指しの方向を決定する手法については、左右の腕に対して別モデルを用意するのではなく、共通に使えるアルゴリズムとする。
【００５４】
腕指し認識においては、意図した腕指しを正確に認識すること以上に、利用者が腕指しを意図していない腕指し（疑似腕指し）の誤認識を抑制することが重要になる。
【００５５】
その手法として次の３つを設定する。
【００５６】
ａ．腕指し判定を行う高さの制限
ｂ．画像モーメントの大きさによる判定
ｃ．人物の動作の履歴からの判定
ここでは利用者が腕指しを意図していない（疑似腕指し）にも関わらずシステムが腕指しであると判定し易い主な状況を例に、その対応手法について述べる。
【００５７】
（ｉ）脚を投げ出した場合（疑似腕指し）
図１２は脚を投げ出した場合の模式図であり、１２１は椅子、１２２は前方に投げ出された脚、１２３は腕指し認識下限、１２４は頭の高さ、１２５は座高を示している。
【００５８】
図１２に示すように、椅子１２１に座っていて前方に脚１２２を投げ出したとき、その投げ出された脚１２２の３次元点列が腕指し時のものと似たものになり、システムによる腕指し検出が行われることが考えられる。これを防ぐために人体形状による拘束を利用する。立位、座位に関わらず、腕指し時の腕部が腰の高さよりも高く位置することは明らかである。そこで頭の高さｈ_ｈｅａｄ１２４及び座高１２５に相当する高さｈ_ｓｉｔ から腕指し判定の下限ｈ_ｍｉｎ １２３を下記式（４）によって求め、それ以下の高さでの腕指し検出を無視する。
【００５９】
【数４】

【００６０】
（ｉｉ）小さな腕指しの場合（疑似腕指し）
図１３は小さな腕指しの場合の模式図であり、図１３（ａ）はその上面図、図１３（ｂ）はその正面図である。ここで、１３１は小さな腕指し、１３２は画像モーメント、１３３は画像モーメント１３２の長辺Ｌ_１ 、１３４は長辺Ｌ_１ の下限である。
【００６１】
図１３に示すような小さな腕指し１３１の場合は、画像モーメント１３２の長辺Ｌ_１ と身長との比が一定に達していない場合は腕指しでないと判定する。
【００６２】
また、図１４に示すように、平均重心１４１から腕指し先端１４４までの距離をｒ１、平均重心１４１から腕指し末端１４２までの距離をｒ２とする。このときのｒ１／ｒ２が身長から設定された値以下である場合は同様に腕指しでないと判定する。なお、１４３は腕重心を示している。
【００６３】
（ｉｉｉ）両腕を広げた場合（疑似腕指し）
図１５は両腕を広げた場合の模式図（その１）であり、図１５（ａ）はその斜視図、図１５（ｂ）はその上面図である。ここで、１５１は広げた両腕、１５２は両腕を拡げた場合の画像モーメントを示している。
【００６４】
図１５に示すように両腕を拡げた場合は、両腕を広げた部分の画像モーメント１５２の長辺Ｌ_１ 、短辺Ｌ_２ より面積Ｓを下記式（５）から求め、面積Ｓに上限を、また、長辺Ｌ_１ に下限を設定し、その面積Ｓが上限を越えた場合、または長辺Ｌ_１ が下限を下回った場合は、腕指しではないとして無視する。
【００６５】
【数５】

【００６６】
図１６は両腕を広げた場合の模式図（その２）であり、１６１は平均重心、１６２は腕指し末端、１６３は腕指し先端、１６４はその画像モーメントを示している。
【００６７】
図１６に示すように、画像モーメント１６４より、腕指し先端１６３から平均重心１６１の距離ｒ３と腕指し末端１６２から平均重心１６１の距離ｒ４の比が設定された値以上である疑似腕指しの場合、小さな腕指し同様に腕指しでないと判定する。
【００６８】
（ｉｖ）握手など相手が側にいた場合（疑似腕指し）
図１７は握手など相手が側にいた場合の模式図であり、図１７（ａ）はその上面図、図１７（ｂ）はその斜視図であり、１７１は握手相手の小さな腕指し、１７２は腕指しの方向、１７３は腕指し先端、１７４は握手相手の平均重心である。
【００６９】
図１７に示すように、握手をしているなど、すぐ側に相手がいる場合は、腕指し先端１７３を中心に所定半径ｒ内に相手の平均重心１７４を発見した場合、腕指しでないと判定する。
【００７０】
（ｖ）深いお辞儀をした場合（疑似腕指し）
上記式（５）の面積Ｓの上限設定を利用して腕でないと判定するとともに、腕指し動作検出時の頭の高さの変化から頭を下げたことを判定する。
【００７１】
さらに利用者の意図しない誤操作を避けるために、操作前に予備動作（トリガ動作）を設定する。トリガ動作は操作対象に対し一定時間腕を差し伸べる動作とし、この動作によって操作対象を決定してから、以降の腕指しジェスチャを利用してこの操作対象の制御を行う。腕指し対象を決定するとき、トリガ動作中の時間を利用して腕指しの方向の判定を行うことで精度向上を図る。ただし腕が操作対象を指す前に判定が行われると精度損失を招く。よってこれを考慮し、腕指し検出から数フレームの間は判定を行わない。その後、腕指しが継続している間、毎フレームごとに腕重心と腕方向から腕指し先を特定して腕指し先の対象物の判定を行う。上記に適合し、設定した閾値ｓに達したものを操作対象とする。この閾値ｓはトリガとして認めるまでの時間Ｔ、腕指し移行時間Ｔ_{ｔｒａｎｓ} 、システムのフレームレートｆおよび実際のシステムのターンアラウンドタイムＴ_ｔａｔ から下記式（６）によって求める。
【００７２】
【数６】

【００７３】
本発明では、室内空間５のうちの予め特定されたエリア内でユーザ４が腕指し動作を行うことにより、その特定エリア用の腕指し認識を行い、特定の機器操作を行うことができる。例えば、介護ベッドの位置の頭部サイドを特定エリアとし、そこでの動作を室内空間の他のエリアでの動作と区別することができる。
【００７４】
図１８はそのような動作の区別を説明するためのフローチャートである。
【００７５】
まず、室内空間５のうち特定エリアを予め登録しておく（ステップＳ９１）。そして、ユーザ４がその特定エリア内にいるかどうかをチェックする（ステップＳ９２）。図５〜図８で示した手順で、再３次元化されたユーザ４の一連の時系列情報から、そのユーザ４が予め特定されたエリア内にいる場合（ステップＳ９２におけるＹＥＳの場合）は、その特定エリア用の腕指し認識をステップＳ９７において行う。また、特定エリア外にいる場合（ステップＳ９２におけるＮＯの場合）は、そのスライスの高さ方向の情報を判断（判定）して、ユーザ４が立位かもしくは座位であるかをチェックする（ステップＳ９３）。立位・座位の場合（ステップＳ９３におけるＹＥＳの場合）は、ステップＳ９６において立位・座位の一般的な腕指し認識を行う。立位でも座位でもない場合（ステップＳ９３におけるＮＯの場合）は、ステップＳ９４で伏位かどうか判定する。距離画像の連なりからステップＳ９４で伏位と判定された場合（ステップＳ９４におけるＹＥＳの場合）は、ステップＳ９５において、伏位の腕指し認識を行う。ここでのステップＳ９５〜９７は腕指し認識部３２に相当する。特定エリア外で、かつ姿勢が、立位・座位、伏位どちらとも判定されない場合（ステップＳ９４におけるＮＯの場合）は、ステップＳ９３に戻り姿勢認識を継続する。
【００７６】
図１９は伏位での腕指し認識部３２の動作の一部を詳細化したフローチャートである。
【００７７】
ステップＳ１０１において、頭部の位置の時系列情報から、ユーザ４の姿勢が伏位になったときに、その頭部位置情報を取得する。そして、その頭部位置情報を基準点として、ステップＳ１０２において、手が出せる範囲のプレートを切り出し、その各プレートの重心位置を取得する。その後、ステップＳ１０３において、基準点と各プレート重心の距離を測定し、基準点からの最遠点を手先位置と仮定する。ステップＳ１０４において、その手先位置とそのプレートの高さから腕の位置を算出し、基準点から手先位置までの距離が長い場合は腕指しがあり、短い場合は腕指しがないと判断（判定）する（ステップＳ１０５）。その後ステップＳ１０５で、腕指しがある場合（ＹＥＳ）のみ指示動作認識を行う（ステップＳ１０６）。
【００７８】
図２０は特定エリアでの腕指し認識部３２の動作の一部を詳細化したフローチャートである。ここでの対象は、介護ベッド（リクライニングベッド）とし、ベッド上において、一般的な姿勢での座位や伏位時に、リクライニング機能の使用の有無の影響を受けずに、腕指し認識を可能にする。
【００７９】
特定エリアを介護ベッドの位置とする場合は、ステップＳ１１０１で予めその室内空間５におけるベッド位置や、ベッドの大きさ、高さ、折れ線位置を操作機器データベース３４に登録しておく。次に、ステップＳ１１０２で、ベッド底辺のスライス画像から、ベッドの起き上げ角度を計算する。ベッドの起き上げ角度は、図２１に示すように、ベッドの底辺の画像を見ることで、ベッドの大きさとその稼動部分（写真では白っぽく表示される部分）の大きさから求めることが出来る。
【００８０】
次に、ステップＳ１１０３において、ステップＳ１１０２で得られた起き上げ角度から判断（判定）して、角度が小さい場合は、伏位の腕指し認識をステップＳ１１０４において行った後、ステップＳ１１１４の指示動作認識を行う。
【００８１】
起き上げ角度が大きい場合は、介護ベッド特有の腕指し認識を継続する。まず、ステップＳ１１０５において、背もたれ部分を除いたベッド面上の距離画像全体から、ユーザ４の仮重心を取得する。次に、ステップＳ１１０６において、ユーザ４の仮重心が、図２１に示すようなベッド折り曲げ位置より頭部サイドにある場合は、ベッドによりかかっている（ステップＳ１１０７）と判定する。
【００８２】
一方、逆に仮重心が脚部サイドに近い場合はベッドの背もたれから離れている（ステップＳ１１０８）と判定し、ステップＳ１１１３で、普通に座っている場合と同様に、立位・座位での腕指し認識を行う。
【００８３】
背もたれに寄りかかっている場合（ステップＳ１１０７）は、ステップＳ１１０９において、ユーザ４の仮重心周りの背もたれ部分を除いた一定領域を切り出し、その各プレート単位での重心とそれらの平均重心を求める。そして、ステップＳ１１１０において、各プレート重心と平均重心との距離が最も離れているプレートを決定する。ステップＳ１１１１において、その平均重心と最遠点との距離が大きい場合は、腕指しが行われていると判定し、ステップＳ１１１２において、そのプレートから腕指しの３次元方向を特定する。ステップＳ１１１１において、平均重心と最遠点との距離が小さい場合は腕指しが行われていないと判定し、ステップＳ１１０５に戻り介護ベッドでの腕指し判定を継続する。
【００８４】
次に、図２３に指示動作の３つの基本様式を示した。位置姿勢認識、腕指し認識によって、腕指しをしている状態が正確に把握できている場合は、図２３に示す指示動作者４１が一定時間操作対象機器６に腕指しを続けると、その腕指しの先にある操作対象機器６にターゲットロックされる。ターゲットロック後の指示動作は十字操作〔図２３（ａ）〕、パネルタッチ操作〔図２３（ｂ）〕、パネルジェスチャ操作〔図２３（ｃ）〕の３手法を提供する。
【００８５】
図２４には十字操作のフローチャートを示した。図２４のステップＳ１５１において、指示動作者４１がターゲットロックを行った際の腕の３次元方向を取得し、それを十字操作の原点とする。続けて、ターゲットロック後も腕指し動作が続いているかをステップＳ１５２で判断（判定）した後、腕指しが継続している場合（ＹＥＳ）は、ステップＳ１５３で腕指し３次元方向を取得し、その腕指しの方向が十字の指示動作範囲内にあるかどうかをステップＳ１５４で判断（判定）し、範囲内にある場合（ＹＥＳ）は、ステップＳ１５５において、その方向に対応するコマンドを連続して送信する。ステップＳ１５２において、一定時間腕指しがなかった場合（ＮＯ）は、腕指し判定を終了する。この十字動作は特にスイッチのオン・オフ、ボリュームやチャンネルの変更など、簡単な操作に適している。
【００８６】
図２５にはパネルタッチ操作のフローチャートを示した。図２５のステップＳ１６１において、指示動作者４１がターゲットロックを行った後の、体の方向（肩の向き）を取得し、それをパネルタッチ操作の基点とする。パネルタッチ操作では、指示を行うためのパネル（操作パネル４２）が指示動作者４１の前にあると仮想して行われる。図２３の指示動作者４１のように、ターゲットロック後の操作パネル４２は、常に指示動作者４１の真正面に設定される。この操作パネル４２に対して、指示動作者４１はその操作パネル４２の一部（図２３の例では９ヵ所に分割）にタッチすることで、操作対象機器６を制御する。
【００８７】
次に、ターゲットロック後も腕指し動作が続いているかをステップＳ１６２で判断（判定）した後、腕指しが継続している場合（ＹＥＳ）は、肩の高さと腕指しの方向をステップＳ１６３で取得する。そして、体の正面に設定された操作パネル４２の範囲内に腕指しがあるがどうかをステップＳ１６４で判断（判定）し、操作パネル４２の範囲内にある場合（ＹＥＳ）は、どのパネルを指しているか判定し、その場所に対応するコマンドをステップＳ１６５において送信する。また、ステップＳ１６２において腕指しをしておらず（ＮＯ）、さらにステップＳ１６６において、ターゲットロックから一定時間腕指しがなかった場合（ＹＥＳ）は、腕指し判定を終了する。このパネルタッチ操作は、操作対象機器６のスイッチに上記のような直接触れるような操作をいくつか組み合わせることもできる。
【００８８】
図２６にはパネルジェスチャ操作のフローチャートを示した。図２６のステップＳ１７０１において、指示動作者４１がターゲットロックを行った後の、体の方向（肩の向き）を取得し、それをパネルジェスチャ操作の基点とする。パネルジェスチャ操作では、図２３に示す指示動作者４１のように、ターゲットロック後の操作パネル４２は、常に指示動作者４１の真正面に設定される。この操作パネル４２に対して、指示動作者４１が行うそのパネル内の範囲（図２３の例では９カ所に分割）の腕指し軌跡を判別することで、操作対象機器６を制御する。つまり同じ円のような軌跡でも、その通過順序によって操作コマンドを別々に作ることができる。これらは全て操作機器登録部３５によって自由に設定できる。
【００８９】
具体的には、まず、ステップＳ１７０１で体の方向を取得した後、ステップＳ１７０２において、ターゲットロック後も腕指し動作が続いているかを判断（判定）する。腕指しが継続している場合（ＹＥＳ）は、肩の高さと腕指しの３次元方向をステップＳ１７０３で取得する。そして、その腕指しの方向が体の正面に設定された操作パネル４２の範囲内にあるかどうかをステップＳ１７０４で判断（判定）し、操作パネル４２の範囲内にある場合（ＹＥＳ）は、その腕指しされたパネルは既に指示動作者４１の腕が通過済みか否かをステップＳ１７０５にて判断（判定）する。未通過の場合（ＮＯ）は、ステップＳ１７０６において、腕指し軌跡にそのパネル位置を追加する。そして、ステップＳ１７０７でその腕指し軌跡に対応する操作コマンドがあるかどうかを判定し、対応するコマンドがある場合（ＹＥＳ）は、その操作コマンドをステップＳ１７０８において送信する。ステップＳ１７０２において、腕指しがされていない場合（ＮＯ）は、腕指し軌跡の初期化を行い、ステップＳ１７１０でターゲットロックから一定時間腕指しなしで経過したかを判断（判定）してＹＥＳの場合は腕指し判定を終了する。このパネルジェスチャ操作は、その腕指し軌跡の順序を変えることで、様々な操作コマンドに対応させることができる。
【００９０】
ここまでに示した十字操作、パネルタッチ操作、パネルジェスチャ操作は、基本的に操作対象機器６に対して、腕指しでターゲットロックを行った後、続けて、その操作対象機器６に向かって指示動作を行うことを基本としている。そこで、図１及び図２に示した表示装置８を用いることで、複雑な操作をより容易に行えることを示す実施形態を図２７に示した。
【００９１】
図２７は、パネルタッチ操作やパネルジェスチャ操作と表示装置８との組み合わせによる指示操作実施形態を示している。第１段階として、ターゲットロックの実施形態５１では、指示動作者４１は操作対象機器６に対して腕指しをする意図を示している。このとき、指示動作者４１は操作対象機器６に向かって腕指しを行い、表示装置８は別方向に存在する。
【００９２】
次に、第２段階として、表示装置８を使った操作パネル４２の利用形態５２では、ターゲットロック直後に、指示動作者４１の体の向きとは関係なしに、別方向にある表示装置８と指示動作者４１とを結ぶ直線上に操作パネル４２が設定される。これは指示動作者４１がどの位置に移動しても一定時間は指示動作者４１と表示装置８を結ぶ直線上に常に設定され、その操作パネル４２と操作コマンドなどが表示装置８に表示される。
【００９３】
第３段階として、表示装置８を使ったパネル操作実施形態５３では、指示動作者４１は、操作対象機器６を一切気にすることなしに、表示装置８に表示される操作パネル４２や情報を見ながら実際に操作対象機器６を制御することができる。このような方法で、覚えられないコマンドや複雑な操作を行う場合でも、指示動作者４１は表示装置８の助けを借りて容易に操作対象機器６を制御することが可能になる。
【００９４】
さらに、このような表示装置８を使ったパネル操作実施形態５３の別な実施形態として、最初からターゲットロックをしない方法もある。この方法では、操作対象機器６などをメニューとして表示装置８に表示しておき、指示動作者４１は表示装置８のみに向かって室内のどの位置からでも全ての機器の制御を行う。この方法は、特に身体障害者など動き回ることが少なく、常時一方向を向いていることが多い人には便利なインタフェースとなる。
【００９５】
図３の操作機器登録部３５では、操作対象機器６の情報やその操作のための各種指示動作やその組み合わせなどを操作機器データベース３４に登録することができる。このときの実施形態を図２２のフローチャートに示した。ステップＳ１４１では、最初に対象となる操作対象機器６の種別、個別情報などを登録する。続いてステップＳ１４２では、その操作対象機器６の位置を登録する。さらにステップＳ１４３では、指示動作とそれに対応するコマンドの登録を行う。そしてステップＳ１４４では、さらに複雑な場合として、指示動作の組み合わせ、指示動作時の表示装置利用の有無などを登録し、これらの一連の動作を必要数だけ繰り返す。
【００９６】
また、これら一連の操作機器登録時には、操作コマンド送受信装置９を使って、ＢｌｕｅｔｏｏｔｈやＥＣＨＯＮＥＴなどを有する情報家電などとの間で通信を行う。これは操作機器登録部３５と操作コマンド送受信装置９との間で必要情報を相互に通信して、必要な情報を獲得する。
【００９７】
ステップＳ１４２においては、操作機器にＬＥＤなどのランプを取り付け、それをＢｌｕｅｔｏｏｔｈやＥＣＨＯＮＥＴなどを経由した命令で点灯させることによって、それがステレオカメラ１の視野範囲にある場合は、その３次元位置を自動的に取得することが可能である。
【００９８】
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００９９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【０１００】
（Ａ）室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作を実現させることができる。
【０１０１】
（Ｂ）上記（Ａ）を受けて、ユーザの腕指しによる指示動作によって室内空間の操作対象機器の操作を容易にすることができる。
【０１０２】
（Ｃ）特定エリアの設定により、ユーザの腕指しによる目標を確実に設定することができる。
【０１０３】
（Ｄ）特定エリアが介護ベッドの頭部サイドである場合、特定エリアを基準にして、立位、座位、伏位などの一般的な全ての姿勢での腕指しと、その腕指しによる指示動作によって室内空間の操作対象機器の操作をアシストすることができる。
【０１０４】
（Ｅ）疑似腕指しを的確に検出する。つまり、一見、腕指しのように見える挙動を腕指しから確実に除外して、正確な腕指しの判定を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態のシステム構成を示す図である。
【図２】本発明の一実施形態のシステム構成を示す図である。
【図３】図１及び図２に示した情報統合認識装置のブロック図である。
【図４】本発明の一実施形態の動作を説明するためのフローチャートである。
【図５】本発明に用いられる段違い引き出し法の説明図である。
【図６】本発明に用いられる姿勢認識処理方法の説明図（その１）である。
【図７】本発明に用いられる姿勢認識処理方法の説明図（その２）である。
【図８】本発明に用いられる姿勢認識処理方法の説明図（その３）である。
【図９】本発明に用いられる姿勢認識処理方法の説明図（その４）である。
【図１０】本発明の一実施形態の動作を説明するための説明図〔腕指し図（その１）〕である。
【図１１】本発明の一実施形態の動作を説明するための説明図〔腕指し図（その２）〕である。
【図１２】本発明の一実施形態の動作を説明するための説明図（脚を投げ出した場合）である。
【図１３】本発明の一実施形態の動作を説明するための説明図〔小さな腕指し（その１）の場合〕である。
【図１４】本発明の一実施形態の動作を説明するための説明図〔小さな腕指し（その２）の場合〕である。
【図１５】本発明の一実施形態の動作を説明するための説明図〔両腕を広げた場合（その１）〕である。
【図１６】本発明の一実施形態の動作を説明するための説明図〔両腕を広げた場合（その２）〕である。
【図１７】本発明の一実施形態の動作を説明するための説明図（握手など相手が側にいた場合）である。
【図１８】本発明の一実施形態の動作の区別を説明するためのフローチャートである。
【図１９】図１８における伏位での腕指し認識部の動作の一部を詳細化したフローチャートである。
【図２０】本発明における特定エリアでの腕指し認識部の動作の一部を詳細化したフローチャートである。
【図２１】ベッドの起き上げ角度を計算するためのベッドの底辺の画像である。
【図２２】本発明における操作機器データベースの登録を説明するためのフローチャートである。
【図２３】本発明における指示動作の３つの基本様式を説明するための説明図である。
【図２４】本発明における十字操作を説明するためのフローチャートである。
【図２５】本発明におけるパネルタッチ操作を説明するためのフローチャートである。
【図２６】本発明におけるパネルジェスチャ操作を説明するためのフローチャートである。
【図２７】本発明の一実施形態の動作を説明するための説明図である。
【図２８】従来の技術を示す図である。
【図２９】従来の技術を示す図である。
【符号の説明】
１，１−１，１−２，…，１−ｎ ステレオカメラ
２ 画像処理装置
３ 情報統合認識装置
４，４−１，４−２，…，４−ｎ ユーザ（複数可能）
５ 操作可能空間（室内空間）
６ 操作対象機器
６−Ａ エアコン
６−Ｂ テレビジョン
８ 表示装置
９ 操作コマンド送受信装置
３１ 位置姿勢認識部
３２ 腕指し認識部
３３ 指示動作認識部
３４ 操作機器データベース
３５ 操作機器登録部
４１ 指示動作者
４２ 操作パネル
５１ ターゲットロック実施形態
５２ 表示装置を使った操作パネルの利用形態
５３ 表示装置を使ったパネル操作実施形態
１０１ 肩の高さ
１０２ 目の高さ
１０３，１２４ 頭の高さ
１０４ 腕の方向
１０５，１１６，１７２ 腕指しの方向
１１１，１４１，１６１ 平均重心
１１２，１４３ 腕重心
１１３ 腕先端
１１４，１３２，１６４ 画像モーメント
１１５ 腕水平方向
１２１ 椅子
１２２ 前方に投げ出された脚
１２３ 腕指し認識下限
１２５ 座高
１３１ 小さな腕指し
１３３ 画像モーメントの長辺
１３４ 長辺の下限
１４２，１６２ 腕指し末端
１４４，１６３，１７３ 腕指し先端
１５１ 広げた両腕
１５２ 両腕を拡げた場合の画像モーメント
１７１ 握手相手の小さな腕指し
１７４ 握手相手の平均重心

Claims (17)

1. （ａ）室内空間において複数のステレオカメラにより該室内を撮像し、前記各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、
   （ｂ）前記各ステレオカメラからの距離情報に基づき、ユーザの位置姿勢と腕指しを抽出する位置姿勢・腕指し認識手段と、
   （ｃ）前記ユーザの腕指しが識別された場合に、該腕が指し示している方向、その動きから、指示動作であるかどうかを認識する指示動作認識手段と、
   を具備することを特徴とするインタフェース装置。
2. 請求項１記載のインタフェース装置において、前記指示動作認識手段の動作に基づき、予め登録された室内機器を操作するコマンドを送出し、その結果を受信する操作コマンド送受信装置を具備することを特徴とするインタフェース装置。
3. 請求項１又は２記載のインタフェース装置において、前記位置姿勢・腕指し認識手段は、集められた３次元情報から前記距離データを室内空間座標系に沿って、段違い引き出し法により取り出し、データを２次元平面に投影することで複数のユーザの姿勢認識処理をする位置姿勢認識部と、該得られた複数のユーザの２次元投影図から腕指しの方向を識別する腕指し認識部とを有することを特徴とするインタフェース装置。
4. 請求項１又は２記載のインタフェース装置において、前記指示動作認識手段は、前記得られた腕指しの方向の時系列データからその指示動作を認識する指示動作認識部を有し、更に、腕指し操作の対象となる操作対象機器の情報や操作方法を保存する操作機器データベースと、前記操作対象機器の基本情報、位置、操作方法を記憶する操作機器登録部とを具備することを特徴とするインタフェース装置。
5. 請求項１記載のインタフェース装置において、前記腕指しを抽出する位置姿勢・腕指し認識手段は、各ステレオカメラから得られた３次元距離情報を、室内座標系に基づいて、２０ｃｍごとに階層的に区切って情報を切り出す段違い引き出し法により、各引き出し内に入った点列を２次元平面に投影した後、二値化して、２次元の二値画像となし、各階層単位でラベリングを行った後で各クラスタの全体重心を求め、２次元平面において求めた重心をラベリングされた対象単位で再び階層的に積み上げて、３次元点列として利用し、Ｚ軸に沿って各階層ごとの重心をプロットして、最上部（頭部）より８階層分（上半身）までをＸＹ平面上にプロットし、全体重心と比較して大きな外れ値があった場合を腕指し動作が行われたとするとともに、最上部より８階層分までの二値画像と等価の矩形形状である画像モーメントを求めて得られた８組のデータのうち面積が一定の範囲にあり、かつ画像モーメントの長辺と短辺の差が最も大きい階層の長辺の垂直方向を体の向きとし、前記した腕指し動作が認識された場合、最も全体重心からプレート重心が離れた階層の二値画像の重心と全体重心との間に垂直二等分線をひき、人の体に相当する領域にある二値画像を消し去り、腕部分のみを残し、その腕部分のみの二値画像に対して画像モーメントを計算し、その長辺、重心、腕先端位置、全体重心を計算することで腕指しのＸＹ平面上での向きを決定し、身長、目の高さ、腕長係数から腕指しのＺ方向の向きを決定して腕指しの方向を求め、指示動作を認識することを特徴とするインタフェース装置。
6. 請求項５記載のインタフェース装置において、頭の高さ及び座高に相当する高さから腕指し判定の下限を設定して、該下限より下にある疑似腕指しの場合は、腕指しではないと判定することを特徴とするインタフェース装置。
7. 請求項６記載のインタフェース装置において、前記下限より下にある疑似腕指しの場合が脚を投げ出した場合であるインタフェース装置。
8. 請求項５記載のインタフェース装置において、前記画像モーメントの長辺の身長との比が一定に達していない場合は、腕指しでないと判定することを特徴とするインタフェース装置。
9. 請求項５記載のインタフェース装置において、平均重心から腕指し先端までの距離をｒ１、前記平均重心から腕指し末端までの距離をｒ２とすると、ｒ１／ｒ２が身長から設定された値以下である場合は、腕指しでないと判定することを特徴とするインタフェース装置。
10. 請求項８又は９記載のインタフェース装置において、該当する場合が、小さい腕指しであることを特徴とするインタフェース装置。
11. 請求項５記載のインタフェース装置において、前記画像モーメントの長辺Ｌ_１ 、短辺Ｌ_２ より面積Ｓを求め、該面積Ｓに上限を、前記画像モーメントの長辺Ｌ_１ に下限を設定し、この限度から外れる場合は、腕指しでないと判定することを特徴とするインタフェース装置。
12. 請求項５記載のインタフェース装置において、腕指し先端と平均重心間距離と、腕指し末端と平均重心間距離の比が設定値以上の場合は、腕指しでないと判定することを特徴とするインタフェース装置。
13. 請求項１１又は１２記載のインタフェース装置において、前記限度から外れる場合は、両手を広げた場合であることを特徴とするインタフェース装置。
14. 請求項５記載のインタフェース装置において、ユーザの腕指し先端を中心に、所定の半径内に相手の平均重心を発見した場合は、腕指しでないと判定することを特徴とするインタフェース装置。
15. 請求項１又は２記載のインタフェース装置において、前記室内空間のうち特定エリアを予め登録しておき、その特定エリアにユーザがいる場合にそのユーザの腕指しを識別することを特徴とするインタフェース装置。
16. 請求項１５記載のインタフェース装置において、前記特定エリアを介護ベッドの頭部サイドとし、その特定エリア内にユーザがいる場合は、その特定エリア用の腕指し識別を行うことを特徴とするインタフェース装置。
17. 請求項１６記載のインタフェース装置において、前記特定エリアを介護ベッドの頭部サイドとし、その特定エリア内にユーザがいない場合は、ユーザが立位、座位又は伏位かどうか判定し、それぞれの姿勢での腕指しを識別することを特徴とするインタフェース装置。

Images