JP2014222495A - インタフェース装置 - Google Patents

Abstract

【課題】ハンズフリーで介護者への意思伝達・指示が可能なインタフェース装置を提供する。
【解決手段】頭部動作にてＰＣのマウスのように画面内カーソル移動・クリック・ドラッグ等のＧＵＩ操作を実現すると共に、物理的に駆動可能なレーザポインタを用いて実物体にレーザを投射することで、ＰＣ画面と実世界との境目の無い一元的なハンズフリーのインタフェース装置である。ＰＣと実世界両者へのポインティングを可能にすることで、寝たきり患者などが介護者および介護ロボットへの意思表示が簡単になり、直観的にわかりやすい意思疎通が可能になる。
【選択図】図１

Description

本発明は、ハンズフリーで介護者および介護用ロボットへの意思伝達・指示が可能なインタフェース装置、特に、パーソナルコンピュータ（以下ＰＣという）のマウス操作及び部屋のあちこちに存在する実物体を指し示す行為の両者に対して、ＰＣ内部と外部を連続的・双方向に移動させ、幅広い意思表示を可能とするハンズフリーのインタフェース装置に関する。

近時、超高齢社会を迎え、四肢の不自由な運動弱者や身体障害者の支援、特に寝たきり患者の介護が深刻な社会問題となっている。ＰＣのマウスを使うことや会話が困難な患者も多く、彼らの意思を正確に汲み取ることが介護者の最優先の仕事である。一方、近い将来には介護者の仕事の内、ごく単純な作業に関しては、介護支援ロボットに代替させることが期待されている。このような背景の下、四肢の運動機能が衰えた場合でも、能力が維持されている眼球や頭部の運動を計測することで被介護者の意思を伝達するためのハンズフリーインタフェースに関する研究が行われている。

寝たきり患者は、周りに実在する医療機器・家電製品・生活用品・食料品等に囲まれて生活しており、その中で使用したい器具、興味のある物品等実物体を介護者（将来は介護支援ロボット）に的確に伝えることが円滑な日常生活を送る上で必須である。一方、ＰＣはインターネットを含めたサイバー空間への入り口であり、彼らの精神活動範囲を無限に広げる意味で重要である。前者の実世界インタフェースに関しては、例えば、レーザポインタを顔面に装着し実世界の物体をポインティングすることで、被介護者が興味ある実物体を介護者に伝えるようなハンズフリーインタフェースが提案されている。後者のＰＣ操作インタフェースに関しては、視線・頭部・顔の動き等を計測することで、ハンズフリーに操作するための方式が研究されている。

寝たきり患者の欲求を満たすことは介護者の最優先の仕事である。しかし、健常者や障害の軽い人ならば指さし等で身の回りの物を指して簡単に意思表示ができることでも、寝たきりでは簡単にはできないため意思を読み取るのは難しく、介護者も被介護者ももどかしく感じている。また、被介護者の人口増に、介護者の数が追いついていないという問題もある。

そんな中、ロボティックルームという概念がある（非特許文献１）。病室全体にさまざまなロボットを配置してお茶汲みやゴミ拾いなど細かい動作をロボットにさせ、介護者の負担や被介護者側の精神的負担を減らそうという概念である。被介護者が自分の意思でロボットに指示を与えることを可能にすることで、被介護者の意図する要求を正確に満たすことができ、介護者の負担軽減につながる。このような事情から、被介護者が介護者に簡単に意思を伝えることができ、さらに介護用ロボットへ自分の意思を伝えて介護を行うシステムが望まれている。

関連する先行技術として次のようなものがある。
ハンズフリーインタフェース
頚椎損傷者等の上肢運動能力が衰えた人でも使用可能な、頭部動作を利用した様々なハンズフリー入力インタフェースが開発されている。以下にその例を挙げる。

頭部に３つの超音波送信機を固定し、３次元座標を求めることで頭部の傾きをカーソルの位置に対応させる方式が提案されている（非特許文献２）。また、頭部にジャイロセンサを装着し、頭部の傾きによってカーソルの移動、口の開閉動作を利用して移動とクリックのモード切替を行う方式が提案されている（非特許文献３）。ジャイロセンサ等を利用した３次元モーションセンサを装着し、音声対話に伴う頭部動作を測定し、音声入力の意思表示の補助を行うシステムも公知である（非特許文献４）。頭部にとりつけたレーザポインタの照射点をカメラで認識し、ＰＣのカーソル操作を実現するシステムが提案されており、ＣＴ（クリックタイム）とスループット（Ｔｈｒｏｕｇｈｐｕｔ）という客観的指標で評価されている（非特許文献５）。以上の非特許文献２〜５に開示の技術は、いずれも頭部動作計測用のセンサを装着する必要があり、非侵襲ではないため長時間の使用には適さず、手の使えない障害者は自由な着脱が難しいという問題がある。

顔に計器をつける必要のないハンズフリーインタフェースも研究されている。例えば、眼球部位をカメラにより検出し、頭部の傾きをカーソルの移動方向に対応させることでカーソル位置を制御する方式である（非特許文献６）。しかし、この方式では、照明条件によっては眼球部位の画像認識が困難となるという問題がある。

顔面に張ったシールを検知し、頭の動きを直接ＰＣのカーソルの動きに変換する機能をもったハンズフリーのマウスが市販されている（商品名ＴｒａｃｋｅｒＰｒｏ）。これは、専用のシールを顔面に張らなければならず、またクリック操作ができない。

実世界ポインティング
意思伝達システム
高度の頚髄損傷者向けに頭に取りつけたレーザ光を実世界上のキーボード代用装置のセンサに当てることで意思伝達ができるシステムが提案されている（非特許文献７）。また、コミュニケーション・ボードやコミュニケーション・ブックという文字やシンボル、写真を並べて、指さしなどで選ぶことで、コミュニケーションを補助する支援教材も一般に普及し使われている（非特許文献８）。

遠隔指示
遠隔地にいる作業者に指示者が作業を指示するためのシステムとして、作業地に配置したロボットにレーザポインタを取りつけ、指示者が作業地のカメラ映像を見ながら物体をポインティングさせて指示する遠隔作業指示支援システム（商品名ＧｅｓｔｕｒｅＭａｎ）が開発されている（非特許文献９，１０）。また、実物体にプロジェクタ光を照射することで遠隔地にいる相手に自分の興味対象物を伝えるシステムが開発されている。

ロボットへの指示方法
ロボットへの指示方法として、車椅子利用者などの足の不自由な患者を想定してレーザポインタでポインティングした物体をロボットにとらせる方法が開発されている（非特許文献１１）。また、コマンドつきのレーザポインタを用いて、複数指示可能なロボット操作システムが開発されている（非特許文献１２）。このことから、人やロボットへ指示するために、レーザポインタやプロジェクタ光等を物体に照射することは、指示対象が明確になり有用である。

ハンズフリーインタフェースに関しては、実世界へのポインティングは不可能である。非特許文献５に記載の技術では実世界へのポインティングが可能であるが、そのような用途を意図していない。非特許文献７に記載の技術はハンズフリーインタフェースでキーボード入力も可能であるが、画面外ポインティングは想定していない。また、頭部につけられたレーザポインタでポインティングするため、狭い範囲のみのポインティングしかできない。コミュニケーション・ボードは指等でのポインティングによる意思伝達であるから、ＰＣ操作は不可能である。また、「遠隔指示」及び「ロボットへの指示方法」の項で述べた先行技術は実世界へのポインティング技術であり、ハンズフリーではない。

本発明者の１人は、図９に示す空気枕を利用したＰＣ操作用頭部動作インタフェース（以下空気枕インタフェース１という）を提案している（特許文献１）。この空気枕インタフェース１は、空気が封入された４つの長方形空気袋ユニットＡ１，Ａ２，Ａ３，Ａ４を階層的かつ井桁状に配置して、枕カバー２にて包んだ構造である。Ｓ１，Ｓ２，Ｓ３，Ｓ４は、それぞれの空気袋ユニットＡ１，Ａ２，Ａ３，Ａ４に取り付けられた空気圧センサで、それらの内圧を測定することで頭部加重方向（ＸＹＺ）を測定する。空気圧センサＳ１，Ｓ２，Ｓ３，Ｓ４からの信号は、座標演算回路３及び出力インタフェース４を介して出力され、カーソル移動・クリック・ドラッグ等の操作に使用される。力入力型であるので頭部駆動範囲が狭い被介護者にも適用でき、またＺ成分により奥行き操作も可能である。カーソル操作性能を示すスループットとクリックの速さを示すＣＴ（クリックタイム）指標に基づき通常のＰＣマウスと比較した結果、３０％程度の性能を有することを確認している。

特開２００７−２８６９０３号公報

佐藤知正："生活を支えるネットワーク知能機械−ロボティックルームの試み"，東芝レビューＶｏｌ．５６Ｎｏ．９ ｐｐ．２８ 布下正意，海老澤嘉伸，石間大典，"超音波位置計測に基づく頭部運動によるポインティングシステム"，映像情報メディア学会誌：映像情報メディア５７（３），４０３−４０８，２００３−０３−０１，２００３ 中沢信明，清水政博，山田功，松井利一，伊藤勲，"頭部の傾きと口の開閉動作を利用したパソコン操作インタフェース"，日本機械学會論文集．Ｃ編７２（７２４），３８９２−３８９８，２００６−１２−２５，２００６ 會田卓也，西本卓也，大川茂樹，嵯峨山茂樹，"頭部モーションセンサと音声を用いた対話インタフェースの検討"，電子情報通信学会信学技法ＴＬ２００６−５５，２００７ 伊藤和幸，"レーザ光線を利用した頸髄損傷者向けマウスポインティングデバイス"，電子情報通信学会論文誌Ｄ Ｖｏｌ．Ｊ９０−Ｄ Ｎｏ．３ ｐｐ．７７１−７７９，２００７ 久保宏一郎，飯田行恭，嶌田聡，大塚作一，"頭部動作による障害者用ＰＣ操作支援ツールの検討"，電子情報通信学会技術研究報告．ＨＣＳ，ヒューマンコミュニケーション基礎１０１（３６），３５−４２，２００１−０４−２０，２００１ 数藤他：光入力式キーボードの改良とその使用結果，国立身体障害者リハビリテーションセンター研究紀要１０，１９８９ 公益財団法人明治安田心の健康財団 コミュニケーション支援ボード 小山慎哉，葛岡英明，Ｐａｕｌ Ｌｕｆｆ，山崎敬一："指示者を代理するロボットによる遠隔操作指示支援"，情報処理学会研究報告２００１−ＧＷ−３９，ｐｐ．８３−８８，２００１ 葛岡英明，山崎敬一，上坂純一："ロボットを介した遠隔コミュニケーションシステムにおけるエコロジーの二重性の解決：頭部連動と遠隔ポインタの評価"，情報処理学会論文誌，Ｖｏｌ．４６，Ｎｏ．１，ｐｐ．１８７−１９６，２００５ Ｃｈａｒｌｅｓ Ｃ．Ｋｅｍｐ，Ｃｒｅｓｓｅｌ Ｄ．Ａｎｄｅｒｓｏｎ．Ｈａｉ Ｎｇｕｙｅｎ，Ａｌｅｘａｎｄｅｒ Ｊ．Ｔｒｅｖｏｒ，ａｎｄ Ｚｈｅ Ｘｕ："Ａ Ｐｏｉｎｔ−ａｎｄ−Ｃｌｉｃｋ Ｉｎｔｅｒｆａｃｅ ｆｏｒ ｔｈｅ Ｒｅａｌ Ｗｏｒｌｄ： Ｌａｓｅｒ Ｄｅｓｉｇｎａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｆｏｒ Ｍｏｂｉｌｅ Ｍａｎｉｐｕｌａｔｉｏｎ"，Ｉｎ Ｐｒｏｃ．ＨＲＩ ２００８，２４１−２４８，２００８

本発明は、実世界（実物体）とサイバー空間（ＰＣ）の両者に境目無くアクセス可能なハンズフリーインタフェース装置を提供するものである。ＰＣと実世界両者へのポインティングを可能にすることで、寝たきり患者等被介護者の介護者及び介護ロボットへの意思表示が簡単になり、直観的で分かりやすい意思疎通が可能になる。

本発明に係るインタフェース装置は、内部に空気が封入された複数の空気袋ユニットと、該空気袋ユニットの圧力検知信号を入力してこれを座標値に変換する座標演算回路と、該座標演算回路の出力信号が入力される出力インタフェースとを備えた空気枕インタフェースと、実世界の所定の位置を指し示すレーザポインタと、該レーザポインタの指し示す場所を撮影するカメラと、前記レーザポインタにより指し示されるカメラの撮影場所を変更すべくこれを左右上下方向に駆動するパンチルト駆動手段と、前記出力インタフェースからの信号を入力するとともに前記パンチルト駆動手段を制御する制御手段と、前記制御手段の制御出力を表示するディスプレイ手段とを備え、前記制御手段は、さらに前記出力インタフェースからの信号によりマウスカーソル位置を算出するカーソル値算出手段と、前記ディスプレイ手段の外部の実世界に、前記レーザポインタのマーカカーソル座標であって、前記ディスプレイ手段のカーソル位置座標に一致するディスプレイ座標系を生成するディスプレイ座標系生成手段と、該ディスプレイ座標系生成手段により求めたディスプレイ座標系マーカカーソル座標値を前記レーザポインタから見たレーザポインタ座標系の座標値に変換するレーザポインタ座標系変換手段と、該レーザポインタ座標系変換手段より求めた座標値から前記パンチルト駆動手段のパン軸角度及びチルト軸角度を算出するパンチルト角算出手段と、を含むものである。

また本発明に係るインタフェース装置は、前記レーザポインタ座標系変換手段により算出された座標値が前記ディスプレイ内から外部に移動したとき、前記レーザポインタをオンに切り換えるとともに、前記座標値が前記ディスプレイ外部から内部に移動したとき、前記レーザポインタをオフに切り換えるレーザポインタオンオフ制御手段が追加されてなるものである。

本発明によれば、被介護者がＰＣディスプレイ内を操作中は、パンチルト駆動手段の存在とは無関係にマウス操作を行う。そして、カーソルが画面の端まで到達した瞬間、カーソルの代わりにレーザポインタを、あたかもそのカーソルがディスプレイ内から実世界にそのまま飛び出すかのように連続的に投影させる。その後、被介護者は肉眼で実物体とレーザポインタの位置を確認しながら実世界ポインティングを行う。介護者はそのレーザポインタの指す実物体を肉眼で見ることにより、被介護者の要求を瞬時に想像することが可能となる。逆に、実世界ポインティングを行っている状態でレーザポインタをディスプレイ内に持ち込んだ場合は、その瞬間途切れることなくディスプレイ内のカーソルに制御が移り、通常のディスプレイ内でのマウス操作が行われる。例えば、カーソルをディスプレイ内に表示された飲み物例えばコーヒーから移動させ、ディスプレイ外の実世界に置いてあるコップにカーソルに連続してレーザポインタを移動させることにより、介護者は、被介護者がコーヒーをコップに注いでほしいと望んでいることを知るのである。

本発明に係るインタフェース装置の構成を示すブロック図である。 本発明に係るインタフェース装置の制御手段を具体的に示すブロック図である。 不感帯を示す図である。 ＰＣ画面とパンチルト駆動手段の関係を示す構成図である。 ＰＣ画面とレーザポインタの関係を示す構成図である。 ケース１の操作を説明するための図である。 ケース２の操作を説明するための図である。 ケース１、２の操作を説明するための図である。 空気枕インタフェースを示す概略図である。

図１において、１は前述した空気枕インタフェース、５は空気枕インタフェース１の出力インタフェース４からの信号が入力される制御手段、６は、制御手段５の出力が表示されるディスプレイ手段（ＰＣ画面）、７は、実世界の所定の位置を指し示すレーザポインタ、８は、レーザポインタ７が指し示すマ場所を撮影するカメラ、９は、レーザポインタ７及びカメラ８が固定され、これらをチルト方向（上下方向、矢印ａにて示す）及びパン方向（左右方向、矢印ｂにて示す）に駆動するパンチルト駆動手段である。このパンチルト駆動手段９は、制御手段５により駆動、制御され、その駆動結果を示す信号は、制御手段５に入力される。

図２に示すように、制御手段５において、１０は、出力インタフェース４からの信号によりマウスカーソル位置Ｃ（ｘ，ｙ）を算出するカーソル値算出手段、１１は、ＰＣ画面６の外部の実世界に、ポインティング目標値であって、ＰＣ画面６のカーソル位置座標Ｃ（ｘ，ｙ）に一致するディスプレイ座標系ΣＤの座標値ｐＤ（ｘＤ，ｙＤ）を生成するディスプレイ座標系生成手段、１２は、ディスプレイ座標系生成手段１１により求めたディスプレイ座標系の座標値をレーザポインタ９から見たレーザポインタ座標系ΣＬの座標値ｐＬ（ｘＬ，ｙＬ，ｚＬ）に変換するレーザポインタ座標系変換手段、１３は、座標系ΣＬからパンチルト駆動手段９のパン軸操作角及びチルト軸操作角を算出するパンチルト角算出手段である。このパンチルト角算出手段１３からの信号により、パンチルト駆動手段９が駆動制御される。１４は、レーザポインタ座標系変換手段１２からの座標信号を入力するレーザポインタオンオフ制御手段で、この制御手段により算出されたレーザポインタ座標値ｐＬ（ｘＬ，ｙＬ）がＰＣ画面６内から外部に移動したとき、レーザポインタ７をオンに切り換えるとともに、レーザポインタ座標値ｐＬ（ｘＬ，ｙＬ）がＰＣ画面６外部から内部に移動したとき、レーザポインタ７をオフに切り換えるレーザポインタオンオフ制御手段である。

かかる構成において、ＰＣ画面６内においては、空気枕インタフェース１から取得されるＰＣカーソル位置座標及びクリック動作命令により、ＧＵＩ操作を実現する。またＰＣ画面６を超えた実世界においては、空気枕インタフェース１の出力データを継続的に利用し、ＰＣカーソルがあたかもＰＣ画面６から実世界に飛び出すかのようにレーザポインタ７を連続的に照射することで、実物体へのアクセスを実現する。

本実施形態におけるインタフェース装置の具体的な構成部品は以下のとおりである。
パンチルト駆動手段９（パンチルトアクチュエータ）：ＴＲＡＣＬａｂｓ社Ｂｉｃｌｏｐｓ ＰＴ（２自由度）
ＵＳＢカメラ８：Ｍｉｃｒｏｓｏｆｔ社Ｗｅｂｃａｍ３０００
操作用ハンズフリーインタフェース：空気枕インタフェース１
レーザポインタオンオフ制御手段１４
レーザ端子：赤色レーザ発光モジュール（円筒型）ＬＭ−１０１−Ａ２
ＵＳＢ入出力基盤：ＵＳＢ接続デジタル入出力モジュール ＵＳＢ−１０２．０
プログラム開発環境：Ｍｉｃｒｏｓｏｆｔ Ｖｉｓｕａｌ Ｓｔｕｄｉｏ ２００８ ＶＣ／Ｃ＋＋
使用ライブラリ
ＡＲＴｏｏｌＫｉｔ：カメラ−ディスプレイ間の位置姿勢計測を行う。
Ｄｉｒｅｃｔｓｈｏｗ：Ｗｅｂカメラ制御を行う。
ＰａｎｔｉｌｔＡＰＩ：パンチルトアクチュエータ制御を行う。

パンチルト駆動手段（パンチルトアクチュエータ）９のカーソル追従
ＰＣ画面６内と実世界間の連続的な切り替えには、レーザポインタ７がマウスカーソルに正確に追従することが必要である。つまり、ＰＣ画面６内はカーソルが移動し、ＰＣ画面６外に出るとすぐにレーザポインタ７がそのカーソルの続きのように動くことで切れ目のない切り替えを行う。

空気枕インタフェースを用いたカーソル値取得
マウスカーソルの値は空気枕インタフェース１の空気圧の変動により求められる。カーソル位置決定には特許文献１に記載の構造を使用している。すなわち空気枕インタフェース１は、図９に示すように４つの空気袋ユニットＡ１，Ａ２，Ａ３，Ａ４が井桁状に組み合わされた構造であり、それぞれの空気袋ユニットＡ１，Ａ２，Ａ３，Ａ４の空気圧ｐｉとし、枕に頭を乗せたときの初期空気圧ｐｉ０とすると、空気圧の変化率が次式で表される。

被介護者の頭部の動かしやすさに対応して求められた操作量ｆ（ｆｘ、ｆｙ）は以下の式で表される。

ｄｘ、ｄｙは被介護者の頭部の動かしやすさとして、操作開始直後に入力される値をもとに計算される。ｄｘ＝ｄｒｉｇｈｔ｜ｄｌｅｆｔ、ｄｙ＝ｄｕｐ｜ｄｄｏｗｎであり、入力方向が右上ならばｄｘ＝ｄｒｉｇｈｔ、ｄｙ＝ｄｕｐと入力方向に応じて変化する。ｄｒｉｇｈｔ、ｄｌｅｆｔ、ｄｕｐ、ｄｄｏｗｎは初期空気圧を取得した後に、被介護者の頭部の動かしやすさとして上下左右に頭部を動かすことで計測される値ｄｉをもとに設定される値であり、以下のように定義する。

求めた操作量をもとにカーソルの移動速度を以下に定義する。

ただし

ここで、ｖｂは基本となるカーソル速度であり、｜ｆ｜＝１となるときにｖ＝ｖｂとなるように設定される。ｒｍｏｖｅとｒｓｔｏｐは、図３に示すようなカーソル操作時、停止時におけるそれぞれ円状の不感帯を表し、ｒｍｏｖｅ＜ｒｓｔｏｐ＜１の範囲で操作感に応じて適宜設定される。また、ｖ’は１サンプリング前のｖの値で、演算直前におけるカーソル速度を意味する。得られたｖを積分することにより、カーソル位置を次式のように決定する。

ＰＣ画面６上のマーカからレーザポインタ７への座標変換
図４に示すように、実世界上にＰＣ画面６の左下を原点としたディスプレイ座標系ΣＤを生成する。カーソル値Ｃ（ｘ，ｙ）をこのディスプレイ座標系ΣＤに一致させるため、左上原点の座標系を左下原点の座標系へ変換し、ｐｉｘｅｌ単位の座標値をｍｍ単位系の座標値ｐＤ（ｘＤ，ｙＤ）に換算してディスプレイ座標系のマウスカーソル値の物理的な位置を求める。単位系への換算は実際に計測した画面の大きさ［ｍｍ］と画素数［ｐｉｘｅｌ］の比例関係から換算した。

求めたディスプレイの座標系ΣＤのカーソル座標値ｐＤ（ｘＤ，ｙＤ，０）をパンチルトアクチュエータ９上のレーザポインタ７から見たレーザポインタ座標系ΣＬの座標値ｐＬ（ｘＬ，ｙＬ，ｚＬ）に変換するために、Ｃ＋＋言語のライブラリであるＡＲＴｏｏｌＫｉｔを用いた。ＡＲＴｏｏｌＫｉｔを用いた理由としては、パンチルトアクチュエータ９上に搭載したＷｅｂカメラ８からビジュアルマーカを映すことでビジュアルマーカの座標系からカメラ座標系ΣＣの位置姿勢計測を高速に行うことができ、実装も容易だからである。このとき、ＡＲＴｏｏｌＫｉｔのビジュアルマーカはＰＣ画面６の左下に位置するようにデスクトップの背景として設定した。

レーザポインタ７−カメラ８間の同次変換行列ＬＴＣはカメラ８と平行に配置すると仮定して、物理的位置関係から計算可能であり以下に定義される。このとき、Ｘ，Ｙ，Ｚはあらかじめ測定済みである。

ＡＲＴｏｏｌＫｉｔを用いて計測したカメラ−ディスプレイ間の同次変換行列ＣＴＤと数式７のカメラ８−レーザポインタ７間の同次変換行列ＬＴＣを用いて、ディスプレイ座標系レーザへの同次変換行列を計算する。

数式８として計算された同次変換行列を用いてディスプレイ座標系のカーソル座標値ｐＤ（ｘＤ，ｙＤ，０）をパンチルトアクチュエータ９上のレーザポインタ７から見た座標系の座標値ｐＬ（ｘＬ，ｙＬ，ｚＬ）に変換する。

逆運動学によるパンチルトアクチュエータ９の操作角算出
前述したレーザポインタ座標系から、逆運動学を求める。
図５に示すように、パン軸の操作角θＰ、チルト軸の操作角θＴは、パンチルトアクチュエータ９のパン軸・チルト軸の座標軸が一致しているため、次式のように簡潔な逆運動学の式で求められる。また、パンチルトアクチュエータ９は付属のＡＰＩによりＰＩＤ制御を行なっているため、別途制御を行う必要はない。

レーザポインタオンオフ制御手段１４
ＰＣ画面６内のマウス操作時には通常マウスと同様にカーソルが現在地点を示しているため、レーザポインタ７は不要である。そこでレーザポインタ７はＰＣ画面６外に出たときのみに点灯し、ＰＣ画面６では点灯しない構成とする。

具体的にはＵＳＢから制御可能なＵＳＢＩＯ−２．０を用い、プログラムの作成はＭｉｃｒｏｓｏｆｔ Ｖｉｓｕａｌ Ｂａｓｉｃ２０１０で行った。オン用プログラム、オフ用プログラムをそれぞれ実行可能ファイルとして作成し、カーソル値がＰＣ画面６内外の境界に達すると、プログラム内でＳｈｅｌｌＥｘｅｃｕｔｅ関数により呼び出し、オンオフ操作を実現した。

被介護者の頭部可動範囲は障害の有無や程度に依存し個人差が大きい。よって、その範囲に応じて、以下の２つのケースについて説明する。
ケース１：被介護者の頭部動作範囲が大きい場合
ケース２：被介護者の頭部動作範囲が小さい場合

ケース１：被介護者の頭部動作範囲が大きい場合
頭部がある程度動くので、頭部の可動域と眼球の運動によって目視できる範囲は広い。よって図６に示すようなイメージでの操作を行う。

被介護者が頭部１５を動かして空気枕インタフェース１によりＰＣ画面６内を操作中は、パンチルトアクチュエータ９の存在とは無関係にマウス操作を行う。そして、カーソル１６が画面の端Ｐまで到達した瞬間（矢印ｃにて示す）、カーソル１６の代わりにレーザポインタ７を、あたかもそのカーソルがＰＣ画面６内から実世界にそのまま飛び出すかのように連続的に投影させる（矢印ｄにて示す）。その後、被介護者は肉眼で実物体１７とレーザポインタ７の位置を確認しながら実世界ポインティングを行う。介護者はそのレーザポインタ７の指す実物体１７を肉眼で見れば、被介護者の要求を瞬時に理解することができる。逆に、実世界ポインティングを行っている状態でレーザポインタ７をＰＣ画面６内に持ち込んだ場合は、その瞬間途切れることなくＰＣ画面６内のカーソル１６に制御が移り、通常のＰＣ画面６内でのマウス操作が行われる。

ケース２：被介護者の頭部動作範囲が小さい場合
ケース１は、被介護者が自分の肉眼によってＰＣ画面６を含む周りの環境をぐるりと見渡せることが可能な場合を想定している。しかし、頭部可動範囲が小さい場合、被介護者の視野範囲は、ＰＣ画面６とその近傍に制限される。これは被介護者の頭部動作に関する運動能力に依存し個人差が大きい。

ケース１と同様な構成で、パンチルトアクチュエータ９に搭載されたカメラ８を利用し、実世界の状況をＰＣ画面６内から覗き込むようにして、レーザポインティングを行う方法である。図７は、この方法によるＰＣ画面６から覗き込むようにして見る映像を示す。実世界の映像１８がＰＣ画面６内に映し出されている。被介護者は、頭部の動作により、この映像１８の範囲とレーザポインタ７によるレーザの位置をＰＣ画面６内で操作し、介護者は実世界またはこの映像１８画面を見ることで、被介護者の興味対象を理解する。

また、映像１８の細部まで見ることが可能なようにカメラ映像は複数段階（例えば１０段階）のズームを可能とすることができる。カメラ８の制御にはＭｉｃｒｏｓｏｆｔ社が提供するメディアファイルＤｉｒｅｃｔｓｈｏｗ又はストリームに対する様々な操作を行うことのできるＡＰＩを用いることができる。

実施形態にかかるインタフェース装置の性能と操作性を確認するためにケース１、ケース２のそれぞれについて評価試験を行った。図８に示すように、ＰＣ画面６上の中心点１９と実世界の１０箇所にターゲット２０，２０．‥を配置し、中心点１９と１〜１０に番号を振ったターゲット２０，２０、‥順に０→１→０→２→０→３→０→…とレーザポインタ７を往復移動させ、到達時間を計測した。試験はベッドを斜めに起こし、被介護者がＰＣ画面６を見ることができる状態で行った。計測はストップウォッチを用い、評価には、次式に定義されるスループットの値を用いた。

表１にケース１、表２にケース２の合計所要時間と方向別の平均スループットの結果を示す。図８に示すターゲットを実験者から見て右、右上、上、左上、左と方向を分け、それぞれの方向での平均スループット値と全体でのスループット値を求めた。

操作性に関しては、ケース１ではＰＣ画面６内と実世界へのポインティング切り替えを比較的スムーズに行うことができた。ケース２では、カメラ映像で比較的広い範囲が映っているため次のターゲットの位置を確認しやすく、また、カメラ画像のみを見ればよいという利点がある。

本発明においては、ハンズフリーで実世界とＰＣ両者にアクセスできるため、被介護者が正確に介護者に意思を伝達することができる。それゆえ、四肢の不自由な運動弱者、身体障害者、特に寝たきり患者の介護に適用して有用である。

１ 空気枕インタフェース
２ 枕カバー
３ 座標演算回路
４ 出力インタフェース
５ 制御手段
６ ディスプレイ手段（ＰＣ画面）
７ レーザポインタ
８ カメラ
９ パンチルト駆動手段（パンチルトアクチュエータ）
１０ カーソル値算出手段
１１ ディスプレイ座標系生成手段
１２ レーザポインタ座標系変換手段
１３ パンチルト角算出手段
１４ レーザポインタオンオフ制御手段
１５ 頭部
１６ カーソル
１７ 実物体
１８ 映像
１９ 中心点
２０ ターゲット

Claims (2)

1. 内部に空気が封入された複数の空気袋ユニットと、該空気袋ユニットの圧力検知信号を入力してこれを座標値に変換する座標演算回路と、該座標演算回路の出力信号が入力される出力インタフェースとを備えた空気枕インタフェースと、
   実世界の所定の位置を指し示すレーザポインタと、
   該レーザポインタにより指し示される場所を撮影するカメラと、
   前記レーザポインタにより指し示されるカメラの撮影場所を変更すべくこれを左右上下方向に駆動するパンチルト駆動手段と、
   前記出力インタフェースからの信号を入力するとともに前記パンチルト駆動手段を制御する制御手段と、
   前記制御手段の制御出力を表示するディスプレイ手段とを備え、
   前記制御手段は、さらに
   前記出力インタフェースからの信号によりマウスカーソル位置を算出するカーソル値算出手段と、
   前記ディスプレイ手段の外部の実世界に、前記レーザポインタのマーカカーソル座標であって、前記ディスプレイ手段のカーソル位置座標に一致するディスプレイ座標系を生成するディスプレイ座標系生成手段と、
   該ディスプレイ座標系生成手段により求めたディスプレイ座標系マーカカーソル座標値を前記レーザポインタから見たレーザポインタ座標系の座標値に変換するレーザポインタ座標系変換手段と、
   該レーザポインタ座標系変換手段より求めた座標値から前記パンチルト駆動手段のパン軸角度及びチルト軸角度を算出するパンチルト角算出手段とを含むことを特徴とするインタフェース装置
2. 前記レーザポインタ座標系変換手段により算出された座標値が前記ディスプレイ内から外部に移動したとき、前記レーザポインタをオンに切り換えるとともに、前記座標値が前記ディスプレイ外部から内部に移動したとき、前記レーザポインタをオフに切り換えるレーザポインタオンオフ制御手段が追加されてなることを特徴とする請求項１記載のインタフェース装置

Images