JP2018180851A - ユーザインタフェースシステム - Google Patents

Abstract

【課題】 利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムの技術的課題を解決可能な技術を提供する。【解決手段】 ユーザインタフェースシステムは、着席者の手に操作画像Ｏｓを投影し、当該操作画像Ｏｓが投影された手の動きを利用して当該着席者の意図を判断する。したがって、投影された操作画像Ｏｓの位置と操作をする指先の位置とが重なるといった状態は原理的に発生し難い。【選択図】図３

Description

本願は、利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムに関する。

例えば、特許文献１に記載のユーザインタフェースシステムでは、例えば、着席者の左手に操作画像を投影するとともに、当該着席者の右手の指先位置を検出して着席者の意図を認識している。

つまり、着席者は、左手に投影された仮想の操作パネル上の操作ボタンを右手の指で操作する。ユーザインタフェースシステムは、投影された操作パネル上の操作ボタンが操作されたか否かを検出する。ユーザインタフェースシステムは、操作されたと判断したときには、操作された操作ボタンに対応した出力コマンドを操作対象に向けて出力する。

特開２０１６−５１５７号公報

特許文献１に係るユーザインタフェースシステムは、少なくとも以下の技術的課題を有する。
（ａ）投影された操作ボタンの位置及び操作をする指先の位置を同時に認識する必要がある。このため、両者の位置が重なった場合には、ユーザインタフェースシステムはいずれかの一方の位置を認識できない可能性がある。

（ｂ）投影された操作ボタンの位置に指先が位置したとき、ユーザインタフェースシステムは操作ボタンを投影することができない。このため、利用者は、操作ボタンを認識できなくなる。

本願は、上記点に鑑み、上記（ａ）及び（ｂ）に示す技術的課題を解決可能なユーザインタフェースシステムの一例を開示する。

ユーザインタフェースシステムは、利用者が操作可能な機能が表示された操作画像を当該利用者の身体の一部に投影する投影装置（１１）と、操作画像が投影された身体部分の動きを検出する検出装置（１２）と、検出装置（１２）が検出した結果を利用して利用者の意図を判断する判断装置（１３）とを備える。

そして、上記の技術的課題に準えて本願の作動を例示すれば、以下の通りである。すなわち、ユーザインタフェースシステムは、利用者の身体の一部に操作ボタンを投影し、当該操作ボタンが投影された身体の一部の動きを利用して当該利用者の意図を判断する。

したがって、投影された操作ボタンの位置と操作をする指先の位置とが重なるといった状態は原理的に発生し難い。延いては、上記（ａ）及び（ｂ）に示す技術的課題を解決することが可能となる。

なお、以下の構成でもよい。
すなわち、利用者が操作可能な機能が表示された操作画像を当該利用者の手に投影する投影装置（１１）と、操作画像が投影された手の動きを検出する検出装置（１２）と、検出装置（１２）が検出した結果を利用して利用者の意図を判断する判断装置（１３）とを備えるユーザインタフェースシステムであってもよい。そして、検出装置（１２）は、操作画像が投影された手の指の動きを検出することが望ましい。これにより、利用者は、直感的にユーザインタフェースシステムを操作でき得る。

因みに、上記各括弧内の符号は、後述する実施形態に記載の具体的構成等との対応関係を示す一例であり、本発明は上記括弧内の符号に示された具体的構成等に限定されるものではない。

本発明の実施形態に係るユーザインタフェースシステムを搭載した乗物用シートの一例を示す図である。 本発明の実施形態に係るユーザインタフェースシステムの制御系を示すブロック図である。 本発明の実施形態に係るユーザインタフェースシステムにおける操作画像Ｏｓの一例を示す図である。 Ａ〜Ｃは、本発明の実施形態に係るユーザインタフェースシステムにおける操作画像Ｏｓの一例を示す図である。 本発明の実施形態に係るユーザインタフェースシステムの作動を示すフローチャートである。

以下に説明する「発明の実施形態」は、本願発明の技術的範囲に属する実施形態の一例を示すものである。つまり、特許請求の範囲に記載された発明特定事項等は、下記の実施形態に示された具体的構成や構造等に限定されるものではない。

以下、本発明の実施形態を図面と共に説明する。なお、各図に付された方向を示す矢印等は、各図相互の関係を理解し易くするために記載したものである。本発明は、各図に付された方向に限定されるものではない。

少なくとも符号を付して説明した部材又は部位は、「１つの」等の断りをした場合を除き、少なくとも１つ設けられている。つまり、「１つの」等の断りがない場合には、当該部材は２以上設けられていてもよい。

なお、本明細書に係る「着席者」とは、乗物の乗員や乗物用シートを利用する者をいう。したがって、着席者には、現実に着席していない者も含まれる。
（第１実施形態）
本実施形態は、車両等の乗物用ユーザインタフェースシステムに本発明を適用したものである。

１．ユーザインタフェースシステム
図１に示す乗物用シート１には、乗物用ユーザインタフェースシステム（以下、ユーザインタフェースシステムと略す。）１０を構成するために機器に搭載されている。当該ユーザインタフェースシステム１０は、着席者の身体動作を検出して当該利用者の意図を認識するためのシステムである。

ユーザインタフェースシステム１０は、図２に示すように、投影装置１１、検出装置１２及び判断装置１３等を少なくとも備える。投影装置１１は、操作画像Ｏｓ（図３参照）を着席者の身体の一部に投影する。

本実施形態に係る投影装置１１は、図３に示すように、着席者の手の平又は手の甲に操作画像Ｏｓを投影する。操作画像Ｏｓは、利用者が操作可能な機能が表示されたメニュー画面である。

図３に示す操作画像Ｏｓでは、利用者が操作可能な機能として、（ａ）空調装置の始動スイッチ（Ａ／Ｃ）、（ｂ）テレビジョンの始動スイッチ（ＴＶ）、（ｃ）音楽の再生スイッチ（ＭＵＳＩＣ）、及び（ｄ）ラジオの始動スイッチ（ＲＡＤＩＯ）等が表示されている。

操作画像Ｏｓの「ＵＰ」及び「ＤＯＷＮ］は、上記（ａ）〜（ｄ）の機能を選択するためのスイッチである。つまり、例えば、ラジオの始動スイッチ（ＲＡＤＩＯ）が選択された状態で、「ＵＰ」が選択されると、音楽の再生スイッチ（ＭＵＳＩＣ）が選択される。

検出装置１２は、操作画像Ｏｓが投影された身体部分の動きを検出する。すなわち、検出装置１２は、操作画像Ｏｓが投影された手の動きを検出する。具体的には、本実施形態係る検出装置１２は、「当該手の動き」として「操作画像Ｏｓが投影された手の指の動き」を監視している。

なお、投影装置１１及び検出装置１２は、例えば、乗物用シート１のシートバック３の上端肩口等に搭載されている（図１参照）。投影装置１１は、ピコプロジェクターにて構成されている。検出装置１２は、３Ｄセンシングカメラにて構成されている。

判断装置１３は、検出装置１２が検出した結果を利用して着席者の意図を判断する。判断装置１３は、例えば、次のようにして着席者の意図を判断する。すなわち、「親指」の動きを検出装置１２が検出した場合、判断装置１３は「選択されているスイッチを１つ下のスイッチに変更する」と判断する（図４Ａ及び図４Ｂ参照）。

「人差し指」の動きを検出装置１２が検出した場合、判断装置１３は「選択されているスイッチを１つ上のスイッチに変更する」と判断する。「中指」の動きを検出装置１２が検出した場合、判断装置１３は「表示されているスイッチメニューを変更する」と判断する。

「親指と人差し指を付ける（輪を作るような動作）」を検出装置１２が検出した場合、判断装置１３は「選択されているスイッチが確定（決定）された」と判断する（図４Ｃ参照）。そして、判断装置１３の判断結果出力は、制御装置１４に入力される。

制御装置１４は、当該判断結果に対応した出力コマンドを、操作対象、つまり空調装置やテレビジョン等に向けて出力する。なお、本実施形態に係る制御装置１４は、投影装置１１及び検出装置１２の作動も制御する。

つまり、制御装置１４は、判断結果に対応した出力コマンドを投影装置１１に出力するとともに、検出装置１２の検出結果出力を判断装置１３に入力する。なお、制御装置１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等にて構成されたマイクロコンピュータである。

本実施形態に係る判断装置１３もマイクロコンピュータに構成されている。このため、本実施形態では、制御装置１４と判断装置１３とは１つのマイクロコンピュータに構成されている。そして、ＲＯＭ等の不揮発性記憶部に予め記憶されたプログラムにより、当該マイクロコンピュータが判断装置１３として機能する。

２．ユーザインタフェースシステムの作動（図５参照）
ユーザインタフェースシステム１０の起動スイッチ（図示せず。）が投入されると、制御装置１４は、投影装置１１を作動させて操作画像Ｏｓを着席者の手に投影させる（Ｓ１）。制御装置１４は、予め決められた「無操作経過時間」内に検出装置１２が指の動きを検出したか否かを判断する（Ｓ３）。

制御装置１４は、「無操作経過時間」内に検出装置１２が指の動きを検出しなかったと判断した場合には（Ｓ３：ＮＯ）、ユーザインタフェースシステム１０を停止させる。制御装置１４は、「無操作経過時間」内に検出装置１２が指の動きを検出したと判断した場合には（Ｓ３：ＹＥＳ）、上記した手法にて着席者の意図を判断する（Ｓ５）。

次に、制御装置１４は、その判断結果、つまり着席者の意図に対応した出力コマンドを出力して着席者の意図に対応した機能を実現する処理を実行する（Ｓ７）。当該処理の実行後（Ｓ７）、制御装置１４は、操作画像Ｏｓの投影が終了しているか否かを判断する（Ｓ９）。

制御装置１４は、操作画像Ｏｓの投影が終了していないと判断した場合には（Ｓ９：ＮＯ）、Ｓ３を実行する。制御装置１４は、操作画像Ｏｓの投影が終了していると判断した場合には（Ｓ９：ＹＥＳ）、ユーザインタフェースシステム１０を停止させる。

３．本実施形態に係るユーザインタフェースシステムの特徴
ユーザインタフェースシステム１０は、着席者の手に操作画像Ｏｓを投影し、当該操作画像Ｏｓが投影された手の動きを利用して当該着席者の意図を判断する。したがって、投影された操作画像Ｏｓの位置と操作をする指先の位置とが重なるといった状態は原理的に発生し難い。延いては、上記（ａ）及び（ｂ）に示す技術的課題を解決することが可能となる。

検出装置１２は、操作画像Ｏｓが投影された手の指の動きを検出する。これにより、着席者は、事前に説明書等を詳細に読むことなく、直感的にユーザインタフェースシステム１０を操作でき得る。

（その他の実施形態）
上述の実施形態に係る投影装置１１は、「利用者の身体の一部」として、利用者の「手の平又は手の甲」に操作画像Ｏｓを投影した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、利用者の「太もも」に操作画像Ｏｓが投影されるように構成された投影装置１１であってもよい。

上述の実施形態に係る判断装置１３は、「指の動き」に対応させて利用者の意図を判断した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、図４Ａ〜図４Ｃ以外の「身体の動き」に対応させて利用者の意図を判断してもよい。

上述の実施形態に係る投影装置１１及び判断装置１３は、乗物用シート１に設けられていた。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、投影装置１１及び判断装置１３のうち少なくとも一方が、利用者が存在する空間を構成する部材（例えば、天井）に設けられていてもよい。

上述の実施形態では、車両に本発明に係るユーザインタフェースシステムを適用した。しかし、本発明の適用はこれに限定されるものではなく、鉄道車両、船舶及び航空機等の乗物、又は劇場用若しくは家庭用にも適用できる。

さらに、本発明は、特許請求の範囲に記載された発明の趣旨に合致するものであればよく、上述の実施形態に限定されるものではない。したがって、上述した複数の実施形態のうち少なくとも２つの実施形態を組み合わせてもよい。

１… 乗物用シート ３… シートバック １０… ユーザインタフェースシステム
１１… 投影装置 １２… 検出装置 １３… 判断装置 １４… 制御装置

Claims (4)

1. 利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムにおいて、
   利用者が操作可能な機能が表示された操作画像を当該利用者の身体の一部に投影する投影装置と、
   前記操作画像が投影された身体部分の動きを検出する検出装置と、
   前記検出装置が検出した結果を利用して利用者の意図を判断する判断装置と
   を備えるユーザインタフェースシステム。
2. 利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムにおいて、
   利用者が操作可能な機能が表示された操作画像を当該利用者の手に投影する投影装置と、
   前記操作画像が投影された手の動きを検出する検出装置と、
   前記検出装置が検出した結果を利用して利用者の意図を判断する判断装置と
   を備えるユーザインタフェースシステム。
3. 前記検出装置は、前記操作画像が投影された手の指の動きを検出する請求項２に記載のユーザインタフェースシステム。
4. 乗物に搭載される乗物用シートにおいて、
   着席者が操作可能な機能が表示された操作画像を当該着席者の身体の一部に投影する投影装置と、
   前記操作画像が投影された身体部分の動きを検出する検出装置と、
   前記検出装置が検出した結果を利用して着席者の意図を判断する判断装置と
   を備える乗物用シート。

Images