JP2017062709A - ジェスチャー操作装置 - Google Patents

Abstract

【課題】三次元空間において、ユーザがどこをどのように操作すればよいかがわかりやすく、かつ、どのユーザによるジェスチャー操作であっても、精度よくその操作指令を判別することができるジェスチャー操作装置を提供する。【解決手段】操作対象物１１が内部に設置され、操作対象物をユーザが視認可能な三次元空間に空中画像２として表示させる画像結像プレート２０が表面に設置された筐体１と、空中画像とユーザの手３を撮像するカメラ３１と、カメラ３１から空中画像までの距離とユーザの手までの距離を検出する距離センサ３２と、三次元空間におけるユーザの手の動きによるジェスチャー操作を認識する制御ユニット４０とを備えることにより、ユーザに対して表示させて操作させたい操作対象物を実像として三次元空間に浮かび上がらせた空中画像に対してユーザがジェスチャー操作を行う。【選択図】図１

Description

この発明は、パソコン等の入力装置に対して、ユーザが三次元空間においてジェスチャー操作を行うことができるジェスチャー操作装置に関するものである。

従来より、パソコン等の入力装置に対して、三次元空間におけるユーザの手の動き、すなわち、ジェスチャーに基づいて、ユーザの操作指令を判別するジェスチャー操作装置が知られている（例えば、特許文献１参照）。

特開２０１１−２４８６０６号公報 特許第５６６５１４０号公報

しかしながら、例えば特許文献１に示すような従来のジェスチャー操作装置では、実際の入力装置のディスプレイ画像から遠く離れた位置で操作を行うことになるため、ユーザにとって使い方がわかりにくく、また、精度よくジェスチャー操作を検出することが難しいため、ユーザにとって思い通りの操作がスムーズに展開されず、使い勝手が悪いという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、三次元空間において、ユーザがどこをどのように操作すればよいかがわかりやすく、かつ、どのユーザによるジェスチャー操作であっても、精度よくその操作指令を判別することができるジェスチャー操作装置を提供することを目的とする。

上記目的を達成するため、この発明は、ユーザが視認可能な三次元空間における、前記ユーザの手の動きによるジェスチャー操作を認識するジェスチャー操作装置であって、前記ユーザに対して表示させて操作させたい対象である操作対象物が内部に設置され、前記操作対象物を前記ユーザが視認可能な三次元空間に空中画像として表示させる画像結像プレートが表面に設置された筐体と、前記画像結像プレートによって前記三次元空間に表示された前記空中画像を撮像するとともに、前記ユーザの手を撮像するカメラと、前記カメラから前記空中画像までの距離と、前記カメラから前記ユーザの手までの距離を検出する距離センサと、前記操作対象物に接続され、当該操作対象物の表示制御を行う表示制御部と、前記カメラ、前記距離センサ、および、前記表示制御部に接続され、前記三次元空間における前記ユーザの手の動きによるジェスチャー操作を認識する制御ユニットとを備えることを特徴とする。

この発明のジェスチャー操作装置によれば、パソコン等の入力装置のディスプレイ画像など、ユーザに対して表示させて操作させたい対象を実像として三次元空間に浮かび上がらせた空中画像に対してユーザがジェスチャー操作を行うことができるので、ユーザにとってどこをどのように操作すればよいかがわかりやすく、かつ、どのユーザによるジェスチャー操作であっても精度よくその操作指令を判別することができる。

実施の形態１におけるジェスチャー操作装置の概略構成を示す構成図である。 実施の形態１における制御ユニットの機能構成を示す機能ブロック図である。 実施の形態１におけるジェスチャー操作装置の動作を示すフローチャートである。 実施の形態１におけるジェスチャー操作装置の使用例の１つを示す説明図である。 実施の形態１におけるジェスチャー操作装置の別の使用例を示す説明図である。

この発明のジェスチャー操作装置は、ユーザが視認可能な三次元空間における、ユーザの手の動きによるジェスチャー操作を認識するものである。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。

実施の形態１．
図１は、この発明の実施の形態１におけるジェスチャー操作装置の概略構成を示す構成図である。このジェスチャー操作装置は、筐体１を備えるものであり、その筐体１の内部には、パソコン等の入力装置の操作画面であるディスプレイ画像を表示させる液晶表示装置など、ユーザに対して表示させて操作させたい対象である操作対象物１１が設置されている。

また、筐体１の表面には、操作対象物１１をユーザが視認可能な三次元空間に、空中画像２として表示させる画像結像プレート２０が設けられている。すなわち、空中画像２は、ユーザに対して表示させて操作させたい対象である操作対象物１１を実像として三次元空間に浮かび上がらせたものである。なお、筐体１の内部に設置された操作対象物１１の表示画像面は、画像結像プレート２０側を向いていることは言うまでもない。

また、操作対象物１１を、ユーザが視認可能な三次元空間に、空中画像２として表示させる画像結像プレート２０としては、例えば、株式会社アスカネットのエアリアルイメージングプレート等の、既に知られている空中結像技術を用いればよいので、ここでは説明を省略する。なお、図中、空中画像２は一点鎖線で表しており、三次元空間に画像が浮かび上がっているものの、向こう側は透過して視認できる状態である。

さらに、筐体１の表面上の画像結像プレート２０が設置されていない位置には、画像結像プレート２０によって三次元空間に表示された空中画像２およびユーザの手３を撮像するカメラ３１と、当該カメラ３１から空中画像２までの距離およびカメラ３１からユーザの手３までの距離を検出する距離センサ３２を備えている。なお、このカメラ３１と距離センサ３２については、図１に示すように、カメラ３１と距離センサ３２とが一体となったＴＯＦカメラ３０等を用いるようにしてもよい。すなわち、この実施の形態１における距離センサ３２は、独立したセンサである必要はなく、距離検出の機能を持っているものであればよく、基板上に搭載された距離判別回路などであっても構わない。

また、図１においては、筐体１の表面の画像結像プレート２０が設置されていない位置のうち、空中画像２やユーザの手３から遠い側（図中、画像結像プレート２０の左）に、ＴＯＦカメラ３０（カメラ３１と距離センサ３２）を設置した場合を示しているが、筐体１の表面の画像結像プレート２０が設置されていない位置であれば、例えば、空中画像２やユーザの手３から近い側（図中、画像結像プレート２０の右）に、ＴＯＦカメラ３０（カメラ３１と距離センサ３２）を設置してもよい。

そして、カメラ３１と距離センサ３２に接続された制御ユニット４０を備えており、この制御ユニット４０は、ユーザの手３の動きによるジェスチャー操作を検出・認識するものである。なお、制御ユニット４０は、筐体１の内部に設置されていてもよいし、筐体１の外部に設置されていてもよい。

また、パソコン等の入力装置の操作画面であるディスプレイ画像を表示させる液晶表示装置など、ユーザに対して表示させて操作させたい対象である操作対象物１１の表示制御を行う表示制御部１２を備えており、この表示制御部１２は、操作対象物１１および制御ユニット４０に接続されている。そして、この実施の形態１では、表示制御部１２と操作対象物１１は、パソコン等の入力装置１０に一体となって組み込まれているものとする（後述する図２参照）。

なお、表示制御部１２は、パソコン等の入力装置１０の本体に内蔵され、操作対象物１１は、本体とは別体の液晶表示装置などであってもよい。すなわち、この実施の形態１では、表示制御部１２は、操作対象物１１と一体となって（入力装置１０に組み込まれて）筐体１の内部に設置されているが、表示制御部１２が操作対象物１１と別体の場合には、表示制御部１２は、筐体１の内部に設置されていてもよいし、筐体１の外部に設置されていてもよい。

図２は、この実施の形態１における制御ユニット４０の機能構成を示す機能ブロック図である。
制御ユニット４０は、ジェスチャー認識部４１と、距離算出部４２と、タッチ操作判別部４３と、操作制御部４４とを備えている。

ジェスチャー認識部４１は、カメラ３１によって撮像されたユーザの手３の動きから、ユーザの手３の動きによるジェスチャー操作を認識し、タッチ操作判別部４３へ送信する。
距離算出部４２は、距離センサ３２によって検出されたカメラ３１からユーザの手３までの距離と、カメラ３１から空中画像２までの距離との差を計算する。

タッチ操作判別部４３は、距離算出部４２により受信した、カメラ３１からユーザの手３までの距離とカメラ３１から空中画像２までの距離との差が、あらかじめ定められた所定の範囲内（例えば、５ｍｍ以内）であるか否かを判断し、所定の範囲内である場合に、ジェスチャー認識部４１により認識されたジェスチャー操作が、空中画像２に対して行われたタッチ操作であると判別し、操作制御部４４へ送信する。

操作制御部４４は、タッチ操作判別部４３によりユーザの手３の動きによるジェスチャー操作が空中画像２に対して行われたタッチ操作であると判別された場合に、空中画像２の元の操作対象物１１に対して、どのようなタッチ操作が行われたかという情報を、表示制御部１２に送信する。

ここで、この制御ユニット４０の処理動作について説明する。
図３は、実施の形態１における制御ユニット４０の動作を示すフローチャートである。
まず初めに、ジェスチャー認識部４１が、カメラ３１によって撮像されたユーザの手３の動きから、ユーザの手３の動きによるジェスチャー操作を認識し、タッチ操作判別部４３へ送信する（ステップＳＴ１）。

なお、このジェスチャー認識の方法については、既に様々な方法が知られており、それらのいずれかの手法を用いればよいものであるため、すなわち、従来からあるジェスチャー画像認識コア技術を利用して実現できるものであるため、ここでは説明を省略するが、この実施の形態１では、例えば、特許文献２に示すような、本願出願人の一によるジェスチャー認識技術を用いるものとする。

また、距離算出部４２が、距離センサ３２によって検出されたカメラ３１からユーザの手３までの距離と、距離センサ３２によって検出されたカメラ３１から空中画像２までの距離との差を算出し、タッチ操作判別部４３へ送信する（ステップＳＴ２）。

タッチ操作判別部４３は、距離算出部４２により算出された、カメラ３１からユーザの手３までの距離と空中画像２までの距離との差が、あらかじめ定められた所定の範囲内（例えば、５ｍｍ以内）であるか否かを判断し（ステップＳＴ３）、所定の範囲内であると判断した場合（ステップＳＴ３のＹＥＳの場合）に、ジェスチャー認識部４１により認識されたジェスチャー操作が、空中画像２に対して行われたタッチ操作であると判別し、操作制御部４４へ送信する（ステップＳＴ４）。

一方、カメラ３１からユーザの手３までの距離と空中画像２までの距離との差が、あらかじめ定められた所定の範囲内でないと判別された場合（ステップＳＴ３のＮＯの場合）には、ステップＳＴ１へ戻って処理を繰り返す。
なお、ここで用いる「あらかじめ定められた所定の範囲」については、どのユーザによるジェスチャー操作であっても、精度よくその操作指令を判別することができるように、適宜変更が可能である。

そして、操作制御部４４は、タッチ操作判別部４３により、ユーザの手３の動きによるジェスチャー操作が空中画像２に対して行われたタッチ操作であると判別された場合に、空中画像２の元となる画像である操作対象物１１に対してどのようなタッチ操作が行われたかという情報を、操作対象物１１と接続されているパソコン等の入力装置１０の表示制御部１２へ送信する（ステップＳＴ５）。

このように、この実施の形態１のジェスチャー操作装置によれば、パソコン等の入力装置１０のディスプレイ画像など、ユーザに対して表示させて操作させたい対象である操作対象物１１を、実像として三次元空間に浮かび上がらせた空中画像２に対して、ユーザがジェスチャー操作を行うことができるので、ユーザにとってどこをどのように操作すればよいかがわかりやすく、かつ、どのユーザによるジェスチャー操作であっても精度よくその操作指令を判別することができる。

次に、このジェスチャー操作装置の具体的な使用例について説明する。
図４は、この実施の形態１におけるジェスチャー操作装置の使用例の１つを示す説明図である。この図４は、お寿司屋さんでのネタの注文の際に、このジェスチャー操作装置を使用できるようにした例であり、お寿司屋さんのカウンターの奥側の筐体１の表面に画像結像プレート２０とＴＯＦカメラ３０（カメラ３１と距離センサ３２）が設置されている状態が見えており、三次元空間に注文画面である空中画像２が浮かび上がっている状態を示している。

近年では、飲食店において、タッチパネルによる注文が可能となっているお店も多いが、特にお寿司屋さんにおいては、寿司ネタを手でつかんで食べることを好む客も多く、不特定多数の人が触るタッチパネルにタッチした手で寿司ネタを持つことに抵抗があるという客もおり、また、衛生上も好ましくない。

しかし、この実施の形態１におけるジェスチャー操作装置によれば、図４に示すとおり、注文画面が空中画像２として三次元空間に浮かび上がり、客（ユーザ）の手３は実際にはパネルにも何にも触れずにジェスチャー操作により、好みの寿司ネタを選んで注文することが可能となる。

また、図５は、この実施の形態１におけるジェスチャー操作装置の別の使用例を示す説明図である。この図５は、自宅等のキッチンに、このジェスチャー操作装置を設置し、料理をする際に、このジェスチャー操作装置を使用できるようにした例であり、キッチンのシングの奥側の筐体１（カウンターキッチンの一部分）に画像結像プレート２０とＴＯＦカメラ３０（カメラ３１と距離センサ３２）が設置されている状態が見えており、三次元空間にレシピ等の空中画像２が浮かび上がっている状態を示している。

一般的に、家庭で料理をする際に、その料理の作り方を完璧に覚えているものについては問題がないが、そうではないものについては、レシピ本をめくったり、パソコンやタブレット等の画面を操作したりして、レシピを見ながら作ることになる。この際、料理の最中には、手が濡れていたり汚れていたりすることも多く、途中でいちいち手を洗わなければならないという問題や、レシピ本とかパソコン、タブレット等にカバーなどを付けた場合には、操作しづらいという問題があった。

しかし、この実施の形態１におけるジェスチャー操作装置によれば、図５に示すとおり、レシピ画面が空中画像２として三次元空間に浮かび上がり、ユーザの手３は実際にレシピ本にもパソコンやタブレット等にも触れずにジェスチャー操作により、画面を操作して次の手順を確認して料理を作り進めることができるので、途中で手を洗ったりすることなく、快適に操作をしながら料理を作ることが可能となる。

なお、図４や図５はあくまでも一例であり、この実施の形態１におけるジェスチャー操作装置は、例えば、施設等の情報案内、ＡＴＭやコンビニ等における端末装置、医療用設備、ベンダーマシン、ゲーム機などのアミューズメント分野、展示会等でのイベント紹介や製品紹介、ＡＶ機器等の操作等、様々な分野での応用が可能である。そして、特に、遠くにあるとか大画面を操作したい等の遠隔操作が必要となる場合や、手が汚れているとか衛生上の問題等の非接触操作が必要となる場合に、多大な効果を奏するものである。

以上のように、この実施の形態１のジェスチャー操作装置によれば、パソコン等の入力装置のディスプレイ画像など、ユーザに対して表示させて操作させたい対象を実像として三次元空間に浮かび上がらせた空中画像に対してユーザがジェスチャー操作を行うことができるので、ユーザにとってどこをどのように操作すればよいかがわかりやすく、かつ、どのユーザによるジェスチャー操作であっても精度よくその操作指令を判別することができる。また、特に、遠隔操作や非接触操作が必要となる場合に、多大な効果を奏するものである。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ 筐体
２ 空中画像
３ ユーザの手
１０ 入力装置
１１ 操作対象物
１２ 表示制御部
２０ 撮像プレート
３０ ＴＯＦカメラ
３１ カメラ
３２ 距離センサ
４０ 制御ユニット
４１ ジェスチャー認識部
４２ 距離算出部
４３ タッチ操作判別部
４４ 操作制御部

Claims (2)

1. ユーザが視認可能な三次元空間における、前記ユーザの手の動きによるジェスチャー操作を認識するジェスチャー操作装置であって、
   前記ユーザに対して表示させて操作させたい対象である操作対象物が内部に設置され、前記操作対象物を前記ユーザが視認可能な三次元空間に空中画像として表示させる画像結像プレートが表面に設置された筐体と、
   前記画像結像プレートによって前記三次元空間に表示された前記空中画像を撮像するとともに、前記ユーザの手を撮像するカメラと、
   前記カメラから前記空中画像までの距離と、前記カメラから前記ユーザの手までの距離を検出する距離センサと、
   前記操作対象物に接続され、当該操作対象物の表示制御を行う表示制御部と、
   前記カメラ、前記距離センサ、および、前記表示制御部に接続され、前記三次元空間における前記ユーザの手の動きによるジェスチャー操作を認識する制御ユニットと
   を備えることを特徴とするジェスチャー操作装置。
2. 前記カメラおよび前記距離センサは、前記筐体の表面上の、前記画像結像プレートが設置されていない位置に設置されており、
   前記制御ユニットは、前記ユーザの手の動きによるジェスチャー操作を認識し、前記距離センサにより検出された前記カメラから前記空中画像までの距離と、前記カメラから前記ユーザの手までの距離との差が、あらかじめ定められた所定の範囲内であるか否かを判断し、前記所定の範囲内であると判断した場合に、前記認識されたジェスチャー操作が前記空中画像に対して行われたタッチ操作であると判別し、前記ユーザにより前記空中画像の元となる前記操作対象物に対してどのようなタッチ操作が行われたかという情報を、前記表示制御部に送信する
   ことを特徴とする請求項１記載のジェスチャー操作装置。

Images