JP2017207890A - 情報処理装置、情報処理システム、情報処理方法 - Google Patents

Abstract

【課題】ユーザがジェスチャ操作を行ったときにユーザが当該ジェスチャに基づく操作を取り消す手段が提供されること。
【解決手段】
センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行う処理実行部、を備え、前記処理実行部は、前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定し、前記処理実行部は、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わない、情報処理装置。
【選択図】図１

Description

本開示は、情報処理装置、情報処理システム、情報処理方法に関する。

近年、ユーザは様々な操作方法によって情報処理装置に対して操作を行うことができる。例えば、ユーザのジェスチャを検出することによって、ユーザが操作を行える情報処理装置が開発されている。

特許文献１には、上述したユーザのジェスチャに基づいてユーザが操作を行える情報処理装置が開示されている。特許文献１に開示されている情報処理装置は撮像装置を備え、当該撮像装置によってユーザのジェスチャが検出される。

特開２０１０−１９１８２６号公報

ユーザは情報処理装置に対して操作を行ったとき、誤操作を行う場合がある。これは、ユーザがジェスチャ操作を行う場合であっても同様である。よってユーザがジェスチャ操作を行ったときにユーザが当該ジェスチャに基づく操作を取り消す手段が提供されることが望ましい。

本開示によれば、センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行う処理実行部、を備え、前記処理実行部は、前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定し、前記処理実行部は、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わない、情報処理装置が提供される。

また、本開示によれば、センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行う処理実行部、を備え、前記処理実行部は、前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定し、前記処理実行部は、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わない、情報処理システムが提供される。

また、本開示によれば、センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行うことと、前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定することと、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わないことと、を含む情報処理方法が提供される。

以上説明したように本開示によれば、ユーザがジェスチャに基づいて誤操作を行ったときに、ユーザは当該誤操作を取り消すことができる。

なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図１は、本開示の実施形態の情報処理システムの一例を示す図である。 図２は、本開示の実施形態の小型端末の外観の一例を示す図である。 図３は、本開示の実施形態の情報処理システムの構成の一例を示すブロック図である。 図４は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図５は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図６は、本開示の実施形態の情報処理システムにおける処理の優先度の一例を示す図である。 図７は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図８は、本開示の実施形態の携帯電話の構成の他の例を示すブロック図である。 図９は、本開示の実施形態の小型端末に備えられるセンサによって検出される加速度の一例を示す図である。 図１０は、本開示の実施形態の小型端末に備えられるセンサによって検出される加速度の他の例を示す図である。 図１１は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図１２は、本開示の実施形態の携帯電話の構成の他の例を示すブロック図である。 図１３は、本開示の実施形態の小型端末に備えられるセンサによって検出される加速度に対して閾値が設けられることを示す図である。 図１４は、ジェスチャが検出されるためのタイムアウト時間が設定されることを示す図である。 図１５は、本開示の実施形態の情報処理システムの他の例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行う。
１．システム構成
２．ジェスチャ操作を認識するためのセンサの起動タイミングに関する処理例
３．ジェスチャ操作と他の操作方法とが並行して認識される処理の例
４．認識されたジェスチャ操作が取り消される処理の例
５．機械学習を用いてジェスチャ操作が認識される処理の例
６．認識されるジェスチャの強さに応じて異なる操作が認識される処理の例
７．ジェスチャ認識のためのタイムアウト時間が設定される処理の例
８．補足
９．むすび

＜＜１．システム構成＞＞
＜１−１．システム構成の概略＞
図１は、本開示の実施形態の情報処理システムの概略を示す図である。本開示の実施形態の情報処理システムは、小型端末１００と、携帯電話２００と、通信ネットワーク３００と、サーバ４００とを含む。小型端末１００は、ユーザの耳に装着される端末であり、携帯電話２００と近距離無線で接続される。小型端末１００は、スピーカを備え、ユーザは小型端末１００を用いて通話できる。また小型端末１００はボタンを備え、ユーザはボタンを操作することによって、携帯電話２００の様々な機能またはアプリケーションに対して操作を行う。なお、小型端末１００、携帯電話２００およびサーバ４００は、情報処理装置の一例である。

携帯電話２００は、スピーカおよびマイクロフォンを備え、移動体通信ネットワークに含まれる基地局と通信することによって他の端末と通信できる。また、携帯電話２００は、情報を表示する表示部を備え、また表示部に形成されたタッチパネルを備える。ユーザはタッチパネルを用いて操作することによって、携帯電話２００の様々な機能またはアプリケーションに関する操作を行う。なお、携帯電話２００の操作に用いられる構成はタッチパネルに限定されず、方向キーまたはハードボタンまたはジョグダイヤルのような構成であってもよい。

また、携帯電話２００は通話機能以外の様々な機能およびアプリケーションを備えており、一部の機能は、通信ネットワーク３００を介してサーバ４００と通信を行うことにより実現されてもよい。携帯電話２００が有する機能およびアプリケーションの種類としては、例えばメール、ショートメッセージ、ソーシャルネットワーキングサービス、写真撮影、音楽再生、ブラウジング機能、地図表示などが含まれる。

サーバ４００は、通信ネットワーク３００を介して携帯電話２００と接続される。サーバ４００は、携帯電話２００が有するアプリケーションまたは機能に対応した処理を行う。例えば、サーバ４００は、携帯電話２００から送信された音声データを処理する。

以上のようなシステム構成において、ユーザは小型端末１００を耳に装着して小型端末１００に対して各種の操作を行うことにより、ユーザは携帯電話２００の機能または携帯電話２００で実行されているアプリケーションに対して操作を行うことができる。

＜１−２．小型端末の構成＞
以上では、本開示の実施形態の通信システムの概略が説明された。以下では、本開示の実施形態の小型端末１００の構成について説明される。図２は、小型端末１００の外観を示す図である。小型端末１００は、ユーザの耳に装着される端末であり、ユーザの耳に挿入される挿入部１２２を有する。また、小型端末１００は、ユーザによって操作されるボタン１０２を有する。なお、ボタン１０２は、操作部の一例である。

以上では、小型端末１００の外観について説明された。以下では、本実施形態の情報処理システムの構成について説明される。図３は、情報処理システムの構成を示すブロック図である。小型端末１００は、ボタン１０２と、処理部１０４と、バッテリ１０６と、を備える。また、小型端末１００は、スピーカ１０８と、マイクロフォン１１０と、センサ１１２と、近距離通信部１１４を備える。

ユーザは、ボタン１０２に対して複数の異なる操作を行うことができる。例えば、ユーザのボタン１０２に対する異なる操作方法としては、ユーザがボタン１０２を短く１回叩くまたは短く２回叩くという操作方法がある。また、ユーザのボタン１０２に対する異なる操作方法としては、ユーザが所定の時間ボタン１０２を押すという操作方法がある。なお、ボタン１０２は、静電式または感圧式のタッチパネルであってもよく、また物理キーであってもよい。また、ボタン１０２は１つでもよく、また複数個でもよく、数は制限されない。しかし、本実施形態の小型端末１００のような小さい端末では、ボタン１０２を配置する場所が限られるため、ボタン１０２の数は少ないほうが好ましい。

処理部１０４は、小型端末１００の各部と接続され、各部からの情報を処理する。例えば、処理部１０４は、ボタン１０２がユーザによって操作された信号を検出する。また、処理部１０４は、近距離通信部１１４を介して携帯電話２００から受信した音声データを処理し、処理された音声データをスピーカ１０８に対して出力する。また、処理部１０４は、マイクロフォン１１０が受音した音声を処理して音声データを生成し、近距離通信部１１４を介して携帯電話２００に送信する。

また、処理部１０４は、センサ１１２からの信号を処理する。センサ１１２は、近接センサ１１６と、加速度センサ１１８と、ジャイロセンサ１２０と、を含む。処理部１０４は、近接センサが生成する検知信号に基づいて小型端末１００がユーザの耳に装着されていることを検知する。また、処理部１０４は、加速度センサ１１８およびジャイロセンサ１２０から出力された信号を処理して携帯電話２００に送信する。バッテリ１０６は蓄積した電気を小型端末１００の各部に供給し、各部は供給された電気によって動作する。

スピーカ１０８は、処理部１０４が処理した音声データに基づいて音声を出力する。例えば、スピーカ１０８は、携帯電話２００において通話機能が使用されている場合、携帯電話２００から送信された音声データに基づいて通話の音声を出力する。また、マイクロフォン１１０は音声を受音し、音声信号を処理部１０４に送る。例えば、マイクロフォン１１０は、ユーザが話した声を受音し、音声信号を処理部１０４に送る。

なお、近接センサ１１６は、例えば、検出対象物に接触することなく、対象物を検出可能な近接センサであってもよい。近接センサは、例えば、赤外線、超音波または電磁波を使用して検出対象物を検出してもよい。また別の例では、近接センサは、電磁誘導による渦電流の変化または検出対象物が近づくことによる静電容量の変化などを利用して検出対象物を検出してもよい。

また、加速度センサ１１８は、小型端末１００に加わった加速度を検出する。例えば、加速度センサ１１８は、小型端末１００がユーザに装着されている場合、ユーザが首を振ったときの加速度を検出する。加速度センサ１１８には光学的方式、半導体方式など多様な種類があり、本実施形態の小型端末１００は、どのような種類の加速度センサを備えてもよい。

また、ジャイロセンサ１２０は、小型端末１００の角速度および角加速度を検出する。例えば、ジャイロセンサ１２０は、小型端末１００がユーザに装着されている場合、ユーザが首を振ったときの角速度および角加速度を検出する。ジャイロセンサ１２０も加速度センサ１１８と同様に、流体式、光学式などの多様な種類があり、本実施形態の小型端末１００は、どのような種類のジャイロセンサを備えてもよい。

また、近距離通信部１１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信インタフェースを使用して携帯電話２００などの他の装置と通信を行う。小型端末１００では、小容量のバッテリ１０６が使用されるため、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙなどの省電力である無線通信インタフェースが使用されることが望ましい。なお、近距離通信部１１４は上述したインタフェースに限られず、ＺｉｇＢｅｅ（登録商標）などの近距離無線通信インタフェースであってもよい。

なお、小型端末１００と携帯電話２００とは、ペアリングによって相互に接続される。ペアリングは、電波の届く範囲にある機器を探索し、ユーザが検出された機器の中から接続したい機器を選択することによってなされる。ペアリングに関して、小型端末１００と携帯電話２００は、暗証番号を用いることによって相互に認証を行うように構成されてもよい。このようにペアリングを行うことによって携帯電話２００と小型端末１００は通信可能となる。

＜１−３．携帯電話およびサーバの構成＞
以上では、小型端末１００の構成について説明された。以下では本実施形態の携帯電話２００の構成について説明される。携帯電話２００は、図３に示すように処理部２０２と、近距離通信部２０４と、セルラ通信部２０６と、を備える。また、処理部２０２は、音声生成部２０８と、ジェスチャ認識部２１０と、ボタン操作認識部２１２と、音声操作認識部２１４と、処理実行部２１６と、を有する。

近距離通信部２０４は、近距離無線通信インタフェースを使用して小型端末１００などの他の装置と通信を行う。近距離通信部２０４は、上述したようにＢｌｕｅｔｏｏｔｈまたはＺｉｇＢｅｅなどの近距離無線通信インタフェースであってもよい。セルラ通信部２０６は近距離通信部２０４と比べて離れて位置する装置と通信をするために用いられる。例えば、セルラ通信部２０６は、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎなどの３ＧＰＰによって規定されている通信規格に基づくインタフェースであってもよい。

音声生成部２０８は、各種の音声データを生成する。例えば、音声生成部２０８は、携帯電話２００において通話機能が実行されている場合、通話相手の音声データを生成する。また、音声生成部２０８は、携帯電話２００において実行されているアプリケーションに基づく音声データを生成する。なお、生成された音声データは、近距離通信部２０４を介して小型端末１００に送られてもよい。

ジェスチャ認識部２１０は、加速度センサ１１８および／またはジャイロセンサ１２０が出力した信号に基づいてユーザのジェスチャを認識する。例えばジェスチャは、予め記憶されている所定のジェスチャと関連付けられた加速度センサ１１８および／またはジャイロセンサ１２０の信号のパターンと、ジェスチャ認識部２１０が受け取った加速度センサ１１８および／またはジャイロセンサ１２０が出力した信号とを比較することによって認識されてもよい。ジェスチャ認識部２１０が認識するジェスチャは、例えばユーザが小型端末１００を耳に装着した状態で頭を横または縦に振ったことであってもよい。ジェスチャ認識部２１０は、ユーザが頭を縦に振ることによって、肯定の操作を行ったと認識してもよい。またジェスチャ認識部２１０は、ユーザが頭を横に振ることによって、否定の操作を行ったと認識してもよい。

ボタン操作認識部２１２は、ユーザが小型端末１００のボタン１０２を操作したことを認識する。例えばユーザがボタン１０２を操作したことは、ユーザがボタン１０２を操作したときに小型端末１００が携帯電話２００にボタン操作信号を送ることによって認識されてもよい。

音声操作認識部２１４は、ユーザの音声による操作を認識する。例えば、小型端末１００のマイクロフォン１１０はユーザの音声を受音し、小型端末１００はユーザの音声データを携帯電話２００に送信する。音声データを受信した携帯電話２００は、当該音声データをサーバ４００に送信する。サーバ４００の音声分析部４０４は、受信された音声データを分析し、分析結果を携帯電話２００に送る。音声操作認識部２１４は、受信された分析結果に基づいて、ユーザの音声による操作を認識する。

処理実行部２１６は、各種処理を実行する。例えば処理実行部２１６は、携帯電話２００にインストールされているアプリケーションを実行する。また、処理実行部２１６は、ジェスチャ認識部２１０、ボタン操作認識部２１２および音声操作認識部２１４から操作情報を受け取り、当該操作情報に基づいた処理を実行されているアプリケーションに対して行う。

なお、上述した例では音声データの分析はサーバ４００の音声分析部４０４で行われた。しかし、サーバ４００の音声分析部４０４で行われた音声データの分析は、携帯電話２００の音声操作認識部２１４で行われてもよい。

なお、ジェスチャ認識部２１０が認識するジェスチャは、ユーザが頭を左右に傾けることであってもよい。例えば、ジェスチャ認識部２１０がユーザが頭を左右に傾けたことを認識すると、処理実行部２１６は音楽再生のアプリケーションにおいて、再生する曲を早送りしたり巻き戻したりしてもよい。またジェスチャ認識部２１０が認識するジェスチャは、ユーザが顔を前に押し出すことであってもよい。例えば、ジェスチャ認識部２１０がユーザが顔を押し出したことを認識すると、処理実行部２１６は写真表示のアプリケーションにおいて写真を拡大してもよい。またジェスチャ認識部２１０が認識するジェスチャは、ユーザが顔を後ろに引くことであってもよい。例えば、ジェスチャ認識部２１０がユーザが顔を後ろに引いたことを認識すると、処理実行部２１６は写真表示のアプリケーションにおいて写真を縮小してもよい。

＜＜２．ジェスチャ操作を認識するためのセンサの起動タイミングに関する処理例＞＞
以上では、本実施形態のシステム構成について説明された。以下では、本実施形態の情報処理システムにおける処理の一例について説明される。図４は、ジェスチャ認識に用いられる加速度センサ１１８および／またはジャイロセンサ１２０が起動するタイミングについて示すフロー図である。図４におけるフロー図では、携帯電話２００がショートメッセージサービスまたはソーシャルネットワーキングサービスなどのアプリケーションにおいてメッセージを受信した際の処理例について説明される。

最初にＳ１０２において、携帯電話２００はメッセージを受信する。このとき、処理実行部２１６で実行されているアプリケーションは、音声生成部２０８、ジェスチャ認識部２１０、音声操作認識部２１４にメッセージの受信があったことを示す通知を送る。次にＳ１０４においてアプリケーションから通知を受け取った音声生成部２０８は、Ｓ１０２においてメッセージの受信があったことを音声によってユーザに知らせるために音声データを生成する。そして携帯電話２００は生成された音声データを小型端末１００に送信し、小型端末１００の処理部１０４は受信された音声データを再生する。ここで、再生される音声データの内容は、例えば「メッセージを受信しました。読み上げますか？」という内容であってもよい。

Ｓ１０６においてアプリケーションから通知を受け取った音声操作認識部２１４は、ユーザからの音声操作を待ち受ける音声操作待ち受け状態に移行する。Ｓ１０６の処理と並行して、Ｓ１０８において小型端末１００のセンサが起動する。これは、アプリケーションから通知を受け取ったジェスチャ認識部２１０によって起動信号が生成され、当該起動信号が小型端末１００に送信されることによって実現されてもよい。

Ｓ１０８において、ジェスチャ認識に用いられる加速度センサ１１８および／またはジャイロセンサ１２０が起動する。Ｓ１１０において、加速度センサ１１８および／またはジャイロセンサ１２０の起動と同期して、ジェスチャ認識部２１０はユーザからのジェスチャ操作を待ち受けるジェスチャ待ち受け状態に移行する。なお、加速度センサ１１８および／またはジャイロセンサ１２０の起動は、音声操作認識部２１４が音声操作認識部２１４が音声操作待ち受け状態に移行したことを示す情報をジェスチャ認識部２１０に送ることによって実現されてもよい。このとき、加速度センサ１１８および／またはジャイロセンサ１２０の起動は、音声操作認識部２１４が音声操作待ち受け状態に移行することと同期する。

次にＳ１１２においてジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が再生される。これによってユーザは、ジェスチャ認識部２１０がいつジェスチャ待ち受け状態になったかを認識することができる。次にＳ１１４においてジェスチャ認識部２１０は、ユーザがジェスチャを行ったか否かを判定する。Ｓ１１４においてジェスチャ認識部２１０がジェスチャを認識すると、処理はＳ１１６に進む。

Ｓ１１６では、Ｓ１１４において認識されたジェスチャに関する操作情報が図示されない記憶部に一時的に記憶される。次にＳ１１８において、ジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が停止される。そしてＳ１２０においてジェスチャ認識部２１０はジェスチャ待ち受け状態を解除し、ジェスチャ認識部２１０はジェスチャ認識を終了する。これによってＳ１２２において加速度センサ１１８および／またはジャイロセンサ１２０は、休止状態に移行する。

次にＳ１２４において処理実行部２１６は、Ｓ１１６で一時的に記憶されたジェスチャに関する処理をアプリケーションに対して実行する。具体的には、Ｓ１０４において再生される音声データの内容が、「メッセージを受信しました。読み上げますか？」という内容であり、Ｓ１１４においてユーザが首を縦に振るジェスチャを行った場合、Ｓ１２４において処理実行部２１６は受信されたメッセージを読み上げる処理を行う。

Ｓ１１４においてジェスチャ認識部２１０がジェスチャを認識しないと、処理はＳ１２６に進む。Ｓ１２６においてジェスチャ認識部２１０は、所定時間経過したか否かを判定する。Ｓ１２６においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理はＳ１２８に進む。

Ｓ１２８において、ジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が停止される。そしてＳ１３０においてジェスチャ認識部２１０はジェスチャ待ち受け状態を解除し、ジェスチャ認識部２１０はジェスチャ認識を終了する。これによってＳ１３２において加速度センサ１１８および／またはジャイロセンサ１２０は、休止状態に移行する。

以上説明されたように、加速度センサ１１８および／またはジャイロセンサ１２０は、ジェスチャ認識部２１０がアプリケーションからメッセージを受信した通知を受け取ることに基づいて起動する。このようにアプリケーションからの通知に基づいて加速度センサ１１８および／またはジャイロセンサ１２０が起動することにより、アプリケーションの操作に対して適切なタイミングでセンサ１１２が起動するため、小型端末１００の消費電力を低減させることができる。これは、小型端末１００のように小さい容量のバッテリ１０６を有する端末にとって非常に有益である。

また、上述した処理に加え、アプリケーションからの通知またはアプリケーションの種類に応じて、起動されるセンサ１１２が選択されてもよい。例えばアプリケーションからの通知またはアプリケーションの種類に基づいて認識されるべきジェスチャが単純なジェスチャである場合、加速度センサ１１８またはジャイロセンサ１２０の一方が起動されてもよい。また複雑なジェスチャが認識されるべきジェスチャである場合、加速度センサ１１８とジャイロセンサ１２０の両方が起動されてもよい。このとき、アプリケーションからの通知または種類と、当該通知または種類に応じて認識されるべきジェスチャとが関連付けられて記憶されていてもよい。

なお、上述した例においてアプリケーションからの通知は、メッセージを受信したことを示す通知である。また、当該アプリケーションからの通知によって認識されるべきジェスチャは、ユーザが頭を縦に振るジェスチャ（肯定応答）またはユーザが頭を横に振るジェスチャ（否定応答）である。

また、アプリケーションからの通知またはアプリケーションの種類に基づいて起動されるセンサ１１２のモードが選択されてもよい。例えば選択されるセンサ１１２のモードは、異なるサンプリング周波数を有するモードであってもよい。動きが速いジェスチャが認識される場合、サンプリング周波数が高いモードが選択され、動きが遅いジェスチャが認識される場合、サンプリング周波数が低いモードが選択される。このように、認識されるべきジェスチャに応じて起動されるセンサ１１２が選択される、または起動されるセンサ１１２のモードが選択されることによって、より小型端末１００の消費電力を低減できる。

なお、上述した実施形態では、Ｓ１１２においてジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が再生された。しかし、効果音はユーザがジェスチャを行っている間、つまり加速度センサ１１８および／またはジャイロセンサ１２０が加速度、角速度または角加速度を検知しているときに再生されてもよい。また、効果音に代わって振動によってジェスチャ認識部２１０がジェスチャ待ち受け状態であることが示されてもよい。また、効果音に代わってメッセージが再生されてもよい。例えばメッセージは、「ジェスチャ認識を開始します。」という内容であってもよい。また、同様に、ジェスチャ認識を終了する場合にメッセージが再生されてもよい。このとき、例えば「ジェスチャ認識を終了します。」というメッセージが再生されてもよい。

また、上述した処理例において、ユーザがジェスチャ操作を行わず音声操作を行った場合、当該音声操作が認識されたことに同期して加速度センサ１１８およびジャイロセンサ１２０は、休止状態に移行してもよい。

＜＜３．ジェスチャ操作と他の操作方法とが並行して認識される処理の例＞＞
以上では、本実施形態におけるジェスチャ操作に用いられるセンサ１１２の起動タイミングに関する処理の例が示された。以下では、ジェスチャ操作と他の操作方法とを認識する処理の例が説明される。本実施形態の情報処理システムでは、ジェスチャ操作の認識と並行して音声操作とボタン操作の認識が行われる。これによって、ユーザは複数の操作方法を組み合わせて、多様な操作を行うことができる。図５は、ジェスチャ操作の認識と並行して音声操作とボタン操作の認識が行われる処理の一例を示す図である。

図４の処理例と同様に、Ｓ２０２において、携帯電話２００はメッセージを受信する。次にＳ２０４において音声操作認識部２１４は、アプリケーションからメッセージを受信したことを示す通知を受け取ることに基づいて、ユーザからの音声操作を待ち受ける音声操作待ち受け状態に移行する。

Ｓ２０４の処理と並行して、Ｓ２０６において小型端末１００の加速度センサ１１８および／またはジャイロセンサ１２０が起動し、ジェスチャ認識部２１０はユーザからのジェスチャ操作を待ち受けるジェスチャ待ち受け状態に移行する。またＳ２０４およびＳ２０６の処理と並行して、ボタン操作認識部２１２は、ユーザからのボタン操作を待ち受けるボタン操作待ち受け状態に移行する（Ｓ２０８）。

そしてＳ２１０において、ジェスチャ認識部２１０はユーザがジェスチャを行ったか否かを判定する。Ｓ２１０においてジェスチャ認識部２１０がジェスチャを認識すると、処理はＳ２１２に進む。Ｓ２１２では、Ｓ２１０において認識されたジェスチャに関する操作情報が一時的に記憶される。なお、Ｓ２１０においてジェスチャ認識部２１０がジェスチャを認識しないと、処理はＳ２１４に進む。Ｓ２１４においてジェスチャ認識部２１０は、所定時間経過したか否かを判定する。Ｓ２１４においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理は終了する。

次にＳ２１６において、ボタン操作認識部２１２はユーザがボタン１０２を操作したか否かを判定する。Ｓ２１６においてボタン操作認識部２１２がユーザがボタン１０２を操作したことを認識すると、ボタン操作認識部２１２はボタン操作に関する操作情報を処理実行部２１６に送り、処理実行部２１６はボタン操作に関する処理を行う（Ｓ２１８）。

Ｓ２１６においてボタン操作認識部２１２がユーザがボタン１０２を操作したことを認識しないと、処理はＳ２２０に進む。Ｓ２２０において、音声操作認識部２１４はユーザが音声操作を行ったか否かを判定する。Ｓ２２０において音声操作認識部２１４がユーザが音声操作を行ったことを認識すると、音声操作認識部２１４は音声操作に関する操作情報を処理実行部２１６に送り、処理実行部２１６は音声操作に関する処理を行う（Ｓ２２２）。

Ｓ２２０において音声操作認識部２１４がユーザが音声操作を行ったことを認識しないと、処理はＳ２２４に進む。Ｓ２２４においてジェスチャ認識部２１０は、Ｓ２１２において一時的に記憶されたジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６はジェスチャ操作に関する処理を行う。

以上では、ジェスチャ操作が最初に行われた場合の処理例が説明された。しかし、操作が行われる順番は図５で説明された例に限定されない。図６は、先行して行われた操作方法とその後に行われた操作方法の関係が示された図である。

最初に、先行してボタン操作が行われた場合の他の操作方法との関係が説明される。先行してボタン操作が行われ、その後にジェスチャ操作が行われた場合、ボタン操作に関する処理がジェスチャ操作よりも優先して実行される。このとき、ボタン操作が行われた時点で、ジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音は停止されてもよい。また先行してボタン操作が行われ、その後に音声操作が行われた場合も同様に、ボタン操作に関する処理が音声操作よりも優先して実行される。

次に、先行してジェスチャ操作が行われた場合の他の操作方法との関係が説明される。先行してジェスチャ操作が行われ、その後にボタン操作が行われた場合、ボタン操作に関する処理がジェスチャ操作よりも優先して実行される。また先行してジェスチャ操作が行われ、その後に音声操作が行われた場合、音声操作に関する処理がジェスチャ操作よりも優先して実行される。

次に、先行して音声操作が行われた場合の他の操作方法との関係が説明される。先行して音声操作が行われ、その後にボタン操作が行われた場合、ボタン操作に関する処理が音声操作よりも優先して実行される。また先行して音声操作が行われ、その後にジェスチャ操作が行われた場合、音声操作に関する処理がジェスチャ操作よりも優先して実行される。

各操作方法に対する優先度は上述された例に限られない。また、各操作方法に対する優先度は変更されてもよい。例えば、それぞれの操作方法に対して重みづけがされ、処理実行部２１６は当該重みづけを考慮して各操作方法に関する処理を実行してもよい。各操作方法に対する重みづけの付与は、ユーザによって設定されてもよい。また各操作方法に対する重みづけは、各操作方法の認識精度などに応じて設定されてもよい。

なお、上述した各操作方法は組み合わされて用いられてもよい。例えば、ボタン操作とジェスチャ操作は組み合わされてもよい。処理実行部２１６によって音楽再生のアプリケーションが実行されている場合において、ユーザがボタン１０２に触れながら首を右に動かすことによって処理実行部２１６は次の曲を再生する処理を行ってもよい。

また、音声操作とジェスチャ操作は組み合わされてもよい。処理実行部２１６によってメッセージのアプリケーションが実行されている場合において、ユーザが「ＯＫ」と言いながら頭を縦に振ることによって処理実行部２１６は「ＯＫ」という文字を強調して入力する処理を行ってもよい。また処理実行部２１６は文字を強調する処理に代えて、「ＯＫ」の文字に対応する画像（スタンプ）を入力してもよい。

また、音声操作とボタン操作は組み合わされてもよい。処理実行部２１６によってメッセージのアプリケーションが実行されている場合において、ユーザがボタン１０２に触れながら「ＯＫ」と言うことによって処理実行部２１６は「ＯＫ」という文字を強調して入力する処理を行ってもよい。また処理実行部２１６は文字を強調する処理に代えて、「ＯＫ」の文字に対応する画像（スタンプ）を入力してもよい。

以上説明されたように本実施形態の情報処理システムでは、ジェスチャ操作、音声操作およびボタン操作が並行して行われる。これによって、ユーザは複数の操作方法を用いて、多様な操作を行うことができる。

＜＜４．認識されたジェスチャ操作が取り消される処理の例＞＞
以上ではジェスチャ操作、音声操作およびボタン操作が並行して行われる処理の例が説明された。以下では、ジェスチャ操作をキャンセルする処理の例について説明される。ジェスチャ操作は誤認識される可能性があるため、認識されたジェスチャ操作が取り消される処理が用意されることが好ましい。図７は、認識されたジェスチャ操作が取り消される処理の一例を示す図である。図７では、メッセージのアプリケーションにおいてメッセージを返信する際の処理例について説明される。

Ｓ３０２において、小型端末１００は、メッセージに対する返信を行うか否かの判断をユーザに行わせるために、例えば「ＯＫと返信しますか？」という音声を再生する。Ｓ３０６において、ジェスチャ認識部２１０は、ユーザからのジェスチャ操作を待ち受けるジェスチャ待ち受け状態に移行する。

そしてＳ３０６において、ジェスチャ認識部２１０はユーザがジェスチャを行ったか否かを判定する。Ｓ３０６においてジェスチャ認識部２１０がジェスチャを認識すると、処理はＳ３０８に進む。なお以下では、Ｓ３０６において認識されたジェスチャが、ユーザが頭を縦に振る（うなずく）ジェスチャであった場合の処理例について説明される。

Ｓ３０８では、Ｓ３０６においてジェスチャ認識部２１０は、認識されたジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６は認識されたジェスチャに関する操作情報を記憶する。なお、Ｓ３０６においてジェスチャ認識部２１０がジェスチャを認識しないと、処理はＳ３１０に進む。Ｓ３１０においてジェスチャ認識部２１０は、所定時間経過したか否かを判定する。Ｓ３１０においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理は終了する。

次にＳ３１２において、Ｓ３０６で認識されたジェスチャに基づいて音声による通知が行われる。Ｓ３０６において認識されたジェスチャが肯定応答を示す「うなずき」に関するジェスチャである場合、Ｓ３１２では例えば、「３秒後に返信します。」という音声による通知が行われる。

次にＳ３１４においてジェスチャ認識部２１０は、Ｓ３０６において認識されたジェスチャに関する操作を取り消すための取り消しジェスチャを認識する取り消しジェスチャ待ち受け状態に移行する。例えば取り消しジェスチャは、ユーザが頭を横に振るジェスチャであってもよい。なお取り消しジェスチャは予め定められている特定のジェスチャである。

次にＳ３１６においてジェスチャ認識部２１０は、ユーザが取り消しジェスチャを行ったか否かを判定する。Ｓ３１６においてジェスチャ認識部２１０が取り消しジェスチャを認識すると、ジェスチャ認識部２１０はジェスチャ認識を終了する（Ｓ３１８）。そしてＳ３２０においてジェスチャ認識部２１０は、Ｓ３１６において認識された取り消しジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６は取り消し処理を実行する。具体的には処理実行部２１６は、Ｓ３０８において記憶されたジェスチャに関する処理を実行しない。つまり、Ｓ３０６において認識されたジェスチャに関する操作は取り消される。そしてＳ３２２において、小型端末１００は、Ｓ３０６において認識された操作が取り消されたことをユーザに示すために、音声通知を行う。Ｓ３２２によって再生される音声の内容は、例えば「返信を取り消しました。」という内容であってもよい。

Ｓ３１６においてジェスチャ認識部２１０が取り消しジェスチャを認識しないと、処理はＳ３２４に進む。Ｓ３２４においてジェスチャ認識部２１０は所定時間経過したか否かを判定する。Ｓ３２４における期間は、ユーザがＳ３０６において認識されたジェスチャに関する操作を取り消すために設定される取り消し期間である。また、この取り消し期間において処理実行部２１６は、ジェスチャ認識部２１０からの取り消しジェスチャに関する操作情報の入力を待ち受ける。

Ｓ３２４においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理はＳ３２６に進む。Ｓ３２６においてジェスチャ認識部２１０はジェスチャ認識を終了し、取り消し期間が経過したことを処理実行部２１６に通知する。そしてＳ３２８において処理実行部２１６は、Ｓ３０８において記憶されたジェスチャに関する処理を実行する。Ｓ３３０において、Ｓ３０６でユーザが行ったジェスチャ操作に関する処理が実行されたことを示すために、例えば、「返信しました。」という音声による通知が行われる。

なお、処理実行部２１６は、ジェスチャ認識部２１０からの取り消しジェスチャに関する操作情報の入力を待ち受ける取り消し期間の長さを動的に設定してもよい。例えば、処理実行部２１６は、実行されているアプリケーションから取得される情報に基づいて取り消し期間の長さを設定してもよい。

このとき、処理実行部２１６は、実行されているアプリケーションの種類に基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、メッセージを送受信するアプリケーションにおいては取り消し期間の長さを長く設定し、音楽再生のアプリケーションにおいては取り消し期間の長さを短く設定してもよい。これは、メッセージの送信においては、ユーザは重要な情報を送信することがあるため、ユーザはより慎重にメッセージの送信の判断を行うためである。一方、音楽を再生する操作においてユーザがたとえ誤操作を行ったとしても、ユーザにとって大きな不利益は生じないからである。これによって、実行されているアプリケーションの種類に応じた適切な長さのキャンセル期間が設定される。

また処理実行部２１６は、実行されているアプリケーションの状態に基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、動画を撮影するアプリケーションにおいて、動画の撮影を終了する操作に対する取り消し期間の長さを長く設定し、動画の撮影を開始する操作に対する取り消し期間の長さを短く設定してもよい。つまり、処理実行部２１６は、動画の撮影を開始する前の状態における操作と動画を撮影している状態における操作に対する取り消し期間の長さを異なる長さに設定する。これは、一般的に動画撮影を開始するときは被写体の動きを迅速に撮影することが求められる一方、動画の撮影を終了するときは、不要に長く撮影された動画は後に削除されればよいからである。これによって、実行されているアプリケーションの状態に応じた適切な長さのキャンセル期間が設定される。

また処理実行部２１６は、実行されているアプリケーションの通知の種類に基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、メッセージを送受信するアプリケーションにおいて、メッセージを送信するか否かをユーザに問いかける通知に対する操作の取り消し期間の長さを長く設定し、メッセージを読み上げるか否かをユーザに問いかける通知に対する操作に対する取り消し期間の長さを短く設定してもよい。これは、ユーザはより慎重にメッセージの送信の判断を行う一方、メッセージを読み上げる操作においてユーザがたとえ誤操作を行ったとしても、ユーザにとって大きな不利益は生じないからである。これによって、実行されているアプリケーションの通知の種類に応じた適切な長さのキャンセル期間が設定される。

また処理実行部２１６は、加速度センサ１１８およびジャイロセンサ１２０から得られる加速度、角速度または角加速度の大きさに基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、加速度センサ１１８およびジャイロセンサ１２０から得られる加速度、角速度または角加速度が大きい場合、ユーザが運動していると判定し、取り消し期間の長さを長く設定する。これは、ユーザが運動しているとき、ユーザは誤操作を多く行うためである。これによって、ユーザの運動状態に応じた適切な長さのキャンセル期間が設定される。

また、取り消し期間はユーザが携帯電話２００の操作部を操作することなどによって、ユーザが設定してもよい。また取り消し期間は、アプリケーションの種類、状態またはアプリケーションからの通知に応じて設けられなくてもよい。これは、迅速に操作が行われることが好ましい操作に対しては、取り消し期間が設けられないことが好ましいからである。例えば、「音楽を再生しますか？」というアプリケーションからの通知に対しては取り消し期間が設けられず、即座に操作に関する処理が行われることが望ましい。

また、図７においてはジェスチャ操作の取り消しは、ジェスチャ操作によって行われた。しかし、操作の取り消しはこれに限定されない。例えば、操作の取り消しはボタン操作によって行われてもよい。このとき取り消し期間にユーザがボタン１０２を長押しすることによってボタン操作認識部２１２は操作情報を処理実行部２１６に送り、当該操作情報を受け取った処理実行部２１６は操作を取り消してもよい。また、操作の取り消しは音声操作によって行われてもよい。このとき取り消し期間にユーザが「いいえ。」と発言することによって音声操作認識部２１４は操作情報を処理実行部２１６に送り、当該操作情報を受け取った処理実行部２１６は操作を取り消してもよい。

また、Ｓ３１６における取り消しジェスチャに関する操作情報は、ジェスチャ認識部２１０が所定の値以上の加速度、角速度または角加速度を検知することによって生成されてもよい。例えば、取り消しジェスチャは、ユーザが激しく頭を横に振ることによって行われてもよい。これによって、取り消し操作に対する誤操作が低減される。

以上では、認識されたジェスチャ操作を取り消す処理の例について説明された。これによって、ジェスチャ操作が誤認識された場合またはユーザが誤操作を行った場合に、ユーザは一旦認識されたジェスチャ操作を取り消すことができる。

また、上述した例において取り消される処理は、ジェスチャ操作に関する処理以外の処理であってもよい。例えば、音声操作が認識された後に取り消しジェスチャが認識されることによって、認識された音声操作に関する処理が取り消されてもよい。またボタン操作が認識された後に取り消しジェスチャが認識されることによって、認識されたボタン操作に関する処理が取り消されてもよい。

＜＜５．機械学習を用いてジェスチャ操作が認識される処理の例＞＞
以上では、認識されたジェスチャ操作を取り消す処理の例について説明された。以下では機械学習による学習結果を用いてジェスチャ操作を認識する処理の例について説明される。ジェスチャ操作の認識においては、機械学習による学習結果を用いて認識の精度が高められてもよい。しかしながら機械学習ではジェスチャ操作の認識精度が不十分である場合がある。よって、本実施形態の情報処理システムでは、機械学習によるジェスチャ操作の認識とは別に、特定のルールに基づくジェスチャ操作の認識が行われる。

図８は、本実施形態の携帯電話２００の構成を示すブロック図である。本実施形態における携帯電話２００のジェスチャ認識部２１０は、機械学習判定部２１８と、ルール判定部２２０と、を有する。機械学習判定部２１８は、機械学習による学習結果を用いてジェスチャの認識を行う。一方、ルール判定部２２０は、予め定められた所定のルールに基づいてジェスチャの認識を行う。

図９は、ユーザがうなずいたときに加速度センサ１１８によって検出される加速度のパターンを示す図である。ユーザがうなずきの動作を行う前の図９のＡの領域において、加速度センサ１１８によって検出される加速度は一定である。ユーザが頭を下に振った時の図９のＢの領域において、加速度センサ１１８は単調に落ち込む加速度を検出する。ユーザが頭を上に振った時の図９のＣの領域において、加速度センサ１１８は、領域Ｂとは反対の方向でほぼ同じ大きさの加速度を検出する。

図１０は、ユーザが急に下を向いたときに加速度センサ１１８によって検出される加速度のパターンを示す図である。図１０の加速度のパターンは、領域ＡおよびＢまでは図９の加速度のパターンと同様のパターンである。しかし、領域Ｃにおいて図１０の加速度のパターンは、領域Ｂと反対方向の加速度が検出されていない。

ルール判定部２２０は、例えば図９で示された加速度のパターンをユーザによるうなずきのジェスチャのルールとして予め記憶しておく。そしてルール判定部２２０は、記憶された加速度のパターンと加速度センサ１１８によって検出された加速度のパターンとを比較してジェスチャの認識を行う。つまり、ルール判定部２２０は、図１０で示される加速度のパターンは記憶されている加速度のパターンと異なるため、ジェスチャ認識を行わない。

以上説明されたルールが以下により具体的に説明される。例えば、ジェスチャ開始前の加速度が(ｘ０，ｙ０，ｚ０)と設定され、ジェスチャ終了時の加速度が(ｘ１，ｙ１，ｚ１)と設定される。ルール判定部２２０は、この２つの加速度の大きさの差である|(ｘ１−ｘ０)，(ｙ１−ｙ０)，(ｚ１−ｚ０)|の値が所定の閾値以下になっていることをルールとして用いてもよい。

図１１は、本実施形態のジェスチャ認識部２１０によって行われるジェスチャ認識の処理の一例を示すフロー図である。最初にＳ４０２において、機械学習判定部２１８は機械学習による学習結果に基づいてジェスチャ認識を行う。Ｓ４０２において、機械学習判定部２１８がジェスチャを認識すると、処理はＳ４０４に進む。Ｓ４０４において、ルール判定部２２０は機械学習判定部２１８とは独立してジェスチャ認識を所定のルールに基づいて行う。なお、Ｓ４０２において、機械学習判定部２１８がジェスチャを認識しないと、処理は終了する。

Ｓ４０４において、ルール判定部２２０がジェスチャを認識すると、処理はＳ４０６に進む。Ｓ４０６においてジェスチャ認識部２１０は、認識されたジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６は、認識されたジェスチャに関する処理を実行する。なお、Ｓ４０４において、ルール判定部２２０８がジェスチャを認識しない場合、処理は終了する。このとき、処理実行部２１６は、Ｓ４０２において機械学習判定部２１８が認識したジェスチャに関する処理を行わない。

以上説明されたように、本実施形態のジェスチャ認識部２１０において、機械学習判定部２１８とルール判定部２２０とによってジェスチャが認識される。これによって機械学習によるジェスチャの誤認識が軽減される。

＜＜６．認識されるジェスチャの強さに応じて異なる操作が認識される処理の例＞＞
以上では機械学習による学習結果と所定のルールに基づいてジェスチャが認識される処理の例について説明された。以下では、認識されるジェスチャの強さに応じて認識されるジェスチャの操作が変わる処理の例が説明される。例えばユーザは、強い否定を示すときに激しく頭を横に振り、弱い否定を示すときにゆっくりと頭を横に振る場合がある。本実施形態の情報処理システムでは、ユーザは、このようなジェスチャの強さに応じて異なる操作を行うことができる。

図１２は、本実施形態の携帯電話２００の構成を示すブロック図である。本実施形態における携帯電話２００のジェスチャ認識部２１０は、強度判定部２２２を有する。強度判定部２２２は、加速度センサ１１８またはジャイロセンサ１２０によって検出される加速度、角速度または角加速度が所定の大きさより小さいときに第１のジェスチャを認識する。また強度判定部２２２は、加速度、角速度または角加速度が所定の大きさより大きいときに第２のジェスチャを認識する。

図１３は、本実施形態のジェスチャ認識部２１０によって認識される第１のジェスチャと第２のジェスチャの加速度のパターンを示す図である。ここで上述した第１のジェスチャと第２のジェスチャとを区分するために用いられる加速度の所定の大きさは、閾値Ｔで表される。よって図１３のＡの領域において認識されるジェスチャは第１のジェスチャであり、Ｂの領域において認識されるジェスチャは第２のジェスチャである。なお以下では加速度センサ１１８によって検出される加速度の大きさに応じて異なるジェスチャ操作が行われる例について説明される。

ユーザがゆっくりと頭を横に振ったとき、図１３のＡの領域において示されるように、加速度センサ１１８は閾値Ｔを超えない大きさの加速度を検出する。ジェスチャ認識部２１０は当該ジェスチャを第１のジェスチャと認識し、第１のジェスチャに関する操作情報を処理実行部２１６に送る。またユーザが激しく頭を横に振ったとき、図１３のＢの領域において示されるように、加速度センサ１１８は閾値Ｔを超える大きさの加速度を検出する。ジェスチャ認識部２１０は当該ジェスチャを第２のジェスチャと認識し、第２のジェスチャに関する操作情報を処理実行部２１６に送る。

第１のジェスチャに関する操作情報と、第２のジェスチャに関する操作情報を受け取った処理実行部２１６は、それぞれの操作情報に対して異なる処理を実行する。例えば、第１の操作情報に関する処理は、メッセージの入力操作において通常の大きさおよび色で「ＮＯ」と入力する処理であってもよい。一方、第２の操作情報に関する処理は、メッセージの入力操作において通常よりも大きく、また赤色で「ＮＯ」と入力する処理であってもよい。このように上述した例では、ユーザは激しく頭を振ることによって、強い否定のメッセージを入力することができる。

以上説明されたように、ユーザは異なる強さのジェスチャを行うことによって異なる操作を行うことができる。なお、異なる操作は上述された例に限られない。例えば、通話のアプリケーションにおいて、ユーザが上述した第１のジェスチャを行ったときに処理実行部２１６は「保留」の操作を実行してもよい。また、ユーザが上述した第２のジェスチャを行ったときに処理実行部２１６は「終話」の操作を実行してもよい。

また、以上ではユーザが異なる強さのジェスチャを行うことによって第１のジェスチャおよび第２のジェスチャを行うことができる例が説明された。しかし、上述した閾値Ｔは複数設定されてもよく、例えば閾値Ｔ１、Ｔ２、Ｔ３の順に大きくなる、異なる値の閾値Ｔ１、Ｔ２およびＴ３が設定されることによって他の異なるジェスチャが認識されてもよい。例えば、閾値Ｔ１よりも小さい加速度、角速度または角加速度が検出された場合に、第１のジェスチャが認識されてもよい。また、閾値Ｔ１よりも大きく閾値Ｔ２よりも小さい加速度、角速度または角加速度が検出された場合に、第２のジェスチャが認識されてもよい。また、閾値Ｔ２よりも大きく閾値Ｔ３よりも小さい加速度、角速度または角加速度が検出された場合に、第３のジェスチャが認識されてもよい。また、閾値Ｔ３よりも大きい加速度、角速度または角加速度が検出された場合に、第４のジェスチャが認識されてもよい。このように、検出される加速度、角速度または角加速度に対する閾値が複数設定され、設定された閾値に応じて複数のジェスチャ操作が認識されてもよい。

また、上述された例ではジェスチャの強さに応じて異なるジェスチャ操作が認識された。しかし、異なるジェスチャ操作は、認識されるジェスチャの回数に応じて認識されてもよい。例えば、ユーザは強い否定を示すときに、頭を何回も振ることが考えられる。よって処理実行部２１６は、同じジェスチャが所定の回数以上認識された場合、第２のジェスチャに関する処理を実行してもよい。また、処理実行部２１６は、同じジェスチャが所定の回数未満認識された場合、第１のジェスチャに関する処理を実行してもよい。また、検出されるジェスチャの回数に関して、複数の閾値が設定され、設定された閾値の回数に応じた複数のジェスチャ操作が認識されてもよい。

＜＜７．ジェスチャ認識のためのタイムアウト時間が設定される処理の例＞＞
以上では、認識されるジェスチャの強さに応じて認識されるジェスチャの操作が変わる処理の例が説明された。以下では、ジェスチャ認識のためのタイムアウト時間が設定される処理の例が説明される。ジェスチャ認識において、例えばユーザが複数回頭を横に振る場合がある。このとき、ユーザは１度の操作を望むのにもかかわらず、複数回の操作が行われる可能性がある。本実施形態ではこのようなユーザの意思と反する操作が行われることを防ぐため、ジェスチャ認識に関するタイムアウト時間が設定される。

図１４は、本実施形態において設定されるジェスチャ認識に関するタイムアウト時間である。なお以下では、加速度センサ１１８が検出する加速度に基づいてジェスチャが認識される例について説明される。図１４では、ユーザが頭を横に振るなどのジェスチャを行うことによって、加速度センサ１１８は加速度を検出する。ジェスチャ認識部２１０は、加速度を検出した時点からタイムアウト時間のカウントを開始する。

そして、Ｐ１で示される時点において１回目のジェスチャが認識される。その後、ユーザが同様のジェスチャを複数回行ったことによる加速度の変化が検出される。このとき、ジェスチャ認識部２１０はタイムアウト時間が経過しているか否かを判定する。ジェスチャ認識部２１０がタイムアウト時間が経過していないと判定すると、ジェスチャ認識部２１０はその間のジェスチャを認識しない。そしてタイムアウト時間が経過した後に、ジェスチャ認識部２１０はジェスチャの認識を開始する。よって、ジェスチャ認識部２１０はタイムアウト時間が経過した後のＰ２の時点において２回目のジェスチャが認識される。

以上のように、タイムアウト時間が設定されることによって、ユーザが望まない回数の処理が行われることが防がれる。

＜＜８．補足＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。

例えば、上述した実施形態では、携帯電話２００によってジェスチャの認識、ボタン操作の認識および音声操作の認識が行われた。しかし、ジェスチャの認識、ボタン操作の認識および音声操作の認識は、サーバ４００で行われてもよい。具体的には、小型端末１００はセンサ１１２からの信号、マイクロフォン１１０からの音声信号およびボタン１０２の操作信号をネットワークを介してサーバ４００に送信する。各信号を受信したサーバ４００は、受信された信号を処理してジェスチャの認識、ボタン操作の認識および音声操作の認識を行う。そしてサーバ４００は認識の結果を小型端末１００に送信する。そして小型端末１００は、受信した認識結果に応じた処理をアプリケーションに対して行う。

また、ジェスチャの認識、ボタン操作の認識および音声操作の認識は、小型端末１００で行われてもよい。このとき、小型端末１００の処理部１０４は、各部からの信号を処理してジェスチャの認識、ボタン操作の認識および音声操作の認識の認識を行う。そして小型端末１００は、受信した認識結果に応じた処理をアプリケーションに対して行う。このように小型端末１００は、すべての処理を行うように構成されてもよい。なお上述した例では、図１５に示されるように、小型端末１００は通信ネットワーク３００を介して直接サーバ４００と接続されてもよい。また、小型端末１００がジェスチャ認識を行い、小型鍛圧１００は認識したジェスチャに関する操作情報を携帯電話２００に送信してもよい。

また、小型端末１００はジェスチャ認識の確からしさを計算して携帯電話２００に当該確からしさを送信し、携帯電話２００は小型端末１００が算出したジェスチャ認識の確からしさと所定の閾値とを用いてジェスチャ認識の判断を行ってもよい。この例において小型端末１００と携帯電話２００とは、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または有線ネットワークなどの通信路で接続されてもよい。

小型端末１００はセンサ１１２からの情報に基づいてジェスチャ認識に係る処理を行い、ジェスチャ認識の中間結果を生成する。Ｎ種類のジェスチャ認識が行われる場合、中間結果の一例は、それぞれのジェスチャに対する適合値（閾値）がリスト化されたデータでもよい。例えば、「うなずき」および「横振り」の２つのジェスチャが認識される場合、中間結果は、「うなずき:０．８」、「横振り:０．２」のような表現になる。このような小型端末１００において生成されたジェスチャとスコアのペアである中間結果は、携帯電話２００に送信される。携帯電話２００は、設定値、ユーザごとの個人化ポリシー、その他のユーザ、小型端末１００または携帯電話２００の状況に応じて閾値の判定を行い、ジェスチャ認識に関する操作の処理を行うか否かを判断してもよい。

また上述された実施形態においては、小型端末１００は、ユーザの耳に装着される情報処理装置であった。しかし、小型端末１００はこれに限られない。例えば、小型端末１００は、リストバンド型のウェアラブル端末であってもよい。

また、処理部１０４、２０２を上述したように動作させるためのコンピュータプログラムが提供されてもよい。また、このようなプログラムが記憶された記憶媒体が提供されてもよい。

＜＜９．むすび＞＞
以上説明したように、本開示の実施形態に係る情報処理システムでは、ジェスチャ認識に用いられるセンサ１１２は、アプリケーションからの通知に基づいて起動する。また、ジェスチャ認識に用いられるセンサ１１２は、音声操作と同期して起動する。これによって小型端末１００は、消費電力を低減することができる。

また、本開示の実施形態に係る情報処理システムでは、ジェスチャ認識に関する操作、音声操作およびボタン操作が並行して待ち受けられる。また、ユーザはジェスチャ認識に関する操作、音声操作およびボタン操作を組み合わせた操作を行うことができる。これによってユーザは、多様な操作を行うことができる。

また、本開示の実施形態に係る情報処理システムでは、一旦認識されたジェスチャに関する操作を取り消す処理を行う。これによってユーザは、誤操作を行った場合でも、当該操作を取り消すことができる。また、本開示の実施形態に係る情報処理システムでは、認識されたジェスチャに関する操作を取り消す処理を受け付ける取り消し期間が動的に設定される。これによって実行されているアプリケーションの状態または種類に応じた適切な取り消し期間が設定される。

また、本明細書に記載された効果は、あくまで例示であって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行う処理実行部、を備え、
前記処理実行部は、前記ジェスチャが認識された後の期間、ユーザの操作に基づく特定の操作情報の入力があるか否かを判定し、
前記処理実行部は、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わない、情報処理装置。
（２）
前記処理実行部は、前記期間の長さを動的に設定する、前記（１）に記載の情報処理装置。
（３）
前記処理実行部はアプリケーションを実行し、
前記処理実行部は前記ジェスチャに関連する処理を前記アプリケーションに対する操作として行い、
前記処理実行部は、前記アプリケーションから取得する前記アプリケーションに関する情報に基づいて前記期間を設定する、前記（２）に記載の情報処理装置。
（４）
前記処理実行部は、前記アプリケーションの種類に応じて前記期間を設定する、前記（３）に記載の情報処理装置。
（５）
前記処理実行部は、前記アプリケーションの状態に応じて前記期間を設定する、前記（３）に記載の情報処理装置。
（６）
前記処理実行部は、前記アプリケーションの通知の種類に応じて前記期間を設定する、前記（３）に記載の情報処理装置。
（７）
前記センサは加速度センサまたはジャイロセンサであり、
前記処理実行部は、前記センサから得られる加速度または角速度の大きさに応じて前記期間を設定する、前記（２）に記載の情報処理装置。
（８）
前記ジェスチャを認識するジェスチャ認識部を備え、
前記操作情報は、前記ジェスチャ認識部が認識するジェスチャに基づいて生成される、前記（１）から前記（７）のいずれか１項に記載の情報処理装置。
（９）
前記ジェスチャを認識するジェスチャ認識部を備え、
前記センサは加速度センサまたはジャイロセンサであり、
前記期間における前記操作情報は、前記ジェスチャ認識部が所定の値以上の加速度または角速度を検出した場合に生成される、前記（１）から前記（８）のいずれか１項に記載の情報処理装置。
（１０）
前記処理実行部はアプリケーションを実行し、
前記処理実行部が実行している前記アプリケーションからの通知に基づいて前記センサは起動される、前記（１）から前記（９）のいずれか１項に記載の情報処理装置。
（１１）
前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサのモードが選択される、前記（１）から前記（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記センサは複数のセンサを含み、
前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサが選択される、前記（１）から前記（１０）のいずれか１項に記載の情報処理装置。
（１３）
前記ジェスチャを認識するジェスチャ認識部を備え、
前記センサは加速度センサまたはジャイロセンサであり、
前記ジェスチャ認識部は、所定の値より小さい加速度または角速度が検出された場合に第１のジェスチャを認識し、前記所定の値より大きい加速度または角速度が検出された場合に第２のジェスチャを認識する、前記（１）から前記（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記ジェスチャを認識するジェスチャ認識部を備え、
前記ジェスチャ認識部は、同じジェスチャが所定の回数より少ない回数認識された場合に第１のジェスチャを認識し、同じジェスチャが前記所定の回数より多い回数認識された場合に第２のジェスチャを認識する、前記（１）から前記（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記ジェスチャを認識するジェスチャ認識部を備え、
前記ジェスチャ認識部は、
機械学習に基づいて前記ジェスチャを認識する機械学習判定部と、
所定のルールに基づいて前記ジェスチャを認識するルール判定部と、を有し、
前記機械学習判定部と前記ルール判定部が共に前記ジェスチャの認識を行った場合に、前記ジェスチャ認識部は前記ジェスチャの認識を行う、前記（１）から前記（１４）のいずれか１項に記載の情報処理装置。
（１６）
センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行う処理実行部、を備え、
前記処理実行部は、前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定し、
前記処理実行部は、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わない、情報処理システム。
（１７）
センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行うことと、
前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定することと、
前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わないことと、を含む情報処理方法。

１００ 小型端末
１０２ ボタン
１０４ 処理部
１０６ バッテリ
１０８ スピーカ
１１０ マイクロフォン
１１２ センサ
１１４ 近距離通信部
１１６ 近接センサ
１１８ 加速度センサ
１２０ ジャイロセンサ
１２２ 挿入部
２００ 携帯電話
２０２ 処理部
２０４ 近距離通信部
２０６ セルラ通信部
２０８ 音声生成部
２１０ ジェスチャ認識部
２１２ ボタン操作認識部
２１４ 音声操作認識部
２１６ 処理実行部
２１８ 機械学習判定部
２２０ ルール判定部
２２２ 強度判定部
３００ 通信ネットワーク
４００ サーバ
４０２ 通信部
４０４ 音声分析部

Claims (17)

1. センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行う処理実行部、を備え、
   前記処理実行部は、前記ジェスチャが認識された後の期間、ユーザの操作に基づく特定の操作情報の入力があるか否かを判定し、
   前記処理実行部は、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わない、情報処理装置。
2. 前記処理実行部は、前記期間の長さを動的に設定する、請求項１に記載の情報処理装置。
3. 前記処理実行部はアプリケーションを実行し、
   前記処理実行部は前記ジェスチャに関連する処理を前記アプリケーションに対する操作として行い、
   前記処理実行部は、前記アプリケーションから取得する前記アプリケーションに関する情報に基づいて前記期間を設定する、請求項２に記載の情報処理装置。
4. 前記処理実行部は、前記アプリケーションの種類に応じて前記期間を設定する、請求項３に記載の情報処理装置。
5. 前記処理実行部は、前記アプリケーションの状態に応じて前記期間を設定する、請求項３に記載の情報処理装置。
6. 前記処理実行部は、前記アプリケーションの通知の種類に応じて前記期間を設定する、請求項３に記載の情報処理装置。
7. 前記センサは加速度センサまたはジャイロセンサであり、
   前記処理実行部は、前記センサから得られる加速度または角速度の大きさに応じて前記期間を設定する、請求項２に記載の情報処理装置。
8. 前記ジェスチャを認識するジェスチャ認識部を備え、
   前記操作情報は、前記ジェスチャ認識部が認識するジェスチャに基づいて生成される、請求項１に記載の情報処理装置。
9. 前記ジェスチャを認識するジェスチャ認識部を備え、
   前記センサは加速度センサまたはジャイロセンサであり、
   前記期間における前記操作情報は、前記ジェスチャ認識部が所定の値以上の加速度または角速度を検出した場合に生成される、請求項８に記載の情報処理装置。
10. 前記処理実行部はアプリケーションを実行し、
    前記処理実行部が実行している前記アプリケーションからの通知に基づいて前記センサは起動される、請求項１に記載の情報処理装置。
11. 前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサのモードが選択される、請求項１０に記載の情報処理装置。
12. 前記センサは複数のセンサを含み、
    前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサが選択される、請求項１０に記載の情報処理装置。
13. 前記ジェスチャを認識するジェスチャ認識部を備え、
    前記センサは加速度センサまたはジャイロセンサであり、
    前記ジェスチャ認識部は、所定の値より小さい加速度または角速度が検出された場合に第１のジェスチャを認識し、前記所定の値より大きい加速度または角速度が検出された場合に第２のジェスチャを認識する、請求項１に記載の情報処理装置。
14. 前記ジェスチャを認識するジェスチャ認識部を備え、
    前記ジェスチャ認識部は、同じジェスチャが所定の回数より少ない回数認識された場合に第１のジェスチャを認識し、同じジェスチャが前記所定の回数より多い回数認識された場合に第２のジェスチャを認識する、請求項１に記載の情報処理装置。
15. 前記ジェスチャを認識するジェスチャ認識部を備え、
    前記ジェスチャ認識部は、
    機械学習に基づいて前記ジェスチャを認識する機械学習判定部と、
    所定のルールに基づいて前記ジェスチャを認識するルール判定部と、を有し、
    前記機械学習判定部と前記ルール判定部が共に前記ジェスチャの認識を行った場合に、前記ジェスチャ認識部は前記ジェスチャの認識を行う、請求項１に記載の情報処理装置。
16. センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行う処理実行部、を備え、
    前記処理実行部は、前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定し、
    前記処理実行部は、前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わない、情報処理システム。
17. センサからの情報に基づいて認識されたユーザのジェスチャに関連する処理を行うことと、
    前記ジェスチャが認識された後の期間、ユーザの操作に基づく操作情報の入力があるか否かを判定することと、
    前記期間に前記操作情報の入力があった場合、前記認識されたジェスチャに関する処理を行わないことと、を含む情報処理方法。
    

Images