JP2018081450A - 電子機器 - Google Patents

Abstract

【課題】操作性を向上させた電子機器を提供する。
【解決手段】近接センサ１８と、キーワードと近接センサによって検出されるジェスチャの種類とを紐付けて記憶するストレージ１６と、ユーザに通知された通知情報からキーワードを検出し、キーワードに紐付けられたジェスチャの種類に基づいて処理を行うコントローラ１１と、を備える。さらに、通信ユニット１７を備え、通知情報は、通信ユニット１７によって受信した情報を含んでもよい。また、ディスプレイ１４を備え、通知情報は、ディスプレイ１４に表示された情報を含んでもよい。
【選択図】図１

Description

本発明は、電子機器に関する。

例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが端末から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている（例えば特許文献１）。

特開２０１５−２２５４９３号公報

ここで、ジェスチャによる入力操作が可能な電子機器において、種々の状況に応じた各種の操作を一貫してジェスチャにより行うことができれば、さらに操作性を向上させることができる。

かかる事情に鑑みてなされた本発明の目的は、操作性を向上させた電子機器を提供することにある。

本発明の実施形態に係る電子機器は、近接センサと、キーワードと前記近接センサによって検出されるジェスチャの種類とを紐付けて記憶するストレージと、ユーザに通知された通知情報から前記キーワードを検出し、前記キーワードに紐付けられた前記ジェスチャの種類に基づいて処理を行うコントローラと、を備える。

本発明の一実施形態によれば、操作性を向上させた電子機器を提供することができる。

一実施形態に係る電子機器の概略構成図である。 図２（ａ）および図２（ｂ）は、ユーザがジェスチャにより電子機器を操作する様子を示す図である。 ユーザがジェスチャにより電子機器を操作する状況の一例を示す図である。 ストレージに記憶されるジェスチャグループ情報の一例を示す図である。 一実施形態に係る電子機器が実行する処理の一例を示すフローチャートである。

（電子機器の構成）
図１に示すように一実施形態の電子機器１は、ディスプレイ１４と、ストレージ１６と、通信ユニット１７と、近接センサ１８（ジェスチャセンサ）と、コントローラ１１と、を備える。電子機器１はさらに、タイマー１２と、カメラ１３と、マイク１５と、ＵＶセンサ１９と、照度センサ２０と、加速度センサ２１と、地磁気センサ２２と、気圧センサ２３と、ジャイロセンサ２４と、スピーカー２５と、を備える。図１は例示である。電子機器１は図１に示す構成要素の全てを含まなくてもよい。また、電子機器１は図１に示す以外の構成要素を備えていてもよい。

ディスプレイ１４は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ１４は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electro-Luminescence Panel）または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってもよい。本実施形態において、ディスプレイ１４はタッチスクリーンディスプレイである。タッチスクリーンディスプレイは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ１４は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。

ストレージ１６は記憶部としてプログラムおよびデータを記憶する。ストレージ１６は、コントローラ１１の処理結果を一時的に記憶する。ストレージ１６は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ１６は、複数の種類の記憶デバイスを含んでよい。ストレージ１６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

ストレージ１６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ１１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。アプリケーションおよび制御プログラムは、通信ユニット１７による通信または記憶媒体を介してストレージ１６にインストールされてもよい。

通信ユニット１７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット１７によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ、３Ｇおよび４Ｇ等のセルラーフォンの通信規格がある。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）およびＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格として、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）およびＮＦＣ（Near Field Communication）等がある。通信ユニット１７は、上述した通信規格の１つまたは複数をサポートすることができる。

近接センサ１８は、電子機器１の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。一実施形態の近接センサ１８は白、赤、緑および青を感知する４つの可視光フォトダイオードを有し、対象物との相対距離を測定することができる。また近接センサ１８は１つの光源用赤外ＬＥＤ（Light Emitting Diode）と上下左右を感知する４つの赤外フォトダイオードとを有する。近接センサ１８は、光源用赤外ＬＥＤからの赤外光を対象物に照射する。近接センサ１８は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ１８は、電子機器１のユーザが電子機器１に触れずに行うエアジェスチャ（以下単に「ジェスチャ」という）を用いた操作を検出することができる。

コントローラ１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ１１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ１１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ１１は、電子機器１の動作を統括的に制御して各種の機能を実現する。

具体的にはコントローラ１１は、ストレージ１６に記憶されているデータを必要に応じて参照する。コントローラ１１は、ストレージ１６に記憶されているプログラムに含まれる命令を実行してディスプレイ１４等の他の機能部を制御することによって各種機能を実現する。例えば、コントローラ１１は、ユーザによる接触のデータをタッチパネルから取得する。また、コントローラ１１は、ＵＶセンサ１９、照度センサ２０、加速度センサ２１、地磁気センサ２２、気圧センサ２３およびジャイロセンサ２４が検出したデータの一部または全部を取得する。また、コントローラ１１は、ストレージ１６の使用状況を把握する。また、コントローラ１１は、アプリケーションの起動状況を把握する。

タイマー１２はコントローラ１１からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ１１に出力する。タイマー１２は図１に示すようにコントローラ１１の外部に備えられていてもよいし、コントローラ１１の内部に含まれてもよい。

カメラ１３は、電子機器１の周囲の被写体を撮像する。カメラ１３は一例として、電子機器１のディスプレイ１４が設けられる面に設けられるインカメラである。

マイク１５は、人が発する声を含む、電子機器１の周囲の音を検出する。

スピーカー２５は音を出力する。例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー２５から音で出力される。

ＵＶセンサ１９は、太陽光等に含まれる紫外線（Ultraviolet）量を測定することができる。

照度センサ２０は、当該照度センサ２０に入射する周囲光の照度を検出する。

加速度センサ２１は、電子機器１に働く加速度の方向および大きさを検出する。加速度センサ２１は、ｘ軸方向、ｙ軸方向およびｚ軸方向の加速度を検出する３軸（３次元）タイプである。加速度センサ２１の種類は限定されない。加速度センサ２１は、例えばピエゾ抵抗型であってもよい。また、加速度センサ２１は例えば静電容量型であってもよい。また、加速度センサ２１は例えば圧電素子（圧電式）または熱検知型によるＭＥＭＳ（Micro Electro Mechanical Systems）式であってもよい。また、加速度センサ２１は、例えば可動コイルを動かしてフィードバック電流によってもとに戻すサーボ式であってもよい。また、加速度センサ２１は、加速度によって生じる歪を歪ゲージによって測定する歪ゲージ式であってもよい。

地磁気センサ２２は、地磁気の向きを検出する。例えば電子機器１の向きを地面に平行な面上に投影した成分が、地磁気センサ２２で取得される向き情報である。地磁気センサ２２で取得される向き情報は、電子機器１の方位である。

気圧センサ２３は、電子機器１の外側の気圧（大気圧）を検出する。

ジャイロセンサ２４は、電子機器１の角速度を検出する。コントローラ１１は、ジャイロセンサ２４により取得された角速度を１回時間積分することにより、電子機器１の向きを測定することができる。

（ジェスチャによる電子機器の操作）
図２（ａ）および図２（ｂ）は、ユーザがジェスチャにより電子機器１を操作する様子を示す。図２（ａ）および図２（ｂ）において、電子機器１は一例としてスタンドによって支持される。代替例として電子機器１は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ１８がユーザのジェスチャを検出すると、コントローラ１１は検出されたジェスチャに基づく処理を行う。図２（ａ）に示される例では、ジェスチャに基づく処理はレシピの選択である。例えば、ユーザがディスプレイ１４の短手方向で右方から左方（図２（ａ）の矢印の方向）へと手を動かすジェスチャを行うと、ディスプレイ１４に表示されるレシピが変化する。また、図２（ｂ）に示される例では、ジェスチャに基づく処理はディスプレイ１４に表示されたニュースの音声読み上げである。例えば、ユーザがディスプレイ１４の短手方向で右方から左方（図２（ｂ）の矢印の方向）へと手を動かすジェスチャを行うと、スピーカー２５からニュースの内容が音で出力される。

図２（ａ）および図２（ｂ）に示す電子機器１はスマートフォンである。代替例として電子機器１は例えば、携帯電話端末、ファブレット、タブレットＰＣまたはフィーチャーフォン等でもよい。また、電子機器１は、上記のものに限定されず、例えば、ＰＤＡ、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器（ＦＡ機器）等でもよい。

図３は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図３の例で、ユーザは料理のレシピを電子機器１のディスプレイ１４に表示しながら、キッチンでレシピに従って料理をしている。上記のように、近接センサ１８はユーザのジェスチャを検出する。そして、コントローラ１１は近接センサ１８が検出したジェスチャに基づく処理を行う。コントローラ１１は特定のジェスチャ（例えばユーザが手を上下に動かすジェスチャ）に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器１に触れることなく、特定のジェスチャによってレシピをスクロールすることができる。したがって、ディスプレイ１４が汚れること、および料理中のユーザの手にディスプレイ１４の汚れが移ることを回避することができる。

ここで、電子機器１はモードを複数有する。モードとは電子機器１の全体の動作について制限等を与える動作モード（動作状態または動作状況）を意味する。モードは同時に１つだけ選択可能である。本実施形態において、電子機器１のモードは第１モードおよび第２モードを含む。第２モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器１の動作モード（キッチンモード）である。電子機器１は、第２モードの場合に、近接センサ１８を動作させてジェスチャを検出することができる。また、電子機器１は、第２モードの場合に、マイク１５を動作させる。そして、電子機器１は、文字入力（ユーザのタッチパネル操作による入力）に代えて、マイク１５を用いた音声入力を可能にする。一方、第１モードは、例えばキッチン以外の部屋および外出先等での使用に適している通常の動作モード（通常モード）である。本実施形態において、ユーザは、キッチンで料理を行うときに電子機器１を第２モード（キッチンモード）に設定する。モードは、画面の端部をスワイプ等することで現れるノーティフィケーション（通知画面）で容易に設定可能であってもよい。

ここで、ユーザが例えばノーティフィケーションで電子機器１を第２モード（キッチンモード）に設定し、キッチンで料理をしているとする。ユーザに通知される通知情報によっては、ユーザは料理中に料理と異なる行動をする必要がある。通知情報は、例えば通信ユニット１７によって受信した情報（具体的にはメールおよびチャット等）を含む。例えば通知情報が外出している家族からの帰宅の連絡である場合に、ユーザがその家族に買物を依頼したいことがある。このとき、ユーザが電子機器１に触れて操作を行うと、ディスプレイ１４が汚れたり、料理中のユーザの手にディスプレイ１４の汚れが移ったりする可能性がある。また、通知情報は、例えばディスプレイ１４に表示される情報（具体的にはスケジュールおよび時刻表示等）を含む。例えば通知情報が、子供を保育園に迎えに行く時刻を知らせるものである場合に、迎えが少し遅れる旨を連絡したいことがある。このとき、ユーザが電子機器１に触れて操作を行うと、ディスプレイ１４が汚れたり、料理中のユーザの手にディスプレイ１４の汚れが移ったりする可能性がある。

本実施形態の電子機器１は、通知情報の内容に応じてジェスチャに基づく処理を切り替えることができる。そのため、ユーザは料理中に料理と異なる行動をする必要が生じても、電子機器１に触れることなく、つまりジェスチャによって操作可能である。

（ジェスチャグループ情報）
図４は、ストレージ１６に記憶されるジェスチャグループ情報１１１の一例を示す図である。ストレージ１６は、ジェスチャグループ情報１１１によって、キーワードと近接センサ１８によって検出されるジェスチャの種類とを紐付けて記憶する。本実施形態において、ジェスチャグループ情報１１１は、キーワードと、キーワードに紐付けられたジェスチャに基づく処理と、を対応付けてグループに分けたテーブルである。ジェスチャグループ情報１１１は、コントローラ１１によってストレージ１６から読み出されて、例えばコントローラ１１がキーワードと対応付けられたグループを選択するのに用いられる。

本実施形態において、ジェスチャグループ情報１１１は「グループ番号」、「キーワード」、「通知情報種類」、「優先度」および「ジェスチャに基づく処理」の項目を含む。図４の例では、「ジェスチャに基づく処理」として、ジェスチャの種類が「上下移動」、「左右移動」、「三角形を描く」および「四角形を描く」である場合の処理が示されている。

「グループ番号」は、キーワードと対応づけられたジェスチャのグループの固有番号である。図４の例では、テーブルの横一行が１つのグループに対応する。図４の例では、グループ番号を１〜５とする５つのグループが示されているが、さらに多くのグループがジェスチャグループ情報１１１に含まれてもよい。また、グループは少なくとも１つあればよい。以下において、グループＮ（Ｎは整数）とは、グループ番号がＮであるグループを意味する。

「キーワード」は、コントローラ１１が通知情報から検出するキーワードである。コントローラ１１は通知情報を取得する。そして、コントローラ１１はキーワードが通知情報に含まれる場合に、キーワードに応じた処理およびディスプレイ１４への表示の少なくとも一方を実行する。本実施形態において、各グループは１又は複数のキーワードを有する。

「通知情報種類」は、コントローラ１１がキーワードを検出する対象となる通知情報の種類を示す。特定のキーワードは、特定の種類の通知情報と関連付けされている。例えば、図４のグループ１の例では、コントローラ１１は、通知情報が通信ユニット１７によって受信した「メッセージ（例えばメールまたはチャット等）」である場合に、キーワード「帰宅」を検出する。

「優先度」は、コントローラ１１が第２モードにおける既定状態（本実施形態ではレシピ表示の状態）よりも、そのグループの処理を優先させるか否かを決定するための値である。より具体的には、コントローラ１１はグループの優先度と基準優先度とを比較して、どちらの処理を実行するかを決定する。ここで、基準優先度とは処理を実行するか否かの判断に用いられる基準値（閾値）である。優先度が基準優先度以上であれば、その優先度を有するグループの処理が実行される。例えば基準優先度が２であるとする。このとき、グループ１の優先度は基準優先度以上の３であるため、通知情報でキーワード「帰宅」が検出された場合に、グループ１のジェスチャに基づく処理が実行される。別の例として、基準優先度が４であるとする。このとき、グループ１の優先度は基準優先度未満であるため、第２モードにおける既定状態（レシピ表示の状態）のジェスチャに基づく処理が実行される。ここで、基準優先度はユーザによって設定されてもよい。例えば、基準優先度はノーティフィケーション（通知画面）で設定できてもよい。

「ジェスチャに基づく処理」は、近接センサ１８によって検出されたジェスチャの種類に基づいて実行されるグループ毎の処理（つまり検出されたキーワードに応じた処理）を示す。コントローラ１１は、第２モードにおける既定状態（本実施形態ではレシピ表示の状態）である場合に、上下移動するジェスチャが検出されるとディスプレイ１４に表示されている画面をスクロールする。また、コントローラ１１は、左右移動するジェスチャが検出されるとレシピの選択処理を実行する。ここで、コントローラ１１は、例えばグループ１を選択した場合に、上下移動するジェスチャが検出されると帰宅のルート表示を実行する。また、コントローラ１１は、例えばグループ１を選択した場合に、左右移動するジェスチャが検出されると買物を依頼する処理（具体例としては帰宅途中の家族への購入品目のリストの送信）を実行する。このように、コントローラ１１は選択した１つのグループのジェスチャに基づく処理を実行する。

以下、図４の各グループについて詳細に説明する。グループ１はキーワードを「帰宅」とする。通知情報種類が「メッセージ」の場合に、コントローラ１１はキーワード「帰宅」を検出（検索）する。コントローラ１１は、キーワードが通知情報から検出されて、かつ優先度「３」が基準優先度以上の場合にグループ１を選択する。そして、コントローラ１１はグループ１に含まれるジェスチャに基づく処理を実行する。例えば、近接センサ１８が上下移動のジェスチャを検出すると、コントローラ１１は帰宅のルート表示を実行する。また、例えば、近接センサ１８が左右移動のジェスチャを検出すると、コントローラ１１は買物を依頼する処理を実行する。また、近接センサ１８が三角形を描くジェスチャを検出すると、コントローラ１１はユーザによる直前の選択（例えば買物の依頼）をキャンセルする。また、近接センサ１８が四角形を描くジェスチャを検出すると、コントローラ１１は既定の処理であるレシピ表示に戻る。

グループ２はキーワードを「１７：４０」とする。「１７：４０」は子供を保育園に迎えに行く時間である。通知情報種類が「現在時刻」の場合に（例えばスケジュールアプリがユーザに現在時刻を通知する場合等に）、コントローラ１１はキーワード「１７：４０」を検出する。コントローラ１１は、現在時刻が１７：４０であり、かつ優先度「５」が基準優先度以上の場合にグループ２を選択する。そして、コントローラ１１はグループ２に含まれるジェスチャに基づく処理を実行する。例えば、近接センサ１８が上下移動のジェスチャを検出すると、コントローラ１１は保育園までのルート表示を実行する。また、例えば、近接センサ１８が左右移動のジェスチャを検出すると、コントローラ１１は保育園に連絡する処理（例えば保育園への電話発信）を実行する。近接センサ１８が三角形または四角形を描くジェスチャを検出した場合については、グループ１と同じであるため説明を省略する。

グループ３はキーワードを「８０００」とする。「８０００」はユーザが設定した１日の目標歩数である。通知情報種類が「歩数」の場合に（例えば歩数計アプリがユーザに現在の歩数を通知する場合等に）、コントローラ１１はキーワード「８０００」を検出する。コントローラ１１は、目標歩数達成の通知に「８０００」歩が含まれ、かつ優先度「１」が基準優先度以上の場合にグループ３を選択する。そして、コントローラ１１はグループ３に含まれるジェスチャに基づく処理を実行する。例えば、近接センサ１８が上下移動のジェスチャを検出すると、コントローラ１１は歩数計アプリをフォアグラウンドで起動する。また、例えば、近接センサ１８が左右移動のジェスチャを検出すると、コントローラ１１は歩数計アプリが計算した消費カロリーを表示する。近接センサ１８が三角形または四角形を描くジェスチャを検出した場合については、グループ１と同じであるため説明を省略する。

グループ４はキーワードを「臨時」および「号外」とする。「臨時」および「号外」はニュースの内容が特別であることを示唆するキーワードである。通知情報種類が「ニュース」の場合に（例えばニュースサイトからニュースが通知された場合等に）、コントローラ１１はキーワード「臨時」または「号外」が含まれているか否かを判定する。コントローラ１１は、「臨時」または「号外」が含まれるニュースであり、かつ優先度「２」が基準優先度以上の場合にグループ４を選択する。そして、コントローラ１１はグループ４に含まれるジェスチャに基づく処理を実行する。例えば、近接センサ１８が上下移動のジェスチャを検出すると、コントローラ１１は「臨時」または「号外」のニュースの本文を表示する。また、例えば、近接センサ１８が左右移動のジェスチャを検出すると、コントローラ１１は「臨時」または「号外」のニュースを音声で読み上げる処理を実行する。近接センサ１８が三角形または四角形を描くジェスチャを検出した場合については、グループ１と同じであるため説明を省略する。

グループ５はキーワードを「注意報」および「警報」とする。通知情報種類が「天気予報」の場合に（例えば天気予報サイトから天気予報が通知された場合等に）、コントローラ１１はキーワード「注意報」または「警報」が含まれているか否かを判定する。コントローラ１１は、天気予報に「注意報」または「警報」が含まれ、かつ優先度「４」が基準優先度以上の場合にグループ５を選択する。そして、コントローラ１１はグループ５に含まれるジェスチャに基づく処理を実行する。例えば、近接センサ１８が上下移動のジェスチャを検出すると、コントローラ１１は天気予報を表示する。また、例えば、近接センサ１８が左右移動のジェスチャを検出すると、コントローラ１１は天気予報を音声で読み上げる処理を実行する。近接センサ１８が三角形または四角形を描くジェスチャを検出した場合については、グループ１と同じであるため説明を省略する。

ここで、同時に２つのグループを選択する条件が満たされた場合に、コントローラ１１は優先度の高い方から順にジェスチャに基づく処理を実行する。例えば、コントローラ１１は、「メッセージ」で「帰宅」というキーワードを検出すると同時に、現在の歩数の通知で「８０００」歩というキーワードを検出したとする。また、基準優先度は１に設定されているとする。このとき、グループ１および３を選択する条件が満たされるが、コントローラ１１は優先度の高いグループ１から順にジェスチャに基づく処理を実行する。そして、コントローラ１１はグループ１についての処理が完了した後に、グループ３のジェスチャに基づく処理を実行する。代替例として、同時に２つのグループを選択する条件が満たされた場合に、コントローラ１１は優先度の高い方のジェスチャに基づく処理だけを実行してもよい。

（フローチャート）
図５は、本実施形態に係る電子機器１のコントローラ１１が実行するジェスチャに基づく処理の一例を示すフローチャートである。

コントローラ１１は通知情報を取得する（ステップＳ１）。通知情報はユーザに通知される情報である。上記のように、通知情報は、電子機器１とは異なる他のユーザの携帯端末から通信ユニット１７を介して取得される情報（例えばメッセージ等）であってもよい。また、通知情報は、電子機器１とは異なる情報提供サイトのサーバから通信ユニット１７を介して取得される情報（例えばニュースまたは天気予報等）であってもよい。また、通知情報は、電子機器１で実行されるアプリ（例えばスケジュールアプリまたは歩数計アプリ等）からの情報（例えば現在時刻または現在の歩数の通知等）であってもよい。

コントローラ１１はキーワードが通知情報に含まれるか否かを判定する（ステップＳ２）。キーワードは、特定の通知情報に含まれることによって、ユーザが現在実行中のイベント（本実施形態においては料理）とは異なるイベントが生じたことを示唆する言葉、記号、数値またはこれらの組合せ等である。本実施形態において、「帰宅」、「１７：４０」、「８０００」、「臨時」、「号外」、「注意報」および「警報」等がキーワードとして使用される。コントローラ１１は、キーワードが通知情報に含まれない場合に（ステップＳ２のＮｏ）、ステップＳ１に戻って、次の通知情報を取得する。コントローラ１１は、キーワードが通知情報に含まれる場合に（ステップＳ２のＹｅｓ）、ステップＳ３の処理に進む。

コントローラ１１は、キーワードに応じた処理および表示の少なくとも一方を実行する（ステップＳ３）。例えば、キーワード「帰宅」が「メッセージ」である通知情報に含まれる場合に、コントローラ１１は、帰宅する家族の携帯端末のＧＰＳ情報と自宅位置の情報とに基づいて帰宅のルートを検索する処理を実行して、帰宅予想時刻をディスプレイ１４に表示させる。帰宅予想時刻は、ディスプレイ１４の端部に現在時刻と共に表示されてもよい。また、帰宅予想時刻に代えて、帰宅まで時間がカウントダウンされてもよい。また、例えば、キーワード「１７：４０」（お迎え時刻）が「現在時刻」である通知情報に含まれる場合に、コントローラ１１は、「現在時刻」に加えて「１７：４０」からの経過時間をディスプレイ１４に表示させてもよい。

コントローラ１１は、電子機器１のモードが第２モード（キッチンモード）であるか否かを判定する（ステップＳ４）。第２モード（キッチンモード）でない第１モード（通常モード）の場合には（ステップＳ４のＮｏ）、コントローラ１１は一連の処理を終了する。このとき、ユーザは料理中でないため、手が汚れたり濡れたりしていない。そのため、ユーザは、電子機器１をタッチ操作することによって、通知情報に対して対応可能である。

一方、コントローラ１１は、電子機器１のモードが第２モード（キッチンモード）の場合に（ステップＳ４のＹｅｓ）、ステップＳ５の処理に進む。

コントローラ１１は、キーワードと対応付けられた優先度が基準優先度以上か否かを判定する（ステップＳ５）。キーワードと対応付けられた優先度が基準優先度未満の場合には（ステップＳ５のＮｏ）、コントローラ１１は一連の処理を終了する。例えば、図４の例において、グループ３の優先度は「１」である。基準優先度が「３」に設定されているとすると、優先度が基準優先度未満であるため、コントローラ１１はグループ３を選択せずに一連の処理を終了する。

コントローラ１１は、キーワードと対応付けられた優先度が基準優先度以上の場合に（ステップＳ５のＹｅｓ）、キーワードと対応付けられたジェスチャのグループを選択する（ステップＳ６）。

コントローラ１１は、ジェスチャが検出されるまで待機する（ステップＳ７のＮｏ）。コントローラ１１は、ジェスチャが検出されると（ステップＳ７のＹｅｓ）、選択したグループに含まれるジェスチャに基づく処理を実行する（ステップＳ８）。そして、コントローラ１１は一連の処理を終了する。例えば、コントローラ１１は、「メッセージ」で「帰宅」というキーワードを検出し、図４のグループ１を選択したとする。このとき、上から下へと手を移動させるジェスチャが検出されると、コントローラ１１は帰宅のルートを表示させる。また、右から左へと手を移動させるジェスチャが検出されると、コントローラ１１は買物依頼の処理を実行する。買物依頼の処理が実行されると、例えばディスプレイ１４に表示される画面が購入品目の決定画面に変化してもよい。購入品目の決定画面では、指差しのジェスチャによって購入対象の品を選択できてもよい。また、購入品目の決定画面では、ユーザが音声入力した品目がテキストに変換されて、帰宅する家族宛てのメッセージとして作成されてもよい。

以上に説明したように、本実施形態に係る電子機器１は、通知情報からキーワードを検出し、キーワードに紐付けられたジェスチャの種類（例えば上下移動）に基づいて処理を実行する。つまり、電子機器１は、通知情報のキーワード（例えば「帰宅」）から、ユーザが現在実行中のイベント（本実施形態においては料理）とは異なるイベント（例えば家族の帰宅）が生じたことを把握する。そして、電子機器１は、異なるイベントに適した処理をジェスチャに基づいて実行可能である。つまり、本実施形態に係る電子機器１は、異なるイベントが生じてもジェスチャによる入力操作（ハンズフリー操作）を中断しないため、操作性が向上する。

（その他の実施形態）
本発明を図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

上記の実施形態では、電子機器１はノーティフィケーション（通知画面）でユーザが操作することによって第２モード（キッチンモード）に設定された。ここで、条件が満たされると、コントローラ１１が自動的に電子機器１を第２モードに設定してもよい。例えば、コントローラ１１は、例えばレシピを表示するアプリが実行されている、またはレシピサイトが閲覧されている場合に、第１の条件が満たされると判定する。コントローラ１１は、第１の条件が満たされて、かつ、レシピの選択中でない（例えば３０秒程度の一定時間レシピの変更がない場合等）と判定する場合に電子機器１を第２モードに設定してもよい。また、コントローラ１１は、第１の条件が満たされて、かつ、ユーザが一定時間（例えば１分等）以上タッチパネルに操作入力をしていないと判定する場合に電子機器１を第２モードに設定してもよい。また、コントローラ１１は、第１の条件が満たされて、かつ、電子機器１が一定時間（例えば１分等）以上、位置に変化がない場合に電子機器１を第２モードに設定してもよい。

上記の実施形態では、電子機器１は、通知情報が他のユーザの携帯端末からの情報である場合に通知情報を解析して、例えば帰宅のルートを検索する処理を実行した。しかし、電子機器１は、通知情報が他のユーザの携帯端末からの情報である場合に、通知情報に基づく処理結果を取得してもよい。例えば、キーワード「帰宅」が「メッセージ」である通知情報に含まれる場合に、電子機器１は、帰宅する家族の携帯端末が検索した帰宅のルートを通信ユニット１７経由で取得してもよい。つまり、通知情報が他のユーザの携帯端末からの情報である場合に、上記の実施形態で電子機器１が実行した一部の処理を他のユーザの携帯端末に実行させて、電子機器１の処理負担を軽減してもよい。また、電子機器１は、帰宅する家族の携帯端末に「帰ります」または「お先に失礼します」といった言葉を家族の発言から検出させてもよい。そして、電子機器１は、このような言葉を検出した家族の携帯端末に、ＧＰＳ情報等を送信させるようにしてもよい。

また、上記の実施形態では、電子機器１は、選択したグループに含まれるジェスチャに基づく処理を実行すると処理を終了していた。ここで、電子機器１は、ジェスチャに基づく処理が他の携帯端末への送信を含む場合には、他の携帯端末からの連絡を受信してから処理を終了してもよい。例えば、電子機器１は、帰宅する家族に買い物を依頼する場合、家族の携帯端末に購入品目のリストの送信した後に、帰宅する家族がそのリストを確認したことを示す信号を通信ユニット１７経由で取得してもよい。電子機器１は、他のユーザの携帯端末との間で送受信を確認する処理を実行することによって、より確実なコミュニケーションを図ることができる。

また、上記の実施形態では、電子機器１は、帰宅する家族の携帯端末に購入品目のリストを作成する際に、購入対象の品をユーザに選択させる画面を表示した。同様に、電子機器１は、処理についてユーザに選択させてもよい。例えば、図４でコントローラ１１がグループ３を選択した場合に、近接センサ１８が左右移動のジェスチャを検出すると、「アプリ起動」または「消費カロリー表示」をユーザが選択できる画面が表示されてもよい。そして、上移動のジェスチャまたは下移動のジェスチャによって、ユーザが一方の処理を選択できてもよい。つまり、電子機器１は、最終的な処理を決定するまで、段階的にユーザに選択させてもよい。このとき、より多くの選択肢から最終的な処理を決定することが可能になる。

また、上記の実施形態では、優先度はグループ毎に設定されていた。ここで、優先度はキーワード毎に設定されてもよい。例えば、図４のグループ５は２つのキーワード「注意報」および「警報」を有する。この２つのキーワードのうち、ユーザの関心がより高い「警報」については優先度が４に、「注意報」については優先度が２に設定されてもよい。

本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、ＰＣ（パーソナルコンピュータ）、専用コンピュータ、ワークステーション、ＰＣＳ（Personal Communications System、パーソナル移動通信システム）、移動（セルラー）電話機、データ処理機能を備えた移動電話機、ＲＦＩＤ受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、ＧＰＳ（Global Positioning System）受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、プログラム命令（ソフトウェア）で実装された専用回路（例えば、特定機能を実行するために相互接続された個別の論理ゲート）、一以上のプロセッサにより実行される論理ブロックおよび／またはプログラムモジュール等により実行されることに留意されたい。論理ブロックやプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、ＣＰＵ（中央演算処理ユニット）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および／またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および／または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。

ここで用いられるストレージ１６は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置（例えば、ＣＤ（Compact Disk）、レーザーディスク（登録商標）、ＤＶＤ（登録商標）（Digital Versatile Disc）、フロッピー（登録商標）ディスクおよびブルーレイディスク（登録商標))、可搬型コンピュータディスク、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）もしくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサ／プロセッシングユニットの内部および／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類や数に限定されない。また、記憶が格納される媒体の種類も限定されない。

１ 電子機器
１１ コントローラ
１２ タイマー
１３ カメラ
１４ ディスプレイ
１５ マイク
１６ ストレージ
１７ 通信ユニット
１８ 近接センサ
１９ ＵＶセンサ
２０ 照度センサ
２１ 加速度センサ
２２ 地磁気センサ
２３ 気圧センサ
２４ ジャイロセンサ
２５ スピーカー
１１１ ジェスチャグループ情報

Claims (3)

1. 近接センサと、
   キーワードと前記近接センサによって検出されるジェスチャの種類とを紐付けて記憶するストレージと、
   ユーザに通知された通知情報から前記キーワードを検出し、前記キーワードに紐付けられた前記ジェスチャの種類に基づいて処理を行うコントローラと、
   を備える電子機器。
2. 通信ユニットを備え、
   前記通知情報は、前記通信ユニットによって受信した情報を含む、請求項１に記載の電子機器。
3. ディスプレイを備え、
   前記通知情報は、前記ディスプレイに表示された情報を含む、請求項１または２に記載の電子機器。

Images