JP2018049627A - 電子機器、プログラムおよび制御方法 - Google Patents

Abstract

【課題】利便性を高めた電子機器を提供する。
【解決手段】ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニット１７と、ディスプレイ１４と、ディスプレイに表示された画面が所定の動作と関連する場合に、モーションセンサを起動させるコントローラ１１と、を備える。所定の動作は複数の動きを含み、モーションセンサは、複数の動きのそれぞれを検出する複数のセンサを備え、コントローラは、ディスプレイに表示された画面が複数の動きのうち一の動きと関連する場合に、一の動きを検出するセンサを起動させてもよい。
【選択図】図１

Description

本発明は、電子機器、プログラムおよび制御方法に関する。

例えばスマートフォン、タブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが端末から離れて行うジェスチャを例えば赤外線センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている（例えば特許文献１）。

特開２０１５−２２５４９３号公報

ジェスチャによって入力操作を実行できる電子機器を使用する場合、ユーザは電子機器の近くでジェスチャを行う必要があった。例えば、近接センサを用いてジェスチャを検知する場合、電子機器（近接センサ）から１０ｃｍ程度の範囲でジェスチャが行われることを想定するものも多い。しかし、より離れた場所からジェスチャ操作が可能であれば、電子機器の利便性が向上する。

ここで、近接センサを用いてジェスチャを検知する場合でも、調整によって検出範囲を広げることは可能である。しかし、検出範囲を広げると一般に消費電力が増大する。そのため、スマートフォン、タブレット端末等の電子機器では、稼働時間が短くなり、かえって利便性が低下するおそれがあった。一方、遠隔操作をする場合に、電子機器側でユーザのジェスチャ操作とそれ以外の動作とを判別しにくくなり、これらを混同する可能性があった。

かかる事情に鑑みてなされた本発明の目的は、利便性を高めた電子機器、プログラムおよび制御方法を提供することにある。

本発明の実施形態に係る電子機器は、ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、前記ディスプレイに表示された画面が前記所定の動作と関連する場合に、前記モーションセンサを起動させるコントローラと、を備える。

本発明の実施形態に係る電子機器は、ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、前記モーションセンサが前記所定の動作の開始または終了を検出した場合に、前記ディスプレイに表示された画面を更新するコントローラと、を備える。

本発明の実施形態に係るプログラムは、ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、を備える電子機器に、前記ディスプレイに表示された画面が前記所定の動作と関連する場合に、前記モーションセンサを起動させるステップを実行させる。

本発明の実施形態に係るプログラムは、ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、を備える電子機器に、前記モーションセンサが前記所定の動作の開始または終了を検出した場合に、前記ディスプレイに表示された画面を更新するステップを実行させる。

本発明の実施形態に係る制御方法は、ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、を備える電子機器の制御方法であって、前記ディスプレイに表示された画面が前記所定の動作と関連する場合に、前記モーションセンサを起動させるステップを含む。

本発明の実施形態に係る制御方法は、ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、を備える電子機器の制御方法であって、前記モーションセンサが前記所定の動作の開始または終了を検出した場合に、前記ディスプレイに表示された画面を更新するステップを含む。

本発明の一実施形態によれば、利便性を高めた電子機器を提供することができる。

一実施形態に係る電子機器の概略構成図である。 電子機器と通信する動作検出装置の概略構成図である。 ユーザがジェスチャにより電子機器を操作する様子を示す図である。 ユーザがジェスチャにより電子機器を操作する状況の一例を示す図である。 一実施形態に係る電子機器が実行する手順書に関する処理の一例を示すフローチャートである。 電子機器と通信する動作検出装置が実行する手順書に関する処理の一例を示すフローチャートである。 一実施形態に係る電子機器が実行する手順書に関する処理の別の例を示すフローチャートである。 電子機器と通信する動作検出装置が実行する手順書に関する処理の別の例を示すフローチャートである。

［第１実施形態］
（電子機器の構成）
図１に示すように一実施形態の電子機器１は、ディスプレイ１４と、ストレージ１６と、通信ユニット１７と、コントローラ１１と、を備える。電子機器１はさらに、タイマー１２と、カメラ１３と、マイク１５と、を備える。図１は例示である。電子機器１は図１に示す構成要素の全てを含まなくてもよい。また、電子機器１は図１に示す以外の構成要素を備えていてもよい。例えば、電子機器１はさらに太陽光等に含まれる紫外線（Ultraviolet）量を測定することができるＵＶセンサを備えていてもよい。また、例えば、電子機器１はさらに周囲光の照度を検出する照度センサを備えていてもよい。

ディスプレイ１４は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ１４は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electro-Luminescence Panel）、または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってもよい。本実施形態において、ディスプレイ１４は、タッチスクリーンと一体化されてタッチパネルを構成する。タッチスクリーンは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ１４と一体化されたタッチスクリーンは、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。

ストレージ１６は記憶部としてプログラムおよびデータを記憶する。ストレージ１６は、コントローラ１１の処理結果を一時的に記憶する。ストレージ１６は、半導体記憶デバイス、および磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ１６は、複数の種類の記憶デバイスを含んでよい。ストレージ１６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

ストレージ１６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば所定の情報をディスプレイ１４に表示させる処理をコントローラ１１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。アプリケーションおよび制御プログラムは、通信ユニット１７による通信または記憶媒体を介してストレージ１６にインストールされてもよい。

通信ユニット１７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット１７によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格がある。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（WidebandCode Division MultipleAccess）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobilecommunications）、ＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格として、ＷｉＭＡＸ（WorldwideInteroperability for Microwave Access）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（InfraredData Association）、ＮＦＣ（Near Field Communication）等がある。通信ユニット１７は、上述した通信規格の１つまたは複数をサポートすることができる。本実施形態において、通信ユニット１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて図２に示す動作検出装置２の通信ユニット３７と通信する。電子機器１は、安定した通信環境を確保するために、通信開始時に動作検出装置２とのペアリングを行う。

コントローラ１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ１１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ１１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ１１は、電子機器１の動作を統括的に制御して各種の機能を実現する。

具体的にはコントローラ１１は、ストレージ１６に記憶されているデータを必要に応じて参照する。コントローラ１１は、ストレージ１６に記憶されているプログラムに含まれる命令を実行してディスプレイ１４等の他の機能部を制御することによって各種機能を実現する。

後述する通り、コントローラ１１は、動作検出装置２が検出したユーザの動作に応じて、ディスプレイ１４の画面表示を制御する。

タイマー１２はコントローラ１１からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ１１に出力する。タイマー１２は図１に示すようにコントローラ１１の外部に備えられていてもよいし、コントローラ１１の内部に含まれてもよい。

カメラ１３は、電子機器１の周囲の被写体を撮像する。カメラ１３は一例として、電子機器１のディスプレイ１４が設けられる面に設けられるインカメラである。

マイク１５は、人が発する声を含む、電子機器１の周囲の音を検出する。

（動作検出装置の構成）
図２に示される動作検出装置２は電子機器１と通信して、電子機器１の制御に用いられるデータを出力する装置である。動作検出装置２も一種の電子機器であるが、電子機器１と区別するために本明細書ではこの名称を用いる。動作検出装置２は、ストレージ３６と、通信ユニット３７と、加速度センサ３８と、ジャイロセンサ３９と、気圧センサ４０と、コントローラ３１と、を備える。動作検出装置２はさらに、タイマー３２と、カメラ３３と、ディスプレイ３４と、マイク３５と、地磁気センサ４１と、スピーカー４２と、を備える。図２は例示である。動作検出装置２は図２に示す構成要素の全てを含まなくてもよい。また、動作検出装置２は図２に示す以外の構成要素を備えていてもよい。本実施形態において、ユーザの動作を検出するモーションセンサは、加速度センサ３８と、ジャイロセンサ３９と、気圧センサ４０と、で構成される。

ストレージ３６は記憶部としてプログラムおよびデータを記憶する。ストレージ３６は、コントローラ３１の処理結果を一時的に記憶する。ストレージ３６は、半導体記憶デバイス、および磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ３６は、複数の種類の記憶デバイスを含んでよい。ストレージ３６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

ストレージ３６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば電子機器１からの情報をディスプレイ３４に表示させる処理をコントローラ３１に実行させる。制御プログラムは、例えばバッテリーの残量を管理するバッテリー管理プログラムである。アプリケーションおよび制御プログラムは、通信ユニット３７による通信または記憶媒体を介してストレージ３６にインストールされてもよい。

通信ユニット３７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット３７によって行われる通信方式は、無線通信規格である。通信ユニット３７は、上記の電子機器１の通信ユニット１７で説明した通信規格の１つまたは複数をサポートすることができる。本実施形態において、通信ユニット３７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて電子機器１の通信ユニット１７と通信する。

加速度センサ３８は、動作検出装置２に働く加速度の方向および大きさを検出する。加速度センサ３８は、ｘ軸方向、ｙ軸方向およびｚ軸方向の加速度を検出する３軸（３次元）タイプである。加速度センサ３８の種類は限定されない。加速度センサ３８は、例えばピエゾ抵抗型であってもよい。また、加速度センサ３８は例えば静電容量型であってもよい。また、加速度センサ３８は例えば圧電素子（圧電式）または熱検知型によるＭＥＭＳ（Micro Electro Mechanical Systems）式であってもよい。また、加速度センサ３８は、例えば可動コイルを動かしてフィードバック電流によってもとに戻すサーボ式であってもよい。また、加速度センサ３８は、加速度によって生じる歪を歪ゲージによって測定する歪ゲージ式であってもよい。

ジャイロセンサ３９は、動作検出装置２の角速度を検出する。ジャイロセンサ３９は、例えば振動したアームに作用するコリオリ力による構造体の変形から角速度を検出する３軸タイプの振動ジャイロセンサである。ここで、構造体は、例えば水晶、圧電セラミックス等の圧電材料を素材としてもよい。また、ジャイロセンサ３９は、構造体をシリコン等の素材として、ＭＥＭＳ（Micro Electro Mechanical Systems）技術で形成されてもよい。また、ジャイロセンサ３９は光学式ジャイロセンサであってもよい。コントローラ３１は、ジャイロセンサ３９により取得された角速度を１回時間積分することにより、動作検出装置２の向きを測定することができる。

気圧センサ４０は、動作検出装置２の外側の気圧（大気圧）を検出する。気圧センサ４０は、例えば気圧変化を抵抗値に変換する抵抗変化型センサである。気圧センサ４０は、例えば気圧変化を静電量の変化に変換する静電容量型センサであってもよい。また、気圧センサ４０は、例えば圧力変化を発振周波数に変換する水晶発振周波数型センサであってもよい。本実施形態において、気圧センサ４０は、高さ数センチメートルの気圧の変化を検出する分解能を有する。

コントローラ３１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ３１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ３１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ３１は、動作検出装置２の動作を統括的に制御して各種の機能を実現する。具体的にはコントローラ３１は、ストレージ３６に記憶されているデータを必要に応じて参照する。コントローラ３１は、ストレージ３６に記憶されているプログラムに含まれる命令を実行して通信ユニット３７等の他の機能部を制御することによって各種機能を実現する。

地磁気センサ４１は、地磁気の向きを検出する。例えば動作検出装置２の向きを地面に平行な面上に投影した成分が、地磁気センサ４１で取得される向き情報である。地磁気センサ４１で取得される向き情報は、動作検出装置２の方位である。

スピーカー４２は音を出力する。例えばハンズフリー通話やメール確認の読み上げの際に、相手の音声やメールの内容がスピーカー４２から音で出力される。

タイマー３２、カメラ３３、ディスプレイ３４およびマイク３５は、それぞれ電子機器１のタイマー１２、カメラ１３、ディスプレイ１４およびマイク１５と同様である。

（電子機器の操作）
図３は、動作検出装置２を腕に装着したユーザが、腕の動きによって電子機器１を操作する様子を示す。図３では一例として電子機器１はスタンドにより支持される。代替例として電子機器１は壁に立てかけられたり、テーブルに置かれたりしてもよい。動作検出装置２はユーザの動作を検出し、検出データを電子機器１に出力する。電子機器１のコントローラ１１は、受け取った検出データから判定されるユーザ動作に基づく処理を行う。ユーザ動作に基づく処理とは、ディスプレイ１４に表示された画面のスクロール、およびディスプレイ１４に表示された画面の拡大または縮小等である。本実施形態において、電子機器１から独立した動作検出装置２がユーザの動作を検出して検出データを電子機器１に出力する。そのため、電子機器１に実装される近接センサを用いる場合と比較して、より離れた場所から電子機器１のジェスチャ操作が可能である。

図３に示す電子機器１はスマートフォンである。代替例として電子機器１は例えば、携帯電話端末、ファブレット、タブレットまたはフィーチャーフォン等でもよい。また、電子機器１は、上記のものに限定されず、例えば、ＰＤＡ、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品、産業用機器（ＦＡ機器）等でもよい。

また、図３に示す動作検出装置２は腕時計型のウェアラブル端末（ウェアラブルデバイス）である。本実施形態において、動作検出装置２は腕に装着可能な腕時計型のウェアラブル端末であるが、これに限定されるものではない。代替例として動作検出装置２は指に装着可能なリング型のウェアラブル端末、または、顔に装着可能な眼鏡型のウェアラブル端末でもよい。また、動作検出装置２は例えばユーザが把持可能なペン型デバイスであってもよい。

図４は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図４の例で、ユーザは料理のレシピ（手順書）を電子機器１のディスプレイ１４に表示しながら、キッチンでレシピに従って料理をしている。ここで、例えばユーザがディスプレイ１４の長手方向で下方から上方へと手を動かすジェスチャに連動して、ディスプレイ１４に表示された画面が下方から上方へとスクロールしてもよい。しかし、料理中の様々な動作（例えばボールを持ち上げる動作等）によって、誤って現在の進行状況よりも先までレシピがスクロールしてしまうとかえってユーザにとって不便になる。そこで、利便性を高めるために、本実施形態の電子機器１および動作検出装置２は、図５および図６を参照して説明する以下の処理を連動して実行する。

（電子機器側の処理）
電子機器１はモードを複数有する。モードとは電子機器１の全体の動作について制限等を与える動作モード（動作状態、動作状況）を意味する。モードは同時に１つだけ選択可能である。電子機器１は第１モードおよび第２モードを有する。本実施形態において、第２モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器１の動作モード（キッチンモード）である。レシピは料理において所定の動作（例えば材料を切る、かき混ぜる等）を実行する手順を定めた手順情報の一例である。一方、第１モードは、例えばキッチン以外の部屋、および外出先等での使用に適している通常の動作モード（通常モード）である。電子機器１は起動時に第１モードに設定される。

図５は、電子機器１が実行するレシピの表示処理の一例を示すフローチャートである。まず、コントローラ１１は動作検出装置２との通信を確立する。コントローラ１１は、動作検出装置２とペアリングできるまで待機する（ステップＳ１のＮｏ）。そして、コントローラ１１は、動作検出装置２とペアリングするとステップＳ２の処理に進む（ステップＳ１のＹｅｓ）。

コントローラ１１は、動作検出装置２とのペアリングが完了すると、モードを第２モード（キッチンモード）に設定する（ステップＳ２）。ここで、ステップＳ２の処理はステップＳ１の前に実行されてもよい。

そして、コントローラ１１は、ユーザによって選択されたレシピをディスプレイ１４に表示させる（ステップＳ３）。

コントローラ１１は、料理の進行状況に応じたユーザ動作の情報を動作検出装置２に出力する（ステップＳ４）。ユーザ動作の情報とは、ユーザが料理で次に行う動作を示すものであり、例えばｘｙ軸方向動作、回転動作、ｚ軸方向動作等を含む。例えば、料理の進行状況が、次に材料をかき混ぜる段階にあるとする。このとき、コントローラ１１は、ユーザ動作の情報として「回転動作」を動作検出装置２に出力する。ここで、コントローラ１１は、ディスプレイ１４に表示されたレシピの内容を料理の進行状況とすることができる。コントローラ１１は、ディスプレイ１４に表示されたレシピが、次に行う動作を示唆（動作と関連することの一例）した場合に、動作検出装置２にユーザ動作の情報を出力する。ここで、ｚ軸方向とは高さ方向であり、ｘｙ軸方向はｚ軸に垂直な水平面上の方向である。

コントローラ１１は、動作検出装置２から検出データを取得するまで待機する（ステップＳ５のＮｏ）。そして、動作検出装置２から検出データを取得すると（ステップＳ５のＹｅｓ）、検出データに基づいてディスプレイ１４に表示される画面を遷移させる。ここで、検出データは、先にコントローラ１１が動作検出装置２に出力したユーザ動作の情報に対応する動作を検出したものである。コントローラ１１は、動作検出装置２から検出データを取得することで、ユーザの料理の状況がレシピの次の段階に進行したことを把握できる。そして、ディスプレイ１４に表示されるレシピの内容を次の段階に進めて、料理の状況に応じた適切な内容をユーザに対して表示することができる。コントローラ１１は、ユーザが例えばタッチスクリーンに接触操作してレシピの内容を進めなくても、料理の進行状況を把握してレシピを自動的にスクロールすることができる。ここで、コントローラ１１は、ユーザが所定の動作の終了を検出したタイミングでディスプレイ１４に表示される画面を更新してもよい。また、コントローラ１１は、ユーザが所定の動作の開始を検出したタイミングでディスプレイ１４に表示される画面を更新してもよい。

コントローラ１１は、ディスプレイ１４に表示されている内容がレシピの最後であって、料理が完了したか否かを判定する（ステップＳ７）。コントローラ１１は、検出データからレシピの最後のユーザ動作が完了したと判定する場合に（ステップＳ７のＹｅｓ）、ステップＳ８の処理に進む。コントローラ１１は、レシピの最後でないと判定した場合に（ステップＳ７のＮｏ）、ステップＳ４の処理に戻る。

コントローラ１１は、レシピの最後であると判定した場合に、終了指示を動作検出装置２に出力する（ステップＳ８）。そして、コントローラ１１は、モードを第１モード（通常モード）に設定する（ステップＳ９）。

（動作検出装置側の処理）
図６は、動作検出装置２が実行するユーザ動作の検出処理の一例を示すフローチャートである。動作検出装置２は、電子機器１が実行するレシピの表示処理（図５）と連動して、以下の処理を実行する。

まず、動作検出装置２のコントローラ３１は電子機器１との通信が確立するまで待機する（ステップＳ１１のＮｏ）。そして、コントローラ３１は、電子機器１との通信が確立するとステップＳ１２の処理に進む（ステップＳ１１のＹｅｓ）。

コントローラ３１は、電子機器１からユーザ動作の情報を取得するまで待機する（ステップＳ１２のＮｏ）。コントローラ３１は、ユーザ動作の情報を取得すると（ステップＳ１２のＹｅｓ）、ユーザが料理で次に行う動作の種類を判定する（ステップＳ１３）。本実施形態において、コントローラ３１は、ユーザ動作の情報がｘｙ軸方向動作、回転動作、またはｚ軸方向動作であるかを判定する。

コントローラ３１は、ユーザ動作の情報がｘｙ軸方向動作の場合、ユーザの左右および前後の動きを検出するために加速度センサ３８を動作させる（ステップＳ１４）。ユーザの左右および前後の動きは、加速度センサ３８が検出したｘ軸およびｙ軸の加速度合成ベクトルの値から把握可能である。

コントローラ３１は、ユーザ動作の情報が回転動作の場合、ユーザが腕等を回す動きを検出するためにジャイロセンサ３９を動作させる（ステップＳ１５）。ユーザの回転に関する動きは、ジャイロセンサ３９が検出したｘ軸、ｙ軸およびｚ軸周りの角速度の値から把握可能である。

コントローラ３１は、ユーザ動作の情報がｚ軸方向動作の場合、ユーザの手等の上下移動を検出するために気圧センサ４０を動作させる（ステップＳ１６）。ユーザの上下に移動させる動きは、気圧センサ４０が検出した気圧の変化から把握可能である。

ここで、加速度センサ３８でｚ軸方向の動きを検出することも可能であるが、ｚ軸方向の動きをｘｙ軸方向とは別に気圧センサ４０で検出することによって、高さ方向のユーザの動きが明確に切り分けられる。そのため、動きをより正確に把握することが可能になる。また、加速度センサ３８、ジャイロセンサ３９、および気圧センサ４０のうち２つ以上が同時に動作してもよい。例えば、コントローラ３１は、ユーザ動作の情報がｘｙ軸方向動作およびｚ軸方向動作を含む場合に、加速度センサ３８および気圧センサ４０を動作させる。

コントローラ３１は、動作しているセンサが検出した値（検出データ）を電子機器１に出力する（ステップＳ１７）。そして、コントローラ３１は、動作しているセンサを停止させる（ステップＳ１８）。

コントローラ３１は、電子機器１から終了指示があれば一連の処理を終了する（ステップＳ１９のＹｅｓ）。コントローラ３１は、電子機器１から終了指示がなければ、ステップＳ１２の処理に戻る（ステップＳ１９のＮｏ）。

以上に説明したように、電子機器１は、ユーザの所定の動作（例えば材料を切る、かき混ぜる等）を検出するモーションセンサ（本実施形態において、加速度センサ３８、ジャイロセンサ３９、および気圧センサ４０）を備える動作検出装置２と通信ユニット１７によって通信する。そして、電子機器１のコントローラ１１は、ディスプレイ１４に表示された画面（本実施形態ではレシピ）がユーザの所定の動作と関連する場合に、モーションセンサを起動させる。そして、コントローラ１１は、モーションセンサが所定の動作の開始または終了を検出した場合に、ディスプレイ１４に表示された画面（本実施形態ではレシピ）を更新する。近接センサを用いる電子機器と比較して、より離れた場所からジェスチャ操作（レシピの表示の遷移）が可能である。よって、利便性を高めた電子機器１を提供することができる。

本実施形態において、ユーザの所定の動作は複数の動き（左右および前後の動き、腕等を回す動き、および手等を上下に移動させる動き）を含む。また、モーションセンサは、複数の動きのそれぞれを検出する複数のセンサ（加速度センサ３８、ジャイロセンサ３９、および気圧センサ４０）を備える。そして、コントローラ１１は、ディスプレイ１４に表示されたレシピが一の動き（例えば腕等を回す動き）と関連する場合に、一の動きを検出するセンサ（例えばジャイロセンサ３９）を起動させる。したがって、料理中のレシピで予定されているユーザの動作以外の動作（例えばボールを移動させる動作等）によって、誤って現在の進行状況よりも先までレシピがスクロールしてしまうことがない。つまり、電子機器１はユーザに対して適切なレシピの表示が可能である。また、レシピの進行に応じて必要なセンサだけを動作させるため、動作検出装置２の電力消費を抑えることが可能である。例えば気圧センサ４０は、一般に加速度センサ３８に比べると消費電力が大きい。本実施形態において、レシピの進行に応じて必要な場合だけ気圧センサ４０が動作し、検出データを出力させた後に停止する。そのため、動作検出装置２の低消費電力化が可能である。

ここで、本実施形態において、動作検出装置２のコントローラ３１は、検出データの送信後に動作しているセンサを停止させた。しかし、コントローラ３１は加速度センサ３８を動作させ続けてもよい。そして、コントローラ１１は、通常モードにおいて（またはキッチンモードでもユーザの指示により）、加速度センサ３８を動作させて、その検出データを取得してもよい。このとき、コントローラ１１は、ユーザの左右および前後の動きに応じて、ディスプレイ１４に表示される画面を調整することが可能である。例えば、ユーザがディスプレイ１４の長手方向で下方から上方へと手を動かすジェスチャを行うと、ディスプレイ１４に表示された画面が下方から上方へとスクロールしてもよい。このとき、コントローラ３１はジャイロセンサ３９を動作させてもよい。コントローラ１１は、ユーザの回転動作に応じてディスプレイ１４に表示される画面を調整してもよい。また、コントローラ１１は、ディスプレイ１４に表示される画面を調整することに限らず、様々なアプリケーションの制御についてジェスチャ操作を受け付けてもよい。例えば、離れたところで電子機器１のアラームが鳴動している場合に、動作検出装置２を身に付けたユーザがジェスチャで鳴動を停止させてもよい。また、ハンズフリー通話やメール確認（表示または読み上げ）についても、動作検出装置２を身に付けたユーザがジェスチャで操作できてもよい。

［第２実施形態］
第２実施形態に係る電子機器１について図７および図８を参照しながら説明する。本実施形態では、以下に説明する処理によって、第１実施形態よりもユーザの動作を一層正確に検出できる。電子機器１および動作検出装置２の構成は第１実施形態と同じであるため説明を省略する。また、第１実施形態と同様に、ユーザがキッチンで料理をする際に電子機器１が使用されている。この例では、レシピの動作のうちかき混ぜ動作に着目し、かき混ぜ動作について詳細に説明する（他の動作については詳細な説明を省略する）。

（電子機器側の処理）
図７は、電子機器１が実行するレシピの表示処理の一例を示すフローチャートである。まず、コントローラ１１は動作検出装置２との通信を確立する。コントローラ１１は、動作検出装置２とペアリングできるまで待機する（ステップＳ２１のＮｏ）。そして、コントローラ１１は、動作検出装置２とペアリングするとステップＳ２２の処理に進む（ステップＳ２１のＹｅｓ）。

コントローラ１１は、動作検出装置２とのペアリングが完了すると、モードを第２モード（キッチンモード）に設定する（ステップＳ２２）。

そして、コントローラ１１は、ユーザによって選択されたレシピをディスプレイ１４に表示させる（ステップＳ２３）。

コントローラ１１は、かき混ぜ動作の情報を動作検出装置２に出力する（ステップＳ２４）。かき混ぜ動作は回転動作を含み、動作検出装置２のジャイロセンサ３９が検出するｘ軸、ｙ軸およびｚ軸周りの角速度の値から把握可能である。

コントローラ１１は、かき混ぜ動作の前の工程（例えば材料を切る工程）が完了するまで待機する（ステップＳ２５のＮｏ）。そして、コントローラ１１は、前の工程が完了すると（ステップＳ２５のＹｅｓ）、ステップＳ２６の処理を実行する。

ここで、後述するように、動作検出装置２はかき混ぜ動作が十分か否かについて判定する。また、動作検出装置２はかき混ぜ時間についても管理する。コントローラ１１は、動作検出装置２から受け取るかき混ぜ不足の通知、およびかき混ぜ完了の通知に基づいて、かき混ぜ動作の状況をユーザに知らせる（例えばディスプレイ１４へかき混ぜ不足である旨を表示する）ことができる。

コントローラ１１は、「かき混ぜ動作中である旨」および「かき混ぜ時間」の少なくとも一方をディスプレイ１４に表示させる（ステップＳ２６）。

コントローラ１１は、動作検出装置２からかき混ぜ不足の通知があるか否かを判定する（ステップＳ２７）。かき混ぜ不足の通知がある場合（ステップＳ２７のＹｅｓ）、コントローラ１１は「かき混ぜ不足である旨」をディスプレイ１４に表示させる（ステップＳ２８）。そして、コントローラ１１はステップＳ２７の処理に戻る。

一方、コントローラ１１は、かき混ぜ不足の通知がない場合（ステップＳ２７のＮｏ）、動作検出装置２からかき混ぜ完了の通知があるか否かを判定する（ステップＳ２９）。かき混ぜ完了の通知がある場合（ステップＳ２９のＹｅｓ）、コントローラ１１はステップＳ３０の処理に進む。一方、かき混ぜ完了の通知がない場合（ステップＳ２９のＮｏ）、コントローラ１１はステップＳ２７の処理に戻る。

コントローラ１１は、かき混ぜ完了の通知がある場合、ディスプレイ１４に表示される画面を遷移させる。つまり、コントローラ１１は、レシピの次の工程までディスプレイ１４に表示される画面をスクロールさせる（ステップＳ３０）。

その後、コントローラ１１は、終了指示を動作検出装置２に出力する（ステップＳ３１）。そして、コントローラ１１は、モードを第１モード（通常モード）に設定する（ステップＳ９）。

（動作検出装置側の処理）
図８は、動作検出装置２が実行するユーザ動作の検出処理の一例を示すフローチャートである。動作検出装置２は、電子機器１が実行するレシピの表示処理（図７）と連動して、以下の処理を実行する。

まず、動作検出装置２のコントローラ３１は電子機器１との通信が確立するまで待機する（ステップＳ４１のＮｏ）。そして、コントローラ３１は、電子機器１との通信が確立するとステップＳ４２の処理に進む（ステップＳ４１のＹｅｓ）。

コントローラ３１は、電子機器１からかき混ぜ動作の情報を取得するまで待機する（ステップＳ４２のＮｏ）。コントローラ３１は、かき混ぜ動作の情報を取得すると（ステップＳ４２のＹｅｓ）、ユーザが腕等を回す動きを検出するためにジャイロセンサ３９を動作させる（ステップＳ４３）。本実施形態において、かき混ぜ動作の情報は、レシピに記載のかき混ぜの時間（例えば１分等）の情報を含む。

コントローラ３１は、ジャイロセンサ３９によって回転を検出するまで待機する（ステップＳ４４のＮｏ）。コントローラ３１は、ジャイロセンサ３９によって回転を検出すると（ステップＳ４４のＹｅｓ）、ステップＳ４５の処理に進む。

コントローラ３１は、ジャイロセンサ３９の検出データから、ユーザのかき混ぜ時間をカウントする（ステップＳ４５）。つまり、コントローラ３１は、ユーザがどれだけ長くかき混ぜ動作をしているかをカウントする。

コントローラ３１は、ユーザのかき混ぜ時間がレシピに記載の時間以上か否かを判定する（ステップＳ４６）。コントローラ３１は、かき混ぜ時間がレシピに記載の時間以上であれば（ステップＳ４６のＹｅｓ）、かき混ぜ完了の通知を電子機器１に出力する（ステップＳ４７）。そして、コントローラ３１は、ジャイロセンサ３９を停止させる（ステップＳ４８）。この例では、かき混ぜ不足が問題になる料理のレシピであるため、かき混ぜ時間がレシピに記載の時間以上であればよいとしている。しかし、かき混ぜ過ぎも問題になる料理のレシピであれば、ステップＳ４６でかき混ぜ時間に達したか否かを判定すればよい。

コントローラ３１は、電子機器１から終了指示があれば一連の処理を終了する（ステップＳ４９のＹｅｓ）。コントローラ３１は、電子機器１から終了指示がなければ、ステップＳ４２の処理に戻る（ステップＳ４９のＮｏ）。

一方、ステップＳ４６において、コントローラ３１はかき混ぜ時間がレシピに記載の時間未満と判定した場合（ステップＳ４６のＮｏ）、かき混ぜ不足の通知を電子機器１に出力する（ステップＳ５０）。そして、コントローラ３１はステップＳ４４の処理に戻る。

以上に説明したように、本実施形態においても、近接センサを用いる電子機器と比較して、より離れた場所からジェスチャ操作（レシピの表示の遷移）が可能である。よって、第１実施形態と同様に、利便性を高めた電子機器１を提供することができる。

さらに、本実施形態においては、ユーザが装着する動作検出装置２が、ユーザのかき混ぜ時間がレシピに記載の時間以上か否かを判定する。例えばユーザが途中で休憩したとしても、動作検出装置２はそのことを容易に把握可能である。よって、動作検出装置２が実際のかき混ぜ時間を正確に測定するため、第１実施形態よりもユーザの動作を一層正確に検出できる。

本実施形態においては、電子機器１は、動作検出装置２からかき混ぜ不足の通知、およびかき混ぜ完了の通知を受け取る。電子機器１は、例えば検出データから残りのかき混ぜ時間を演算する必要がない。そのため、第１実施形態と比べて、電子機器１の演算負荷を低減することが可能である。ここで、電子機器１は、かき混ぜ完了の通知を受け取るまで、かき混ぜ不足であると判定してもよい。このとき、動作検出装置２はかき混ぜ不足の通知を省略することができる。

（その他の実施形態）
本発明を図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

上記のいくつかの実施形態においては、コントローラ１１がモードを切り替えていた。しかし、モードはユーザによって手動で設定されてもよい。ユーザは、例えば設定画面から第１モードまたは第２モードを設定してもよい。また、モードの設定は、例えば画面の端部をスワイプ等することで現れるノーティフィケーション（通知画面）から実行可能であってもよい。ノーティフィケーションが利用できる場合、ユーザは複数階層の設定画面をたどることなく、容易に素早くモード変更が可能である。

上記の第１実施形態においては、コントローラ１１は、動作検出装置２からの検出データに基づいて料理の進行状況を把握してレシピを自動的にスクロールした。ここで、コントローラ１１は、動作検出装置２からの検出データがレシピの内容と合致しないと判定する場合には、調理工程が異なることを警告する画像および文字の少なくとも一方を、ディスプレイ１４に表示させてもよい。例えば、かき混ぜ動作を行う工程で、ジャイロセンサ３９が動作しており、例えばユーザの指示によって加速度センサ３８も動作しているとする。このとき、コントローラ１１が、しばらくの間、加速度センサ３８の検出データだけを取得した場合に、かき混ぜ動作を促すメッセージをディスプレイ１４に表示させてもよい。

上記の第２実施形態においては、ジャイロセンサ３９が動作して、かき混ぜる調理工程が完了するまでをコントローラ３１が判定する例を示した。別の例として、加速度センサ３８が動作して、材料を切る調理工程が完了するまでをコントローラ３１が判定してもよい。コントローラ３１は、例えば加速度センサ３８が検出した振動を示すデータに基づいて、切る作業の進行状況を把握することが可能である。ここで、コントローラ３１は、加速度センサ３８が検出した振動の振幅が大きい場合にはユーザの歩行の振動と、それよりも小さい場合には切る作業であると判定可能である。また、コントローラ３１は、加速度の周期および周期の安定度から、切る作業の上達度を判定してユーザにアドバイスしてもよい。また、コントローラ３１は、振動の回数と所要時間から、切り方の細かさ等を判定してもよい。

本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、ＰＣ（パーソナルコンピュータ）、専用コンピュータ、ワークステーション、ＰＣＳ（Personal Communications System、パーソナル移動通信システム）、移動（セルラー）電話機、データ処理機能を備えた移動電話機、ＲＦＩＤ受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、ＧＰＳ（Global Positioning System）受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作、制御方法は、プログラム命令（ソフトウェア）で実装された専用回路（例えば、特定機能を実行するために相互接続された個別の論理ゲート）や、一以上のプロセッサにより実行される論理ブロックやプログラムモジュール等により実行されることに留意されたい。論理ブロックやプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、ＣＰＵ（中央演算処理ユニット）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（DigitalSignal Processor）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および／またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および／または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。

ここで用いられるストレージ１６は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットや、データ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置（例えば、ＣＤ（Compact Disk）、レーザーディスク（登録商標）、ＤＶＤ（登録商標）（Digital Versatile Disc）、フロッピー（登録商標）ディスクおよびブルーレイディスク（登録商標))、可搬型コンピュータディスク、ＲＡＭ（Random AccessMemory）、ＲＯＭ（Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）もしくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサ／プロセッシングユニットの内部および／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性その他のメモリを意味する。つまり、「メモリ」は特定の種類や数に限定されない。また、記憶が格納される媒体の種類も限定されない。

１ 電子機器
２ 動作検出装置
１１ コントローラ
１２ タイマー
１３ カメラ
１４ ディスプレイ
１５ マイク
１６ ストレージ
１７ 通信ユニット
３１ コントローラ
３２ タイマー
３３ カメラ
３４ ディスプレイ
３５ マイク
３６ ストレージ
３７ 通信ユニット
３８ 加速度センサ
３９ ジャイロセンサ
４０ 気圧センサ
４１ 地磁気センサ
４２ スピーカー

Claims (3)

1. ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、
   ディスプレイと、
   前記モーションセンサが前記ディスプレイに表示された実行手順に関連する前記所定の動作の開始または終了を検出した場合に、前記ディスプレイに表示された画面を更新するコントローラと、を備える電子機器。
2. ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、を備える電子機器に、
   前記モーションセンサが前記ディスプレイに表示された実行手順に関連する前記所定の動作の開始または終了を検出した場合に、前記ディスプレイに表示された画面を更新するステップを実行させるプログラム。
3. ユーザの所定の動作を検出するモーションセンサを備える動作検出装置と通信する通信ユニットと、ディスプレイと、を備える電子機器の制御方法であって、
   前記モーションセンサが前記ディスプレイに表示された実行手順に関連する前記所定の動作の開始または終了を検出した場合に、前記ディスプレイに表示された画面を更新するステップを含む制御方法。

Images