JP2018137827A - 電子機器、プログラムおよび制御方法 - Google Patents

Abstract

【課題】操作性を向上させた電子機器、プログラムおよび制御方法を提供する。
【解決手段】近接センサ１８と、外部機器と通信する通信ユニット１７と、通信ユニット１７によって外部機器から異常通知信号を取得すると、近接センサ１８によって検出されたジェスチャに基づき外部機器を遠隔操作する信号を送信するコントローラ１１と、を備える。さらに、外部機器は、第１の外部機器および第２の外部機器を含み、コントローラ１１は、第１の外部機器を介して第２の外部機器を遠隔操作してもよい。
【選択図】図１

Description

本発明は、電子機器、プログラムおよび制御方法に関する。

例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが端末から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている（例えば特許文献１）。

特開２０１５−２２５４９３号公報

ここで、ジェスチャによる入力操作が可能な電子機器において、種々の状況に応じた各種の操作を一貫してジェスチャにより行うことができれば、さらに操作性を向上させることができる。

かかる事情に鑑みてなされた本発明の目的は、操作性を向上させた電子機器、プログラムおよび制御方法を提供することにある。

本発明の実施形態に係る電子機器は、近接センサと、外部機器と通信する通信ユニットと、前記通信ユニットによって前記外部機器から異常通知信号を取得すると、前記近接センサによって検出されたジェスチャに基づき前記外部機器を遠隔操作する信号を送信するコントローラと、を備える。

本発明の実施形態に係る電子機器は、近接センサと、外部機器と通信する通信ユニットと、前記通信ユニットによって前記外部機器から異常通知信号を取得すると、前記近接センサによって検出されたジェスチャに基づき前記外部機器へ電話発信するコントローラと、を備える。

本発明の実施形態に係るプログラムは、近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器に、前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記外部機器を遠隔操作する信号を送信するステップと、を実行させる。

本発明の実施形態に係るプログラムは、近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器に、前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記外部機器へ電話発信するステップと、を実行させる。

本発明の実施形態に係る制御方法は、近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器の制御方法であって、前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記外部機器を遠隔操作する信号を送信するステップと、を含む。

本発明の実施形態に係る制御方法は、近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器の制御方法であって、前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記外部機器へ電話発信するステップと、を含む。

本発明の一実施形態によれば、操作性を向上させた電子機器、プログラムおよび制御方法を提供することができる。

一実施形態に係る電子機器の概略構成図である。 ユーザがジェスチャにより電子機器を操作する様子を示す図である。 ユーザがジェスチャにより電子機器を操作する状況の一例を示す図である。 電子機器と外部機器とを連携させる状況の一例を示す図である。 一実施形態に係る電子機器と通信する外部機器の概略構成図である。 ストレージに記憶されるジェスチャ処理情報の一例を示す図である。 一実施形態に係る電子機器が実行する処理の一例を示すフローチャートである。 一実施形態に係る電子機器と通信する第１の外部機器が実行する処理の一例を示すフローチャートである。 一実施形態に係る電子機器と通信する第２の外部機器が実行する処理の一例を示すフローチャートである。

（電子機器の構成）
図１に示すように一実施形態の電子機器１は、ディスプレイ１４と、ストレージ１６と、通信ユニット１７と、近接センサ１８（ジェスチャセンサ）と、コントローラ１１と、を備える。電子機器１はさらに、タイマー１２と、カメラ１３と、マイク１５と、ＵＶセンサ１９と、照度センサ２０と、加速度センサ２１と、地磁気センサ２２と、気圧センサ２３と、ジャイロセンサ２４と、スピーカー２５と、を備える。図１は例示である。電子機器１は図１に示す構成要素の全てを含まなくてもよい。また、電子機器１は図１に示す以外の構成要素を備えていてもよい。

ディスプレイ１４は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ１４は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electro-Luminescence Panel）または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってもよい。本実施形態において、ディスプレイ１４はタッチスクリーンディスプレイである。タッチスクリーンディスプレイは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ１４は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。

ストレージ１６は記憶部としてプログラムおよびデータを記憶する。ストレージ１６は、コントローラ１１の処理結果を一時的に記憶する。ストレージ１６は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ１６は、複数の種類の記憶デバイスを含んでよい。ストレージ１６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

ストレージ１６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ１１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。アプリケーションおよび制御プログラムは、通信ユニット１７による通信または記憶媒体を介してストレージ１６にインストールされてもよい。

通信ユニット１７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット１７によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ、３Ｇおよび４Ｇ等のセルラーフォンの通信規格がある。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）およびＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格として、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）およびＮＦＣ（Near Field Communication）等がある。通信ユニット１７は、上述した通信規格の１つまたは複数をサポートすることができる。

近接センサ１８は、電子機器１の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。一実施形態の近接センサ１８は白、赤、緑および青を感知する４つの可視光フォトダイオードを有し、対象物との相対距離を測定することができる。また近接センサ１８は１つの光源用赤外ＬＥＤ（Light Emitting Diode）と上下左右を感知する４つの赤外フォトダイオードとを有する。近接センサ１８は、光源用赤外ＬＥＤからの赤外光を対象物に照射する。近接センサ１８は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ１８は、電子機器１のユーザが電子機器１に触れずに行うエアジェスチャ（以下単に「ジェスチャ」という）を用いた操作を検出することができる。

コントローラ１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ１１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ１１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ１１は、電子機器１の動作を統括的に制御して各種の機能を実現する。

具体的にはコントローラ１１は、ストレージ１６に記憶されているデータを必要に応じて参照する。コントローラ１１は、ストレージ１６に記憶されているプログラムに含まれる命令を実行してディスプレイ１４等の他の機能部を制御することによって各種機能を実現する。例えば、コントローラ１１は、ユーザによる接触のデータをタッチパネルから取得する。また、コントローラ１１は、ＵＶセンサ１９、照度センサ２０、加速度センサ２１、地磁気センサ２２、気圧センサ２３およびジャイロセンサ２４が検出したデータの一部または全部を取得する。また、コントローラ１１は、ストレージ１６の使用状況を把握する。また、コントローラ１１は、アプリケーションの起動状況を把握する。

タイマー１２はコントローラ１１からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ１１に出力する。タイマー１２は図１に示すようにコントローラ１１の外部に備えられていてもよいし、コントローラ１１の内部に含まれてもよい。

カメラ１３は、電子機器１の周囲の被写体を撮像する。カメラ１３は一例として、電子機器１のディスプレイ１４が設けられる面に設けられるインカメラである。

マイク１５は、人が発する声を含む、電子機器１の周囲の音を検出する。

スピーカー２５は音を出力する。例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー２５から音で出力される。

ＵＶセンサ１９は、太陽光等に含まれる紫外線（Ultraviolet）量を測定することができる。

照度センサ２０は、当該照度センサ２０に入射する周囲光の照度を検出する。

加速度センサ２１は、電子機器１に働く加速度の方向および大きさを検出する。加速度センサ２１は、ｘ軸方向、ｙ軸方向およびｚ軸方向の加速度を検出する３軸（３次元）タイプである。加速度センサ２１の種類は限定されない。加速度センサ２１は、例えばピエゾ抵抗型であってもよい。また、加速度センサ２１は例えば静電容量型であってもよい。また、加速度センサ２１は例えば圧電素子（圧電式）または熱検知型によるＭＥＭＳ（Micro Electro Mechanical Systems）式であってもよい。また、加速度センサ２１は、例えば可動コイルを動かしてフィードバック電流によってもとに戻すサーボ式であってもよい。また、加速度センサ２１は、加速度によって生じる歪を歪ゲージによって測定する歪ゲージ式であってもよい。

地磁気センサ２２は、地磁気の向きを検出する。例えば電子機器１の向きを地面に平行な面上に投影した成分が、地磁気センサ２２で取得される向き情報である。地磁気センサ２２で取得される向き情報は、電子機器１の方位である。

気圧センサ２３は、電子機器１の外側の気圧（大気圧）を検出する。

ジャイロセンサ２４は、電子機器１の角速度を検出する。コントローラ１１は、ジャイロセンサ２４により取得された角速度を１回時間積分することにより、電子機器１の向きを測定することができる。

（ジェスチャによる電子機器の操作）
図２は、ユーザがジェスチャにより電子機器１を操作する様子を示す。図２において、電子機器１は一例としてスタンドによって支持される。代替例として電子機器１は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ１８がユーザのジェスチャを検出すると、コントローラ１１は検出されたジェスチャに基づく処理を行う。図２に示される例では、ジェスチャに基づく処理はレシピの選択である。例えば、ユーザがディスプレイ１４の短手方向で右方から左方（図２の矢印の方向）へと手を動かすジェスチャを行うと、ディスプレイ１４に表示されるレシピが変化する。

図２に示す電子機器１はスマートフォンである。代替例として電子機器１は例えば、携帯電話端末、ファブレット、タブレットＰＣまたはフィーチャーフォン等でもよい。また、電子機器１は、上記のものに限定されず、例えば、ＰＤＡ、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器（ＦＡ機器）等でもよい。

図３は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図３の例で、ユーザは料理のレシピを電子機器１のディスプレイ１４に表示しながら、キッチンでレシピに従って料理をしている。上記のように、近接センサ１８はユーザのジェスチャを検出する。そして、コントローラ１１は近接センサ１８が検出したジェスチャに基づく処理を行う。コントローラ１１は特定のジェスチャ（例えばユーザが手を上下に動かすジェスチャ）に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器１に触れることなく、特定のジェスチャによってレシピをスクロールすることができる。したがって、ディスプレイ１４が汚れること、および料理中のユーザの手にディスプレイ１４の汚れが移ることを回避することができる。

ここで、電子機器１はモードを複数有する。モードとは電子機器１の全体の動作について制限等を与える動作モード（動作状態または動作状況）を意味する。モードは同時に１つだけ選択可能である。本実施形態において、電子機器１のモードは第１モードおよび第２モードを含む。第２モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器１の動作モード（キッチンモード）である。電子機器１は、第２モードの場合に、近接センサ１８を動作させてジェスチャを検出することができる。また、電子機器１は、第２モードの場合に、マイク１５を動作させる。そして、電子機器１は、文字入力（ユーザのタッチパネル操作による入力）に代えて、マイク１５を用いた音声入力を可能にする。一方、第１モードは、例えばキッチン以外の部屋および外出先等での使用に適している通常の動作モード（通常モード）である。本実施形態において、ユーザは、キッチンで料理を行うときに電子機器１を第２モード（キッチンモード）に設定する。モードは、画面の端部をスワイプ等することで現れるノーティフィケーション（通知画面）で容易に設定可能であってもよい。ここで、後述する第３モード（異常対応モード）については、ユーザの手動設定ではなく自動的に、第２モードとの間で移行が行われる。また、電子機器１は、第３モード（異常対応モード）の場合にも、近接センサ１８を動作させてジェスチャを検出する。

ここで、料理中に生じた突発的なイベントによって、ユーザは料理を中断しなければならないことがある。このようなイベントとして例えば子守が挙げられる。例えば子供をベビーベッド等に寝かせながら、ユーザが料理していることがある。子供が起きて泣いている場合には直ちに応答することが好ましいが、ユーザが汚れを落とすために手を洗うといった行動によって応答が遅れることがある。また、キッチンとベビーベッドが置かれている部屋とが離れている場合には、さらに応答が遅れることがある。

図４は、本実施形態に係る電子機器１が、外部機器２−１，２−２と共に使用される状況の一例を示す図である。図４に示される外部機器２−１，２−２は、子供の状態把握および子守に使用される機器である。図４の例では、外部機器２−１（第１の外部機器）は主に子供の状態把握のためにベビーベッドに置かれている。また、外部機器２−２（第２の外部機器）はおもちゃの外観を有しており、主に子供をあやす目的でベビーベッドに置かれている。

図４に示す外部機器２−１，２−２は電子機器１と通信する。外部機器２−１，２−２は、電子機器１からの指示に従って動作する。また、電子機器１は、外部機器２−１，２−２が出力する信号を受信する。外部機器２−１，２−２が出力する信号は、電子機器１の制御に用いることができる。外部機器２−１，２−２も一種の電子機器であるが、ユーザが使用する電子機器１と区別するために本明細書ではこの名称を用いる。

（外部機器の構成）
ここで、外部機器２−１，２−２（両者を特に区別しない場合は外部機器２とする）の概略構成について説明する。図５に示すように、外部機器２はカメラ３３と、ディスプレイ３４と、マイク３５と、ストレージ３６と、通信ユニット３７と、スピーカー４５と、コントローラ３１と、を備えてもよい。外部機器２はさらに、タイマー３２と、ＵＶセンサ３９と、照度センサ４０と、加速度センサ４１と、地磁気センサ４２と、気圧センサ４３と、ジャイロセンサ４４と、を備えてもよい。図５は例示である。外部機器２−１，２−２は図５に示す構成要素の全てを含まなくてもよい。また、外部機器２−１，２−２は図５に示す以外の構成要素を備えていてもよい。例えば、本実施形態において、おもちゃの外観を有する外部機器２−２は、ディスプレイ３４と、マイク３５と、ＵＶセンサ３９と、照度センサ４０と、加速度センサ４１と、地磁気センサ４２と、を備えなくともよい。また、外部機器２−２は、脚部や腕部を動作させるためのモータを備えてもよい。この場合、モータはコントローラ３１によって制御される。

カメラ３３は外部機器２の周囲の被写体を撮像する。カメラ３３は、一例としてディスプレイ３４が設けられる面に設けられるインカメラである。本実施形態において、カメラ３３はベビーベッドにいる子供の静止画または動画（以下、単に「画像」と記す）を撮像する。撮像した画像は、通信ユニット３７を介して電子機器１に出力することができる。

ディスプレイ３４は画面を表示する。本実施形態において、外部機器２は、電子機器１で撮像された画像を、通信ユニット３７を介して取得して、ディスプレイ３４に表示することができる。ディスプレイ３４は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electro-Luminescence Panel）または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってもよい。また、ディスプレイ３４はタッチスクリーンディスプレイでもよい。

マイク３５は外部機器２の周囲の音を検出する。本実施形態において、マイク３５は特に外部機器２の周囲の子供が発する声を検出する。

ストレージ３６は記憶部としてプログラムおよびデータを記憶する。ストレージ３６は、コントローラ３１の処理結果を一時的に記憶する。ストレージ３６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、カメラ３３、ディスプレイ３４、マイク３５およびスピーカー４５を動作させてテレビ電話の機能を実現する処理をコントローラ３１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。

通信ユニット３７は有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット３７によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ、３Ｇおよび４Ｇ等のセルラーフォンの通信規格がある。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）およびＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格として、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）およびＮＦＣ（Near Field Communication）等がある。通信ユニット３７は、上述した通信規格の１つまたは複数をサポートすることができる。本実施形態において、外部機器２−１，２−２の通信ユニット３７は、ＩＥＥＥ８０２．１１およびＢｌｕｅｔｏｏｔｈ（登録商標）をサポートする。また、外部機器２−１の通信ユニット３７は、セルラーフォンの通信規格もサポートする。

スピーカー４５は音を出力する。本実施形態において、スピーカー４５は特に電子機器１からの音声（電子機器１のユーザの声等）を出力する。

コントローラ３１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ３１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ３１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ３１は、外部機器２の動作を統括的に制御して各種の機能を実現する。本実施形態において、コントローラ３１は異常、すなわちユーザが緊急に対応すべき状態を検知すると異常通知信号を生成する。例えばマイク３５で検出した子供の声が泣き声である場合に、コントローラ３１は異常を検知する。そして、コントローラ３１は、電子機器１に異常通知信号を送信する。また、コントローラ３１は、電子機器１からの指示に従って外部機器２の各種の機能を実現する。

タイマー３２、ＵＶセンサ３９、照度センサ４０、加速度センサ４１、地磁気センサ４２、気圧センサ４３およびジャイロセンサ４４は、それぞれ電子機器１のタイマー１２、ＵＶセンサ１９、照度センサ２０、加速度センサ２１、地磁気センサ２２、気圧センサ２３およびジャイロセンサ２４と同様である。

再び図４を参照する。電子機器１は、上記の構成の外部機器２−１，２−２と通信して、外部機器２−１，２−２を遠隔操作することができる。本実施形態において、電子機器１の通信ユニット１７は、例えばＩＥＥＥ８０２．１１で外部機器２−１，２−２と通信する。代替例として、通信ユニット１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）で外部機器２−１，２−２と通信してもよい。また、電子機器１は、セルラーフォンの通信規格の一つによって外部機器２−１へ電話発信し、通話することができる。

電子機器１の通信ユニット１７によって外部機器２−１から異常通知信号を取得すると、電子機器１のコントローラ１１は、近接センサ１８によって検出されたジェスチャに基づき外部機器２−１または外部機器２−２に指示を与える。異常通知信号は、ユーザが緊急に対応すべき状態であることを通知する信号である。本実施形態での異常通知信号は、子供が泣いているので子守（声をかける、あやすといった応答）が必要であることを通知する信号である。ユーザはジェスチャによって、外部機器２−１，２−２を遠隔操作することができる。また、ユーザはジェスチャによって、外部機器２−１へ電話発信することもできる。つまり、料理中のユーザは、電子機器１に触れることなく、ジェスチャによってキッチンにいたまま子守をすることが可能である。

（ジェスチャ処理情報）
図６は、ストレージ１６に記憶されるジェスチャ処理情報１１１の一例を示す図である。ジェスチャ処理情報１１１は、モードに応じたジェスチャに基づく処理を定めたテーブルである。ジェスチャ処理情報１１１はストレージ１６に記憶される。また、ジェスチャ処理情報１１１は、コントローラ１１によってストレージ１６から読み出されて、コントローラ１１がジェスチャに基づく処理を切り替えるのに用いられる。

本実施形態において、ジェスチャ処理情報１１１は「モード」および「ジェスチャに基づく処理」の項目を含む。

「モード」は電子機器１の動作モードである。図６に示されるように、電子機器１は第１モード（通常モード）、第２モード（キッチンモード）および第３モード（異常対応モード）を有する。第２モード（キッチンモード）および第３モード（異常対応モード）において、ユーザはコントローラ１１にジェスチャに基づく処理を実行させる。電子機器１が第１モード（通常モード）である場合は、ジェスチャに基づく処理が実行されない。電子機器１が第１モード（通常モード）である場合には、ジェスチャではなく、タッチパネルへの接触操作によって処理が実行される。電子機器１は、第２モード（キッチンモード）から第３モード（異常対応モード）に移行することができる。また、第３モード（異常対応モード）での処理が完了すると、電子機器１は第２モード（キッチンモード）に移行する。つまり、電子機器１は、第１モード（通常モード）から第３モード（異常対応モード）に移行しない。また、電子機器１は、第３モード（異常対応モード）から第１モード（通常モード）に移行しない。

「ジェスチャに基づく処理」は、近接センサ１８によって検出されたジェスチャに基づいてコントローラ１１が実行する処理を示す。コントローラ１１は、電子機器１が第２モードである場合に、上下移動するジェスチャが検出されると、ディスプレイ１４に表示されている画面をスクロールする。また、コントローラ１１は、電子機器１が第２モードである場合に、左右移動するジェスチャが検出されると、レシピの選択処理を実行する。また、コントローラ１１は、電子機器１が第２モードである場合に、三角形を描くジェスチャが検出されると、ユーザによる直前の選択（例えば画面スクロール）をキャンセルする。

ここで、ユーザは、キッチンでレシピを表示しながら料理を行う場合に、例えばノーティフィケーションで電子機器１を第２モード（キッチンモード）に設定する。第２モード（キッチンモード）で動作している電子機器１は、通信ユニット１７によって外部機器２−１から異常通知信号を取得すると、第３モード（異常対応モード）へと移行する。コントローラ１１は、電子機器１が第３モードである場合に、上下移動するジェスチャが検出されると、外部機器２−１（第１の外部機器）へ電話発信する。このとき、ユーザは泣いている子供に自分の声を聞かせてあやすことができる。

また、コントローラ１１は、電子機器１が第３モードである場合に、左右移動するジェスチャが検出されると、外部機器２−２（第２の外部機器）を動かす。本実施形態において、外部機器２−２はおもちゃの外観を有する。そのため、ユーザは泣いている子供を、おもちゃを動かして泣きやませることができる。

また、コントローラ１１は、電子機器１が第３モードである場合に、円を描くジェスチャが検出されると、画像表示を実行する。画像表示は、外部機器２のカメラ３３で撮像された画像を電子機器１のディスプレイ１４に表示させること、および、電子機器１のカメラ１３で撮像された画像を外部機器２のディスプレイ３４に表示させること、の少なくとも一方を実行する処理である。本実施形態において、電子機器１は外部機器２−１との間で双方向の画像表示を行う。ここで、外部機器２−２はディスプレイ３４を有していない。電子機器１は、外部機器２−２との間で片方向の画像表示を行い、外部機器２−２のカメラ３３で撮像された画像をディスプレイ１４に表示する。

また、コントローラ１１は、電子機器１が第３モードである場合に、三角形を描くジェスチャが検出されると、ユーザによる直前の選択（例えば外部機器２−１への電話発信）をキャンセルする。また、電子機器１が第３モードである場合に、近接センサ１８が一定時間ジェスチャを検出しない場合に、コントローラ１１は、電子機器１のモードを第２モード（キッチンモード）へ移行させる。本実施形態において、一定時間は５秒間であるが、これに限定されるものではなく例えば２０秒間でもよい。

ここで、第３モード（異常対応モード）で動作している電子機器１は、複数のジェスチャに基づく処理を実行してもよい。本実施形態において、電子機器１は、上下移動するジェスチャおよび円を描くジェスチャを検出して、電子機器１と外部機器２−１との間でテレビ電話機能を実現してもよい。

（フローチャート）
図７は、本実施形態に係る電子機器１のコントローラ１１が実行する、ジェスチャに基づく処理の一例を示すフローチャートである。

コントローラ１１は異常があったか、つまり、外部機器２−１から異常通知信号を受信したか否かを判定する（ステップＳ１）。コントローラ１１は異常がなければそのまま待機する（ステップＳ１のＮｏ）。

コントローラ１１は異常通知信号を受信した場合に（ステップＳ１のＹｅｓ）、ユーザに異常を通知する（ステップＳ２）。ユーザへの異常の通知は、例えばディスプレイ１４に異常が発生したことを表示することであってもよい。また、ユーザへの異常の通知は、例えば警告音または警告文をスピーカー２５から音声で出力することであってもよい。例えば、「子供が泣きだしました」というメッセージがディスプレイ１４に表示されてもよいし、音声でスピーカー２５から出力されてもよい。

コントローラ１１は、電子機器１のモードが第２モード（キッチンモード）であるか否かを判定する（ステップＳ３）。第２モード（キッチンモード）でない第１モード（通常モード）の場合には（ステップＳ３のＮｏ）、コントローラ１１は一連の処理を終了する。このとき、ユーザは料理中でないため、手が汚れたり濡れたりしていない。ユーザは、子供のいる場所に直ちに移動して応答することが可能である。

一方、コントローラ１１は、電子機器１のモードが第２モード（キッチンモード）の場合に（ステップＳ３のＹｅｓ）、ステップＳ４の処理に進む。

コントローラ１１は、電子機器１のモードを第２モード（キッチンモード）から第３モード（異常対応モード）へ移行させる（ステップＳ４）。ここで、コントローラ１１は、ストレージ１６からジェスチャ処理情報１１１を読み出す（図６参照）。第３モードへの移行によって、ジェスチャに基づく処理の内容が切り替わる。

コントローラ１１は、ジェスチャが一定時間（例えば５秒間）検出されない場合に（ステップＳ５のＮｏ）、ステップＳ８の処理に進む。コントローラ１１は、ジェスチャが検出されると（ステップＳ５のＹｅｓ）、ジェスチャに基づく処理を実行する（ステップＳ６）。このときのジェスチャに基づく処理は、外部機器２−１（第１の外部機器）または外部機器２−２（第２の外部機器）に指示を与えるものである。

コントローラ１１は、外部機器２−１または外部機器２−２からエラー通知信号を受信したか否かを判定する（ステップＳ７）。エラー通知信号は、外部機器２−１または外部機器２−２が受け取った指示を実行できない場合に、電子機器１に対して送信する実行エラーを示す信号である。コントローラ１１は、エラー通知信号を受信した場合に（ステップＳ７のＹｅｓ）、ステップＳ５の処理に戻り、ユーザの新たなジェスチャを検出する。このとき、コントローラ１１は、エラー通知信号を受信したこと、および、新たなジェスチャが必要であることの少なくとも一方をユーザに通知してもよい。

コントローラ１１は、指示が実行された場合、つまりエラー通知信号を受信しなかった場合に（ステップＳ７のＮｏ）、電子機器１のモードを第２モード（キッチンモード）に移行させる（ステップＳ８）。そして、コントローラ１１は一連の処理を終了する。

図８のフローチャートは、本実施形態に係る電子機器１から遠隔操作、または通話等の指示を受ける外部機器２−１（第１の外部機器）のコントローラ３１が実行する処理の一例を示す。外部機器２−１は例えばスマートフォンである。代替例として、外部機器２−１は携帯電話端末、ファブレット、タブレットＰＣまたはフィーチャーフォン、ペットカメラ、通話機能が付いた無線ネットワークカメラ等でもよい。

外部機器２−１のコントローラ３１は異常を検知するまで待機する（ステップＳ１１のＮｏ）。本実施形態において、コントローラ３１はベビーベッドに子供とともに配置されて、子供に異常がないかを検知する。異常は例えば子供が泣き出すことである。本実施形態において、外部機器２−１のマイク３５は常時動作している。そして、コントローラ３１はマイク３５が検出した音声が泣き声であるかを判定する。

外部機器２−１のコントローラ３１は異常を検知すると（ステップＳ１１のＹｅｓ）、異常通知信号を電子機器１へ送信する（ステップＳ１２）。

外部機器２−１のコントローラ３１は電子機器１から遠隔操作または通話等の指示があったか否かを判定する（ステップＳ１３）。電子機器１から指示がない場合には（ステップＳ１３のＮｏ）、外部機器２−１のコントローラ３１は一連の処理を終了する。ここで、電子機器１からの遠隔操作の指示は、例えば電子機器１からの音声（ユーザの声等）をスピーカー４５から出力することでもよい。また、電子機器１からの遠隔操作の指示は、例えばストレージ３６に記憶された子供が好きな動画をディスプレイ３４に表示させることでもよい。

電子機器１から指示があった場合には（ステップＳ１３のＹｅｓ）、外部機器２−１のコントローラ３１は、その指示を実行可能であるか否かを判定する（ステップＳ１４）。例えば電子機器１からテレビ電話機能の実施の指示があったとする。このとき、例えばカメラ３３が子供の方を向いておらず子供の撮像が困難であれば、外部機器２−１のコントローラ３１はその指示を実行可能でないと判定する（ステップＳ１４のＮｏ）。そして、外部機器２−１のコントローラ３１は、エラー通知信号を電子機器１へ送信する（ステップＳ１６）。その後、外部機器２−１のコントローラ３１はステップＳ１３の処理に戻る。

外部機器２−１のコントローラ３１は、電子機器１からの指示を実行可能と判定した場合に（ステップＳ１４のＹｅｓ）、その指示を実行して一連の処理を終了する（ステップＳ１５）。

図９のフローチャートは、本実施形態に係る電子機器１から遠隔操作の指示を受ける外部機器２−２（第２の外部機器）のコントローラ３１が実行する処理の一例を示す。外部機器２−２は例えば遠隔操作可能なロボットまたは車等のおもちゃである。本実施形態において、外部機器２−２は、通話機能（マイク３５）および表示機能（ディスプレイ３４）を備えない。

外部機器２−２のコントローラ３１は電子機器１から遠隔操作等の指示があったか否かを判定する（ステップＳ２１）。電子機器１から指示がない場合には（ステップＳ２１のＮｏ）、外部機器２−２のコントローラ３１は一連の処理を終了する。

電子機器１から指示があった場合には（ステップＳ２１のＹｅｓ）、外部機器２−２のコントローラ３１は、その指示を実行可能であるか否かを判定する（ステップＳ２２）。例えば電子機器１から起動するように指示があったとする。このとき、例えば起動して動作するにはバッテリの充電量が不十分であるような場合に、外部機器２−２のコントローラ３１はその指示を実行可能でないと判定する（ステップＳ２２のＮｏ）。そして、外部機器２−２のコントローラ３１は、エラー通知信号を電子機器１へ送信する（ステップＳ２４）。その後、外部機器２−２のコントローラ３１はステップＳ２１の処理に戻る。

外部機器２−２のコントローラ３１は、電子機器１からの指示を実行可能と判定した場合に（ステップＳ２２のＹｅｓ）、その指示を実行して一連の処理を終了する（ステップＳ２３）。

以上に説明したように、本実施形態に係る電子機器１は、外部機器２と通信して、外部機器２から異常通知信号を取得した場合に、ユーザが緊急に対応すべき状態が生じたと判定する。そして、第２モード（キッチンモード）で動作していた電子機器１は、第３モード（異常対応モード）に移行する。第３モード（異常対応モード）で動作する電子機器１は、ジェスチャ処理情報１１１に基づいて、既定状態（レシピ表示）と異なるジェスチャに基づく処理を実行できる。電子機器１は、外部機器２から異常発生の通知を受け取るだけでなく、ジェスチャに基づいて外部機器２への遠隔操作または電話発信等の対応を直ちに行うことができる。つまり、本実施形態に係る電子機器１は、ユーザが緊急対応を行う際に、ジェスチャによる入力操作を中断する必要がないため、緊急対応の実行までのタイムラグを小さくすることができる。

（その他の実施形態）
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

上記の実施形態では、電子機器１は２つの外部機器２−１，２−２と通信し、これらに指示を与えていた。しかし、電子機器１は１つの外部機器２とだけ通信してもよいし、３つ以上の外部機器２と通信してもよい。また、電子機器１は、他の外部機器２と通信可能な１つの外部機器２と通信してもよい。例えば、外部機器２−１が外部機器２−２と通信可能である場合に、電子機器１は外部機器２−１とだけ通信してもよい。このとき、電子機器１のコントローラ１１は、外部機器２−１を介して外部機器２−２を遠隔操作することができる。例えば、外部機器２−２の通信範囲が近距離（例えば数メートル）に限られる場合に、外部機器２−１を介することによって、電子機器１は外部機器２−２の通信範囲よりも離れた場所から外部機器２−２を操作できる。また、上記の実施形態では、外部機器２−２の構成は外部機器２−１の構成と異なり、例えばディスプレイ３４の有無の違いがあった。しかし、複数の外部機器２は互いに同じ構成であってもよい。

上記の実施形態では、ノーティフィケーション（通知画面）でユーザが操作することによって第２モード（キッチンモード）に設定された。ここで、所定の条件が満たされると、コントローラ１１が自動的に電子機器１を第２モードに設定してもよい。例えば、コントローラ１１は、例えばレシピを表示するアプリが実行されている、またはレシピサイトが閲覧されている場合に、第１の条件が満たされると判定する。コントローラ１１は、第１の条件が満たされて、かつ、レシピの選択中でない（例えば３０秒程度の一定時間レシピの変更がない場合等）と判定する場合に電子機器１を第２モードに設定してもよい。また、コントローラ１１は、第１の条件が満たされて、かつ、ユーザが一定時間（例えば１分等）以上タッチパネルに操作入力をしていないと判定する場合に電子機器１を第２モードに設定してもよい。また、コントローラ１１は、第１の条件が満たされて、かつ、電子機器１が一定時間（例えば１分等）以上、位置に変化がない場合に電子機器１を第２モードに設定してもよい。

上記の実施形態では、外部機器２−１は子供についての異常（泣き出す等）を検出した。ここで、外部機器２−１が異常を検出する対象は子供以外（例えばペット等）でもよい。また、外部機器２−１は音声の変化から異常を検出するだけではなく、映像の変化から異常を検出してもよい。

上記の実施形態では、電子機器１が第３モード（異常対応モード）の場合に、音声通話（電話発信）と画像表示とが異なるジェスチャに対応付けられていた（図６参照）。しかし、テレビ電話機能が１つのジェスチャに対応付けられていてもよい。

上記の実施形態では、電子機器１は、１つの処理に１つのジェスチャを対応させていた。しかし、電子機器１は処理を選択する画面の表示を１つのジェスチャに対応させてもよい。例えば、電子機器１が第３モード（異常対応モード）の場合に、近接センサ１８が左右移動のジェスチャを検出すると「第１の外部機器へ電話発信」、「第２の外部機器を動かす」および「画像表示」の選択肢が画面に表示されてもよい。そして、上移動のジェスチャまたは下移動のジェスチャによって、ユーザが一つの処理を選択できてもよい。また、エラー通知信号を受信した処理の選択肢については、非表示またはユーザが選択できないようにしてもよい。このとき、より多くの選択肢から最終的な処理を決定することが可能になる。

本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、ＰＣ（パーソナルコンピュータ）、専用コンピュータ、ワークステーション、ＰＣＳ（Personal Communications System、パーソナル移動通信システム）、移動（セルラー）電話機、データ処理機能を備えた移動電話機、ＲＦＩＤ受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、ＧＰＳ（Global Positioning System）受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、プログラム命令（ソフトウェア）で実装された専用回路（例えば、特定機能を実行するために相互接続された個別の論理ゲート）、一以上のプロセッサにより実行される論理ブロックおよび／またはプログラムモジュール等により実行されることに留意されたい。論理ブロックやプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、ＣＰＵ（中央演算処理ユニット）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および／またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および／または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。

ここで用いられるストレージ１６は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置（例えば、ＣＤ（Compact Disk）、レーザーディスク（登録商標）、ＤＶＤ（登録商標）（Digital Versatile Disc）、フロッピー（登録商標）ディスクおよびブルーレイディスク（登録商標))、可搬型コンピュータディスク、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）もしくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサ／プロセッシングユニットの内部および／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類や数に限定されない。また、記憶が格納される媒体の種類も限定されない。

１ 電子機器
２ 外部機器
１１ コントローラ
１２ タイマー
１３ カメラ
１４ ディスプレイ
１５ マイク
１６ ストレージ
１７ 通信ユニット
１８ 近接センサ
１９ ＵＶセンサ
２０ 照度センサ
２１ 加速度センサ
２２ 地磁気センサ
２３ 気圧センサ
２４ ジャイロセンサ
２５ スピーカー
３１ コントローラ
３２ タイマー
３３ カメラ
３４ ディスプレイ
３５ マイク
３６ ストレージ
３７ 通信ユニット
３９ ＵＶセンサ
４０ 照度センサ
４１ 加速度センサ
４２ 地磁気センサ
４３ 気圧センサ
４４ ジャイロセンサ
４５ スピーカー
１１１ ジェスチャ処理情報

Claims (7)

1. 近接センサと、
   外部機器と通信する通信ユニットと、
   前記通信ユニットによって前記外部機器から異常通知信号を取得すると、前記近接センサによって検出されたジェスチャに基づき前記外部機器を遠隔操作する信号を送信するコントローラと、を備える、電子機器。
2. 近接センサと、
   外部機器と通信する通信ユニットと、
   前記通信ユニットによって前記外部機器から異常通知信号を取得すると、前記近接センサによって検出されたジェスチャに基づき前記外部機器へ電話発信するコントローラと、を備える、電子機器。
3. 前記外部機器は、第１の外部機器および第２の外部機器を含み、
   前記コントローラは、前記第１の外部機器を介して前記第２の外部機器を遠隔操作する、請求項１または２に記載の電子機器。
4. 近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器に、
   前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、
   前記近接センサによって検出されたジェスチャに基づき前記外部機器を遠隔操作する信号を送信するステップと、を実行させるプログラム。
5. 近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器に、
   前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、
   前記近接センサによって検出されたジェスチャに基づき前記外部機器へ電話発信するステップと、を実行させるプログラム。
6. 近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器の制御方法であって、
   前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、
   前記近接センサによって検出されたジェスチャに基づき前記外部機器を遠隔操作する信号を送信するステップと、を含む制御方法。
7. 近接センサと、外部機器と通信する通信ユニットと、を備える、電子機器の制御方法であって、
   前記通信ユニットによって前記外部機器から異常通知信号を取得するステップと、
   前記近接センサによって検出されたジェスチャに基づき前記外部機器へ電話発信するステップと、を含む制御方法。

Images