JP2018181293A - 電子機器、プログラムおよび制御方法 - Google Patents
電子機器、プログラムおよび制御方法 Download PDFInfo
- Publication number
- JP2018181293A JP2018181293A JP2017173951A JP2017173951A JP2018181293A JP 2018181293 A JP2018181293 A JP 2018181293A JP 2017173951 A JP2017173951 A JP 2017173951A JP 2017173951 A JP2017173951 A JP 2017173951A JP 2018181293 A JP2018181293 A JP 2018181293A
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- user
- controller
- gesture
- gesture detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
(電子機器の構成)
図1に示すように一実施形態の電子機器1は、近接センサ18(ジェスチャセンサ)と、コントローラ11と、を備える。また、電子機器1は、タイマー12と、カメラ13と、ディスプレイ14と、マイク15と、ストレージ16と、通信ユニット17と、スピーカー25と、を備える。本実施形態において、電子機器1は、さらにUVセンサ19と、照度センサ20と、加速度センサ21と、地磁気センサ22と、気圧センサ23と、ジャイロセンサ24と、を備える。図1は例示である。電子機器1は図1に示す構成要素の全てを含まなくてもよい。また、電子機器1は図1に示す以外の構成要素を備えていてもよい。
図2は、ユーザがジェスチャにより電子機器1を操作する様子を示す。図2において、電子機器1は一例としてスタンドによって支持される。代替例として電子機器1は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ18がユーザのジェスチャを検出すると、コントローラ11は検出されたジェスチャに基づく処理を行う。図2の例では、ジェスチャに基づく処理はレシピが表示されている画面のスクロールである。例えば、ユーザが電子機器1の長手方向上方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が上方へとスクロールする。また、例えば、ユーザが電子機器1の長手方向下方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が下方へとスクロールする。ここで、近接センサ18によるジェスチャ検出に代えて、カメラ13が撮影した画像に基づいてコントローラ11がジェスチャ検出を実行してもよい。
ここで、図3および図4を参照しながら、コントローラ11が近接センサ18の出力に基づいてユーザのジェスチャを検出する手法を説明する。図3は、電子機器1を正面から見たときの近接センサ18の構成例を示す図である。近接センサ18は、光源用赤外LED180と、4つの赤外フォトダイオードSU,SR,SDおよびSLと、を有する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181を介して検出対象物からの反射光を検出する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181の中心から見て対称的に配置されている。ここで、図3に示される仮想線D1は電子機器1の長手方向と略平行であるとする。図3の仮想線D1上に、赤外フォトダイオードSUと赤外フォトダイオードSDとが離れて配置されている。そして、図3の仮想線D1の方向において、赤外フォトダイオードSRおよびSLは、赤外フォトダイオードSUと赤外フォトダイオードSDとの間に配置されている。
図5は、ユーザがジェスチャにより電子機器1を操作する状況の一例を示す。図5の例で、ユーザは料理のレシピを電子機器1のディスプレイ14に表示しながら、キッチンでレシピに従って料理をしている。図5の例において、近接センサ18はユーザのジェスチャを検出する。そして、コントローラ11は近接センサ18が検出したジェスチャに基づく処理を行う。例えば、コントローラ11は特定のジェスチャ(例えばユーザが手を上下に動かすジェスチャ)に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器1に触れることなくレシピをスクロールすることができる。したがって、ディスプレイ14が汚れること、および料理中のユーザの手にディスプレイ14の汚れがうつることを回避できる。
本実施形態に係る電子機器1のコントローラ11は、ユーザが自機器を使用する状態を、ユーザの自機器の使用環境に応じて決定する。自機器の使用環境は例えば周囲の明るさである。例えばキッチンで電子機器1を第2モード(キッチンモード)で動作させる場合、午後から夕方にかけて太陽からの西日が強く入り込むことがある。このとき、カメラ13からの画像を用いる画像処理によるジェスチャ検出では、逆光の影響によってユーザを正確に抽出できずに、ジェスチャの認識率が低下するおそれがある。
図8は電子機器1が実行する周囲光の照度に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。図8に示す処理の開始時において、電子機器1はジェスチャによる入力操作が可能な第2モード(キッチンモード)で動作している。
第2実施形態に係る電子機器1について図9および図10を参照しながら説明する。本実施形態の電子機器1の構成は第1実施形態と同じである。本実施形態の電子機器1は、以下に説明するように、近接センサ18から出力される値に基づいたジェスチャ検出と、カメラ13から出力される値に基づいたジェスチャ検出と、を切り替える。
図9(a)は、第2モードで動作する電子機器1のディスプレイ14にレシピが表示された様子(アクティブ状態の一例)を示す。図9(b)は、電子機器1がスリープ状態となってディスプレイ14が非表示となった様子を示す。図9(a)の状態でユーザからの入力操作が無く所定時間(例えば1分)が経過すると、電子機器1はスリープ状態となって、図9(b)に示すようにディスプレイ14が非表示になる。また、第2モードで動作する電子機器1は、スリープ状態の場合であってもジェスチャ入力操作が有効である。そのため、図9(b)の状態でユーザが手を電子機器1にかざすと、電子機器1のスリープ状態が解除されて、図9(a)の表示に戻る。
本実施形態に係る電子機器1のコントローラ11は、ユーザが自機器を使用する状態を、自機器自体の状態に応じて決定する。自機器自体の状態は、この例ではアクティブ状態またはスリープ状態である。コントローラ11は、電子機器1がアクティブ状態であれば、カメラ13を動作させて画像処理によるジェスチャ検出を行う。上記のように、画像処理によるジェスチャ検出が行われることによって、ジェスチャに関するユーザの操作性が向上する。
図10は電子機器1が実行する、電子機器1自体の状態に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。図10に示す処理の開始時において、電子機器1はジェスチャによる入力操作が可能な第2モード(キッチンモード)で動作している。また、図10に示す処理の開始時において、電子機器1はスリープ状態が解除された状態(通常の画面表示に戻った状態)である。
第3実施形態に係る電子機器1について図11を参照しながら説明する。本実施形態の電子機器1の構成は第1実施形態と同じである。本実施形態の電子機器1は、以下に説明するように、近接センサ18から出力される値に基づいたジェスチャ検出と、カメラ13から出力される値に基づいたジェスチャ検出と、を切り替える。
図11は電子機器1が実行する、ユーザと自機器(電子機器1)との距離に応じたジェスチャ検出手法の切り替え処理を例示するフローチャートである。図11に示す処理の開始時において、電子機器1はジェスチャによる入力操作が可能な第2モード(キッチンモード)で動作している。
第4実施形態に係る電子機器1について図12および図13を参照しながら説明する。本実施形態の電子機器1の構成は第1実施形態と同じである。本実施形態の電子機器1は、以下に説明するように、近接センサ18から出力される値に基づいたジェスチャ検出と、カメラ13から出力される値に基づいたジェスチャ検出と、を切り替える。
本実施形態に係る電子機器1のコントローラ11は、ユーザが自機器を使用する状態を、ユーザの操作に応じて決定する。ユーザの操作は、例えば表示画面を変更する操作である。本実施形態の例では、ユーザが図12(a)のレシピの表示画面から図12(b)のタイマー画面に変更する操作である。コントローラ11は、ディスプレイ14にレシピが表示されている状態では、近接センサ18によるジェスチャ検出を行う。そして、ユーザがディスプレイ14にタイマー画面を表示させる操作をすると、画像処理によるジェスチャ検出を行う。
本実施形態に係る電子機器1のコントローラ11は、近接センサ18によるジェスチャ検出を行う(ステップS31)。
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
上記の第1実施形態では、西日が強く入り込むことがあるキッチンで電子機器1を動作させた。ここで、電子機器1は屋内だけで使われるものではなく、屋外でも使用され得る。電子機器1は、屋内での使用か、屋外での使用かを判断して、ジェスチャ検出手法を切り替えてもよい。
上記の第2実施形態では、自機器(電子機器1)自体の状態がアクティブ状態であれば、一律に画像処理によるジェスチャ検出が行われた。しかし、コントローラ11は、特定のアプリケーションが起動されたことを条件として、画像処理によるジェスチャ検出を行ってもよい。
上記の第3実施形態では、ユーザと自機器との距離は、加速度センサ21が検出した加速度の情報に基づく電子機器1の静止状態から推定されていた。ここで、電子機器1は、ユーザとの距離を直接的に測定する測距センサを備えていてもよい。そして、コントローラ11は、加速度センサ21からの加速度の情報に代えて、測距センサからの出力信号(より具体的には、ユーザと電子機器1との距離についての情報)に基づいて距離を求めてもよい。測距センサは、例えばユーザを複数の異なる方向から同時に撮影することによって、ユーザまでの距離の情報を記録できるステレオカメラである。コントローラ11は、ステレオカメラからステレオ画像を取得する。コントローラ11は、ステレオ画像からユーザを抽出して所定の画像処理を施すことにより、ユーザまでの距離を求めることができる。
また、上記の実施形態および変形例を適宜組み合わせて実行することが可能である。例えば、第3実施形態のようにユーザと自機器との距離に応じてジェスチャ検出手法を切り替えることを優先的に適用しながら、第1実施形態のように周囲光の照度に応じてもジェスチャ検出手法を切り替えることが可能である。例えば、電子機器1は、ユーザと自機器が離れている(例えば数m程度)と判定する場合に画像処理によるジェスチャ検出を行う。そして、電子機器1は、ユーザが近接センサ18の検出距離の範囲にいる場合に、基本的に近接センサ18によるジェスチャ検出を行う。しかし、周囲光の照度が第1の閾値以上かつ第2の閾値未満であれば、電子機器1は画像処理によるジェスチャ検出に切り替える。
11 コントローラ
12 タイマー
13 カメラ
14 ディスプレイ
15 マイク
16 ストレージ
17 通信ユニット
18 近接センサ
19 UVセンサ
20 照度センサ
21 加速度センサ
22 地磁気センサ
23 気圧センサ
24 ジャイロセンサ
25 スピーカー
180 光源用赤外LED
181 レンズ
SU,SR,SD,SL フォトダイオード
Claims (6)
- 近接センサと、
カメラと、
周囲の明るさに応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるコントローラと、を備える電子機器。 - 前記コントローラは、
更にユーザと自機器との距離にも応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替える、ことを特徴とする請求項1に記載の電子機器。 - 加速度センサを更に備え、
前記コントローラは、
前記加速度センサからの出力信号に基づいて前記距離について判定する、ことを特徴とする請求項2に記載の電子機器。 - 測距センサを更に備え、
前記コントローラは、
前記測距センサからの出力信号に基づいて前記距離を求める、ことを特徴とする請求項2に記載の電子機器。 - 近接センサと、カメラと、を備える電子機器に、
周囲の明るさに応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を実行させるプログラム。 - 近接センサと、カメラと、を備える電子機器の制御方法であって、
周囲の明るさに応じて、前記近接センサから出力される値に基づいたジェスチャ検出と前記カメラから出力される値に基づいたジェスチャ検出とを切り替えるステップ、を含む制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017173951A JP6546632B2 (ja) | 2017-09-11 | 2017-09-11 | 電子機器、プログラムおよび制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017173951A JP6546632B2 (ja) | 2017-09-11 | 2017-09-11 | 電子機器、プログラムおよび制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017082326A Division JP6209699B1 (ja) | 2017-04-18 | 2017-04-18 | 電子機器、プログラムおよび制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018181293A true JP2018181293A (ja) | 2018-11-15 |
JP6546632B2 JP6546632B2 (ja) | 2019-07-17 |
Family
ID=64275685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017173951A Active JP6546632B2 (ja) | 2017-09-11 | 2017-09-11 | 電子機器、プログラムおよび制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6546632B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107129A (ja) * | 2018-12-27 | 2020-07-09 | レノボ・シンガポール・プライベート・リミテッド | 電子機器、制御方法、及びプログラム |
WO2020166140A1 (ja) * | 2019-02-15 | 2020-08-20 | 株式会社日立製作所 | ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014164755A (ja) * | 2013-02-22 | 2014-09-08 | Samsung Electronics Co Ltd | センサを用いる近接動作認識装置及びその装置を用いた方法 |
JP2015509634A (ja) * | 2012-03-01 | 2015-03-30 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 複数のタイプのセンサーからの情報に基づくジェスチャー検出 |
JP2016502721A (ja) * | 2012-11-29 | 2016-01-28 | アマゾン・テクノロジーズ、インコーポレイテッド | 電子デバイスのためのジェスチャー検出管理 |
JP2016057779A (ja) * | 2014-09-08 | 2016-04-21 | 嘉泰 小笠原 | 電子機器 |
JP2016218899A (ja) * | 2015-05-25 | 2016-12-22 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
-
2017
- 2017-09-11 JP JP2017173951A patent/JP6546632B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015509634A (ja) * | 2012-03-01 | 2015-03-30 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 複数のタイプのセンサーからの情報に基づくジェスチャー検出 |
JP2016502721A (ja) * | 2012-11-29 | 2016-01-28 | アマゾン・テクノロジーズ、インコーポレイテッド | 電子デバイスのためのジェスチャー検出管理 |
JP2014164755A (ja) * | 2013-02-22 | 2014-09-08 | Samsung Electronics Co Ltd | センサを用いる近接動作認識装置及びその装置を用いた方法 |
JP2016057779A (ja) * | 2014-09-08 | 2016-04-21 | 嘉泰 小笠原 | 電子機器 |
JP2016218899A (ja) * | 2015-05-25 | 2016-12-22 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
Non-Patent Citations (1)
Title |
---|
スマートフォン究極の快適設定, JPN6018049143, 7 June 2014 (2014-06-07), pages 9, ISSN: 0003938733 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107129A (ja) * | 2018-12-27 | 2020-07-09 | レノボ・シンガポール・プライベート・リミテッド | 電子機器、制御方法、及びプログラム |
US11579895B2 (en) | 2018-12-27 | 2023-02-14 | Lenovo (Singapore) Pte. Ltd. | Controlling operational state of an electronic apparatus based on user proximity and user input |
WO2020166140A1 (ja) * | 2019-02-15 | 2020-08-20 | 株式会社日立製作所 | ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム |
JP2020135176A (ja) * | 2019-02-15 | 2020-08-31 | 株式会社日立製作所 | ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム |
JP7053516B2 (ja) | 2019-02-15 | 2022-04-12 | 株式会社日立製作所 | ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム |
US11409369B2 (en) | 2019-02-15 | 2022-08-09 | Hitachi, Ltd. | Wearable user interface control system, information processing system using same, and control program |
Also Published As
Publication number | Publication date |
---|---|
JP6546632B2 (ja) | 2019-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10775998B2 (en) | Electronic device and control method | |
WO2018193877A1 (ja) | 電子機器、プログラムおよび制御方法 | |
US20180284902A1 (en) | Electronic device, recording medium, and control method | |
JP6101881B1 (ja) | 電子機器、プログラムおよび制御方法 | |
US11269417B2 (en) | Electronic device configured to communicate with an intercom, and control method thereof | |
JP6546632B2 (ja) | 電子機器、プログラムおよび制御方法 | |
JP6255129B1 (ja) | 電子機器 | |
US20180299989A1 (en) | Electronic device, recording medium, and control method | |
JP2018181351A (ja) | 電子機器 | |
JP2014064222A (ja) | 携帯端末、輝度制御プログラムおよび輝度制御方法 | |
JP6568331B1 (ja) | 電子機器、制御方法、及びプログラム | |
JP2019040247A (ja) | 電子機器、プログラムおよび制御方法 | |
JP6173625B1 (ja) | 電子機器、プログラムおよび制御方法 | |
JP6235175B1 (ja) | 電子機器、プログラムおよび制御方法 | |
JP6333461B1 (ja) | 電子機器 | |
JP2018110370A (ja) | 電子機器、プログラムおよび制御方法 | |
JP6346699B1 (ja) | 電子機器 | |
JP6163274B1 (ja) | 電子機器、プログラムおよび制御方法 | |
JP2018109871A (ja) | 電子機器 | |
JP2018109955A (ja) | 電子機器、プログラムおよび制御方法 | |
JP2018181307A (ja) | 電子機器、プログラムおよび制御方法 | |
JP2018109873A (ja) | 電子機器、プログラムおよび制御方法 | |
JP2019149825A (ja) | 電子機器、プログラムおよび制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6546632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |