JP2022136601A - 電子機器およびその制御方法およびプログラム - Google Patents
電子機器およびその制御方法およびプログラム Download PDFInfo
- Publication number
- JP2022136601A JP2022136601A JP2021036294A JP2021036294A JP2022136601A JP 2022136601 A JP2022136601 A JP 2022136601A JP 2021036294 A JP2021036294 A JP 2021036294A JP 2021036294 A JP2021036294 A JP 2021036294A JP 2022136601 A JP2022136601 A JP 2022136601A
- Authority
- JP
- Japan
- Prior art keywords
- item
- user
- display
- line
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 30
- 210000003811 finger Anatomy 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 229910005580 NiCd Inorganic materials 0.000 description 2
- 229910005813 NiMH Inorganic materials 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000010897 surface acoustic wave method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザの意図しない項目に対する操作が行われるのを防ぎ、操作性を向上させる電子機器およびその制御方法およびプログラムを提供する。【解決手段】電子機器(デジタルカメラ100)は、ユーザによる操作を受け付ける操作部70と、アイテムを表示する表示部28と、表示部に対するユーザの視線位置を検知する視線検知部110と、操作部材に割り当てられた第1の項目、または検知された視線位置に表示されているアイテムに割り当てられた第2の項目、と対応する操作を実行するシステム制御部50と、を備える。システム制御部は、操作部がユーザによる操作を受け付けた場合に、検知された視線位置にアイテムが表示されていないときは、操作部に割り当てられた第1の項目と対応する操作を実行する。【選択図】図2
Description
本発明は、ユーザの視線検知に基づく操作を受け付け可能な電子機器およびその制御方法およびプログラムに関する。
従来、デジタルカメラ等の電子機器においては、ダイヤルやボタン等の操作部材が設けられている。たとえば、ユーザがファインダーを覗いているときには、これらの操作部材を見ることができないため、正確に操作部材を選んで所望の操作を行うことが困難であった。そこで、ユーザの視線を検知し、視線位置に応じて操作に関わる項目を決定するようにすれば、ユーザはファインダーを覗いたまま、操作を行うことができるようになる。
例えば、特許文献1には、画面を観察するユーザの視線を検出し、特定された視線位置に対応するメニュー項目を選択した後、ユーザの目の瞬きを検出すると、選択中のメニュー項目に決定することが開示されている。
しかしながら、ダイヤルやボタン等の操作部材にも、予め特定の項目が割り当てられている。よって、ユーザが操作部材を操作して、特定の項目を操作しようとしているときに、ユーザの視線検知の結果に基づき別の項目が操作されてしまうと、ユーザの意図とは異なる項目に対する操作が行われることになり、操作性が低下するという問題があった。
そこで、本発明は、上記の問題点に鑑み、ユーザが所定のアイテムに視線を向けていないときに、操作部材にあらかじめ割り当てられた項目以外の項目の操作が、その操作部材を操作することによりなされないようにする。これにより、ユーザの意図しない項目に対する操作が行われるのを防ぎ、操作性を向上させることを目的とする。
上記課題を解決するために、本願にかかる発明の一つは、電子機器であって、ユーザによる操作を受け付ける操作部材と、アイテムを表示する表示器と、前記表示器に対するユーザの視線位置を検知する視線検知手段と、前記ユーザによる操作を受け付けた操作部材に割り当てられた第1の項目と対応する操作または前記検知された視線位置に表示されているアイテムに割り当てられた第2の項目と対応する操作を実行するよう制御する実行手段とを備え、前記実行手段は、前記検知された視線位置に前記アイテムが表示されていないときは、前記第1の項目と対応する操作を実行するよう制御することを特徴とする。
本発明によれば、ユーザの視線検知に基づく操作を受け付け可能な電子機器において、ユーザが所定のアイテムに視線を向けていないときに、操作部材にあらかじめ割り当てられた項目以外の項目の操作が、その操作部材を操作することによりなされないようにする。これにより、ユーザの意図しない項目に対する操作が行われるのを防ぎ、操作性を向上させることができるという効果が得られる。
以下、本発明の好ましい実施例について、図面を参照しながら詳細に説明する。各図において、同一の構成については原則として同一の参照番号をふり、重複する説明は省略する。また、説明を具体化するために例示する数値等は、特に言及しない限りは、これに限定するものではない。
また、本発明は以下の実施例に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。例えば、本発明が適用される装置の構成や各種条件によって下記実施例の各構成が適宜修正又は変更されてもよい。
<実施例1>
図1(a)、図1(b)に、本発明を適用可能な電子機器の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
図1(a)、図1(b)に、本発明を適用可能な電子機器の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
表示部28は、デジタルカメラ100の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル70aは、表示部28の表示面(タッチ操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、デジタルカメラ100の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ100の様々な設定値を表示する。シャッターボタン61は撮影指示を行うための操作部材である。モード切替スイッチ60は、各種モードを切り替えるための操作部材である。端子カバー40は、デジタルカメラ100を外部機器に接続する接続ケーブル等とのコネクタ(不図示)を保護するカバーである。
メイン電子ダイヤル71は回転操作部材であり、メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、サブ電子ダイヤル73を回すことで、選択枠の移動や画像送りなどが行える。4方向キー74は、上、下、左、右部分をそれぞれ押し込み可能に構成され、4方向キー74の押した部分に応じた処理が可能である。SETボタン75は、押しボタンであり、主に選択項目の決定などに用いられる。
動画ボタン76は、動画撮影(記録)の開始や停止の指示に用いられる。AEロックボタン77は押しボタンであり、撮影待機状態でAEロックボタン77を押下することにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示(LV表示)において拡大モードのONとOFFを切り替えるための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像(LV画像)の拡大や縮小を行える。再生モードにおいては、拡大ボタン78は、再生画像を拡大したり、その拡大率を増加させたりするための操作ボタンとして機能する。再生ボタン79は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200(後述)に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン81が押されると各種の設定が可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75とを用いて直感的に各種設定を行うことができる。
タッチバー82(マルチファンクションバー:M-Fnバー)は、タッチ操作を受け付けることが可能なライン状のタッチ操作部材(ラインタッチセンサー)である。タッチバー82は、通常の握り方(メーカー推奨の握り方)でグリップ部90を握った右手の親指でタッチ操作可能(タッチ可能)な位置に配置されている。タッチバー82は、タッチバー82に対するタップ操作(タッチして所定期間以内に移動せずに離す操作)、左右へのスライド操作(タッチした後、タッチしたままタッチ位置を移動する操作)などを受け付け可能な受付部である。タッチバー82は、タッチパネル70aとは異なる操作部材であり、表示機能を備えていない。
通信端子10は、デジタルカメラ100がレンズユニット150(後述;着脱可能)側と通信を行うための通信端子である。接眼部16は、接眼ファインダー17(覗き込み型のファインダー)の接眼部であり、ユーザは、接眼部16を介して内部のEVF29に表示された映像を視認することができる。接眼検知部57は、接眼部16にユーザ(撮影者)が接眼しているか否かを検知する接眼検知センサーである。
接眼ファインダー17の上下にはそれぞれ視線検知部110a(不図示)および110bが配置されている。ユーザが接眼ファインダー17を覗くと、視線検知部110aおよび110bによってユーザの視線が検知され、いずれの箇所を目視しているかが判定される。
蓋202は、記録媒体200(後述)を格納するスロットの蓋である。グリップ部90は、ユーザがデジタルカメラ100を構える際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61とメイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73とタッチバー82が配置されている。サムレスト部91(親指待機位置)は、デジタルカメラ100の背面側の、どの操作部材も操作しない状態でグリップ部90を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部91は、保持力(グリップ感)を高めるためのラバー部材などで構成される。
図2は、デジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、図2では簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子であり、通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これら通信端子6、10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。また、レンズユニット150は、レンズシステム制御回路4によってAF駆動回路3を介してレンズ103の位置を変位させることで焦点を合わせる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。撮像部22は、システム制御部50にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換する。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理、等)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理、等が行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介してメモリ32に書き込まれる。あるいは、A/D変換器23からの出力データは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28やEVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器19は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28やEVF29に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器19を介して表示部28やEVF29により表示される。表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、D/A変換器19からのアナログ信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器19においてアナログ信号に変換し、表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV)が行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52は例えばRAMであり、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、D/A変換器19、表示部28等を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57は、接眼ファインダー17(以後、単に「ファインダー」と記載する)の接眼部16に対する目(物体)の接近(接眼)および離反(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57としては、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダー17の接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)から投光した赤外線が物体で反射して赤外線近接センサーの受光部(図示せず)で受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
視線検知部110は、ユーザがEVF29のいずれの箇所を目視しているかを判定する、視線位置検知センサーである。
操作部70は、ユーザからの操作(ユーザ操作)を受け付ける入力部であり、システム制御部50に各種の動作指示を入力するために使用される。図2に示すように、操作部70は、モード切替スイッチ60、シャッターボタン61、電源スイッチ72、タッチパネル70a、タッチバー82、等を含む。また、操作部70は、その他の操作部材70bとして、メイン電子ダイヤル71、サブ電子ダイヤル73、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81、等を含む。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60より、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザインターフェース)を提供できる。GUIは本実施例の所定のアイテムの一例である。システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル70a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
また、システム制御部50は、タッチバー82への以下の操作、あるいは状態を検出できる。
・タッチバー82にタッチしていなかった指が新たにタッチバー82にタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチバー82を指でタッチしている状態(以下、タッチオン(Touch-On)と称する)
・指がタッチバー82をタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチバー82へタッチしていた指がタッチバー82から離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチバー82に何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
・タッチバー82にタッチしていなかった指が新たにタッチバー82にタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチバー82を指でタッチしている状態(以下、タッチオン(Touch-On)と称する)
・指がタッチバー82をタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチバー82へタッチしていた指がタッチバー82から離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチバー82に何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチバー82上に指がタッチしている位置座標は内部バスを通じてシステム制御部50に通知され、システム制御部50は通知された情報に基づいてタッチバー82上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチバー82上での水平方向(左右方向)の移動を検知する。タッチ位置が所定距離以上移動(タッチ操作の移動量が所定量以上)したことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチバー82上に指をタッチし、スライド操作することなく、所定時間以内にタッチを離す操作があった場合に、タップ操作が行われたと判定するものとする。タッチバー82は、本実施形態では、静電容量方式のタッチセンサーであるものとする。ただし、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、別の方式のタッチセンサーであってもよい。
次に、図3のフローチャートを参照して、本実施例のデジタルカメラ100の、操作部材への操作による設定値変更処理動作について説明する。
図3のフローは、たとえば、接眼検知部57によりユーザのファインダー17への接眼を検知したことにより開始される。
S301において、システム制御部50は、視線検知部110よりユーザの視線位置を検知し、S302において、EVF29におけるユーザの視線位置に視線位置表示503(後述)を表示する。
そして、S303でユーザによりメイン電子ダイヤル71が回転されたかを判定し、回転されたと判定したときは(S303でYES)、さらに、ユーザの視線位置に所定のアイテムが表示されているかを判定する(S304)。つまり、ユーザが所定のアイテムに視線を向けて見ているかどうかを判定する。視線位置に所定のアイテムが表示されていると判定したときは(S304でYES)、ダイヤル回転に応じて所定のアイテムに対応する項目の値(たとえば、露出レベル表示を見ていると判定したときは露出補正の値)を変更する(S305)。
一方、視線位置に所定のアイテムが表示されていないと判定したときは(S304でNO)、デジタルカメラ100の撮影モードを順次判定する。具体的には、静止画撮影モードが絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)等のいずれの撮影モードに設定されているかを順次判定する。すなわち、まず、絞り優先モード(Avモード)か否かを判定し(S306)、絞り優先モード(Avモード)であったときは(S306でYES)、ダイヤル回転に応じて絞り値を変更する(S307)。次いで、シャッター速度優先モード(Tvモード)か否かを判定し(S308)、シャッター速度優先モード(Tvモード)であったときは(S308でYES)、ダイヤル回転に応じてシャッター速度を変更する(S309)。Avモード、Tvモードのいずれでもないときは(S308でNO)、ダイヤル操作にあらかじめ割り当てられた機能設定の値を、ダイヤル回転に応じて変更する(S310)。
S303でユーザによりメイン電子ダイヤル71が回転されなかったと判定したときは(S303でNO)、ユーザにより撮影等の操作がされたかをさらに判定する(S311)。そして、ユーザによる操作があったときは(S311でYES)、その操作に応じた処理を実行し(S312)、フローを終了する。一方、ユーザによる操作がないときは(S311でNO)、フロー開始直後の状態に戻る。
次に図4の画面遷移図を参照しつつ、ユーザがメイン電子ダイヤル71に機能設定を割り当てる操作について説明する。
いずれかの静止画撮影モードにおいて、操作部70に含まれるメニューボタン81を押下すると、表示部28に図4(a)に示すようなメニュー画面が表示される。メニュー画面において「機能登録」の項目を選択してセットボタンを押下すると、表示部28に図4(b)に示すような、複数の撮影モードでの機能割り当て状況を同時に識別できる機能登録画面が表示される。図4(b)において、プリセット切替え行401は、優先操作部材としてどの操作部材を割り当てるかをユーザが設定するための表示領域である。行401に選択枠をあてた状態で左右ボタンを押下することにより、優先操作部材としてどの操作部材を割り当てるかを選択できる。
図5はEVF29の表示を表す画面表示図である。
図5において、502はオートフォーカスを行うための範囲を示すAF枠である。
503は、視線検知部110より検知されたユーザの視線位置を示す視線位置表示であり、図の例では十字(クロス)とそれを囲む円Cにより構成される。
504、505、506、507、508はそれぞれ撮影に関するパラメータを表示するGUIである。504は撮影モード設定、505はISO感度設定、506はシャッター速度設定、507はホワイトバランス設定、508は露出補正設定の値をそれぞれ表している。
図5(a)は、ユーザがISO感度設定505に視線を向けている状態での画面表示例であり、視線位置表示503がISO感度設定505の位置に半透過に重畳表示されている。このときユーザがメイン電子ダイヤル71を回転させると、図5(b)のようなISO感度値を変更するGUI509を有する画面に遷移し、回転量に応じてISO感度値が変更される。
図5(c)は、ユーザが、撮影に関するパラメータを表示するGUI以外のライブビュー画像(LV画像)に視線を向けている状態での画面表示例であり、視線位置表示503がライブビュー画像(LV画像)の位置に半透過に重畳表示されている。また、このとき、シャッター速度優先モード(Tvモード)に設定されている。このときユーザがメイン電子ダイヤル71を回転させると、図5(d)のようなシャッター速度を変更するGUI510を有する画面に遷移し、回転量に応じてシャッター速度が変更される。
図5(e)は、ユーザが、撮影に関するパラメータを表示するGUI以外のライブビュー画像(LV画像)に視線を向けている状態での画面表示例であり、視線位置表示503がライブビュー画像(LV画像)の位置に半透過に重畳表示されている。また、このとき、マニュアル撮影モード(Mモード)に設定されている。このときユーザがメイン電子ダイヤル71を回転させると、図4(b)に示した機能登録画面において、メイン電子ダイヤル71を優先操作部材として割り当てられた機能に関する設定値が変更される。
このように、ユーザの視線位置に応じて、ユーザがGUIに視線を向けているとき、そのGUIに対応する機能を、1つの操作部材(実施例ではメイン電子ダイヤル71)の操作に関わる項目として決定するようにしている。よって、1つの操作部材(たとえばメイン電子ダイヤル71)で、複数の項目の操作を行うことが可能になる。また、ユーザがGUIに視線を向けていないときは、その操作部材で、各撮影モードにおいて優先される機能の操作を行うことができる。すなわち、Av優先モード(絞り優先モード)ではAv値(絞り値)が、1つの操作部材(実施例ではメイン電子ダイヤル71)の操作により変更することができる。また、Tv優先モード(シャッター速度優先モード)はTv値(シャッター速度)が、その他の撮影モードでは、あらかじめ割り当てられた機能に係る設定値が、それぞれ、1つの操作部材(実施例ではメイン電子ダイヤル71)の操作により変更することができる。Av優先モード(絞り優先モード)で優先される機能がAv値(絞り値)であり、Tv優先モード(シャッター速度優先モード)で優先される機能がTv値(シャッター速度)であることは、その撮影モードの設定が可能なカメラのユーザにとって自明な事項である。したがって、その操作部材(たとえばメイン電子ダイヤル71)の操作によってユーザにとって意図しない(意図に反した)設定変更となるおそれがなく、直感的でわかりやすい操作を実現できる。
また、その操作部材に回転部材、または、タッチ部材を適用したときには、ユーザがその操作部材自体を視認することなく、触覚のみに依存して、設定値を増す方向にも減ずる方向にも操作することが可能であり、複数の項目の操作を行うのにいっそう好適である。
また、視線位置表示503を点(ドット)または十字(クロス)とそれを囲む円で構成し、半透過に表示することにより、本発明の実施に係る電子機器においてどのGUIがユーザの視認対象として認識されているかがわかりやすくなる。そこで、視線による機能選択をいっそう好適に行うことができる。
また、視線位置表示503がGUIと重なるとき、視線位置表示503の透過度を増すか、または、非表示とすることもできる。そのようにしたときは、どのGUIがユーザの視認対象として認識されているかがいっそうわかりやすくなる。
なお、本発明はユーザの視線による表示位置の入力を、操作部材の操作対象項目の決定に用いるものであるが、他の用途と兼ねることとしてもよい。たとえば、オートフォーカスが行われる領域(いわゆる「AF枠」)の設定にも用いられることとしてもよい。
また、本発明では、ユーザの視線による入力のみでは撮像に関わるパラメータが変更されず、それらのパラメータが変更されるためには必ず回転部材やタッチ部材等の操作部材が操作されることを要する。そのため、ユーザにとって意図しない(意図に反した)設定変更となるおそれがいっそう低減する。
また、本発明は撮像装置以外にも適用できる。たとえば、コンピューター(PC)に適用して、マウスのスクロールホイール操作対象がディスプレイ上の視線位置に応じて決定される(GUI以外の領域を見ているときは、あらかじめ割り当てられた動作が行われる)こととしていてもよい。
<実施例2>
次に、実施例2として、本発明を、頭部装着型のディスプレイに、デジタル・グラフィックスのアイテムをライブビュー(LV)中に存在するかのように重畳して表示する場合に適用した例について説明する。これは、いわゆるMRHMD(Mixed Reality Head Mounted Display)である。
次に、実施例2として、本発明を、頭部装着型のディスプレイに、デジタル・グラフィックスのアイテムをライブビュー(LV)中に存在するかのように重畳して表示する場合に適用した例について説明する。これは、いわゆるMRHMD(Mixed Reality Head Mounted Display)である。
電化製品をネットワーク(インターネットやアドホックシステム)を通じて認識や位置特定やアドレス指定や制御を可能にするような、Internet of Things(モノのインターネット、以下「IoT」という)と称される技術が登場している。電化製品としては、例えば、TVシステム、照明器具、エアコン、音楽システム、部屋や車庫のドア、ホームセキュリティシステム、ファン、スプリンクラーシステム、電子レンジ、オーブン、食洗機、洗濯機、乾燥機などの日常の「モノ」が挙げられる。
また、ローカルネットワーク上のサービスや、近くにあるデバイスを探索するサービス検出プロトコルとして、WS-Discoveryやmulticast DNS(mDNS)等が知られている。
そこで、ライブビュー画像に対して画像認識処理を実行し、ライブビュー表示中の被写体に対して、ユーザの視線入力によりどの機器機能の設定値を変更乃至制御するかを決定し、1つの操作部材で操作できるようにする。これにより、簡易かつ直感的でわかりやすい操作が実現できる。
図6(a)は、本発明の実施例2であるMRHMD600の正面側から見た外観図を示す。図6(b)は背面側から見た外観図を示し、図6(c)はユーザの頭部に装着した状態の側面図を示す。図6(d)はMRHMD600の概略構成ブロック図を示す。
頭部装着部601はMRHMD600をユーザの頭部に装着するためのものであり、構成部材621~625からなる。MRHMD600を頭部に装着するには、まず、アジャスタ622で長さ調整部623を緩めた状態でMRHMD600を頭にかぶる。そして、額装着部625を額に密着させてから側頭装着部621と後頭装着部624を各々側頭部と後頭部に密着させるように、アジャスタ622で長さ調整部623を絞める。なお、ここに示したゴーグルタイプの他に、眼鏡フレームタイプ及びヘルメットタイプなど種々のタイプが利用可能である。
撮像部602はいわゆるデジタルカメラであり、MRHMD600を頭部に装着したユーザの顔が向く方向と略同方向を撮像するようにMRHMD600に配置されている。具体的には、入射窓612を介してMRHMD600の外部から入射した光を光学プリズム617によってMRHMD600の内部に導き、撮像センサー616により受光する。
表示部604(604L、604R)は、スクリーン610(610L、610R)、カラー液晶ディスプレイ614(614L、614R)及び光学プリズム615(615L、614R)からなる。符号に付加したL、Rはそれぞれ左眼用及び右眼用を示す。表示部604は、使用者の目の位置に相対するように、眼鏡における眼鏡レンズに相当する位置に配置される。具体的には、カラー液晶ディスプレイ614が表示する画像を光学プリズム615によってスクリーン610に導き、スクリーン610上に表示する。
表示部604の光学プリズム615の出力光と撮像部602の光学プリズム617の入力光は、MRHMD600の装着時に、ユーザの瞳の光軸と一致するようになっている。撮像センサー616は、ユーザの位置及び方向によって視覚的に認識できる現実空間の被写体を撮像する。
表示部604L、604Rの上下には、それぞれ視線検知部605La、605Lb、605Ra、605Rbが配置されている。ユーザが表示部604を覗くと、視線検知部605によってユーザの視線が検知され、いずれの箇所を目視しているかが判定される。
カラー液晶ディスプレイ614は、撮像部602によって撮像された現実空間の画像(ライブビュー)に、所定のアイテムを重畳(画像合成)した画像を表示する。
MRHMD600は、図6(d)に示すように、本体(頭部装着部601を含む)内部に、表示制御部630、撮像制御部640、CPU650、メモリ660、電源部670、通信部680、操作部690を具える。
表示制御部630は、表示部604の表示を制御する。具体的には、表示制御部630は、現実空間画像(ライブビュー)に重畳表示(画像合成)するアイテムの大きさ、位置、向き、色彩及び透過度、並びに、現実空間画像(ライブビュー)の変更に伴う移動及び明度の変更などを制御する。
撮像制御部640は、撮像画像を用いた所定の演算処理の演算結果に基づいて露出と測距等を制御する。これにより、AF(オートフォーカス)処理、AE(自動露出)処理及びAWB(オートホワイトバランス)処理等が行われる。撮像部602が光学フィルタを光路上から挿脱する機構及び防振機構等を具えている場合、撮像制御部640は、動作状況により当該光学フィルタの挿脱及び防振動作を行う。
CPU650は、MRHMD600全体を制御し、種々の演算処理を行う。CPU650は、メモリ660に記録されたプログラムを実行することで、以下に説明する制御と処理を実現する。
メモリ660はワーク領域および不揮発性領域より成る。ワーク領域には、不揮発性領域から読み出されたプログラムやシステム制御用の定数及び変数が展開される。また、現実空間に重畳して表示する仮想オブジェクトの画像のデータが、メモリ660に表示のために保持される。また、撮像部602により撮像されA/D変換された画像データが、画像解析及び画像処理等の目的でメモリ660に展開される。
電源部670は、アルカリ電池又はリチウム電池等の一次電池、NiCd電池、NiMH電池又はLi電池等の二次電池、若しくはACアダプター等からなり、MRHMD600全体に電力を供給する。電源部670は、ユーザ操作その他の条件により電源オンと電源オフを切り替える電源スイッチを具える。
通信部680は、CPU650の制御に基づき、インターネットやLAN(Local Area Network)、Bluetooth(登録商標)、WiFiDirect等を介して、他の機器やサーバ等とデータをやりとりする。
操作部690は、ユーザからの操作(ユーザ操作)を受け付ける入力部であり、CPU650に各種の動作指示を入力するために使用される。操作部690は、たとえば電子ダイヤルやタッチバー等である。また、リモート・コントローラとして別体に設けられていてもよい。
図7は、本発明の実施例2に係る電子機器が、ユーザの視線入力および操作部材への操作に対応してIoT機器の機能を制御する判断・処理の流れを示すフローチャートである。
ユーザにより電源投入されると、本発明の実施に係る電子機器は、まず、サービス探索プロトコルによりサービス探索パケットを送信する(S701)。
次に、S702において、S701で送信した探索パケットに対する機器からの応答(レスポンス)の受信を待機する。続いて、S703において、あらかじめ決められた待機時間が経過したかを判定し、待機時間が経過した場合は(S703でYES)、機器探索処理を終了し(S704)、撮像部602による撮像を開始する(S705)。そして、探索された機器ごとに、その機器の外観特徴データを受信しているかを判定する(S706)。そして、外観特徴データを受信していたときは(S706でYES)、そのデータとライブビュー中の被写体の画像を比較対照し(S707)、マッチした被写体(機器)の近傍に、その被写体(機器)を制御するためのGUIを表示する(S708)。また、外観的特徴のデータを受信していないときは(S706でNO)、その機器の外観特徴データをメモリ660に保持しているかを判定する(S709)。そして外観特徴データを保持していたときは(S709でYES)、S707に進み、そのデータとライブビュー中の被写体の画像を比較対照し(S707)、マッチした被写体(機器)の近傍に、その被写体(機器)を制御するためのGUIを表示する(S708)。また、外観的特徴のデータを保持していないときは(S709でNO)、ユーザに対し、探索された機器とライブビュー中の被写体との対応付けを促すメッセージを表示する(S710)。ユーザにより対応付けがなされたときは(S711でYES)、その被写体の画像をその機器の外観特徴データとしてメモリ660に記録し保持する(S712)。
そして、あらかじめ決められた待機時間が経過したかを判定する(S713)。待機時間が経過した場合は(S713でYES)、S714に進み、視線検知部605によりユーザの視線位置を検知し(S714)、表示部604におけるユーザの視線位置に「視線位置表示」を表示する(S715)。
そして、S716でユーザにより操作部690が操作されたかを判定し、操作されたと判定したときは(S716でYES)、さらに、ユーザの視線位置に機器機能のGUIが表示されているかを判定する(S717)。ユーザが所定のアイテムを見ていると判定したときは(S717でYES)、操作量に応じてそのGUIに対応する項目の値(たとえば、エアコンの温度GUIを見ていると判定したときは、エアコンの温度設定)を変更する(S718)。
一方、ユーザが機器機能のGUIを見ていないと判定したときは(S717でNO)、照明の明るさ等、操作部690にあらかじめ設定された機能設定の値を、操作量に応じて変更する(S719)。
S715でユーザにより操作部690が操作されなかったと判定したときは(S715でNO)、ユーザにより電源オフ等の終了操作がされたかをさらに判定する(S720)。そして、ユーザにより終了操作があったときは(S720でYES)、フローを終了する。一方、ユーザによる操作がないときは(S720でNO)、撮像開始直後の状態(S706)に戻る。
図8は、本発明の実施例2に係る電子機器の表示部604に表示される画面の遷移を示す画面遷移図である。
図8において、エアコン801、カーテン802、TVシステム803はそれぞれライブビュー中の被写体である。
また、エアコン801の近傍に温度GUI8011、風力GUI8012が、カーテン802の近傍に開閉GUI8021が、TVシステムの近傍に音量GUI8031、チャンネルGUI8032が表示されている。
図8(a)は、ユーザが温度GUI8011に視線を向けている状態での表示例であり、視線位置表示804が温度GUI8011の位置に半透過に重畳表示されている。このときユーザが操作部690を操作すると、図8(b)のようなエアコン温度を変更するGUIを有する画面に遷移し、操作量に応じてエアコンの温度設定が変更される。
図8(c)は、ユーザが、GUI以外のライブビュー画像(LV画像)に視線を向けている状態での画面表示例であり、視線位置表示804がライブビュー画像(LV画像)の位置に半透過に重畳表示されている。また、このとき、たとえば照明の明るさが操作部690の優先操作項目としてあらかじめ設定されていると、ユーザにより操作部690が操作された操作量に応じて、照明の明るさが変更される。
以上説明したように、本実施例の電子機器(MRHMD)では、複数のネットワーク制御可能な機器機能を1つの操作部材で操作することができ、便利である。また、ユーザにとって意図しない(意図に反した)設定変更となるおそれがなく、直感的でわかりやすい操作が実現できる。
また、MRHMDを頭部に装着したユーザは操作部690を直接視認することができないが、操作部690に回転部材、または、タッチ部材を適用したときは、触覚のみに依存して設定値を増す方向にも減ずる方向にも操作することが可能である。よって、複数の項目の操作を行うのにいっそう好適である。
<その他の実施例>
本発明のCPUによる制御は1つのハードウェアが行ってもよいし、いわゆるクラウド・コンピューティング(Cloud Computing)として別体のハードウェア資源が演算処理を担い、その結果により電子機器の制御がされることとしてもよい。
本発明のCPUによる制御は1つのハードウェアが行ってもよいし、いわゆるクラウド・コンピューティング(Cloud Computing)として別体のハードウェア資源が演算処理を担い、その結果により電子機器の制御がされることとしてもよい。
また、本発明の好適な実施例を説明したが、本発明は上述の特定の実施例に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述した各実施例は本発明の一実施形態を示すものにすぎず、各実施例を適宜組み合わせることも可能である。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェアプログラムをネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成する。
Claims (9)
- ユーザによる操作を受け付ける操作部材と、
アイテムを表示する表示器と、
前記表示器に対するユーザの視線位置を検知する視線検知手段と、
前記ユーザによる操作を受け付けた操作部材に割り当てられた第1の項目と対応する操作または前記検知された視線位置に表示されているアイテムに割り当てられた第2の項目と対応する操作を実行するよう制御する実行手段とを備え、
前記実行手段は、前記検知された視線位置に前記アイテムが表示されていないときは、前記第1の項目と対応する操作を実行するよう制御することを特徴とする電子機器。 - 前記操作部材は回転部材であり、
前記操作部材には複数の項目が割り当てられ、前記操作部材の回転量に応じて項目が変更されることを特徴とする請求項1に記載の電子機器。 - 前記操作部材はユーザによるタッチ操作を受け付け、
前記操作部材には複数の項目が割り当てられ、前記操作部材へのタッチ操作の移動量に応じて項目が変更されることを特徴とする請求項1に記載の電子機器。 - 撮像手段と、
シャッター速度優先モードと絞り優先モードとを含む複数の撮影モードの何れかに撮影モードを設定する撮影モード設定手段をさらに有し、
前記項目は、前記シャッター速度優先モードではシャッター速度の調整であり、前記絞り優先モードでは絞り値の調整であることを特徴とする請求項1乃至3のいずれか1項に記載の電子機器。 - 前記視線検知手段により検知された視線位置を示すオブジェクトが、前記表示器に表示されることを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
- 前記オブジェクトが前記アイテムと重なって表示されるとき、前記オブジェクトは、前記アイテムと重ならないときよりも高い透過度で表示されるまたは非表示となることを特徴とする請求項5に記載の電子機器。
- 撮像手段と、
ネットワークを介して外部機器と接続する接続手段と、
前記撮像手段により撮像されるライブビュー画像を前記表示器に表示するよう制御する表示制御手段と、
前記ライブビュー画像に対して画像認識処理を実行し、前記電子機器が制御可能な外部機器を認識する認識手段をさらに有し、
前記認識された外部機器を制御するための項目が前記アイテムに割り当てられ、前記アイテムが前記ライブビュー画像とともに前記表示器に表示されることを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。 - ユーザによる操作を受け付ける操作部材と、
アイテムを表示する表示器と、
前記表示器に対するユーザの視線位置を検知する視線検知手段を備えた電子機器の制御方法であって、
前記ユーザによる操作を受け付けた操作部材に割り当てられた第1の項目と対応する操作または前記検知された視線位置に表示されているアイテムに割り当てられた第2の項目と対応する操作を実行するよう制御するステップと、
前記検知された視線位置に前記アイテムが表示されていないときは、前記第1の項目と対応する操作を実行するよう制御するステップを有することを特徴とする制御方法。 - コンピュータを請求項1乃至7のいずれか一項に記載の電子機器の各手段として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036294A JP2022136601A (ja) | 2021-03-08 | 2021-03-08 | 電子機器およびその制御方法およびプログラム |
US17/686,067 US20220283637A1 (en) | 2021-03-08 | 2022-03-03 | Electronic apparatus, method for controlling the same, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036294A JP2022136601A (ja) | 2021-03-08 | 2021-03-08 | 電子機器およびその制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022136601A true JP2022136601A (ja) | 2022-09-21 |
Family
ID=83116177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021036294A Pending JP2022136601A (ja) | 2021-03-08 | 2021-03-08 | 電子機器およびその制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220283637A1 (ja) |
JP (1) | JP2022136601A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5281446B2 (ja) * | 2008-06-05 | 2013-09-04 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
EP2480957B1 (en) * | 2009-09-22 | 2017-08-09 | Apple Inc. | Device, method, and graphical user interface for manipulating user interface objects |
US9898642B2 (en) * | 2013-09-09 | 2018-02-20 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
JP2020009413A (ja) * | 2018-06-29 | 2020-01-16 | キヤノン株式会社 | 電子機器 |
JP2021012238A (ja) * | 2019-07-03 | 2021-02-04 | キヤノン株式会社 | 電子機器およびその制御方法、プログラム、並びに記憶媒体 |
-
2021
- 2021-03-08 JP JP2021036294A patent/JP2022136601A/ja active Pending
-
2022
- 2022-03-03 US US17/686,067 patent/US20220283637A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220283637A1 (en) | 2022-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112653838B (zh) | 显示控制设备及其控制方法和存储介质 | |
CN109479096B (zh) | 电子设备及其控制方法和记录介质 | |
CN108243307B (zh) | 摄像控制装置及其控制方法 | |
JP2017122984A (ja) | 電子機器及びその制御方法 | |
JP2017123515A (ja) | 電子機器およびその制御方法 | |
EP3876517A1 (en) | Electronic device, control method, program, and computer readable medium | |
JP2022096307A (ja) | 電子機器、電子機器の制御方法、プログラム、及び記憶媒体 | |
JP7034619B2 (ja) | 撮像装置、その制御方法、およびプログラム、並びに記憶媒体 | |
JP6765901B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP6765902B2 (ja) | 表示制御装置及びその制御方法、プログラム、並びに記憶媒体 | |
CN112040095B (zh) | 电子装置、电子装置的控制方法及存储介质 | |
JP2022136601A (ja) | 電子機器およびその制御方法およびプログラム | |
JP2021097356A (ja) | 撮像制御装置 | |
JP2021092958A (ja) | 電子機器およびその制御方法、プログラム、並びに記憶媒体 | |
JP6708516B2 (ja) | 電子装置、その制御方法およびプログラム | |
JP7451255B2 (ja) | 電子機器及びその制御方法 | |
WO2024095888A1 (ja) | 撮像装置、制御方法およびプログラム | |
JP7277306B2 (ja) | 電子機器、電子機器の制御方法、プログラム、記憶媒体 | |
US20230209177A1 (en) | Imaging apparatus | |
US11418715B2 (en) | Display control apparatus and control method therefor | |
JP7253988B2 (ja) | 表示制御装置およびその制御方法、表示制御システム、並びにプログラム | |
JP2022172840A (ja) | 電子機器、電子機器の制御方法、プログラム、及び記憶媒体 | |
JP2024066463A (ja) | 撮像装置、制御方法およびプログラム | |
JP2021018634A (ja) | 電子機器およびその制御方法 | |
JP2023048009A (ja) | 撮像装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240229 |