JP2022163813A - 装着型の情報端末、その制御方法及びプログラム - Google Patents

装着型の情報端末、その制御方法及びプログラム Download PDF

Info

Publication number
JP2022163813A
JP2022163813A JP2021068875A JP2021068875A JP2022163813A JP 2022163813 A JP2022163813 A JP 2022163813A JP 2021068875 A JP2021068875 A JP 2021068875A JP 2021068875 A JP2021068875 A JP 2021068875A JP 2022163813 A JP2022163813 A JP 2022163813A
Authority
JP
Japan
Prior art keywords
mode
user
information terminal
operation screen
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021068875A
Other languages
English (en)
Inventor
紘幸 岡本
Hiroyuki Okamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021068875A priority Critical patent/JP2022163813A/ja
Priority to GB2205205.4A priority patent/GB2609694A/en
Priority to KR1020220044947A priority patent/KR20220142939A/ko
Priority to US17/719,247 priority patent/US20220334648A1/en
Priority to DE102022109019.1A priority patent/DE102022109019A1/de
Priority to CN202210392989.XA priority patent/CN115220568A/zh
Publication of JP2022163813A publication Critical patent/JP2022163813A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Figure 2022163813000001
【課題】スマートグラスはＡＲ映像の仮想ＵＩに手で触れるなどのジェスチャーによってユーザの周囲の状況に応じたデバイスの操作方法を切り替えるスマートグラスなどの装着型の情報端末、その制御方法及びプログラムを提供する。
【解決手段】ユーザが装着する装着型の情報端末（スマートグラス）によるモード切替方法であって、情報端末を介したユーザの視界に対して、操作画面を投影する投影手段を有する。投影される操作画面には、第一のモードと第二のモードが有る。第二のモードで表示される操作画面は、第一のモードで表示される操作画面より小さいサイズで表示されるか又は第一のモードで表示される操作画面よりユーザの視界の近くに表示を行う。
【選択図】図６

Description

本発明は、状況に応じて操作方法を切り替えるスマートグラスなどの装着型の情報端末、その制御方法及びプログラムに関する。
近年、眼鏡やヘルメットのように頭部に装着して使用するウェアラブル端末であるスマートグラス（ヘッドマウントディスプレイ）に関する技術が種々提案されている。
スマートグラスの一種であるＡＲ(Augmented Reality)/ＭＲ(Mixed Reality)グラスは、現実空間をカメラやセンサーで認識し、現実空間に合うようにＡＲ映像を表示するものである。そして、ＡＲ映像が現実にあるかのように見ることができ、表示したＡＲ映像を仮想ＵＩ（ユーザインターフェース）としても使用することができる。ユーザはＡＲ映像の仮想ＵＩに手で触れる、腕や指を動かすなどのジェスチャーによってデバイスの操作を行うことができる。特許文献１には、仮想ＵＩへのジェスチャーで数値を設定することができることが記載されている。数値を設定する際に、数値の範囲が違う粗調整モードと微調整モードといった２つのモードを用意している。そして、設定する数値によって、それらモードをジェスチャーで切り替えることでユーザは不自由なく柔軟に数値設定を行うことができる。特許文献１に記載の技術を利用することで、ユーザは仮想ＵＩへのジェスチャー操作で好適に数値設定を行える。
特開2018－527465号
ユーザが仮想ＵＩに対してジェスチャー操作を行う場合、周囲の環境等によってはジェスチャー操作を十分に行えない場合がある。例えば人混みやマナーとしてジェスチャー操作が不適切な場所で操作を行う場合である。
以上を鑑み本発明は、ジェスチャー操作を十分に行えない場合であっても端末を好適に操作可能な方法を提供することである。
本発明は、ユーザに装着される装着型の情報端末であって、前記情報端末を介した前記ユーザの視界に対して、操作画面を投影する投影手段を有し、前記投影される操作画面には第一のモードと第二のモードが有り、第二のモードで表示される操作画面は第一のモードで表示される操作画面より小さいサイズで表示される、もしくは第一のモードで表示される操作画面より前記ユーザの視界の近くに表示を行うことを特徴とする。
本発明により、ジェスチャー操作を十分に行えない場合であっても端末を好適に操作可能となる。
実施例におけるスマートグラスを含むシステム構成図 実施例におけるスマートグラスのハードウェア構成図 実施例におけるスマートグラスのソフトウェア構成図 実施例における通常モードでユーザが使用する仮想ＵＩの例 実施例におけるマナーモードでユーザが使用する仮想ＵＩの例 実施例におけるモード切り替え時の詳細な流れを示すフローチャート 実施例におけるマナーモードの種類を選択するＵＩの例 他の実施例におけるモード切り替え時の詳細な流れを示すフローチャート 他の実施例におけるモード切り替え後操作方法の通知を行うＵＩの例 他の実施例におけるモード切り替え後操作方法の通知を行うＵＩの例 他の実施例におけるモード切り替え後操作方法の通知を行うＵＩの例 他の実施例におけるモード切り替え後操作方法の通知を行うＵＩの例 別の実施例におけるモード切り替え時の詳細な流れを示すフローチャート 別の実施例における空間上に設定するモード切り替え閾値の例
以下、本発明を実施するための形態について図面を用いて例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
（実施例１）
図１は、装着型の情報端末（スマートグラス）とそれと連携する装置を含むシステム構成図の例を示す。装着型の情報端末は、直接、もしくはモバイルルーター（不図示）を経由してモバイルネットワーク（移動体通信網）130、およびインターネット140と通信可能な機器であり、本発明ではその一例としてスマートグラス101を挙げている。装着型の情報端末としては、単眼用のスマートメガネや、ヘッドマウントディスプレイなども適用可能である。また、ウェアラブル端末はディスプレイやバイブレーション機能などの通知機能と、装着型の情報端末と通信できるBluetooth（登録商標）などの通信機能とを備えた情報機器であり、本発明ではその一例としてスマートウォッチ110を挙げている。
スマートグラス101は、ユーザの目付近に装着する装着型の情報端末であって、ユーザの視界を遮ることなく視界内に虚像である映像を表示部102にて表示する。このような表示方法は、いわゆるＡＲ（拡張現実/Augmented Reality）やＭＲ（複合現実/Mixed Reality）と呼ばれ、透過型のディスプレイ（レンズ105）やユーザの網膜（不図示）などに情報投影する機能により提供される。図１は、片目に対して映像を提供するものだが、本発明においては、両目の視界に対して映像を投影するスマートグラス101を適用することも可能である。
また、表示部102には、ユーザの視線方向の被写体を撮影するためのカメラ部103が設けられている。操作フレーム104はフレームであると同時にタッチセンサーを備えており、端末を操作するための操作部である。操作フレーム104には、スピーカー機能が内蔵され、音をユーザに伝えることが可能である。
スマートグラス101は、ｅＳＩＭ（embedded Subscriber Identity Module）といった内蔵モジュールを実装することが可能である。そして、４Ｇや５Ｇ回線を利用するモバイルネットワーク130を経由して、インターネット140に接続可能である。また、ユーザが保有するモバイルルーターとＷｉ-Ｆｉ(登録商標)又はＵＳＢ(登録商標)などで接続し、モバイルルーター経由でモバイルネットワーク130に接続することも可能である。スマートグラス101は、モバイルネットワーク130を経由せずに、Ｗｉ-Ｆｉなどを経由してインターネット140に接続することも可能である。
スマートウォッチ110は、ユーザが手首に装着する腕時計型情報端末であって、表示部111は時刻などの情報を表示するだけでなく、タッチパネルとして機能し、端末を操作することが可能である。無線通信120はスマートグラス101とスマートウォッチ110がデータをやり取りするためのもので、Bluetooth(登録商標)の規格の無線通信を想定するが、これに限るものではない。スマートウォッチ110は、表示以外にもバイブレーション機能による通知機能を有している。
図２に、スマートグラス101のハードウェア構成を示す。
ＣＰＵ201は、ＲＯＭ203に格納されているプログラムにより、内部バス206を介してスマートグラス101の各種機能を統括的に制御する。ＣＰＵ201によるプログラムの実行結果はディスプレイ202により、ユーザの視界に映像として投影表示することができる。本実施例では表示方式については、ユーザが透過型のレンズ105を介した視界にディスプレイ202が投影したものを見る方式を想定している。しかしながら、ディスプレイ202が網膜に直接投影する方式などを採用することも可能である。ＲＯＭ203は、フラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。ＲＡＭ204は、ＣＰＵ201のメモリやワークエリアとして機能する。ネットワークＩ/Ｆ（インターフェース）205は、モバイルネットワーク130やＷｉ-Ｆｉに接続するためのハードウェアモジュールである。なお、モバイルルーターを利用する場合には、スマートグラス101のＵＳＢ Ｉ/Ｆ（不図示）を利用して、接続することも可能である。
操作部207は、操作フレーム104でユーザからの入力を受け付け、該入力に対応する信号を操作Ｉ/Ｆ208によって前述した各部へ伝える。センサー部209は、１以上のセンサーであるがまとめて簡易的に図示している。具体的には、スマートグラス101には、ＧＰＳ、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサーなどの少なくとも何れかが実装される。また、スマートグラス101には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。カメラ210は、撮影機能を備えており、撮影された画像データはＲＯＭ203に格納される。レーザー211は、ディスプレイ202に各種コンテンツを投影すう。また、網膜投影方式の場合、レーザー211は網膜に直接コンテンツを投影する。ストレージ装置212は、記憶媒体であり、アプリケーションなどの各種データを格納する装置である。また、記憶媒体のデータを読み出す装置や、削除する装置なども含まれる。端末によっては、ストレージ装置212がなく、ＲＯＭ203だけの場合もある。近距離通信Ｉ/Ｆ213は、スマートウォッチ110等との通信で利用するインターフェースであり、例えば、無線通信120を実現する。
なお、図示されていないが、スマートグラス101は、現代のスマートフォンに代わって利用することが可能なように、ネットワークや電話回線を利用した音声通話を実現するための構成をさらに備えることができる。具体的には、スマートグラス101に、電話回線に接続するためのコンポーネントと、スピーカーとマイクと、音声制御チップなどを実装することになる。
図３を利用して、本実施例に係るスマートグラスのソフトウェア構成を説明する。
図３に示すソフトウェアの構成要素である各部301～311は、図２で説明したＲＯＭ203にプログラムとして保存されており、実行時にＲＡＭ204に展開され、ＣＰＵ201が実行する。
データ送受信部301はネットワークを介して外部機器とのデータの送受信を行う。データ記憶部302はＷｅｂブラウザ等のアプリケーションプログラム、ＯＳ、関連プログラム、ユーザが保存したデータ等を格納している。
物理ＵＩ制御部306はスマートグラス101の操作フレーム104に直接触れて操作する物理ＵＩの入力の制御、及び、検出部303への情報伝達を行う。第１仮想ＵＩ制御部307、及び、第２仮想ＵＩ制御部308は仮想ＵＩとなるＡＲ映像の操作画面の表示の制御を行う。第１仮想ＵＩ制御部307によって表示されるＡＲ映像による仮想ＵＩは通常の操作モード（以下「通常モード」という。）でユーザが使用するＵＩである。また、第２仮想ＵＩ制御部308によって表示されるＡＲ映像による仮想ＵＩは大きなジェスチャーで操作することが適切でない状況での操作モード（以下「マナーモード」という。）でユーザが使用するＵＩである。
撮影部305は撮影装置103を介して入力された外景の映像やユーザによるジェスチャー映像を電気信号に変換し、撮影映像取得部304は前記電気信号を取得する。
検出部303は前記撮影映像取得部304で取得した映像からユーザのジェスチャーによる仮想ＵＩへの入力の検出、及び、物理ＵＩ制御部306から受け取った情報からマナーモードへの切り替え情報など必要な情報の検出を行う。
検出部303で通常モードとマナーモードを切り替える旨の入力を検出した場合、切替部309はデバイスの通常モードとマナーモードを切り替え、切り替えた内容を映像編集部310に送信する。
映像編集部310は現在のデバイスの操作モードに従って出力する操作画面の映像の決定、及び、編集を行う。映像出力部311は前記映像編集310で編集した操作画面の編集映像を第１仮想ＵＩ制御部307、又は、第２仮想ＵＩ制御部308へ渡し、第１仮想ＵＩ制御部307、又は、第２仮想ＵＩ制御部308は仮想ＵＩに前記操作画面の編集映像の表示を行う。
図４は、本実施例に係る通常モードでユーザが使用する仮想ＵＩの例を示す。
図４には、ユーザ401、スマートグラス402、ジェスチャーを行うユーザの腕403、第１仮想ＵＩ制御部307により制御されるＡＲ映像による仮想ＵＩ404が示される。
ユーザ401はスマートグラス402を操作するユーザであり、頭部にスマートグラス402を装着し、腕403によるジェスチャーによって第１仮想ＵＩ404に対する操作を行う。仮想ＵＩ404はスマートグラス402を介してユーザが見ているＵＩ画面である。ユーザのＵＩ画面に対するタッチ操作等の位置を検知して、操作に応じた処理をスマートグラスが行う。また、通常モードでは、誤操作等を防ぐために仮想ＵＩは大きく表示するようにしている。例えばユーザが手を広げて届く大きさのＵＩ画面を表示する。この通常モードでは、ユーザが大きなジェスチャーで第１仮想ＵＩ404を操作することができる。
図５は、本実施例に係るマナーモードでユーザが使用する仮想ＵＩの例を示す。
図５には、ユーザ501、スマートグラス502、ジェスチャーを行うユーザの腕503、第２仮想ＵＩ制御部308により制御されるＡＲ映像による仮想ＵＩ504を示される。
ユーザ501はスマートグラス502を操作するユーザであり、頭部にスマートグラス502を装着し、腕503によるジェスチャーによって第２仮想ＵＩ504に対する操作を行う。
マナーモード中にユーザが使用する第２仮想ＵＩ504は第１仮想ＵＩ404に比べて小さいサイズで、又はユーザとの距離が近く表示されるため、狭い空間でもユーザは操作画面である仮想ＵＩを使用してスマートグラス502の操作を行うことができる。ユーザが大きなジェスチャーで仮想ＵＩを操作することが適切でない状況では、このマナーモードに切り替えることにより、ユーザは小さなジェスチャーで第２仮想ＵＩを操作することができる。また、この時、検出部303はユーザ操作を検出する範囲を小さく設定するようにしても良い。
なお、本実施例ではマナーモード中に使用する仮想ＵＩを第２仮想ＵＩ504の１種類のみで説明しているが、マナーモード中に使用する操作画面である仮想ＵＩは複数種類あっても構わない。
図６のフローチャートを用いて、スマートグラスにおけるモード切り替え処理の詳細な流れを説明する。以下の処理は、ＣＰＵ201がＲＯＭ203に格納されているプログラムをＲＡＭ204に展開し実行することにより実現される。また、各ソフトウェアモジュールも同様である。
Ｓ601で、ＣＰＵ201は、検出部303がモード切り替え指示を検出した際にモードの切り替えを開始する。切り替え指示を検出するまではＳ601で待機する。ここで、モード切り替え指示とは例えばユーザの操作による指示である。ユーザが仮想ＵＩの所定のオブジェクトをタッチする操作や、所定のジェスチャー操作を行なうことでモードが切り替わる。ここで所定のジェスチャー操作とは手を所定の位置で所定時間維持する操作や、手を払うような操作などであり、ユーザ予めモードを切り替えるジェスチャー操作を設定できるようにしても良い。
Ｓ602で、ＣＰＵ201は、Ｓ601で検出された指示がマナーモードへの切り替え指示か否かを判断する。マナーモードへの切り替え指示である場合は(Ｓ602でYes)、Ｓ603に進み、そうで無い場合(Ｓ602でNo)はＳ609に処理を進める。
Ｓ603で、ＣＰＵ201の指示により切替部309は、マナーモードへの切り替えを開始する。
続くＳ604で、ＣＰＵ201は、Ｓ601で検出された切り替え指示が物理ＵＩを使用する指示か否かを判断する。物理ＵＩを使用する切り替え指示であると判断された場合は(Ｓ604でYes)、Ｓ605に進み、そうで無い場合は(Ｓ604でNo)、Ｓ608に処理を進める。
Ｓ605で、ＣＰＵ201は物理ＵＩが利用可能である有効状態であるか否かを判断する。物理ＵＩが有効である場合は(Ｓ605でYes)、Ｓ606に進み、そうで無い場合(Ｓ605でNo)はＳ607に処理を進める。
－ マナーモード：物理ＵＩが有効である場合 Ｓ606で、ＣＰＵ201は第１仮想ＵＩ404の表示停止と第２仮想ＵＩ504の表示を開始し、処理を終了する。
－ マナーモード：物理ＵＩが有効でない場合 Ｓ607で、ＣＰＵ201は第１仮想ＵＩ404の表示停止と第２仮想ＵＩ504の表示を開始し、物理ＵＩの有効化し処理を終了する。
なお、マナーモードにおいて物理ＵＩを使用する場合、ユーザは第２仮想ＵＩ504と物理ＵＩ両方を使用する又は物理ＵＩのみを使用して操作を行う。物理ＵＩのみを使用して操作を行う場合、第２仮想ＵＩ504はＵＩとしてではなく、ディスプレイとしてユーザに映像の表示のみを行う。
Ｓ608で、ＣＰＵ201は、第１仮想ＵＩ404の表示停止と第２仮想ＵＩ504の表示を開始し、処理を終了する。
ＣＰＵ201は通常モードへの切り替えを開始する。続くＳ610で、ＣＰＵ201は第２仮想ＵＩ504の表示停止と第１仮想ＵＩ404の表示を開始し、処理を終了する。
以上、図６に示すスマートグラスのモード切り替え処理により、ユーザは状況に応じて通常モード、マナーモードでそれぞれ使用するＵＩを切り替えることができ、不自由なくスマートグラスを操作することが可能となり利便性が向上する。具体的には、電車やバスなどの公共交通機関でスマートグラスを利用する際、周りに人がいるような環境下では仮想ＵＩを小さいサイズで又は近くに表示することで、操作範囲を狭めることができる。以上のフローチャートでは画面を小さいサイズで又は近くに表示する例を示したが、ユーザの現実空間での操作範囲を狭められれば形態は問わない。例えば操作オブジェクトのみをユーザに近づけるようにしてもよい。
マナーモードに切り替え後の操作方法についてもユーザが選択できるようにする。つまりユーザはマナーモードに移行後に第２仮想ＵＩ504のみで操作するか、物理ＵＩのみで操作するか、第２仮想ＵＩ504と物理ＵＩの両方で操作するかを選択することができる。
図７は本実施例に係るマナーモード中に使用する操作方法を選択するために使用するＵＩ例を示す。ここでの操作方法の選択はマナーモードに切り替わるたびに表示するようにしても良いし、予め設定できるようにしても良い。選択された操作方法は、装置の設定として記憶しておく。
ＵＩ画面701はＡＲ映像で表示されるＵＩを示し、タイトルウィンドウ702、メインウィンドウ703、項目ウィンドウ704、入力ウィンドウ705を含んでいる。メインウィンドウ703はマナーモード中の表示方法、及び、操作方法を示し、各項目ウィンドウ704にマナーモード中の表示方法、及び、操作方法の説明の表示を行う。ユーザがマナーモード中に使用するマナーモードの操作方法を、入力ウィンドウ705を通じて選択し設定することで、スマートグラス101はマナーモード中にユーザが選択し設定した操作方法に従って動作する。ここでは、第２仮想ＵＩ504のみで操作するか、物理ＵＩのみで操作するか、第２仮想ＵＩ504と物理ＵＩの両方で操作するかを選択可能としている。
（実施例２）
実施例１のものでは通常モードからマナーモードに切り替わった際に操作方法が変わるため、ユーザが操作に戸惑う可能性がある。そこで、ユーザが操作に困惑しないために、モード切り替え後の操作方法をユーザに通知することが考えられる。またマナーモードから通常モードに切り替わった際も同様である。
実施例２は、実施例１の通常モードとマナーモードの切り替えに加え、モードが切り替わるタイミングでユーザに操作方法を通知する方法について説明を行う。
図８は図６のモード切り替え方法のフローチャートに操作方法通知の処理を加えたフローチャートである。図６と同様のステップについては、同じ符号を付与し説明は省略する。
Ｓ603でマナーモードに切り替えを開始し、物理ＵＩを使用し(Ｓ604でYes)、物理ＵＩが利用可能な有効状態となっている場合は(Ｓ605でYes又はＳ605でNoで、Ｓ607で物理ＵＩが有効化された)、ＣＰＵ201はＳ801に処理を進める。
Ｓ801で、ＣＰＵ201は物理ＵＩを使用した操作方法の通知を行い、処理を終了する。
物理ＵＩを使用せず(Ｓ604でNo)、マナーモード中の操作が第２仮想ＵＩ504を使用する操作になった場合(Ｓ608)、Ｓ802で、ＣＰＵ201は第２仮想ＵＩ504を使用した操作方法の通知を行い、処理を終了する。
通常モードに切り替わり、第１仮想ＵＩ404を使用する操作になった場合は(Ｓ602でNo)、Ｓ813で、ＣＰＵ201は第１仮想ＵＩ404を使用した操作方法の通知を行い、処理を終了する。
図９Ａ，図９Ｂ、図９Ｃ，図９Ｄに操作方法をユーザに操作方法を通知するＵＩ例を示す。
通常モードから第２仮想ＵＩ504のみを使用した操作方法のマナーモードに切り替わった場合(図８のＳ802)における操作方法を通知する操作案内のＵＩ例を図９Ａに示す。ＵＩ画面901はＡＲ映像で表示されるＵＩを示し、タイトルウィンドウ902、メインウィンドウ903を含んでいる。タイトルウィンドウ902は通常モードからマナーモードへ切り替え内容を示し、メインウィンドウ903は前記切り替え内容を図面で示す。
通常モードから物理ＵＩのみを使用した操作方法のマナーモードに切り替わった場合(図８のＳ801)における操作方法を通知する操作案内のＵＩ例を図９Ｂに示す。ＵＩ画面911はＡＲ映像で表示されるＵＩを示し、タイトルウィンドウ912、メインウィンドウ913を含んでいる。タイトルウィンドウ912は通常モードからマナーモードへ切り替え内容を示し、メインウィンドウ913は前記切り替え内容を図面で示す。
通常モードから第２仮想ＵＩ504と物理ＵＩを使用した操作方法のマナーモードに切り替わった場合(図８のＳ801)における操作方法を通知する操作案内のＵＩ例を図９Ｃに示す。ＵＩ画面921はＡＲ映像で表示されるＵＩを示し、タイトルウィンドウ922、メインウィンドウ923を含んでいる。タイトルウィンドウ922は通常モードからマナーモードへ切り替え内容を示し、メインウィンドウ923は前記切り替え内容を図面で示す。
第２仮想ＵＩ504のみを使用した操作方法のマナーモードから通常モードに切り替わった場合(図８のＳ803)における操作方法を通知する操作案内のＵＩ例を示す。ＵＩ画面931はＡＲ映像で表示されるＵＩ例を図９Ｄに示し、タイトルウィンドウ932、メインウィンドウ933を含んでいる。タイトルウィンドウ932は通常モードからマナーモードへ切り替え内容を示し、メインウィンドウ933は前記切り替え内容を図面で示す。
なお、通常モードとマナーモード切り替え時に操作方法の通知を行うか否かの設定についてユーザが行えるようにしてもよい。
以上、実施例２によれば図８の処理により、ユーザはモード切り替え時に操作方法を知ることができ、利便性が向上する。
（実施例３）
実施例１、２では、ユーザがスマートグラス101に対して操作を行うことで通常モード及びマナーモードそれぞれに切り替える例を説明した。ユーザがモードを切り替える操作を行うことはユーザにとって煩わしい。そこで、実施例３は、スマートグラスがユーザの周りの映像をリアルタイムで撮影し、スマートグラスがユーザの周りの状況を認識し、当該認識結果に基づき自動的に通常モードとマナーモードを切り替える例を説明する。
ユーザの目の前の状況に基づき通常モードとマナーモードをスマートグラスが自動で切り替える処理のフローチャートを図１０に示す。なお、図１０に示すフローは、図６のフローにユーザの前の状況を把握した上で、動でモードの切り替えを行うステップを加えたものある。図６と共通のステップについては、共通の符号を付与し、以下では説明を省略する。
Ｓ1001で、撮影部305は、外景の映像の撮影を行い、その映像を取得する。
続くＳ1002にで、ＣＰＵ201はユーザの前の障害物の存在しない空間の認識を行い、空間の広さが閾値内かどうか判定する。空間認識は、撮影部305により撮影された外景の映像を撮影映像取得部304が取得し、検出部303にて映像解析と物体の位置検出を行う。なお、空間認識は、すでに公知の技術（例えば、特開2010-190432号公報等を参照。）を用いることにより実現できる。
閾値は図１１を例として用いて説明する。図１１はユーザの前の空間に所定の閾値を設定する例で、ユーザ1101、スマートグラス1102、ジェスチャーを行うユーザの腕1103、空間座標1104が示されている。ユーザ1101はスマートグラスを操作するユーザであり、頭部にスマートグラス1102を装着している。空間座標1104上にプロットしている座標(x1，x2，y1，y2，z1，z2)により規定される直方体(x1≦x≦x2，y1≦y≦y2，z1≦z≦z2)の空間はユーザの腕が届く範囲を示している。そして、この図１１に示す例ではこれら直方体(x1≦x≦x2，y1≦y≦y2，z1≦z≦z2)の空間をモード切り替えの閾値とする。Ｓ1002にて、検出部303が座標(x1，x2，y1，y2，z1，z2)で指定された空間内の物体を検出した場合、ユーザの前の空間がマナーモード切り替えの所定の閾値内と判定する。図１１の閾値はあくまで例であって、閾値は直方体でなくても構わないし、閾値にバッファをもたせても構わない。また閾値はユーザが設定できるようにしても良い。
Ｓ1002で、ＣＰＵ201はユーザの前の空間がマナーモード切り替えの所定の閾値内と判定した場合は(Ｓ1002でYes)、Ｓ1003に進み、そうで無い場合は(Ｓ1002でNo)、Ｓ1004に処理を進める。
Ｓ1003で、ＣＰＵ201は、現在通常モードかどうか判断する。現在通常モードである場合は(Ｓ1003でYes)、Ｓ603に進み、マナーモードへの切り替えを開始する。そうで無い場合は(Ｓ1003でNo)、Ｓ1001に処理を戻す。
一方、ユーザの前の空間がマナーモード切り替えの所定の閾値外と判定された場合(Ｓ1002でNo)、Ｓ1004で、ＣＰＵ201は現在マナーモードか否か判断する。マナーモードで無い場合は(Ｓ1004でNo)、Ｓ1001に戻り、マナーモードの場合は(Ｓ1003でYes)、Ｓ609に処理を進め通常モードへの切り替えを開始する。
以上、図１０の処理により、ユーザはモード切り替える操作を行う必要がなくなり利便性が向上する。ここではユーザのジェスチャー操作の範囲内に障害物がある場合は自動でマナーモードに切り替える例を示したが。マナーモードに切り替えるトリガーはこれに限らない。例えばスマートグラスは自装置で撮像した画像からユーザが電車などの公共交通機関に乗っていると判断したことをトリガーとして。マナーモードに切り替えるようにしてもよい。またスマートグラスは自装置のマイクで周囲の音を取得し、ユーザの周囲の状況を検知し、検知結果に応じてマナーモードに切り替えるようにしても良い。さらにスマートグラスは撮像した画像と、取得した音声とを用いて周囲の状況を把握するようにしても良い。つまりスマートグラスは撮像した画像や取得した音声を基にユーザの周囲の状況を判断し、判断結果を基にモードを自動で切り替える。
実施例３の方法により、自動で通常モードとマナーモードを切り替えることができる。
(その他の実施例)
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路(例えば、ＡＳＩＣ)によっても実現可能である。
101 スマートグラス
103 撮影部
104 操作フレーム

Claims (10)

  1. ユーザに装着される装着型の情報端末であって、
    前記情報端末を介した前記ユーザの視界に対して、操作画面を投影する投影手段
    を有し、
    前記投影される操作画面には第一のモードと第二のモードが有り、第二のモードで表示される操作画面は第一のモードで表示される操作画面より小さいサイズで表示される、もしくは第一のモードで表示される操作画面より前記ユーザの視界の近くに表示を行うことを特徴とする装着型の情報端末。
  2. 前記投影手段で投影された操作画面に対するユーザ操作を検知する検知手段をさらに有することを特徴とする請求項１に記載の装着型の情報端末。
  3. 前記第二のモードで表示される操作画面の操作範囲は前記第一のモードで表示される操作画面の操作範囲より小さいことを特徴とする請求項１に記載の装着型の情報端末。
  4. 前記装着型の情報端末は、操作部を有し、
    前記操作画面は、ユーザが操作部により操作できることを特徴とする請求項１～３の何れか１項に記載の装着型の情報端末。
  5. 前記第二のモードでの操作方法をユーザが設定する設定手段を更に有する
    ことを特徴とする請求項１～４の何れか１項に記載の装着型の情報端末。
  6. 前記第一のモードと前記第二のモードとの切り替えの際、操作方法を前記操作画面に通知することを特徴とする請求項１～５の何れか１項に記載の装着型の情報端末。
  7. ユーザの指示により前記第一、第二のモードを切り替えることを特徴とする請求項１～６の何れか１項に記載の装着型の情報端末。
  8. 外景の映像を取得する取得手段を更に有し、
    前記取得手段により取得された映像からユーザの前の空間を認識する認識手段を有し、
    前記認識手段により認識された空間が所定の閾値より狭いと判断された場合に、前記第一のモードから前記第二のモードに切り替えるが切り替えることを特徴とする請求項１～６の何れか１項に記載の装着型の情報端末。
  9. 情報端末を介したユーザの視界に対して、操作画面を投影する投影手段を有する前記ユーザに装着される装着型の情報端末の制御方法であって、
    前記投影される操作画面には第一のモードと第二のモードが有り、第二のモードで表示される操作画面は第一のモードで表示される操作画面より小さいサイズで表示される、もしくは第一のモードで表示される操作画面より前記ユーザの視界の近くに表示を行うことを特徴とする装着型の情報端末の制御方法。
  10. 請求項９に記載の装着型の情報端末の制御方法を、コンピュータに実行させるためのプログラム。
JP2021068875A 2021-04-15 2021-04-15 装着型の情報端末、その制御方法及びプログラム Pending JP2022163813A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021068875A JP2022163813A (ja) 2021-04-15 2021-04-15 装着型の情報端末、その制御方法及びプログラム
GB2205205.4A GB2609694A (en) 2021-04-15 2022-04-08 Wearable information terminal, control method thereof, and storage medium
KR1020220044947A KR20220142939A (ko) 2021-04-15 2022-04-12 착용가능한 정보 단말기, 그 제어 방법, 및 저장 매체
US17/719,247 US20220334648A1 (en) 2021-04-15 2022-04-12 Wearable information terminal, control method thereof, and storage medium
DE102022109019.1A DE102022109019A1 (de) 2021-04-15 2022-04-13 Tragbares Informationsterminal, Steuerungsverfahren dafür und Speichermedium
CN202210392989.XA CN115220568A (zh) 2021-04-15 2022-04-14 可穿戴信息处理装置及其控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021068875A JP2022163813A (ja) 2021-04-15 2021-04-15 装着型の情報端末、その制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022163813A true JP2022163813A (ja) 2022-10-27

Family

ID=81653127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021068875A Pending JP2022163813A (ja) 2021-04-15 2021-04-15 装着型の情報端末、その制御方法及びプログラム

Country Status (6)

Country Link
US (1) US20220334648A1 (ja)
JP (1) JP2022163813A (ja)
KR (1) KR20220142939A (ja)
CN (1) CN115220568A (ja)
DE (1) DE102022109019A1 (ja)
GB (1) GB2609694A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190432A (ja) 2007-06-12 2010-09-02 Mitsubishi Electric Corp 空間認識装置及び空気調和機
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
JP5777731B2 (ja) * 2010-12-29 2015-09-09 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャー認識のための環境依存型ダイナミックレンジ制御
CN106662750B (zh) * 2015-02-17 2021-03-12 奥斯特豪特集团有限公司 透视计算机显示系统
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
CN113732313A (zh) 2015-08-26 2021-12-03 代表亚利桑那州立大学的亚利桑那校董会 利用局部超声波增强的材料流和熔合的增材制造系统和方法
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
KR102641655B1 (ko) * 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
EP3367213A4 (en) * 2015-10-22 2019-04-17 LG Electronics Inc. MOBILE DEVICE AND CONTROL PROCESS THEREFOR
KR20170050702A (ko) * 2015-10-30 2017-05-11 삼성전자주식회사 제스처 감지 방법 및 이를 지원하는 전자 장치
EP3486750B1 (en) * 2016-07-12 2023-10-18 FUJIFILM Corporation Image display system, control device for head-mounted display, and operating method and operating program for operating same
US10506399B2 (en) * 2016-08-10 2019-12-10 Huawei Technologies Co., Ltd. Notification message management method, and terminal
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
WO2020105269A1 (ja) * 2018-11-19 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021119431A (ja) * 2020-01-30 2021-08-12 セイコーエプソン株式会社 表示システム、コントローラー、表示システムの制御方法およびプログラム
WO2021181280A1 (en) * 2020-03-10 2021-09-16 Purple Tambourine Limited Barometric sensing of arm position in a pointing controller system

Also Published As

Publication number Publication date
US20220334648A1 (en) 2022-10-20
GB2609694A (en) 2023-02-15
GB202205205D0 (en) 2022-05-25
DE102022109019A1 (de) 2022-10-20
KR20220142939A (ko) 2022-10-24
CN115220568A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
KR101078057B1 (ko) 영상인식기법을 이용한 촬영 제어 기능을 구비한 이동단말 및 영상인식기법을 이용한 촬영 제어 시스템
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
JPH086708A (ja) 表示装置
JP6789170B2 (ja) ディスプレイ装置、認証方法、及び認証プログラム
EP4002199A1 (en) Method and device for behavior recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN112351188B (zh) 根据对象显示图形元素的装置和方法
JPWO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20210100020A (ko) 음성입력장치, 그 제어 방법 및 음성명령에 대응한 처리를 실행하는 기억 매체
CN110825223A (zh) 一种控制方法及智能眼镜
US20220334648A1 (en) Wearable information terminal, control method thereof, and storage medium
WO2019171802A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
US9549113B2 (en) Imaging control terminal, imaging system, imaging method, and program device
CN111415421B (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
JP7155242B2 (ja) 携帯情報端末
JP7035613B2 (ja) コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム
CN111401283A (zh) 面部识别方法及装置、电子设备及存储介质
JP6504154B2 (ja) ウェアラブル装置、および通信制御方法
CN111240471A (zh) 信息交互方法及穿戴式设备
JP2020154569A (ja) 表示装置、表示制御方法、及び表示システム
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
JP2015162822A (ja) 電子機器、撮像装置及び通信装置
CN110399780B (zh) 一种人脸检测方法、装置及计算机可读存储介质
US20200348749A1 (en) Information processing apparatus, information processing method, and program
KR101596760B1 (ko) 글래스 타입의 이동 단말기, 이를 이용한 차량 트렁크 잠금장치 해제 방법 및 차량 트렁크 잠금장치 해제 시스템