DE102022109019A1 - Tragbares Informationsterminal, Steuerungsverfahren dafür und Speichermedium - Google Patents

Tragbares Informationsterminal, Steuerungsverfahren dafür und Speichermedium Download PDF

Info

Publication number
DE102022109019A1
DE102022109019A1 DE102022109019.1A DE102022109019A DE102022109019A1 DE 102022109019 A1 DE102022109019 A1 DE 102022109019A1 DE 102022109019 A DE102022109019 A DE 102022109019A DE 102022109019 A1 DE102022109019 A1 DE 102022109019A1
Authority
DE
Germany
Prior art keywords
mode
user
information processing
processing device
control screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022109019.1A
Other languages
English (en)
Inventor
Hiroyuki Okamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of DE102022109019A1 publication Critical patent/DE102022109019A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Die tragbare Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung umfasst eine Projektionseinrichtung zum Projizieren eines Bedienbildschirms auf ein Sichtfeld eines Benutzers durch die Informationsverarbeitungsvorrichtung, wobei der projizierte Bedienbildschirm einen ersten und einen zweiten Modus aufweist, und wobei ein im zweiten Modus angezeigter Bedienbildschirm eine kleinere Größe als ein im ersten Modus angezeigter Bedienbildschirm aufweist, oder der im zweiten Modus angezeigte Bedienbildschirm näher am Sichtfeld des Benutzers angezeigt wird als der im ersten Modus angezeigte Bedienbildschirm.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft ein tragbares Informationsterminal, wie etwa eine intelligente Brille („smart glasses“), ein Steuerungsverfahren dafür und ein Speichermedium zum Umschalten eines Bedienungsverfahrens je nach Situation.
  • Beschreibung des Standes der Technik
  • In den letzten Jahren wurden verschiedene Technologien für intelligente Brillen (am Kopf getragene Anzeigen; „Head-Mounted-Displays“) vorgeschlagen, bei denen es sich um Vorrichtungen wie Brillen oder Helme handelt, die am Kopf getragen werden.
  • AR (erweiterte Realität; „Augmented Reality“)/MR (gemischte Realität; „Mixed Reality“)-Brillen, eine Art von intelligenten Brillen, erkennen den realen Raum mit Kameras und Sensoren und zeigen AR-Bilder an, die dem realen Raum entsprechen. Das AR-Bild kann dann wie ein reales Bild betrachtet werden, und das angezeigte AR-Bild kann auch als virtuelle UI (Benutzerschnittstelle) verwendet werden. Die Benutzer können mit der Vorrichtung interagieren, indem sie die virtuelle UI des AR-Videos berühren, ihre Arme oder Finger bewegen und andere Gesten ausführen. Die japanische Patentanmeldungsveröffentlichung Nr. 2018-527465 offenbart, dass numerische Werte durch Gesten auf einer virtuellen UI eingestellt werden können. Es gibt zwei Modi für die Einstellung numerischer Werte: einen Grobeinstellungsmodus und Feineinstellungsmodus. Dann kann ein Benutzer die numerische Einstellung ohne Unannehmlichkeiten flexibel durchführen, indem er die Modi durch Gesten entsprechend dem einzustellenden numerischen Wert umschaltet. Durch die Verwendung der in der japanischen Patentanmeldungsveröffentlichung Nr. 2018 -527465 beschriebenen Technologie kann ein Benutzer die numerische Werteinstellung geeignet durch Gestenbedienung bezüglich einer virtuellen UI durchführen.
  • Wenn der Benutzer eine Gestenbedienung bezüglich der virtuellen UI ausführt, kann es vorkommen, dass die Gestenbedienung je nach Umgebung nicht ausreichend ausgeführt werden kann. So kann es beispielsweise vorkommen, dass die Ausführung der Geste aufgrund von Umgangsformen oder an bestimmten Orten, wie etwa an einem überfüllten Platz, unangemessen ist.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • In Anbetracht der vorstehenden Ausführungen stellt die vorliegende Offenbarung ein Verfahren bereit, mit dem ein Terminal bzw. Endgerät auch dann angemessen bedient werden kann, wenn die Gestenbedienung nicht ausreichend durchgeführt werden kann.
  • Die tragbare Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung umfasst: mindestens einen Speicher; und mindestens einen Prozessor in Kommunikation mit dem mindestens einen Speicher, wobei der mindestens eine Prozessor der Informationsverarbeitungsvorrichtung konfiguriert ist, um Durchzuführen: Projizieren eines Bedienbildschirms auf ein Sichtfeld eines Benutzers durch die Informationsverarbeitungsvorrichtung, wobei der projizierte Bedienbildschirm einen ersten und einen zweiten Modus aufweist, wobei ein in dem zweiten Modus angezeigter Bedienbildschirm eine kleinere Größe als ein in dem ersten Modus angezeigter Bedienbildschirm aufweist, oder wobei der in dem zweiten Modus angezeigte Bedienbildschirm näher an dem Sichtfeld des Benutzers angezeigt wird als der in dem ersten Modus angezeigte Bedienbildschirm.
  • Weitere Merkmale der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung exemplarischer Ausführungsbeispiele unter Bezugnahme auf die beigefügten Zeichnungen.
  • Figurenliste
    • 1 zeigt eine Systemkonfigurationsdarstellung mit einer intelligenten Brille in dem Ausführungsbeispiel der vorliegenden Offenbarung.
    • 2 zeigt eine Hardwarekonfiguration der intelligenten Brille in dem Ausführungsbeispiel der vorliegenden Offenbarung.
    • 3 zeigt eine Softwarekonfiguration der intelligenten Brille in dem Ausführungsbeispiel der vorliegenden Offenbarung.
    • 4 zeigt ein Beispiel für eine virtuelle UI, die von einem Benutzer im Normalmodus gemäß dem vorliegenden Ausführungsbeispiel verwendet wird.
    • 5 zeigt ein Beispiel für eine virtuelle UI, die von einem Benutzer im Ruhemodus gemäß der vorliegenden Offenbarung verwendet wird.
    • 6 zeigt ein Flussdiagramm, das den detaillierten Ablauf der Modusumschaltung gemäß dem vorliegenden Ausführungsbeispiel darstellt.
    • 7 zeigt ein Beispiel für eine UI zur Auswahl eines Typs des Ruhemodus gemäß dem vorliegenden Ausführungsbeispiel der Offenbarung.
    • 8 zeigt ein Flussdiagramm, das den detaillierten Ablauf der Modusumschaltung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Offenbarung darstellt.
    • 9A zeigt ein Beispiel für eine UI zur Benachrichtigung über das Bedienungsverfahren nach der Modusumschaltung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Offenbarung.
    • 9B zeigt ein Beispiel für eine UI zur Benachrichtigung über das Bedienungsverfahren nach der Modusumschaltung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Offenbarung.
    • 9C zeigt ein Beispiel für eine UI zur Benachrichtigung über das Bedienungsverfahren nach der Modusumschaltung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Offenbarung.
    • 9D zeigt ein Beispiel für eine UI zur Benachrichtigung über das Bedienungsverfahren nach der Modusumschaltung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Offenbarung.
    • 10 zeigt ein Flussdiagramm, das den detaillierten Ablauf der Modusumschaltung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Offenbarung darstellt.
    • 11 zeigt ein Beispiel für einen räumlich festgelegten Schwellenwert für die Modusumschaltung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Offenbarung.
  • BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • Die besten Ausführungsbeispiele der vorliegenden Offenbarung werden nun im Detail unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
  • < Erstes Ausführungsbeispiel>
  • 1 zeigt ein Beispiel für eine Systemkonfigurationsdarstellung mit einem tragbaren Informationsterminal (intelligente Brille) und einer damit verbundenen Vorrichtung. Das tragbare Informationsterminal ist eine Vorrichtung, die in der Lage ist, mit einem Mobilnetzwerk (Mobilfunknetz) 130 und dem Internet 140 direkt oder über einen mobilen Router (nicht dargestellt) zu kommunizieren, und die vorliegende Erfindung bezieht sich auf eine intelligente Brille 101 als Beispiel dafür. Eine intelligente Brille für ein einzelnes Auge und eine am Kopf befestigte Anzeige können als tragbares Informationsterminal verwendet werden. Die tragbare Vorrichtung ist eine Informationsvorrichtung mit einer Benachrichtigungsfunktion wie einer Anzeige und einer Vibrationsfunktion und einer Kommunikationsfunktion wie Bluetooth (eingetragenes Warenzeichen), die in der Lage ist, mit einer tragbaren Informationsvorrichtung zu kommunizieren, und in der vorliegenden Offenbarung wird als Beispiel eine Smartwatch 110 genannt.
  • Die intelligente Brille 101 ist ein tragbares Informationsterminal, das in der Nähe des Auges des Benutzers angebracht wird und ein virtuelles Bild im Sichtfeld auf einem Display bzw. einer Anzeige 102 anzeigt, ohne das Sichtfeld des Benutzers zu behindern. Ein solches Anzeigeverfahren wird als AR (Augmented Reality) oder MR (Mixed Reality) bezeichnet und wird durch die Funktion der Projektion von Informationen auf eine transmissive Anzeige (Linse 105), die Netzhaut des Benutzers (nicht dargestellt) oder Ähnliches bereitgestellt. Obwohl 1 ein Bild auf ein einzelnes Auge projiziert, kann die intelligente Brille 101 für die Projektion eines Bildes auf das Sichtfeld beider Augen in der vorliegenden Erfindung verwendet werden.
  • Die Anzeige 102 ist mit einer Kameraeinheit 103 zur Erfassung eines Objekts in Blickrichtung des Benutzers ausgestattet. Ein Bedienrahmen 104 ist mit einem Berührungssensor sowie einem Rahmen versehen und ist eine Bedieneinheit zur Bedienung eines Terminals. In den Bedienrahmen 104 ist eine Lautsprecherfunktion eingebaut, und der Ton kann an den Benutzer übertragen werden.
  • Die intelligente Brille 101 kann ein eingebettetes Modul wie eine eSIM („embedded subscriber identity module“) enthalten, die eine Verbindung mit dem Internet 140 über ein Mobilfunknetz 130 mit dem 4G- oder 5G-Netz ermöglicht. Die Intelligente Brille 101 können über einen mobilen Router, der sich im Besitz des Benutzers befindet, und über Wi-Fi (eingetragenes Warenzeichen) oder USB (eingetragenes Warenzeichen) oder Ähnliches mit dem Mobilfunknetz 130 verbunden werden. Die intelligente Brille 101 kann über Wi-Fi oder ähnliches mit dem Internet 140 verbunden werden, ohne das Mobilfunknetz 130 zu verwenden.
  • Die Smartwatch 110 ist ein Informationsterminal vom Typ Armbanduhr, das vom Benutzer am Handgelenk getragen wird, und eine Anzeige bzw. ein Display 111 zeigt nicht nur Informationen wie die Uhrzeit an, sondern fungiert auch als Touchpanel zur Bedienung des Terminals. Die drahtlose Kommunikation 120 wird für den Datenaustausch zwischen der intelligenten Brille 101 und der Smartwatch 110 verwendet. Die drahtlose Kommunikation 120 kann dem Bluetooth-Standard (eingetragene Marke) entsprechen, ist aber nicht darauf beschränkt. Die Smartwatch 110 verfügt über eine Vibrationsfunktion sowie über eine Anzeigefunktion.
  • 2 zeigt die Hardwarekonfiguration der intelligenten Brille 101.
  • Eine CPU 201 steuert verschiedene Funktionen der intelligenten Brille 101 über einen internen Bus 206 durch ein in einem ROM 203 gespeichertes Programm. Ein Ergebnis eines von der CPU 201 ausgeführten Programms kann über eine Anzeige 202 als Bild in das Sichtfeld des Benutzers projiziert und angezeigt werden. In dem vorliegenden Ausführungsbeispiel wird davon ausgegangen, dass es sich bei dem Anzeigesystem um ein System handelt, bei dem ein Benutzer das von der Anzeige 202 durch eine transmissive Linse 105 in das Sichtfeld projizierte Bild betrachtet. Es ist jedoch auch ein Verfahren möglich, bei dem die Anzeige 202 direkt auf die Netzhaut projiziert wird. Der ROM 203 ist ein Flash-Speicher oder ähnliches und speichert verschiedene Einstellungsinformationen und ein Anwendungsprogramm oder ähnliches, wie oben beschrieben. Ein RAM 204 fungiert als Speicher und Arbeitsbereich der CPU 201. Eine Netzwerkschnittstelle (I/F) 205 ist ein Hardwaremodul für die Verbindung mit dem Mobilfunknetz 130 und Wi-Fi. Wenn der mobile Router verwendet wird, kann eine USB-Schnittstelle (nicht dargestellt) der intelligenten Brille 101 für die Verbindung verwendet werden.
  • Eine Bedieneinheit 207 empfängt eine Eingabe des Benutzers über den Bedienrahmen 104 und überträgt ein der Eingabe entsprechendes Signal an jede der vorgenannten Einheiten über eine Bedienungsschnittstelle 208. Bei einer Sensoreinheit 209 handelt es sich um einen oder mehrere Sensoren, die jedoch nur als eine einzige Einheit dargestellt sind. Insbesondere ist mindestens ein GPS, ein Gyrosensor, ein Beschleunigungssensor, ein Näherungssensor, ein Blutdruck-/Herzfrequenzmesssensor und dergleichen an der intelligenten Brille 101 angebracht. Ein Sensor zur Erfassung biometrischer Informationen für die Authentifizierung durch einen Fingerabdruck, eine Vene, eine Iris oder Ähnliches kann an der intelligenten Brille 101 angebracht sein. Eine Kamera 210 hat eine Bildaufnahmefunktion, und die aufgenommenen Bilddaten werden im ROM 203 gespeichert. Ein Laser 211 projiziert verschiedene Inhalte auf die Anzeige 202. Im Falle des Netzhautprojektionssystems projiziert der Laser 211 den Inhalt direkt auf die Netzhaut. Eine Speichereinrichtung 212 ist ein Speichermedium und dient zum Speichern verschiedener Daten, z.B. von Anwendungen. Die intelligente Brille 101 kann auch Vorrichtungen zum Lesen und Löschen von Daten auf dem Speichermedium enthalten. Einige Terminals enthalten keine Speichereinrichtung 212, sondern nur den ROM 203. Eine Nahfeldkommunikationsschnittstelle 213 ist eine Schnittstelle, die für die Kommunikation mit der Smartwatch 110 oder dergleichen verwendet wird und beispielsweise die drahtlose Kommunikation 120 realisiert.
  • Obwohl nicht dargestellt, kann die intelligente Brille 101 auch eine Konfiguration für die Sprachkommunikation über ein Netzwerk oder eine Telefonleitung enthalten, um als Ersatz für moderne Smartphones zu dienen. Konkret ist die intelligente Brille 101 mit Komponenten für den Anschluss an die Telefonleitung, einem Lautsprecher, einem Mikrofon und einem Sprachsteuerungschip ausgestattet.
  • Die Softwarekonfiguration der intelligenten Brille gemäß dem vorliegenden Ausführungsbeispiel wird unter Bezugnahme auf 3 beschrieben.
  • Jede Einheit 301 bis 311, die in 3 als Komponenten der Software dargestellt ist, ist als Programm in dem in 2 beschriebenen ROM 203 gespeichert und wird zum Zeitpunkt der Ausführung in den RAM 204 erweitert und von der CPU 201 ausgeführt.
  • Eine Datensende-/Empfangseinheit 301 überträgt/empfängt Daten zu/von einer externen Vorrichtung über ein Netzwerk. Eine Datenspeichereinheit 302 speichert Anwendungsprogramme wie einen Webbrowser, ein Betriebssystem, zugehörige Programme, von einem Benutzer gespeicherte Daten und Ähnliches.
  • Eine physische UI-Steuerung 306 steuert Eingaben einer physischen UI, die durch direktes Berühren des Bedienrahmens 104 der intelligenten Brille 101 zu bedienen ist, und überträgt Informationen an eine Erfassungseinheit 303. Eine erste virtuelle UI-Steuerung 307 und eine zweite virtuelle UI-Steuerung 308 steuern die Anzeige eines Bedienbildschirms eines AR-Videos, das zu einer virtuellen UI werden kann. Die virtuelle UI, die auf dem AR-Video basiert, das von der ersten virtuellen UI-Steuerung 307 angezeigt wird, ist eine UI, die von einem Benutzer in einem normalen Bedienmodus (im Folgenden als „Normalmodus“ bezeichnet) verwendet wird. Die virtuelle UI, die auf dem AR-Video basiert, das von der zweiten virtuellen UI-Steuerung 308 angezeigt wird, ist eine UI, die vom Benutzer in einem Bedienmodus verwendet wird, in dem es nicht angebracht ist, die intelligente Brille mit einer großen Geste zu bedienen (dieser Modus wird im Folgenden als „Ruhemodus“ bezeichnet).
  • Eine Aufnahmeeinheit 305 wandelt ein Bild der Außenansicht und ein Gestenbild, das von einem Benutzer über die Kameraeinheit 103 eingegeben wird, in ein elektrisches Signal um, und eine Bezugseinheit eines aufgenommenen Bildes 304 erfasst das elektrische Signal.
  • Die Erfassungseinheit 303 erkennt eine Eingabe in die virtuelle UI durch die Geste des Benutzers aus dem Bild, das von der Bezugseinheit eines aufgenommenen Bildes 304 bezogen wurde, und erkennt aus den von der physischen UI-Steuerung 306 empfangenen Informationen die notwendigen Informationen, wie z.B. Schaltinformationen, die zum Umschalten eines Modus in den Ruhemodus verwendet werden.
  • Wenn die Erfassungseinheit 303 die Eingabe zum Umschalten des Normalmodus und des Ruhemodus erkennt, schaltet die Umschalteinheit 309 den Normalmodus und den Ruhemodus der Vorrichtung um und überträgt die umgeschalteten Inhalte an eine Bildeditiereinheit 310.
  • Die Bildeditiereinheit 310 bestimmt und bearbeitet das Bild des Bedienbildschirms, das entsprechend dem Bedienmodus der vorliegenden Vorrichtung ausgegeben werden soll. Eine Bildausgabeeinheit 311 überträgt das editierte Video des Bedienbildschirms, das von der Bildeditiereinheit 310 editiert wurde, an die erste virtuelle UI-Steuerung 307 oder die zweite virtuelle UI-Steuerung 308, und die erste virtuelle UI-Steuerung 307 oder die zweite virtuelle UI-Steuerung 308 zeigt das editierte Video des Bedienbildschirms auf der virtuellen UI an.
  • 4 zeigt ein Beispiel für eine virtuelle UI, die von einem Benutzer im Normalmodus gemäß dem vorliegenden Ausführungsbeispiel verwendet wird.
  • 4 zeigt einen Benutzer 401, eine intelligente Brille 402, einen Arm 403 eines Benutzers, der eine Geste ausführt, und eine virtuelle UI 404, die auf einem AR-Bild basiert, das von der ersten virtuellen UI-Steuerung 307 gesteuert wird.
  • Der Benutzer 401 ist ein Benutzer, der die intelligente Brille 402 bedient, die intelligente Brille 402 auf dem Kopf trägt und die erste virtuelle UI 404 mit einer Geste des Arms 403 bedient. Die virtuelle UI 404 ist ein UI-Bildschirm, den der Benutzer über die intelligente Brille 402 betrachtet. Die Position der Berührung des UI-Bildschirms durch den Benutzer wird erkannt, damit die Intelligente Brille die notwendige Verarbeitung entsprechend der Bedienung durchführen können. Im Normalmodus wird die virtuelle UI groß angezeigt, um Fehlbedienungen zu vermeiden.
  • Zum Beispiel wird ein Bildschirm der UI so groß angezeigt, dass der Benutzer den Bildschirm mit ausgebreiteten Armen erreichen kann. Im Normalmodus kann der Benutzer die erste virtuelle UI 404 mit einer großen Geste bedienen.
  • 5 zeigt ein Beispiel für die virtuelle UI, die vom Benutzer im Ruhemodus gemäß dem vorliegenden Ausführungsbeispiel verwendet wird.
  • 5 zeigt einen Benutzer 501, eine intelligente Brille 502, einen Arm 503 eines Benutzers, der eine Geste ausführt, und eine virtuelle UI 504 mit einem AR-Bild, das von der zweiten virtuellen UI-Steuerung 308 gesteuert wird.
  • Der Benutzer 501 ist ein Benutzer, der die Intelligente Brille 502 bedient, die Intelligente Brille 502 auf dem Kopf trägt und die zweite virtuelle UI 504 durch eine Geste mit dem Arm 503 bedient.
  • Da die zweite virtuelle UI 504, die vom Benutzer im Ruhemodus verwendet wird, kleiner ist als die erste virtuelle UI 404 oder die zweite virtuelle UI 504 näher am Benutzer angezeigt wird, kann der Benutzer die intelligente Brille 502 mit der virtuellen UI als Bedienbildschirm auch in einem engen Raum bedienen. Wenn es für den Benutzer nicht angemessen ist, die virtuelle UI mit einer großen Geste zu bedienen, kann der Benutzer die zweite virtuelle UI mit einer kleinen Geste bedienen, indem er einen Modus in den Ruhemodus umschaltet. Zu diesem Zeitpunkt kann die Erfassungseinheit 303 einen kleineren Bereich für die Erkennung von Bewegungen des Benutzers festlegen.
  • In dem vorliegenden Ausführungsbeispiel wird nur ein Typ der zweiten virtuellen UI 504 verwendet, um die im Ruhemodus zu verwendende virtuelle UI zu beschreiben, es können jedoch mehrere Typen von virtuellen UI als im Ruhemodus zu verwendende Bedienbildschirme verwendet werden.
  • Der detaillierte Ablauf des Modusumschaltvorgangs in der intelligenten Brille wird anhand des Flussdiagramms in 6 beschrieben. Die folgende Verarbeitung wird von der CPU 201 durchgeführt, die ein im ROM 203 gespeichertes Programm in den RAM 204 zur Ausführung des Programms überträgt. Das Gleiche gilt für jedes Softwaremodul.
  • In Schritt S601 beginnt die CPU 201 mit der Modusumschaltung, wenn die Erfassungseinheit 303 eine Modusumschaltanweisung erkennt. Der Prozess wartet in Schritt S601, bis die Umschaltanweisung erkannt wird. Die Anweisung zum Umschalten der Modus ist hier zum Beispiel eine Anweisung durch eine Benutzerbedienung. Der Modus wird umgeschaltet, indem der Benutzer ein vorgegebenes Objekt der virtuellen UI berührt oder eine vorgegebene Geste ausführt.
  • Hier ist die vorbestimmte Geste ein Vorgang, bei dem die Hand für eine vorbestimmte Zeitdauer in einer vorbestimmten Position gehalten wird, oder ein Vorgang, bei dem die Hand gewunken wird. Der Gestenvorgang zum Umschalten des Modus kann vom Benutzer im Voraus festgelegt werden.
  • In Schritt S602 bestimmt die CPU 201, ob die in Schritt S601 erkannte Anweisung eine Anweisung zum Umschalten eines Modus in den Ruhemodus ist. Handelt es sich um die Anweisung, einen Modus in den Ruhemodus zu schalten (Ja in S602), fährt der Prozess mit S603 fort, und wenn nicht (Nein in S602), fährt der Prozess mit S609 fort.
  • In Schritt S603 beginnt die Umschalteinheit 309 mit dem Umschalten eines Modus in den Ruhemodus gemäß der Anweisung der CPU 201.
  • In Schritt S604 bestimmt die CPU 201, ob die in Schritt S601 erkannte Schaltanweisung eine Anweisung zur Verwendung der physischen UI ist. Wenn festgestellt wird, dass die Schaltanweisung die physische UI verwenden soll (Ja in S604), wird mit S605 fortgefahren, und wenn nicht (Nein in S604), wird mit S608 fortgefahren.
  • In Schritt S605 bestimmt die CPU 201, ob die physische UI verfügbar ist und sich in einem validen Zustand befindet oder nicht. Wenn die physische UI valide ist (Ja in S605), fährt der Prozess mit S606 fort; andernfalls (Nein in S605) fährt der Prozess mit S607 fort.
    • - Ruhemodus: Wenn die physische UI aktiviert ist, stoppt die CPU 201 in Schritt S606 die Anzeige der ersten virtuellen UI 404 und startet die Anzeige der zweiten virtuellen UI 504 und beendet die Verarbeitung.
    • - Ruhemodus: Wenn die physische al UI nicht aktiviert ist, stoppt die CPU 201 in Schritt S607 die Anzeige der ersten virtuellen UI 404 und startet die Anzeige der zweiten virtuellen UI 504, aktiviert die physische UI und beendet den Prozess.
  • Wenn die physische UI im Ruhemodus verwendet wird, kann der Benutzer die Intelligente Brille sowohl mit der zweiten virtuellen UI 504 als auch mit der physischen UI oder nur mit der physischen UI bedienen. Wenn die Bedienung nur über die physische UI erfolgt, zeigt die zweite virtuelle UI 504 nur ein Bild für den Benutzer als Anzeige und nicht als Benutzerschnittstelle (UI) an.
  • In Schritt S608 (Nein in S604) stoppt die CPU 201 die Anzeige der ersten virtuellen UI 404 und startet die Anzeige der zweiten virtuellen UI 504 und beendet den Prozess.
  • In Schritt S609 (Nein in S602) beginnt die CPU 201 mit dem Umschalten eines Modus in den Normalmodus. In Schritt S610 stoppt die CPU 201 die Anzeige der zweiten virtuellen UI 504 und startet die Anzeige der ersten virtuellen UI 404 und beendet den Prozess.
  • Die in 6 gezeigte Modusumschaltung der intelligenten Brille ermöglicht es dem Benutzer, die im Normalmodus und im Ruhemodus verwendete UI je nach Situation umzuschalten, und ermöglicht es dem Benutzer auch, die intelligente Brille ohne jegliche Unannehmlichkeiten zu bedienen, wodurch der Komfort verbessert wird. Insbesondere bei der Verwendung der Intelligente Brille in öffentlichen Verkehrsmitteln wie Zügen und Bussen kann der Bedienbereich eingeschränkt werden, indem die virtuelle UI in einer kleinen Größe oder in der Nähe des Benutzers angezeigt wird, wenn sich Menschen in der Nähe befinden. Obwohl das obige Flussdiagramm ein Beispiel zeigt, in dem ein Bildschirm in einer kleinen Größe oder in der Nähe des Benutzers angezeigt wird, kann es eine andere Art der Anzeige des Bildschirms sein, solange der Bedienbereich vom Benutzer im realen Raum eingegrenzt werden kann. So kann beispielsweise nur das Bedienobjekt in die Nähe des Benutzers gebracht werden.
  • Darüber hinaus kann der Benutzer auch nach dem Umschalten eines Modus in den Ruhemodus eine Bedienungsverfahren auswählen. Das heißt, nachdem ein Modus in den Ruhemodus umgeschaltet wurde, kann der Benutzer immer noch auswählen, ob der Vorgang nur durch die zweite virtuelle UI 504, nur durch die physische UI oder sowohl durch die zweite virtuelle UI 504 als auch durch die physische UI ausgeführt werden soll.
  • 7 zeigt ein Beispiel für eine UI zur Auswahl einer Bedienungsverfahren, die während des Ruhemodus gemäß dem vorliegenden Ausführungsbeispiel verwendet werden soll. Die Auswahl der Bedienungsverfahren kann jedes Mal angezeigt werden, wenn der Ruhemodus in den Ruhemodus umgeschaltet wird, oder sie kann im Voraus festgelegt werden. Der gewählte Modus wird als Einstellung der Vorrichtung gespeichert.
  • Ein UI-Bildschirm 701 zeigt eine Benutzerschnittstelle (UI), die als AR-Bild angezeigt wird, und umfasst ein Titelfenster 702, ein Hauptfenster 703, ein Elementfenster 704 und ein Eingabefenster 705. Das Hauptfenster 703 zeigt ein Anzeigeverfahren und eine Bedienungsverfahren im Ruhemodus. Das Anzeigeverfahren und eine Erläuterung des Bedienungsverfahrens im Ruhemodus werden in jedem Elementfenster 704 angezeigt. Als Reaktion auf die Auswahl und Einstellung der Bedienungsverfahren, die im Ruhemodus durch den Benutzer über das Eingabefenster 705 verwendet wird, arbeitet die intelligente Brille 101 gemäß der vom Benutzer während des Ruhemodus ausgewählten und eingestellten Bedienungsverfahren. Hier kann der Benutzer auswählen, ob die Bedienung nur über die zweite virtuelle UI 504, nur über die physische UI oder sowohl über die zweite virtuelle UI 504 als auch über die physische UI erfolgen soll.
  • < Zweites Ausführungsbeispiel>
  • Gemäß dem ersten Ausführungsbeispiel, weil sich das Bedienungsverfahren ändert, wenn der Modus aus dem Normalmodus in den Ruhemodus umgeschaltet wird, kann der Benutzer mit der Bedienung verwirrt werden. Daher kann es notwendig sein, dass der Benutzer über das Bedienungsverfahren informiert wird, nachdem der Modus umgeschaltet wurde, um nicht mit der Bedienung verwirrt zu werden. Das Gleiche gilt, wenn der Modus vom Ruhemodus in den Normalmodus umgeschaltet wird.
  • In dem zweiten Ausführungsbeispiel wird zusätzlich zum Umschalten zwischen dem Normalmodus und dem Ruhemodus gemäß dem ersten Ausführungsbeispiel ein Verfahren beschrieben, mit dem der Benutzer über das Bedienungsverfahren zum Zeitpunkt des Umschaltens des Modus informiert wird.
  • 8 ist ein Flussdiagramm des in 6 gezeigten Modusumschaltverfahrens, zu dem der Benachrichtigungsprozess des Bedienungsverfahrens hinzugefügt wurde. Die gleichen Nummerierungen werden für Schritte verwendet, die denen in 6 ähnlich sind, und die Beschreibung dieser Schritte wird weggelassen.
  • In Schritt S603 wird das Umschalten in den Ruhemodus eingeleitet. Wenn die physische UI verwendet wird (Ja in Schritt S604) und wenn die physische UI aktiviert ist (Ja in S605 oder Nein in S605, aber physische UI ist in S607 aktiviert), geht die CPU 201 zu Schritt S801 über.
  • In Schritt S801 benachrichtigt die CPU 201 das Bedienungsverfahren über die physische UI und beendet die Verarbeitung.
  • Wenn die physische UI nicht verwendet wird (Nein in S604) und der Vorgang im Ruhemodus der Vorgang unter Verwendung der zweiten virtuellen UI 504 ist (S608), benachrichtigt die CPU 201 den Benutzer über das Bedienungsverfahren unter Verwendung der zweiten virtuellen UI 504 in S802 und beendet die Verarbeitung.
  • Wenn der Modus in den Normalmodus umgeschaltet wird und die Bedienungsverfahren auf das Verfahren unter Verwendung der ersten virtuellen UI 404 (Nein in S602) umgeschaltet wird, benachrichtigt die CPU 201 den Benutzer über das Bedienungsverfahren unter Verwendung der ersten virtuellen UI 404 in S803 und beendet die Verarbeitung.
  • 9A, 9B, 9C und 9D zeigen Beispiele für eine Benutzerschnittstelle (UI) zur Benachrichtigung des Benutzers über das Bedienungsverfahren.
  • 9A zeigt ein Beispiel für eine UI für eine Bedienerführung, die ein Bedienungsverfahren anzeigt, wenn der Normalmodus in den Ruhemodus mit einem Bedienungsverfahren umgeschaltet wird, bei dem nur die zweite virtuelle UI 504 verwendet wird (d.h. Schritt S802 in 8). Ein UI-Bildschirm 901 zeigt eine UI, die durch ein AR-Bild angezeigt wird, und umfasst ein Titelfenster 902 und ein Hauptfenster 903. Das Titelfenster 902 zeigt an, dass der Modus vom Normalmodus in den Ruhemodus umgeschaltet wurde, und das Hauptfenster 903 zeigt die obige Umschaltung mit einer Zeichnung an.
  • 9B zeigt ein Beispiel für eine UI für eine Bedienerführung, die eine Bedienungsverfahren anzeigt, wenn der Normalmodus in den Ruhemodus mit einer Bedienungsverfahren umgeschaltet wird, bei der nur die physische UI verwendet wird (d.h. S801 in 8). Ein UI-Bildschirm 911 zeigt eine UI, die durch ein AR-Bild angezeigt wird, und umfasst ein Titelfenster 912 und ein Hauptfenster 913. Das Titelfenster 912 zeigt an, dass der Modus vom Normalmodus in den Ruhemodus umgeschaltet wurde, und das Hauptfenster 913 zeigt die obige Umschaltung mit einer Zeichnung an.
  • 9C zeigt ein Beispiel für eine UI für eine Bedienerführung, die ein Bedienungsverfahren anzeigt, wenn der Normalmodus in den Ruhemodus mit einem Bedienungsverfahren umgeschaltet wird, bei dem sowohl die zweite virtuelle UI 504 als auch die physische UI verwendet werden (d.h. Schritt S801 in 8). Ein UI-Bildschirm 921 zeigt eine UI, die durch ein AR-Bild angezeigt wird, und umfasst ein Titelfenster 922 und ein Hauptfenster 923. Das Titelfenster 922 zeigt an, dass der Modus vom Normalmodus in den Ruhemodus umgeschaltet wurde, und das Hauptfenster 923 zeigt die obige Umschaltung mit einer Zeichnung an.
  • 9D zeigt ein Beispiel für eine UI für eine Bedienerführung, die ein Bedienungsverfahren anzeigt, wenn der Ruhemodus mit dem Bedienungsverfahren, in dem nur die zweite virtuelle UI 504 verwendet wird, in den Normalmodus umgeschaltet wird (d.h. Schritt S803 in 8). Ein UI-Bildschirm 931 zeigt eine UI, die durch ein AR-Bild angezeigt wird, und umfasst ein Titelfenster 932 und ein Hauptfenster 933. Das Titelfenster 932 zeigt an, dass der Modus vom Normalmodus in den Ruhemodus umgeschaltet wird, und das Hauptfenster 933 zeigt die obige Umschaltung mit einer Zeichnung an.
  • Es sollte beachtet werden, dass der Benutzer einstellen kann, ob das Bedienungsverfahren beim Wechsel zwischen dem Normalmodus und dem Ruhemodus benachrichtigt wird oder nicht.
  • Gemäß dem zweiten Ausführungsbeispiel ermöglicht die in 8 gezeigte Verarbeitung dem Benutzer, das Bedienungsverfahren zum Zeitpunkt des Umschaltens des Modus zu kennen, wodurch die Benutzerfreundlichkeit der Vorrichtung verbessert wird.
  • < Drittes Ausführungsbeispiel>
  • In dem ersten und zweiten Ausführungsbeispiel wurden einige Beispiele beschrieben, bei denen der Benutzer durch die Bedienung der intelligenten Brille 101 einen Modus in den Normalmodus oder in den Ruhemodus schaltet. Es könnte jedoch für einen Benutzer mühsam sein, eine Anweisung zum Umschalten eines Modus zu stellen. Daher zeigt das dritte Ausführungsbeispiel ein Beispiel, bei dem die intelligente Brille ein Bild im Umfeld des Benutzers in Echtzeit erfasst, und dann erkennt die intelligente Brille eine Situation im Umfeld des Benutzers, und dann schaltet die intelligente Brille automatisch einen Modus zwischen dem Normalmodus und dem Ruhemodus auf der Grundlage des Erfassungsergebnisses.
  • 10 zeigt ein Flussdiagramm eines Prozesses, bei dem die intelligente Brille automatisch einen Modus zwischen dem Normalmodus und dem Ruhemodus umschaltet, basierend auf einer Situation vor dem bzw. in Front des Benutzers. Es ist zu beachten, dass der in 10 gezeigte Ablauf auf dem in 6 gezeigten Ablauf basiert, aber zusätzlich einen Schritt zur Erkennung der Situation in Front des Benutzers und einen Schritt zum automatischen Umschalten des Modus umfasst. Die Schritte, die mit den in 6 gezeigten gemeinsam sind, sind durch gemeinsame numerische Symbole gekennzeichnet und werden im Folgenden nicht beschrieben.
  • In Schritt S1001 nimmt die Aufnahmeeinheit 305 ein Bild der Außenansicht auf und speichert das Bild.
  • In Schritt S1002 erkennt die CPU 201 einen Raum in Front des Benutzers, in dem kein Hindernis vorhanden ist, und bestimmt, ob der Raum innerhalb eines Schwellenwertes liegt oder nicht. Die Raumerkennung wird ausgeführt unter Verwendung: der Bezugseinheit eines aufgenommenen Bildes 304, die so konfiguriert ist, dass sie ein Bild der Außenansicht erfasst, das von der Aufnahmeeinheit 305 erfasst wird; und der Erfassungseinheit 303, die so konfiguriert ist, dass sie das Bild analysiert und die Position des Objekts erfasst. Die Raumerkennung kann mit einer bekannten Technik realisiert werden (siehe z.B. die japanische Patentanmeldungsveröffentlichung Nr. 2010-190432).
  • Der Schwellenwert wird anhand von 11 beschrieben. 11 ist ein Beispiel für die Einstellung eines vorbestimmten Schwellenwerts in einem Raum in Front des Benutzers. 11 zeigt einen Benutzer 1101, eine intelligente Brille 1102, einen Arm 1103 des Benutzers, der die Geste ausführt, und Raumkoordinaten 1104. Der Benutzer 1101 ist eine Person, die die Intelligente Brille bedient und die Intelligente Brille 1102 auf dem Kopfbereich trägt. Ein Raum eines rechtwinkligen Parallelepipeds (x1≤x≤x2, y1≤y≤y2, z1≤z≤z2), der durch die auf die Raumkoordinaten 1104 aufgetragenen Koordinaten (x1, x2, y1, y2, z1, z2) definiert ist, gibt einen Bereich an, in dem sich der Arm des Benutzers bewegen kann. In dem in 11 gezeigten Beispiel wird der Raum des rechteckigen Parallelepipeds (x1≤x≤x2, y1≤y≤y2, z1≤z≤z2) als Schwellenwert für die Modusumschaltung verwendet. In Schritt S1002 wird, wenn die Erfassungseinheit 303 ein Objekt in dem durch die Koordinaten (x1, x2, y1, y2, z1, z2) bezeichneten Raum erfasst, bestimmt, dass der Raum in Front des Benutzers innerhalb eines vorbestimmten Schwellenwerts für das Umschalten in den Ruhemodus liegt. Der Schwellenwert in 11 ist lediglich ein Beispiel, und der Schwellenwert muss nicht unbedingt als rechteckiges Parallelepiped definiert sein. Der Schwellenwert kann auch einen Puffer haben. Der Schwellenwert kann vom Benutzer eingestellt werden.
  • In Schritt S1002, wenn die CPU 201 feststellt, dass der Raum in Front des Benutzers innerhalb des vorbestimmten Schwellenwerts für das Umschalten des Modus in den Ruhemodus liegt (Ja in Schritt S1002), fährt der Prozess mit Schritt S1003 fort; andernfalls (Nein in Schritt S1002) fährt der Prozess mit Schritt S1004 fort.
  • In Schritt S1003 bestimmt die CPU 201, ob der aktuelle Modus der Normalmodus ist oder nicht. Wenn sich die Intelligente Brille derzeit im Normalmodus befinden (Ja in S1003), wird mit S603 fortgefahren, um den Modus in den Ruhemodus zu schalten. Andernfalls (Nein in S1003) kehrt der Prozess zu S1001 zurück.
  • Wenn andererseits festgestellt wird, dass der Raum in Front des Benutzers außerhalb des vorbestimmten Schwellenwerts für das Umschalten des Modus in den Ruhemodus liegt (Nein in S1002), bestimmt die CPU 201 in S1004, ob der Ruhemodus derzeit ausgewählt ist oder nicht. Wenn der Ruhemodus derzeit nicht ausgewählt ist (Nein in S1004), kehrt der Prozess zu S1001 zurück, und wenn der Ruhemodus derzeit ausgewählt ist (Ja in S1004), geht der Prozess zu S609 weiter, um mit dem Umschalten des Modus in den Normalmodus zu beginnen.
  • Wie oben beschrieben, entfällt bei der in 10 gezeigten Verarbeitung die Notwendigkeit, dass der Benutzer eine Anweisung für die Modusumschaltung geben muss, wodurch die Benutzerfreundlichkeit der intelligenten Brille verbessert werden kann. Im vorliegenden Beispiel wird der Modus automatisch in den Ruhemodus umgeschaltet, wenn sich ein Hindernis im Bereich der Gestensteuerung des Benutzers befindet. Dies ist jedoch nicht der einzige Auslöser für das Umschalten in den Ruhemodus. Beispielsweise kann der Modus von der intelligenten Brille in den Ruhemodus umgeschaltet werden, wenn anhand eines Bildes, das von der in der intelligenten Brille installierten Erfassungseinheit aufgenommen wurde, festgestellt wird, dass sich der Benutzer in einem öffentlichen Verkehrsmittel wie z.B. einem Zug befindet. Die intelligente Brille kann den Klang der Umgebung durch das in der intelligenten Brille installierte Mikrofon erfassen, die Situation in der Nähe des Benutzers erkennen und den Modus entsprechend dem Erkennungsergebnis in den Ruhemodus schalten. Darüber hinaus kann die intelligente Brille so konfiguriert sein, dass sie die Umgebungssituation anhand des aufgenommenen Bildes und dem erfassten Klang erkennt. Das heißt, die intelligente Brille ist so konfiguriert, dass sie die Situation in der Umgebung des Benutzers auf der Grundlage des aufgenommenen Bildes und des erfassten Klangs bestimmt und den Modus automatisch auf der Grundlage des Bestimmungsergebnisses umschaltet.
  • Gemäß dem Verfahren des dritten Ausführungsbeispiels können der Normalmodus und der Ruhemodus automatisch umgeschaltet werden.
  • < Weitere Ausführungsbeispiele>
  • Das/die Ausführungsbeispiel(e) der vorliegenden Erfindung kann (können) auch von einem Computer eines Systems oder einer Vorrichtung realisiert werden, der (die) computerausführbare Anweisungen (z.B. ein oder mehrere Programme) ausliest und ausführt, die auf einem Speichermedium aufgezeichnet sind (das auch vollständiger als „nichttransitorisches computerlesbares Speichermedium“ bezeichnet werden kann), um die Funktionen einer oder mehrerer der oben beschriebenen Ausführungsbeispiel(e) auszuführen, und/oder der eine oder mehrere Schaltungen (z.B., (z.B. anwendungsspezifische integrierte Schaltung (ASIC)) zur Ausführung der Funktionen einer oder mehrerer der oben beschriebenen Ausführungsbeispiel(e) enthält, und durch ein Verfahren, das von dem Computer des Systems oder der Vorrichtung ausgeführt wird, indem beispielsweise die computerausführbaren Befehle aus dem Speichermedium ausgelesen und ausgeführt werden, um die Funktionen einer oder mehrerer der oben beschriebenen Ausführungsbeispiel(e) auszuführen und/oder die eine oder mehrere Schaltungen zu steuern, um die Funktionen einer oder mehrerer der oben beschriebenen Ausführungsbeispiel(e) auszuführen. Der Computer kann einen oder mehrere Prozessoren (z.B. Zentraleinheit (CPU), Mikroprozessoreinheit (MPU)) umfassen und kann ein Netzwerk von separaten Computern oder separaten Prozessoren zum Auslesen und Ausführen der computerausführbaren Anweisungen enthalten. Die computerausführbaren Anweisungen können dem Computer z.B. über ein Netzwerk oder das Speichermedium zur Verfügung gestellt werden. Das Speichermedium kann beispielsweise eine oder mehrere Festplatten, einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen Speicher verteilter Rechensysteme, eine optische Platte (wie eine Compact Disc (CD), eine Digital Versatile Disc (DVD) oder eine Blu-ray Disc (BD)™), eine Flash-Speichervorrichtung, eine Speicherkarte und Ähnliches umfassen.
  • Obwohl die vorliegende Erfindung unter Bezugnahme auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist die Erfindung nicht auf die offengelegten beispielhaften Ausführungsbeispiele beschränkt. Der Umfang der folgenden Ansprüche ist so weit auszulegen, dass er alle derartigen Modifikationen und gleichwertigen Strukturen und Funktionen umfasst.
  • Die tragbare Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung umfasst eine Projektionseinrichtung zum Projizieren eines Bedienbildschirms auf ein Sichtfeld eines Benutzers durch die Informationsverarbeitungsvorrichtung, wobei der projizierte Bedienbildschirm einen ersten und einen zweiten Modus aufweist, und wobei ein im zweiten Modus angezeigter Bedienbildschirm eine kleinere Größe als ein im ersten Modus angezeigter Bedienbildschirm aufweist, oder der im zweiten Modus angezeigte Bedienbildschirm näher am Sichtfeld des Benutzers angezeigt wird als der im ersten Modus angezeigte Bedienbildschirm.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2018527465 [0003]

Claims (12)

  1. Tragbare Informationsverarbeitungsvorrichtung mit: einer Projektionseinrichtung zum Projizieren eines Bedienbildschirms auf ein Sichtfeld eines Benutzers durch die Informationsverarbeitungsvorrichtung, wobei der projizierte Bedienbildschirm einen ersten und einen zweiten Modus aufweist, wobei ein im zweiten Modus angezeigter Bedienbildschirm eine kleinere Größe als ein im ersten Modus angezeigter Bedienbildschirm aufweist, oder wobei der im zweiten Modus angezeigte Bedienbildschirm näher am Sichtfeld des Benutzers angezeigt wird als der im ersten Modus angezeigte Bedienbildschirm.
  2. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, weiterhin mit einer Erfassungseinrichtung zum Erfassen einer Bedienung bezüglich des projizierten Bedienbildschirms durch den Benutzer.
  3. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der im zweiten Modus angezeigte Bedienbildschirm einen kleineren Bedienbereich aufweist als der im ersten Modus angezeigte Bedienbildschirm.
  4. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, weiterhin mit einer physikalischen Bedieneinheit, die konfiguriert ist, um eine Bedienung bezüglich des Bedienbildschirms zu empfangen.
  5. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, weiterhin mit einer Einstelleinrichtung zum Einstellen eines Bedienungsverfahrens im zweiten Modus bei Eingang eines Empfangs einer Bedienung durch den Benutzer.
  6. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, weiterhin mit einer Anzeigeeinrichtung zur Anzeige eines Bedienungsverfahrens auf dem Bedienbildschirm bei Umschalten zwischen dem ersten und dem zweiten Modus.
  7. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, weiterhin mit einer Umschalteinrichtung zum Umschalten zwischen dem ersten und dem zweiten Modus als Reaktion auf eine Anweisung von dem Benutzer.
  8. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, weiterhin mit: einer Bezugseinrichtung zum Beziehen eines Bildes des Hintergrunds; und einer Umschalteinrichtung zum Umschalten von dem ersten Modus auf den zweiten Modus basierend auf dem bezogenen Bild des Hintergrunds.
  9. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, weiterhin mit: einer Bezugseinrichtung zum Beziehen eines Bildes des Hintergrunds; einer Erkennungseinrichtung zum Erkennen eines Raums in Front des Benutzers aus dem bezogenen Bild; und einer Umschalteinrichtung zum Umschalten von dem ersten Modus auf den zweiten Modus, wenn bestimmt wird, dass der erkannte Raum schmaler ist als ein vorbestimmter Schwellenwert.
  10. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der erste Modus eine erste virtuelle Benutzerschnittstelle bereitstellt und der zweite Modus eine zweite virtuelle Benutzerschnittstelle bereitstellt.
  11. Verfahren für eine tragbare Informationsverarbeitungsvorrichtung, mit: Projizieren eines Bedienbildschirms auf ein Sichtfeld eines Benutzers durch die Informationsverarbeitungsvorrichtung, wobei der projizierte Bedienbildschirm einen ersten und einen zweiten Modus aufweist, wobei ein im zweiten Modus angezeigter Bedienbildschirm eine kleinere Größe als ein im ersten Modus angezeigter Bedienbildschirm aufweist, oder wobei der im zweiten Modus angezeigte Bedienbildschirm näher am Sichtfeld des Benutzers angezeigt wird als der im ersten Modus angezeigte Bedienbildschirm.
  12. Nicht-transitorisches computerlesbares Speichermedium, das ein Programm speichert, um einen Computer zu veranlassen, ein Verfahren für eine tragbare Informationsverarbeitungsvorrichtung durchzuführen, wobei das Verfahren aufweist: Projizieren eines Bedienbildschirms auf ein Sichtfeld eines Benutzers durch die Informationsverarbeitungsvorrichtung, wobei der projizierte Bedienbildschirm einen ersten und einen zweiten Modus aufweist, wobei ein im zweiten Modus angezeigter Bedienbildschirm eine kleinere Größe als ein im ersten Modus angezeigter Bedienbildschirm aufweist, oder wobei der im zweiten Modus angezeigte Bedienbildschirm näher am Sichtfeld des Benutzers angezeigt wird als der im ersten Modus angezeigte Bedienbildschirm.
DE102022109019.1A 2021-04-15 2022-04-13 Tragbares Informationsterminal, Steuerungsverfahren dafür und Speichermedium Pending DE102022109019A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021068875A JP2022163813A (ja) 2021-04-15 2021-04-15 装着型の情報端末、その制御方法及びプログラム
JP2021-068875 2021-04-15

Publications (1)

Publication Number Publication Date
DE102022109019A1 true DE102022109019A1 (de) 2022-10-20

Family

ID=81653127

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022109019.1A Pending DE102022109019A1 (de) 2021-04-15 2022-04-13 Tragbares Informationsterminal, Steuerungsverfahren dafür und Speichermedium

Country Status (6)

Country Link
US (1) US20220334648A1 (de)
JP (1) JP2022163813A (de)
KR (1) KR20220142939A (de)
CN (1) CN115220568A (de)
DE (1) DE102022109019A1 (de)
GB (1) GB2609694A (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018527465A (ja) 2015-08-26 2018-09-20 アリゾナ・ボード・オブ・リージェンツ・オン・ビハーフ・オブ・アリゾナ・ステイト・ユニバーシティーＡｒｉｚｏｎａ Ｂｏａｒｄ ｏｆ Ｒｅｇｅｎｔｓ ｏｎ ｂｅｈａｌｆ ｏｆ Ａｒｉｚｏｎａ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ 局所的な超音波増大した材料の流れと融合を利用する付加製造のための装置および方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190432A (ja) 2007-06-12 2010-09-02 Mitsubishi Electric Corp 空間認識装置及び空気調和機
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
JP5777731B2 (ja) * 2010-12-29 2015-09-09 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャー認識のための環境依存型ダイナミックレンジ制御
CN106662750B (zh) * 2015-02-17 2021-03-12 奥斯特豪特集团有限公司 透视计算机显示系统
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
EP3862852A1 (de) * 2015-10-20 2021-08-11 Magic Leap, Inc. Auswählen von virtuellen objekten in einem dreidimensionalen raum
WO2017069324A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170050702A (ko) * 2015-10-30 2017-05-11 삼성전자주식회사 제스처 감지 방법 및 이를 지원하는 전자 장치
CN109478091A (zh) * 2016-07-12 2019-03-15 富士胶片株式会社 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
WO2018027679A1 (zh) * 2016-08-10 2018-02-15 华为技术有限公司 管理通知消息的方法及终端
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
WO2020105269A1 (ja) * 2018-11-19 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021119431A (ja) * 2020-01-30 2021-08-12 セイコーエプソン株式会社 表示システム、コントローラー、表示システムの制御方法およびプログラム
WO2021181280A1 (en) * 2020-03-10 2021-09-16 Purple Tambourine Limited Barometric sensing of arm position in a pointing controller system
US20220091722A1 (en) * 2020-09-23 2022-03-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018527465A (ja) 2015-08-26 2018-09-20 アリゾナ・ボード・オブ・リージェンツ・オン・ビハーフ・オブ・アリゾナ・ステイト・ユニバーシティーＡｒｉｚｏｎａ Ｂｏａｒｄ ｏｆ Ｒｅｇｅｎｔｓ ｏｎ ｂｅｈａｌｆ ｏｆ Ａｒｉｚｏｎａ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ 局所的な超音波増大した材料の流れと融合を利用する付加製造のための装置および方法

Also Published As

Publication number Publication date
US20220334648A1 (en) 2022-10-20
JP2022163813A (ja) 2022-10-27
GB2609694A (en) 2023-02-15
CN115220568A (zh) 2022-10-21
GB202205205D0 (en) 2022-05-25
KR20220142939A (ko) 2022-10-24

Similar Documents

Publication Publication Date Title
CN107832836B (zh) 无模型深度增强学习探索方法及装置
EP3293620A1 (de) Multibildschirm-steuerverfahren und -ystem für bildschirm basierend auf augenverfolgungstechnologie
DE202020005847U1 (de) Ein elektronisches Gerät, ein Computerspeichermedium und ein Computerprogrammprodukt
DE102016118680A1 (de) Situationsabhängiges Aufheben eines Weckwortes zum Aktivieren einer Sprachbefehlseingabe
DE102017113116B4 (de) Kamerabetriebsmodus-Steuerung
CN108076290B (zh) 一种图像处理方法及移动终端
DE112019007677T5 (de) Posenvorhersageverfahren, Modelltrainingsverfahren und Vorrichtung
DE202013012304U1 (de) Mobiles Endgerät
DE102014117344A1 (de) Gerät und Verfahren zum Empfangen einer Eingabe und Darstellen als Antwort eine Ausgabe auf einem von dem ersten Gerät unterschiedlichen zweiten Gerät
DE102018210633A1 (de) Verfahren und Vorrichtungen zum Erkennen von dem Benutzer zugewandten Bildschirmen bei Vorrichtungen mit mehreren Bildschirmen
DE102018103468A1 (de) Informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm
DE202009019049U1 (de) Netzwerkkommunikationsvorrichtung mit einem ersten Gerät und einem zweiten Gerät
DE202017007296U1 (de) Elektronische Vorrichtung, umfassend einen gebogenen Anzeigebereich
EP3367297A1 (de) Systeme und verfahren zur anpassung einer personalisierten benutzeroberfläche unter verwendung von gesichtserkennung
CN111131702A (zh) 获取图像的方法、装置、存储介质和电子设备
DE102022109019A1 (de) Tragbares Informationsterminal, Steuerungsverfahren dafür und Speichermedium
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111654622A (zh) 拍摄对焦方法、装置、电子设备及存储介质
CN110633677A (zh) 人脸识别的方法及装置
CN114501144A (zh) 基于图像的电视控制方法、装置、设备及存储介质
DE102016119948A1 (de) Gestensteuerung mit Hilfe von Tiefenangaben
DE102011123068B3 (de) Bildaufnahmevorrichtung, die zum löschen eines auf einem bewegtbild überlagerten videoeffekts in der lage ist, verfahren zum steuern der vorrichtung, und bewegtbild-aufzeichnungsvorrichtung, sowie ein speichermedium
DE112019006940T5 (de) Benutzerauthentifizerung durch posenbasierte Gesichtserkennung
CN111818382A (zh) 一种录屏方法、装置及电子设备
DE102019102903A1 (de) Anpassung einer Charakteristik eines Erweiterte-Realität-Inhalts

Legal Events

Date Code Title Description
R012 Request for examination validly filed