CN111665905B - 眼镜类型的头戴式显示设备及其方法 - Google Patents

眼镜类型的头戴式显示设备及其方法 Download PDF

Info

Publication number
CN111665905B
CN111665905B CN202010411170.4A CN202010411170A CN111665905B CN 111665905 B CN111665905 B CN 111665905B CN 202010411170 A CN202010411170 A CN 202010411170A CN 111665905 B CN111665905 B CN 111665905B
Authority
CN
China
Prior art keywords
screen
electronic device
virtual
information
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010411170.4A
Other languages
English (en)
Other versions
CN111665905A (zh
Inventor
金明植
裵秀晶
郑文植
崔成焘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202010411170.4A priority Critical patent/CN111665905B/zh
Publication of CN111665905A publication Critical patent/CN111665905A/zh
Application granted granted Critical
Publication of CN111665905B publication Critical patent/CN111665905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

提供了一种通过使用设备来处理画面的方法和装置。所述方法包括：根据关于第一设备的画面显示请求在第二设备处获得在第一设备上显示的显示画面和与显示画面相关的信息；在第二设备处基于第一设备上的显示画面和与显示画面相关的信息来确定附加画面；以及在第一设备上的显示画面附近显示附加画面。

Description

眼镜类型的头戴式显示设备及其方法
本申请是申请日为2015年10月15日、申请号为201510667006.9、发明名称为“用于使用设备来处理画面的方法和装置”的发明专利申请的分案申请。
对相关申请的交叉引用
本申请要求于2014年10月15日向韩国知识产权局提交的被分配序列号10-2014-0139071的韩国专利申请的优先权，其全部公开通过引用合并于此。
技术领域
本公开涉及用于处理联接在设备之间的画面的方法和装置。
背景技术
通常，移动设备是尺寸足够小到适合在口袋中并包括具有触摸输入功能的显示屏幕或小尺寸键盘的计算设备。然而，这样的移动设备的屏幕通常小于向其提供的内容的尺寸，因此应附加显示窗口或应执行屏幕滚动。头戴式显示(HMD)设备应被理解为被设计用于用户在将HMD设备像眼镜那样佩戴在其头部上时观看虚拟图像的各种图像显示设备。HMD设备不仅能够向用户提供简单的显示功能，而且能够向用户提供具有作为显示功能与增强现实技术、N画面技术等的组合的各种便利功能。然而，HMD设备的用户可能间接地尝试控制在HMD设备的眼镜上显示的虚拟图像，例如通过朝向虚拟图像做手势、做出语音输入、或触摸眼镜的臂，而不物理地触摸虚拟图像。因此，难以准确地控制虚拟图像。
将上述信息仅呈现为背景信息，以帮助理解本公开。尚未确定并且尚未断定是否可以将上述内容应用为关于本公开的现有技术。
发明内容
本公开的方面用于解决至少上述问题和/或确定以及提供至少下述优点。因此，本公开的一个方面是提供一种用于通过使用设备来处理联接到实际画面的附加画面的方法和装置。
依据本公开的一个方面，提供了一种由第二设备执行的处理第一设备上的画面的方法。该方法包括：根据关于第一设备的画面显示请求在第二设备处获得在第一设备上显示的显示画面和与显示画面相关的信息；在第二设备处基于第一设备上的显示画面和与显示画面相关的信息来确定附加画面；以及在所述第一设备上的显示画面附近显示附加画面。
与显示画面相关的信息可以包括以下中的至少一个：第一设备的形状信息、要在第一设备上的显示画面附近显示的附加画面的位置、附加画面的大小、与附加画面相关的内容信息和使用相机捕捉的第一设备的状态信息。
第一设备的状态信息可以包括第一设备的画面的位置和角度。
第一设备的状态信息可以使用相机来定期更新。
显示附加画面可以包括：捕捉第一设备的图像；基于所捕捉的第一设备的图像来确定第一设备的画面的位置和方向；以及基于第一设备的画面的位置和方向在第一设备的画面的预定位置显示附加画面。
确定第一设备的画面的位置和方向可以包括：从第一设备接收第一设备的形状信息；从第一设备的形状信息中提取特征点；以及将第一设备的图像的特征点与第一设备的形状信息的特征点进行比较，以确定第一设备的画面的位置和方向。
该方法可以进一步包括：根据在第一和第二设备上执行的用户输入来控制第一设备上的显示画面和附加画面被相互联接。
控制第一设备上的显示画面和附加画面被相互联接可以包括：根据在相应第一和第二设备上执行的用户输入来控制第一设备上的显示画面和第二设备上的附加画面被相互联接。
控制第一设备上的显示画面和附加画面被相互联接可以包括：根据从第一设备接收的用户输入来识别用于结束附加画面的命令；以及通过将用于结束附加画面的命令传送到第二设备来结束附加画面。
控制第一设备上的显示画面和附加画面被相互联接可以包括：通过使用相机来识别在第二设备上的附加画面上的用户输入；以及当识别出用户输入时，结束附加画面并且将指示附加画面的结束的信息传送到第一设备。
依据本公开的另一方面，提供了一种由第二设备执行的通过使用包括对象的第一设备来处理画面的方法。该方法包括：在第二设备处通过从第一设备接收与对象相关的信息来识别对象，并将指示识别对象的结果的信息传送到第一设备；在第二设备处根据关于第一设备的附加画面显示请求来获得关于与所识别的对象相关的显示画面的信息；在第二设备处基于关于与对象相关的显示画面的信息来确定要在对象上的预定位置显示的附加画面；以及在对象上的预定位置上显示附加画面。
该方法可以进一步包括：从第一设备获得关于在对象的预定位置上设置的显示区域的信息。
关于与对象相关的显示画面的信息可以包括：对象的形状信息、要在对象上显示的附加画面的位置和方向、附加画面的大小、与附加画面相关的内容信息以及使用相机捕捉的对象的状态信息。
对象的状态信息可以包括对象的位置和角度。
对象的状态信息可以使用相机来定期更新。
显示附加画面可以包括：提供使用相机来捕捉对象的图像；从所捕捉的对象的图像来提取对象的位置和角度；以及基于对象的位置和角度来确定要显示附加画面的位置和方向。
提取关于对象的位置和角度可以包括：从第一设备接收对象的形状信息；从对象的形状信息提取特征点；以及将对象的形状信息的特征点与所捕捉的对象的图像的特征点进行比较，以提取关于对象的位置和角度的信息。
根据本公开的又一方面，提供了一种由第二设备执行的通过使用第一设备来处理附加画面的方法。该方法包括：在第二设备处根据关于第一设备的画面显示请求来获得关于附加画面的信息和第一设备的状态信息；在第二设备处基于关于附加画面的信息和第一设备的状态信息来确定要显示附加画面的位置；在所确定的位置显示附加画面；以及根据与附加画面相关的用户输入来控制第一和第二设备被相互联接。
根据本公开的又一方面，提供了一种由第一设备执行的处理第二设备上的画面的方法。该方法包括：在第一设备处根据画面显示请求来将显示画面和与显示画面相关的信息传送到第二设备；在第一设备处从第二设备接收关于在第二设备上显示的附加信息的控制信息；以及在第一设备处根据控制信息来更新与显示画面相关的信息。
与显示画面相关的信息可以包括要在设备的显示画面附近显示的附加画面的位置、附加画面的大小和与附加画面相关的内容信息。
依据本公开的又一方面，提供了一种用于通过使用设备来处理画面的装置。该装置包括：显示单元，被配置为显示图像；通信单元，被配置为根据关于设备的画面显示请求来接收设备上的显示画面和与显示画面相关的信息；以及控制单元，被配置为基于与由通信单元获得的显示画面相关的信息来获得附加画面，在显示单元上显示附加画面，使得在设备的显示画面附近显示附加画面，并且根据用户输入来控制设备的显示画面和附加画面被相互联接。
控制单元可以通过使用相机来对设备的形状进行拍照，基于设备的形状来从状态信息中提取设备的画面的位置和角度，以及基于设备的画面的位置和角度来确定要显示附加画面的区域。
控制单元可以根据在设备上执行的用户输入和与附加画面相关的用户输入来控制设备上的显示画面和附加画面被相互联接。
控制单元可以通过相机来识别附加画面上的用户输入，在用户输入指令结束附加画面时结束附加画面，以及将通知附加画面的结束的信息传送给设备。
依据本公开的又一方面，提供了一种非瞬时计算机可读记录介质。该记录介质上记录有包括用于执行由第二设备执行的处理第一设备上的画面的方法的指令的至少一个程序。该方法包括：根据关于第一设备的画面显示请求在第二设备处获得在第一设备上显示的显示画面和与显示画面相关的信息；在第二设备处基于与显示画面相关的信息来确定附加画面；以及在所述第一设备上的显示画面附近显示附加画面。
依据本公开的另一方面，提供了一种由眼镜类型的头戴式显示(HMD)设备执行的显示虚拟画面的方法，该方法包括：通过HMD设备的相机来获得在实际空间中显示在电子设备上的画面的图像；基于所获得的图像来识别通过相机获得的画面；基于所识别的画面，通过HMD设备的投影仪输出与虚拟画面有关的光，使得在用户的视野中，在显示于电子设备上的画面附近显示虚拟画面；检测用于选择在虚拟画面中包括的对象的用户输入，用户输入包括手势或语音中的至少一个；以及基于所检测的用户输入，通过HMD设备的投影仪来输出与选择的对象有关的信息的光。
依据本公开的另一方面，提供了一种用于显示虚拟画面的眼镜类型的头戴式显示(HMD)设备，该HMD设备包括：相机；投影仪；显示器，包括波导以将从投影仪输出的光朝向HMD设备的用户的眼睛传递；以及至少一个处理器，被配置为：进行控制以通过相机来获得在实际空间中显示在电子设备上的画面的图像，基于所获得的图像来识别通过相机获得的画面，进行控制以基于所识别的画面，通过投影仪输出与虚拟画面有关的光，使得在用户的视野中，在显示于电子设备上的画面附近显示虚拟画面，检测用于选择在虚拟画面中包括的对象的用户输入，用户输入包括手势或语音中的至少一个，和基于所检测的用户输入，进行控制以通过投影仪来输出与选择的对象有关的信息的光。
从以下结合附图的公开本公开的各个实施例的详细描述，本公开的其他方面、优点和突出特征对于本领域技术人员将变得显而易见。
附图说明
从下面结合附图进行的详细描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更明显，其中：
图1是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
图2是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
图3是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
图4是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图；
图5是图示根据本公开的实施例的其中第二设备处理要联接到第一设备的画面的附加画面的情况的图；
图6是图示根据本公开的实施例的其中第二设备在对象周围显示虚拟图像类型的附加画面的情况的图；
图7是图示根据本公开的实施例的其中第二设备显示要联接到对象的附加画面的情况的图；
图8是根据本公开的实施例的由第二设备执行的处理联接到在第一设备上显示的画面的画面的方法的流程图；
图9是根据本公开的实施例的由第二设备执行的处理联接到在第一设备上显示的画面的画面的方法的流程图；
图10是根据本公开的实施例的由第一设备执行的处理在第二设备上显示的画面的方法的流程图；
图11是根据本公开的实施例的由第二设备执行的通过使用在其上没有显示画面的第一设备来处理画面的方法的流程图；
图12是根据本公开的实施例的由第二设备执行的通过使用附加地包括对象的第一设备来处理画面的方法的流程图；
图13是根据本公开的实施例的由第二设备执行的显示要联接到在第一设备上显示的画面的附加画面的方法的流程图；
图14是根据本公开的实施例的由第二设备执行的显示要联接到在包括对象的第一设备上显示的画面的画面的方法的流程图；
图15是根据本公开的实施例的由第二设备执行的控制附加画面的方法的流程图；
图16是根据本公开的实施例的由第一设备执行的控制结束附加画面的方法的流程图；
图17是根据本公开的实施例的由第二设备执行的控制要在第一设备上显示的附加画面的方法的流程图；
图18A和图18B是图示根据本公开的实施例的由第二设备执行的在第一设备上的显示画面附近显示虚拟图像类型的附加画面以及控制附加画面的方法的图；
图19A和图19B是图示根据本公开的实施例的由第二设备执行的在第一设备上的显示画面附近显示虚拟图像类型的附加画面以及控制附加画面的方法的图；
图20是图示根据本公开的实施例的由第二设备执行的在第一设备上的显示画面周围显示三维(3D)图像类型的附加画面以及控制附加画面的方法的图；
图21是根据本公开的实施例的第一设备的框图；
图22是根据本公开的实施例的第二设备的外部；以及
图23和图24是根据本公开的各种实施例的第二设备的框图。
在整个附图中，相同的参考数字将被理解为指代相同的部分、组件和结构。
具体实施方式
提供下面参考附图的描述，以帮助完全理解由权利要求及其等同物限定的本公开的各个实施例。其包括各种特定细节，以帮助理解，但这些应被认为仅是示范性的。因此，本领域技术人员将认识到在不背离本公开的范围和精神的情况下可以对在此描述的各个实施例进行变化和修改。此外，为了清楚和简洁，可能省略已知功能和结构的描述。
下面的描述和权利要求中使用的词语和词不限于书面含义，而是仅由发明人用来使得能够清楚并一致地理解本公开。因此，对于本领域技术人员显而易见的是，提供本公开的各个实施例的下面描述仅用于说明的目的，并且不用于限制由所附的权利要求及其结构等同物限定的本公开的目的。
应理解，单数形式“一”、“一个”和“该”包括单数指代，除非上下文明确另外指示并非如此。因此，例如，对“一个组件表面”的指代包括对这样的表面中的一个或多个的指代。
应理解，尽管在此可能使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应被这些术语限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一个区域、层或部分进行区分。
在本公开中使用的特定术语不旨在限制本公开的范围，并且仅用于更好地理解(便于理解)本公开的各个实施例。在本公开中，如果可能的话，在现今广泛使用的通用术语是考虑本公开的功能来选择的，但是可以根据本领域惯例中的技术意图或新技术等来选择非通用术语。一些术语可以由本申请人任意选择。在这种情况下，这些术语的含义将在本公开的对应部分中详细解释。因此，在此使用的术语不应基于其名称来限定，而是应基于其含义以及本公开的整个上下文来限定。
将进一步理解，术语“包括”和/或包含当在本说明书中使用时指定所述特征、整数、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、操作、元件、组件和/或其组的存在或添加。如在此使用的，术语“和/或”包括相关联列出的项中的一个或多个的任何和所有组合。诸如“中的至少一个”的表达在元件列表后时修饰元件的整个列表，不是修饰列表的个体元件
图1是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面信息的系统的框图。
参考图1，第一设备1000可以请求第二设备2000显示附加画面，并且根据从第二设备2000接收的控制命令和画面信息来处理附加画面。这里，附加画面可以是联接到主画面的虚拟图像。
第一设备1000的示例可以包括但不限于可佩戴终端、智能电话、个人计算机(PC)、平板PC、移动电话、智能电视(TV)、个人数字助理(PDA)、膝上型计算机、媒体播放器、全球定位系统(GPS)设备、电子书终端、数字广播终端、导航设备、信息亭、运动图片专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、数字相机、以及其他移动或非移动计算设备。第一设备1000可以包括能够接收触摸输入的各种设备，例如电子公告板、触摸表等。第一设备1000可以包括显示器或可以不包括显示器。
而且，第一设备1000可以具有通信功能和数据处理功能，但不限于此。第一设备1000包括能够经由网络从第二设备2000接收信息并运行信息的各种设备。
第二设备2000可以从第一设备1000接收关于附加画面的信息以及画面显示请求。画面显示请求可以根据用户输入由第一设备1000或第二设备2000来生成。第二设备2000可以通过相机捕捉第一设备1000的图像，并且基于该图像来分析第一设备1000的状态。第二设备2000可以基于第一设备1000的状态信息和关于附加画面的信息来确定要显示附加画面的位置和方向。第二设备2000可以显示要联接到第一设备1000上的画面的附加画面。第二设备2000可以根据用户输入来控制要联接到第一设备1000上的画面的附加画面。在该情况中，对于第二设备2000的用户输入可以是由用户输入的触摸输入或按钮输入，但是不限于此。
根据本公开的实施例，第二设备2000可以通过使用相机来捕捉第一设备1000的形状的图像，并且将形状的图像传送到第一设备1000。第一设备1000基于第一设备1000的形状的图像来确定要显示附加画面的区域或位置，并且将关于要显示附加画面的区域或位置的信息传送到第二设备2000。
第二设备2000的示例可以包括但不限于头戴式显示器(HMD)、PC、智能TV、数字广播终端以及其他移动/非移动计算设备。第二设备2000可以包括能够接收触摸输入的各种设备，例如电子公告板、触摸表等。
第二设备2000可以以扩增现实(AR)、混合现实(MR)或虚拟现实(VR)的形式来在其显示器上显示附加画面。
第二设备2000可以在透明或非透明显示器上显示虚拟画面。
第二设备2000可以是眼镜或佩戴在身体上的设备，诸如具有通信功能和数据处理功能的腕带，但是不限于此。
第一设备1000和第二设备2000可以经由网络相连接。网络可以是：有线网络，诸如局域网(LAN)、广域网(WAN)或增值网络(VAN)；或各种类型的无线网络，诸如移动无线电通信网络或卫星通信网络。
如上所述，根据本公开的各个实施例，可以在用户使用第二设备2000查看第一设备1000的同时，通过使用对于第二设备2000的用户输入在第二设备的画面上展示(expose)与在第一设备1000上显示的实际画面相关的信息来提供各种虚拟信息，并且可以通过交替控制虚拟画面和实际画面来提供便捷的交互环境。
图2是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图。
第一设备1000可以附加地包括具有有限功能或没有功能的对象1000a。根据本公开的实施例，对象1000a可以是具有至少控制功能和传感器功能的带或没有功能的腕带或便签。
例如，用户可以在他或她的手腕上佩戴对象1000a，诸如具有有限功能的带，并且第一设备1000可以是可以在视野外的分立设备或存在于网络中的设备或应用。
根据本公开的实施例，如果第一设备1000将腕带或者诸如日记本的纸或壁纸的自然对象设置为显示区域，则当第二设备2000使用相机识别出自然对象时，第二设备2000向第一设备1000通知自然对象识别事件，并且根据从第一设备1000接收的对附加画面的请求在与自然对象相对应的位置上显示附加画面。
根据本公开的实施例，第一设备1000可以基于所捕捉的图像来指定对象。第二设备2000可以从第一设备1000接收所捕捉的图像信息，并且确定要显示附加画面的位置。例如，当第一设备1000捕捉用户的手腕的图像并且将用户的手腕的图像指定为对象时，第二设备2000在用户的手腕的图像上显示虚拟手表。当第一设备1000捕捉空白笔记的图像并将空白笔记的图像指定为对象时，第二设备2000可以在空白图像的图像上显示虚拟平板PC。
图3是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图。
参考图3，第一设备1000可以是存在于云1000b中的设备或应用。存在于云1000b中的第一设备1000可以附加地包括对象1000a。
图4是根据本公开的实施例的被配置为在第一设备和第二设备之间处理画面的系统的框图。
参考图4，第一设备1000可以是存在于第二设备2000中的控制设备或应用。存在于第二设备2000中的第一设备可以附加地包括对象1000a。
图5是图示根据本公开的实施例的其中第二设备2000处理要联接到第一设备1000的画面的附加画面的情况的图。
根据本公开的实施例，第一设备1000可以是移动设备，并且第二设备2000可以是眼镜类型的HMD。
根据本公开的实施例，眼镜类型的HMD可以包括经由其观看实际空间的镜片以及显示单元，该显示单元附接到镜片上的一位置并且被配置为显示虚拟图像。后面将参考图22更详细地描述眼镜类型的HMD。
图5图示了作为经由眼镜类型的HMD进入用户的视野的实际画面和虚拟画面的组合的镜片画面(glass screen)。
镜片画面100意指用户经由HMD的镜片和显示单元观看的画面。
参考图5，用户可以观看在第一设备1000上实际显示的显示画面40、以及通过使用HMD在第二设备2000上显示的附加画面50、60、70和80。这里，在第一设备1000上显示的显示画面40是经由HMD的镜片观看的实际画面，以及在第二设备2000上显示的附加画面50、60、70和80是经由HMD的显示单元在第一设备1000附近观看的虚拟画面。
也就是说，在第二设备2000的镜片画面100上，显示在第一设备1000上显示的显示画面40并且在显示画面40附近显示附加画面50、60、70和80。
因此，用户将感觉好像在第一设备1000上显示的显示画面40和附加画面50、60、70和80都显示在第二设备2000上。
根据本公开的实施例，当第二设备2000经由在其上什么也没有显示的第一设备1000显示附加画面时，第二设备2000可以在第一设备1000的表面上显示虚拟手表图像，并且在虚拟手表图像的左侧和右侧显示虚拟应用文件夹图标。
图6是图示根据本公开的实施例的其中第二设备在对象周围显示虚拟图像类型的附加画面的情况的图。
参考图6，第一设备可以附加地包括具有有限功能或没有功能的对象1000a。第一设备1000可以将对象相关信息传送到第二设备2000。
第二设备2000从第一设备1000获得预定的对象相关信息。第二设备2000基于该对象相关信息使用相机2110来识别对象1000a，并且向第一设备1000通知包含识别对象1000a的结果的信息。第二设备2000根据从第一设备1000接收的画面显示请求来获得与对象1000a相关的显示信息。第二设备2000基于显示信息来确定要在对象1000a的所捕捉的图像上的预定位置显示的附加画面。第二设备2000可以在与对象1000a的图像相对应的位置上显示附加画面。
图7是根据本公开的实施例的其中第二设备显示要联接到对象的附加画面的情况的图。
参考图7，在第二设备2000上的镜片画面100上显示要被联接到实际手表的形式的对象42的多个附加画面52、62、72和82。根据本公开的实施例，附加画面52、62、72和82可以是显示在HMD的画面上的虚拟图像。这里，以实际手表的形式的对象42是经由HMD的镜片观看的实际手表的图像，并且附加画面52、62、72和82是经由HMD的显示单元在实际手表的图像附近观看的虚拟图像。
用户将感觉到好像附加画面52、62、72和82经由第二设备2000显示在第一设备1000的对象42附近。
图8是根据本公开的实施例的由第二设备执行的处理联接到在第一设备上显示的画面的画面信息的方法的流程图。
参考图1和图8，在操作210中，第二设备2000根据关于第一设备1000的画面显示请求获得在第一设备1000上显示的显示画面和与显示画面相关的信息。例如，与显示画面相关的信息可以包括关于以下的信息：要在第一设备100上的显示画面附近显示的附加画面的位置、附加画面的大小、附加画面的内容以及使用相机捕捉的第一设备1000的状态信息。根据本公开的实施例，附加画面可以是在HMD的画面上显示的虚拟图像。
在该情况下，关于第一设备1000的画面显示请求可以根据用户输入由第一设备1000或第二设备2000生成。根据本公开的实施例，关于第一设备1000的画面显示请求可以通过经由网络来连接第一设备1000和第二设备2000或者使用第二设备2000的相机来识别第一设备而传送，但是不限于此。
第一设备1000可以根据诸如手势、触摸或语音的用户输入来选择菜单并生成用于显示与菜单相关的附加画面的命令。第二设备2000可以从第一设备1000接收用于显示与该菜单相关的附加画面的命令。而且，第二设备2000可以接收由第一设备预先设置的与菜单相关的附加画面。附加画面可以是例如由于第一设备的空间约束而未显示在第一设备1000的屏幕上的多个虚拟图像(诸如“照片”、“应用”、“S-health”和“Gallery”)。附加画面的示例可以包括可以在第一设备1000的画面上显示的各种类型的画面。
而且，第二设备2000使用相机来捕捉第一设备1000的形状的图像。第二设备2000可以通过使用相机来对第一设备拍照，以确定第一设备1000上的屏幕的位置和角度，并且实时接收由相机捕捉的第一设备1000的形状的图像。
在操作220中，第二设备2000基于与第一设备1000上的显示画面相关的信息来确定要在第一设备1000上的显示画面附近显示的附加画面。
在操作230中，第二设备2000在第一设备1000上的显示画面附近显示附加画面。根据本公开的实施例，第二设备2000可以在第一设备1000上的显示画面附近的预定位置显示附加画面。第二设备2000可以基于所捕捉的第一设备1000的形状信息和与第一设备1000上的显示画面相关的信息来确定要显示附加画面的位置和方向。在根据本公开的实施例的确定要显示附加画面的位置和方向的方法中，第二设备2000可以识别由相机所拍照的第一设备1000的形状，从关于第一设备1000的形状的信息中提取关于第一设备1000的画面的位置和角度的信息，以及基于第一设备1000的画面的位置和角度来确定与要显示附加画面的区域相对应的位置和方向。根据本公开的实施例，第二设备2000可以通过使用相机2000来对第一设备1000上的显示画面拍照，并且显示所述显示画面和所确定的附加画面。
因此，根据本公开的实施例，用户可以经由第二设备2000来观看在第一设备1000上显示的显示画面以及在第二设备2000上显示的附加画面。
图9是根据本公开的实施例的由第二设备执行的处理联接到在第一设备上显示的画面的画面的方法的流程图。
在图9中，操作215、225和235与图4的操作210、220和230基本相同，因此不再对其进行描述。
参考图1和图9，在操作245中，第二设备2000控制要联接到在第一设备1000上显示的显示画面的附加画面。第二设备2000上的附加画面和第一设备1000上的显示画面被控制以相互联接。用户可以通过操纵第二设备上的附加画面来改变第一设备1000的画面或通过选择第一设备1000的菜单来改变第二设备2000上的附加画面。第二设备2000可以根据对于第一设备1000输入或通过在第二设备2000上执行相机识别手势来输入的用户输入而控制其附加画面以与第一设备1000上的显示画面联接。在该情况中，对于用户设备1000的用户输入可以通过执行特定手势、触摸输入或用户输入的语音来输入，但是不限于此。对于第二设备2000的用户输入可以通过执行相机识别手势、触摸输入、按钮输入或语音输入来输入，但是不限于此。例如，当通过执行特定手势来触摸在被显示为与第一设备上的显示画面联接的附加画面上的“Gallery”菜单时，可以在第一设备1000上的显示画面上显示“Gallery”菜单。而且，第一设备1000可以通过将用于结束附加画面的命令传送到第二设备2000来结束附加画面。当经由相机在第二设备上识别出用户输入时，第二设备2000可以结束附加画面，并且将指示附加画面的结束的信息传送给第一设备1000。当第一设备1000从第二设备2000接收指示附加画面的结束的信息时，第一设备1000可以在实际画面上显示处理附加画面的结果的处理结果。根据本公开的实施例，当第二设备2000是HMD时，在附加画面上执行的手势的示例可以包括通过触摸附加画面来执行的触摸手势，以及例如通过在附加画面上绘制“X”来执行的运动手势。
图10是根据本公开的实施例的由第一设备执行的处理在第二设备上显示的画面的方法的流程图。
参考图1和图10，在操作250中，第一设备1000根据请求显示画面的用户输入将显示画面和与显示画面相关的信息传送到第二设备2000。与显示画面相关的信息可以包括在第一设备1000上的显示画面附近展示附加画面的位置和方向、附加画面的大小、以及与附加画面相关的内容信息。根据本公开的实施例，附加画面可以是在HMD的画面上显示的虚拟图像。
在操作260中，第一设备1000从第二设备2000接收关于附加画面的用户输入信息。例如，第一设备1000从第二设备2000接收用于选择附加画面的信息。
在操作270中，第一设备1000基于从第二设备2000接收的用户输入信息来更新与第一设备1000的显示画面相关的信息。例如，第一设备1000可以更新联接到由第二设备2000选择的附加画面的显示画面。
图11是根据本公开的实施例的由第二设备执行的通过使用在其上没有显示画面的第一设备来处理画面的方法的流程图。
参考图1和图11，在操作310中，第二设备2000根据关于第一设备1000的附加画面显示请求来接收关于附加画面的信息。例如，关于附加画面的信息可以包括要在第一设备1000的表面展示的附加画面的位置信息、内容信息和尺寸信息。
在操作320中，第二设备2000通过使用相机来获得第一设备1000的形状的图像。第二设备2000可以通过使用相机对第一设备1000拍照来检测第一设备1000的位置和角度，实时接收使用相机捕捉的第一设备1000的形状的图像，以及通过使用相机来定期更新第一设备1000的形状的图像。
在操作330中，第二设备2000基于所捕捉的第一设备1000的形状的图像和关于附加画面的信息来确定要显示附加画面的位置。第二设备2000通过分析第一设备1000的形状来提取第一设备1000的位置的坐标和第一设备1000的画面的角度，以及基于位置的坐标和角度来确定要显示附加画面的第一设备1000上的特定位置。
在操作340中，第二设备2000在所确定的位置上显示附加画面。例如，第二设备2000可以在第一设备1000上显示手表画面，并且可以在手表画面的左侧和右侧显示应用文件夹图标。
在操作350中，第二设备2000控制附加画面被联接到第一设备1000。第二设备2000可以根据对于第一设备1000的用户输入和对于第二设备2000的用户输入来控制附加画面被联接到第一设备1000。在该情况中，对于第一设备1000的用户输入可以通过执行特定手势、触摸输入、按钮输入或用户输入的语音来输入，但是不限于此。对于第二设备2000的用户输入可以通过执行相机识别手势、触摸手势、按钮输入、或语音输入来输入，但是不限于此。例如，当第一设备1000从第二设备2000接收关于虚拟应用文件夹图标的触摸信息时，第一设备1000将关于与所触摸的应用文件夹相关的附加画面的信息传送到第二设备2000。而且，第二设备2000在第一设备1000的预定表面上显示与从第一设备1000接收的应用文件夹相关的附加画面。
图12是根据本公开的实施例的由第二设备执行的通过使用附加地包括对象的第一设备来处理画面的方法的流程图。
参考图1和图12，在操作365中，第二设备2000从第一设备1000获得预定的对象相关信息。例如，当对象是带时，对象相关信息可以是关于与第一设备1000相关的带的形状或位置的信息。
在操作370中，第二设备2000基于对象相关信息使用相机来识别对象，并且将指示识别对象的结果的信息传送到第一设备1000。
在操作375中，第二设备2000根据从第一设备1000接收的画面显示请求来获得与对象相关的显示信息。
例如，与对象相关的显示信息可以包括要在对象上显示附加画面的位置、附加画面的大小、与附加画面相关的内容信息、和使用相机捕捉的对象的形状信息。
在操作380中，第二设备2000基于与对象相关的显示信息来确定要在对象上的预定位置显示的附加画面。
在操作385中，第二设备2000在与对象相对应的位置上显示附加画面。根据本公开的实施例，第二设备2000可以在与第一设备1000相关的对象1000a上显示附加画面。第二设备2000可以基于所捕捉的对象1000a的状态信息来确定要显示附加画面的位置。在根据本公开的实施例的确定要显示附加画面的位置的方法中，第二设备2000可以识别使用相机捕捉的对象1000a的状态信息，从对象1000a的状态信息中提取关于对象1000a的位置的坐标和角度的信息，以及基于对象1000a的位置和角度来确定要显示附加画面的区域。
在根据本公开的实施例的通过使用第一设备来处理画面的方法中，对象可以是诸如人体部分、日记本的白纸和日历的自然对象。
也就是说，第一设备1000将人的手掌设置为显示区域，并且向第二设备2000通知关于显示区域的信息。当使用相机识别出人的手掌时，第二设备2000向第一设备1000通知识别事件，并且可以根据来自第一设备1000的对附加画面的请求来在与人的手掌相对应的区域中显示虚拟键盘或日历。
图13是根据本公开的实施例的由第二设备执行的显示要联接到在第一设备上显示的画面的附加画面的方法的流程图。
参考图1和图13，根据本公开的实施例，第一设备1000是移动设备并且第二设备2000是HMD。
在操作410中，在显示画面被显示在第一设备1000上的同时，第一设备1000检查是否通过使用手势、触摸或语音执行的用户输入而接收到与其显示画面相关的画面显示请求。根据本公开的实施例，附加画面可以是在HMD的画面上显示的虚拟图像。
在操作415中，当确定接收到附加画面显示请求时，第一设备1000将关于与第一设备1000的显示画面相关的附加画面的信息以及与附加画面显示请求相对应的触发信号传送到第二设备2000。例如，当用户想扩展和观看第一设备1000的显示画面时，第一设备1000可以在请求第二设备2000显示附加画面的同时将关于附加画面的信息传送到第二设备2000。
在该情况中，关于附加画面的信息可以包括第一设备1000的形状信息、与附加画面相关的内容信息、要在第一设备1000的显示画面上显示的附加信息的位置信息、与附加画面相关的图像信息和附加画面的大小信息。例如，当第一设备1000是电子书时，与附加画面相关的内容信息可以是电子书的内容的虚拟表，附加画面的位置信息可以在电子书的画面的右侧，并且附加画面的大小信息可以与电子书上的显示画面的大小信息基本相同。而且，当用户在虚拟图像的形式的附加画面上选择电子书的内容的虚拟表时，附加画面的位置信息可以在电子书上的虚拟电子书的列表的画面的右侧，并且附加画面的大小信息可以是电子书的内容的虚拟表的画面的大小的70％。
在操作420，第二设备2000从第一设备1000接收附加画面显示请求以及关于附加画面的信息。
在操作425，当第二设备2000从第一设备1000接收关于附加画面的信息和附加画面显示请求时，第二设备2000通过使用相机来对第一设备1000的形状拍照。
在操作430，第二设备2000基于第一设备100的形状来识别第一设备1000的状态，以便确定要显示附加画面的位置。在该情况中，关于所识别的第一设备1000的状态的信息可以包括设备类型以及显示画面的位置和角度。
在操作435，第二设备2000从关于第一设备1000的状态的信息中提取关于第一设备1000的画面的位置和角度的信息，并且基于第一设备1000的画面的位置和角度以及关于附加画面的信息来确定要在第一设备1000上显示附加画面的位置和方向。关于第一设备的画面的位置和方向的信息可以使用根据本公开的各个实施例的方法来提取。
根据本公开的实施例，第二设备2000从第一设备1000接收第一设备1000的形状信息。第二设备2000从第一设备的形状信息提取特征点。第二设备2000通过将使用相机捕捉的第一设备1000的图像的特征点与第一设备的形状信息的特征点进行比较来确定第一设备1000上的显示画面的位置。而且，第二设备2000基于第一设备1000的图像的特征点和形状信息的特征点之间的关系来确定显示画面的教导。例如，第二设备2000在第一设备1000的四个顶点处的四个特征点之间的距离相同时确定第一设备1000上的显示画面的角度精确地面向前方，并且在第一设备1000的四个顶点处的四个特征点之间的距离不相同时确定显示画面的角度是倾斜的。
在操作440，第二设备2000基于显示画面的位置和与附加画面相关的信息来显示联接到第一设备1000上的显示画面的附加画面。根据本公开的实施例，第一设备1000上的显示画面和附加画面被显示在HMD的镜片画面上。因而，用户可以经由第二设备2000来观看第一设备1000上的显示画面和附加画面。
图14是根据本公开的实施例的由第二设备执行的显示要被联接到在包括对象的第一设备上显示的画面的画面的方法的流程图。
参考图1和图14，根据本公开的实施例，第一设备1000是移动设备并且第二设备2000是HMD。第一设备1000附加地包括具有有限功能或没有功能的对象1000a，如图2中所示。例如，对象1000a可以是腕带、便签或日历。否则，对象1000a可以被提供为与第一设备1000分离。
在操作450，第一设备1000传送与对象1000a相关的信息。与对象1000a相关的信息可以是对象1000a的形状信息或位置信息。例如，当对象1000a是带时，与对象1000a相关的信息可以是带的形状信息或位置信息。
在操作455，当从第一设备1000接收与对象1000a相关的信息时，第二设备2000基于对象1000a相关的信息使用相机来识别对象1000a的形状。根据本公开的实施例，当对象1000a是不具有功能的腕带时，第一设备1000不能识别出用户对腕带的观看，因此第二设备2000可以使用相机来识别腕带。然而，当对象1000a是具有有限功能的腕带时，第一设备1000能够识别出用户对腕带的观看，因此可以直接请求第二设备2000显示附加画面而不用执行识别操作。根据本公开的实施例，当第一设备1000将例如人的手腕、日记本、日历等的自然对象设置为显示区域时，第二设备2000可以使用相机来识别自然对象。
在操作460，在使用相机识别出对象1000a之后，第二设备2000将指示识别对象的结果的信息传送到第一设备1000。根据本公开的实施例，当使用相机识别出腕带时，第二设备2000可以向第一设备1000通知腕带识别事件。
在操作465，在画面被显示在第一设备1000上的同时，第一设备1000检查是否经由诸如用户的运动、触摸或语音接收到附加画面显示请求。
在操作470，当确定接收到附加画面显示请求时，第一设备1000将关于其附加画面的信息以及与该请求相对应的触发信号传送到第二设备2000。例如，当用户希望在对象1000a上显示菜单画面时，第一设备1000可以将请求显示附加画面的信号和关于附加画面的信息传送到第二设备2000。
在该情况中，关于附加画面的信息可以包括附加画面的内容、要在对象1000a上的预定位置显示的附加画面的位置信息、与附加画面相关的内容信息以及附加画面的大小。根据本公开的实施例，附加画面可以是在HMD的画面上显示的虚拟图像。
在操作475，第二设备2000从第一设备1000获得附加画面显示请求和关于附加画面的信息。
在操作480，当从第一设备1000接收附加画面显示请求和关于附加画面的信息时，第二设备2000使用相机来对对象1000a的形状拍照。
在操作485，第二设备2000基于对象1000a的形状来识别对象1000a的状态，以便确定要显示附加画面的位置。在该情况中，所识别的对象1000a的状态可以包括对象1000a的位置和角度。例如，第二设备2000可以识别作为对象1000a的腕带的位置和角度。
根据本公开的实施例，第二设备2000从对象1000a接收对象1000a的形状信息。第二设备2000从形状信息提取特征点。第二设备2000通过将使用相机捕捉的对象1000a的图像的特征点与对象1000a的形状信息的特征点进行比较来确定第一设备1000上的画面的位置。而且，第二设备2000基于对象1000a的图像的特征点和形状信息的特征点之间的关系来确定画面的角度。例如，第二设备2000在对象1000a的四个顶点处的四个特征点之间的距离相同时确定对象1000a的角度准确地面向前方，并且在对象1000a的四个顶点处的四个特征点之间的距离不相同时确定对象1000a的角度是倾斜的。
在操作490，第二设备2000从对象1000a的状态信息中提取对象1000a的位置的坐标和对象1000a的角度，并且基于所接收的与附加画面相关的信息以及对象1000a的位置和角度来确定要显示附加画面的位置和方向。
在操作495，第二设备2000基于所确定的对象1000a的位置和与附加画面相关的信息来在对象1000a的所确定的位置和方向中显示附加画面。
图15是根据本公开的实施例的由第二设备执行的控制附加画面的方法的流程图。
参考图1和图15，根据本公开的实施例，第一设备1000是移动设备并且第二设备2000是HMD。附加画面可以是在HMD的画面上显示的虚拟图像。
在操作510，第一设备1000检查是否通过手势、触摸或语音接收到第一用户输入。
在操作515，当接收到第一用户输入时，第一设备1000根据第一用户输入将控制命令传送到第二设备2000。
在操作525，第二设备2000生成并处理与第一用户输入相对应的与显示附加画面相关的事件。
在操作530，第二设备2000在处理与显示附加画面相关的事件之后显示附加画面。
在操作520，第二设备2000检查是否在附加画面上执行了诸如虚拟触摸手势或语音的第二用户输入。
在操作515，第二设备2000根据第二用户输入将控制命令传送到第一设备1000。
在操作535，第一设备1000生成并处理与第二用户输入相对应的与显示附加画面相关的事件。
在操作540，第一设备1000在处理与显示附加画面相关的事件之后更新显示画面。例如，当第二设备2000通过虚拟地触摸附加画面来选择特定菜单的附加画面时，第一设备1000更新并显示所选择的特定菜单的附加画面。
图16是根据本公开的实施例的由第一设备执行的控制结束在第二设备上的附加画面的方法的流程图。
参考图1和图16，根据本公开的实施例，第一设备1000是移动设备并且第二设备2000是HMD。
在操作545，第一设备1000检查是否通过用户输入接收到用于结束附加画面的命令。在该情况中，对于第一设备1000的用户输入可以是特定的手势输入、触摸输入、按钮输入或语音输入，但是不限于此。
在操作550，第一设备1000将用于结束附加画面的命令传送到第二设备2000。
在操作555，第二设备根据从第一设备1000接收的用于结束附加画面的命令来接收附加画面。
图17是根据本公开的实施例的由第二设备执行的控制在第一设备上的显示画面的方法的流程图。
参考图1和图17，根据本公开的实施例，第一设备1000是移动设备并且第二设备2000是HMD。
在操作560，第二设备2000通过使用相机来检查是否通过虚拟手势或语音输入了用于结束附加画面的命令。根据本公开的实施例，可以通过选择附加画面上的菜单或通过执行触摸手势、选择附加画面外的区域、或通过执行例如绘制“X”的特定手势来输入用于结束附加画面的命令。
在操作565，当接收到用于结束附加画面的命令时，第二设备2000结束附加画面。
在操作570，第二设备2000将指示附加画面的结束的信息传送到第一设备1000。在该情况中，指示附加画面的结束的信息可以包括视频信号、音频信号和触觉信号中的至少一个。
在操作575，第一设备1000根据从第二设备2000接收的指示附加画面的结束的信息来在其上显示画面。
图18A和图18B是图示根据本公开的各个实施例的由第二设备执行的在第一设备上的显示画面附近显示虚拟图像类型的附加画面并且控制附加画面的方法的图。
参考图1、图18A和图18B，根据本公开的实施例，第一设备1000是腕型终端并且第二设备2000是HMD设备。
参考图18A，包括至少一个菜单图像的附加画面在第二设备2000上被显示为联接到在第一设备1000上显示的画面。参考数字600表示第二设备2000的镜片画面。
当第二设备2000通过使用相机识别出在与附加画面相对应的“Gallery”菜单610上输入的虚拟触摸手势或语音时，第二设备2000将与附加画面的选择相对应的用户输入传送到第一设备1000。
参考图18B，第一设备1000可以根据从第二设备2000接收的用户输入来显示与所选择的附加画面相对应的“Gallery”菜单625。
图19A和图19B是图示根据本公开的各个实施例的由第二设备执行的在第一设备上的显示画面附近显示虚拟图像类型的附加画面并且控制附加画面的方法的图。
参考图19A和图19B，根据本公开的实施例，第一设备710是电子书终端并且第二设备2000是HMD设备。
参考图19A，包括至少一个虚拟图像的附加画面在第二设备2000上被显示为联接到电子书终端710上的显示画面。参考数字700表示第二设备2000的镜片画面区域。这里，电子书终端710的显示画面是经由HMD设备的镜片观看的实际画面，在第二设备2000上显示的附加画面715和720是经由HMD的显示单元在电子书终端710上的显示画面附近观看的虚拟图像。
当第二设备2000通过使用相机识别出通过虚拟触摸手势或语音在作为内容表的附加画面715上执行的用户输入时，第二设备2000显示与预览图像相对应的附加画面720。当通过虚拟触摸手势或语音选择了作为预览画面的附加画面720时，第二设备2000将与所选择的附加画面相对应的选择信号传送到电子书终端700。
参考图19B，电子书终端710可以根据从第二设备2000接收的用户输入在其上显示与预览图像相对应的显示画面725。
图20是图示根据本公开的实施例的由第二设备执行的在第一设备的显示画面附近显示三维(3D)图像类型的附加画面并且控制附加画面的方法的图。
参考图1和图20，根据本公开的实施例，第一设备810是平板终端并且第二设备2000是HMD设备。
参考图20，第二设备2000以各个角度显示被联接到在平板终端810上显示的显示画面的3D AR画面。参考数字800表示在第二设备2000上的镜片画面。
第二设备2000通过使用相机来识别在AR附加画面(例如人体画面)上用户手指的运动。第二设备2000根据运动820来移动在平板终端810上显示的人体的剖面部分的图像830的位置。在移动他/她手指的位置的同时，第二设备2000的用户可以选择与人体的剖面部分相对应的图像830的一部分。
当通过移动用户的手指而选择了与人体的剖面部分相对应的附加画面时，第二设备2000将选择信号传送到平板终端810。
因此，如图20中所图示的，平板终端810可以根据从第二设备2000接收的选择信号来显示与要选择的人体的剖面部分相对应的图像。
图21是根据本公开的实施例的第一设备的框图。
参考图21，第一设备1000可以包括用户输入单元1100、显示单元1200、控制单元1300、传感器单元1400、通信单元1500、音频/视频(A/V)输入单元1600、存储器1700和通知模块1800。
用户输入单元1100指被配置来用于用户输入用于控制第一设备1000的数据的单元。例如，用户输入单元1100的示例可以包括但不限于键区、穹顶开关、触摸垫(触摸类型的电容触摸垫、压力类型的电阻覆盖触摸垫、红外传感器类型的触摸垫、表面声波电感触摸垫、集成类型的张力测量触摸垫、压力效果类型的触摸垫等)、滚轮、微动开关等。
用户输入单元1000可以从图1的第二设备2000接收指示显示附加画面的用户输入。
显示单元1200显示由第一设备1000处理的信息。例如，显示单元1200可以显示诸如菜单的用户界面。
通常，控制单元1300控制第一设备1000的整体操作。例如，控制单元1300通常可以通过执行存储在存储器1700中的程序来控制用户输入单元1100、显示单元1200、传感器单元1400、通信单元1500和A/V输入单元1600。
更详细地，控制单元1300可以通过诸如手势、触摸或语音的用户输入来控制通信单元1500以控制附加画面的显示。第一设备1000可以根据用户输入来选择菜单，并且生成用于显示与菜单相关的附加画面的命令。控制单元1300可以请求第二设备2000显示附加画面，并且根据与从第二设备2000接收的用户输入相对应的控制命令来处理画面。控制单元1300可以向第二设备2000提供附加画面显示请求和与附加画面相关的信息。例如，与附加画面相关的信息可以包括要显示附加画面的位置、与附加画面相关的内容和附加画面的大小。而且，控制单元1300可以基于从第二设备2000接收的关于附加画面的控制信息来更新与显示画面相关的信息。
传感器单元1400可以感测第一设备1000的状态或第一设备1000的附近的状态，并且将包含第一设备1000的状态或第一设备1000的附近的状态的感测结果的信息传送到控制单元1300。
传感器单元1400可以包括地磁传感器、加速传感器、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器、位置传感器(例如GPS)、接近传感器以及红、绿蓝(RGB)传感器(照明传感器)中的至少一个。
通信单元1500可以包括被配置为建立第一设备1000和第二设备2000之间的通信的至少一个元件。
而且，通信单元1500可以控制第二设备2000显示附加画面，并且与第二设备2000交换用于改变附加画面的操作的信息。
A/V输入单元1600被配置为输入音频信号或视频信号，并且可以包括相机1610、麦克风1620等。相机1610可以在视频呼叫模式或拍照模式中经由图像传感器获得诸如静态图像或视频的图像帧。可以使用控制单元1300或附加图像处理器(未示出)来处理由图像传感器捕捉的图像。
由相机1610处理的图像帧可以被存储在存储器1700中或经由通信单元1500被传送到外部。麦克风1620接收外部声音信号并且将其转换成电语音数据。例如，麦克风1620可以从外部设备或扬声器接收声音信号。麦克风1620可以利用各种去噪算法，用于去除当外部声音信号被输入到麦克风1620时生成的噪声。
存储器1700可以存储用于处理和控制控制单元1300的操作的程序，并且存储输入到第一设备或从第一设备的输出的数据(例如要联接到第一设备1000上的显示画面的附加画面的位置信息、与附加画面相关的内容信息、附加画面的大小信息等)。
通知模块1800可以生成通知与第一设备1000的附加画面相关的信号。与由第一设备1000生成的附加画面相关的事件的示例可以包括接收呼叫信号、接收消息、输入键信号、通知调度等。通知模块1800可以经由显示单元1200以视频信号的形式输出该信号。
图22图示了根据本公开的实施例的第二设备的外部。
图22图示了第二设备2000是眼镜类型的HMD设备的情况。
尽管图22中图示的HMD设备的框架2010是一体化类型的，但是在本公开中介绍的HMD设备的框架的形状和结构不限于图2中所图示的框架的形状和结构。
例如，参考图22，HMD设备的框架2010可以包括连接构件(未示出)，因此框架2010的至少一部分是可折叠的。例如，根据本公开的实施例的HMD设备包括可折叠的框架2010，并且因而可以在用户不使用HMD设备时被折叠在存储中，由此最小化HMD设备占用的空间。
根据本公开的实施例的HMD设备可以进一步包括弹性带(未示出)，允许HMD设备不管用户的头部的大小如何都被固定地放置在用户的头部上。
根据本公开的实施例，可以将框架2010配置为使得镜片2005可附接到框架2010或可从框架2010拆卸。根据本公开的实施例，HMD设备可以包括镜片2005。而且，图22中图示的镜片2005与鼻梁架一体地形成，但是本公开的各个实施例不限于图22中所示的。例如，根据本公开的实施例的HMD的鼻梁架可以与框架2010一体地形成。
镜片2005可以由透明材料形成，使得用户可以经由镜片2005来观看实际空间。镜片2005可以由透光的材料形成，其形成要通过显示单元2030显示的图像。可以用于形成镜片2010的示例包括诸如聚碳酸酯的塑料或玻璃，但是不限于此。
控制单元2600可以以有线或无线的方式连接到HMD设备。尽管图22图示了控制单元2600位于框架2010的左侧，但是控制单元2060可以位于框架2010的右侧或位于HMD设备的前表面上以与相机2050邻近。
控制单元2600可以从例如相机2050或用户输入单元2040接收数据，分析所接收的数据，并且生成要经由显示单元2030和音频输出单元2020中的至少一个传送到HMD设备的用户的信息。要传送到用户的信息可以包括图像、文本、视频、音频中的至少一个，但是不限于此。
相机2050可以被包括在显示单元2030中，或可以与显示单元2030分离地位于框架2010上。相机2050可以是在智能手机中使用的相机或诸如网络摄像头的小尺寸相机。例如，相机2050可以被安装在预先确定的适合于通过使用用户的手做手势来获得图像的位置上。例如，如图22中所图示的，相机2050可以安装在当用户佩戴HMD设备时位于临近用户的眼睛的位置上，因此能够与通过用户的眼睛识别的基本同时来捕捉图像。
用户输入单元2040可以包括但不限于可以由用户的手指操作的触摸垫和通过推操作来操作的按钮中的至少一个。尽管图22图示了用户输入单元2040位于框架2010的侧面，但是用户输入单元2040可以位于HMD设备的另一位置。
用户输入单元2040可以被配置为接收用户输入。用户输入可以包括由用户输入的数据或信号，以生成使得HMD设备开始或结束预定操作的事件。
例如，用户输入单元2040可以包括“开/关”开关，以对HMD设备供电或断电。而且，根据本公开的实施例的用户输入单元2040可以接收用于控制使用HMD设备显示的图像。
显示单元2030可以位于镜片2005的左上端，并且被使用半透明光波导(例如棱镜)来配置，如图22中所示。图22中所示的显示单元2030可以反射从内置在HMD设备中的投影仪输出的光，以将图像聚焦在佩戴HMD设备的用户的眼睛的虹膜的中央凹上。然而，根据本公开的实施例的包括在HMD设备中的显示单元2030不限于图22中所示的，并且可以根据各种方法和以各种结构来配置，以在用户的眼睛附近显示图像。例如，根据本公开的实施例，显示单元2030可以是透明显示器或半透明显示器。
尽管在图22中未示出，但是根据本公开的实施例，HMD可以进一步包括麦克风(未示出)。麦克风可以接收用户的语音、HMD的周围环境中的声音等。
声音输出单元2020可以被配置为以耳机的形式安装在HMD设备的用户的耳朵上。声音输出单元2020可以被固定地安装到HMD设备上，如图22中所图示的，但是本公开的各个实施例可以不限于此。例如，声音输出单元2020可以被配置为可附接到HMD设备或可从HMD设备拆卸，使得HMD设备的用户可以选择性地将声音输出单元2020放置在其耳朵上。例如，声音输出单元2020可以是骨传导扬声器。
电源单元2015被图示为提供在HMD设备的框架2010的端部部分上。然而，本公开的各个实施例不限于此，并且电源单元2015可以被布置在HMD设备的框架2010的各个位置。电源单元2015向HMD设备的元件提供用于操作HMD设备的电力。尽管未示出，但是电源单元2015可以包括用于充电的电池、以及可以经由其从外部接收电力的线缆或线缆端口。
图23和图24是根据本公开的各个实施例的第二设备的框图。图23和图24图示了其中第二设备是眼镜类型的HMD设备的情况。
参考图23，根据本公开的实施例的HMD设备2000包括至少相机2050、用户输入单元2200、显示单元2030、通信单元2500和控制单元2600。
然而，图23中所图示的所有元件不是HMD设备2000的不可缺少的元件。HMD设备可以进一步包括其他元件或可以包括图23中所图示的元件中的仅仅一些。
例如，参考图24，除了相机2050、用户输入单元2200、显示单元2030、通信单元2500和控制单元2600外，根据本公开的实施例的HMD设备2000可以进一步包括麦克风2055、输出单元2300、存储器2400、传感器2700和接口单元2800。
相机2050被配置为对实际空间中的对象拍照。相机2050所捕捉的对象的图像可以是运动图像或连续静态图像。HMD设备可以是例如具有通信功能和数据处理功能的眼镜类型的设备。当用户佩戴HMD设备时面向用户的前方的相机2050可以对实际空间中的对象拍照。
根据本公开的实施例，相机2050被配置为对图1的第一设备、对第一设备1000相关的对象或用户的手势拍照。例如，相机2050可以获得关于用户的身体的一部分的信息或关于用户的手势的信息。关于用户的身体的一部分的信息可以包括用户的身体的一部分的图像。关于用户的手势的信息可以包括通过对做出手势的用户的身体部分拍照所获得的图像。
根据第二设备2000的实施例可以提供两个或更多个相机2050。
麦克风2055在呼叫模式、记录模式、语音识别模式等中接收外部声音信号并且将其转换成电语音数据。在呼叫模式中，可以将电语音数据转换并输出成可以经由移动通信模块2510传送到移动通信基站的形式。麦克风2055可以利用各种去噪算法来去除当外部声音信号被输入到麦克风2055时生成的噪声。
用户输入单元2200接收用于控制HMD设备2000的用户输入。用户输入单元2200可以接收在HMD设备2000上执行的触摸输入和键输入。而且，用户输入单元2200可以从相机2050接收由相机2050拍照的用户的手势。
显示单元2030向用户显示由HMD设备2000的控制单元2600处理的关于虚拟图像的附加画面的信息。
根据本公开的实施例，显示单元2030可以在于第一设备1000上显示的显示画面上的预定位置显示虚拟图像的附加画面。
而且，根据本公开的实施例，显示单元2030可以在与第一设备1000相关的对象上的预定位置上显示虚拟图像的附加画面。
而且，显示单元2030可以显示用于选择由控制单元1600处理的虚拟图像的附加画面的用户界面。
显示单元2030可以包括(未示出)触摸屏幕、电子纸、液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、发光二极管(LED)、有机LED(OLED)、柔性显示器、3D显示器和透明显示器中的至少一个。
输出单元2300被配置为输出音频信号、视频信号或警报信号。输出单元2300可以包括音频输出单元2020、警报单元2330、触觉模块2340等。
在呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等中，音频输出单元2020输出从通信单元2500或控制单元2600接收的或存储在存储器2400中的音频数据。而且，声音输出单元2020输出与由HMD设备2000执行的功能相关的音频信号，例如呼叫信号接收声音、消息接收声音等。音频输出单元2020可以包括扬声器、蜂鸣器等。
警报单元2330输出通知HMD设备2000的附加屏幕相关事件的信号。HMD设备2000生成的附加屏幕相关事件的示例包括呼叫信号的接收、接收消息、键信号的接收等。警报单元2330输出以与音频信号或视频信号不同的形式的通知附加画面相关事件的信号。当接收呼叫信号或消息时，警报单元2330可以输出通过该事实的信号。而且，当输入键信号时，警报单元2330可以输出信号，作为输入键信号的反馈。用户可以通过检查从警报单元2330输出的信号来识别发生了附加画面相关事件。替选地，在HMD设备2000中，可以经由显示单元2030或声音输出单元2020来输出通知附加画面相关事件的发生的信号。
触觉模块2340生成用户可以感觉的各种触觉效果。由触摸模块2340生成的触觉效果的代表示例可以是振动效果。当触觉模块2340生成振动作为触觉效果时，可以将触觉模块2340生成的振动的强度和模式进行转换，并且可以合成并输出或可以依序输出不同的振动。
除了振动外，触觉模块2340可以生成各种触觉效果，例如使用由接触皮肤表面上的针的布置的垂直移动造成的刺激的效果，使用由从喷嘴喷出的喷力或通过空气吸入口吸取空气的吸力造成的刺激的效果，使用当刷皮肤表面时造成的刺激的效果，使用当接触电极时造成的刺激的效果，使用通过静电力造成的刺激的效果，当使用能够吸取热或产生热的材料产生的冷或热的感觉获得的效果等。触觉模块2340可以被配置为使得不仅在直接触摸触觉模块2340时传递触觉效果，而且也通过诸如用户的手指或臂的用户肌肉来感觉触觉效果。
存储器2400可以存储用于处理的程序和控制单元2600的控制操作，并且临时存储输入或输出的数据(例如消息、静态图像、视频、要联接到第一设备1000的显示画面的附加画面的位置信息、与附加画面相关的内容信息、附加画面的大小信息等)。
存储器2400可以包括闪速存储器类型的存储器、硬盘类型的存储、多媒体卡的微型存储器、卡型的存储、随机存取存储器(RAM)、和只读存储器(ROM)中的至少一个存储介质。而且，存储器2400可以包括具有存储功能并且在因特网中操作的web存储。
通信单元2500从第一设备1000接收与附加画面相关的信息，并且与第一设备1000交换HMD设备2000在显示单元2030上显示附加画面所需要的信息，以及基于与附加画面相关信息来改变所显示的附加画面。根据本公开的实施例，通信单元2500可以与外围设备或服务器交换所需要的信息。
通信单元2500可以包括移动通信模块2510、近场通信(NFC)模块2520、广播接收模块2530、因特网模块2540、GPS模块2550等。
移动通信模块2510与移动通信网络中的基站、外部终端和服务器中的至少一个交换无线电信号。这里，无线电信号可以包括语音呼叫信号、视频呼叫信号或当交换文本/多媒体消息时要使用的各种类型的数据。因此，HMD设备2000可以与外部设备交换语音呼叫信号、视频呼叫信号或文本/多媒体消息。
NFC模块2520意指被配置为建立NFC的模块。NFC技术可以包括BLUETOOTHTM、射频识别(RFID)、红外数据关联(IRDA)、超宽带(UWB)、ZIGBEETM等。
广播模块2530被配置为通过使用各种广播系统来接收广播信号，具体地为地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、仅媒体前向链路(MediaFLO)、手持数字视频广播(DVB-H)、地面综合服务数字广播(ISDB-T)等。而且，广播模块2530可以被配置为不仅适合于这样的数字广播系统，而且适合于能够提供广播信号的其他各种广播系统。
因特网模块2540意指被配置为访问无线因特网并且可以安装在第二设备2000内或外。无线局域网(WLAN)、无线宽带(Wibro)、全球互连微波接入(Wimax)、高速下行链路分组接入(HSDPA)等可以用作无线因特网技术。
GPS模块2550可以从多个GPS卫星接收位置信息。
传感器单元2700感测HMD设备2000的当前状态，例如HMD设备2000的位置、HMD设备是否被用户触摸等，以及生成用于控制HMD设备2000的操作的感测信号。例如，传感器单元2700可以执行与接口单元2800是否耦接到外部设备相关的感测功能等。
传感器单元2700可以包括接近传感器2710、运动传感器2730等。接近传感器2710可以在没有物理接触的情况下检测对象是否接近HMD设备2000或是否存在于HMD设备2000附近。接近传感器2710可以通过检测交流磁场或静态磁场中的改变或静电电容的改变速率等来检测接近HMD设备2000或存在于HMD设备2000附近的对象。
运动传感器2730通过加速传感器、陀螺仪传感器等来感测第二设备2000的位置或运动。加速传感器是能够将一方向上的加速的改变转换成电信号的设备，并且随着微电机械系统(MEMS)技术发展而已被广泛使用。陀螺仪传感器是被配置为测量角速度并且可以感测偏离感测方向的方向的传感器。
接口单元2800充当连接到HMD设备2000的所有外部设备的接口。连接到HMD设备2000的外部设备的示例包括有线/无线耳机、外部充电器、有线/无线数据端口、用于存储卡的卡槽、订户识别模块(SIM)卡、用户身份模块(UIM)卡等、音频输入/输出(I/O)端口、视频I/O端口、耳机等。接口单元2800可以从这样的外部设备接收数据或电力，将该数据或电力传递到HMD设备2000中包括的元件，并且将存储在HMD设备2000中的数据传送到外部设备。
电源单元2015向HMD设备2000的元件提供用于操作HMD设备2000的功率。尽管未示出，但是电源单元2015可以包括用于充电的电池、经由其可以从外部接收电力的线缆或线缆端口。
通常，控制单元2600可以控制HMD设备2000的整体操作。例如，控制单元2600可以执行存储在存储器2400的程序，以控制显示单元2030、相机2050、用户输入单元2200、输出单元2300和通信单元2400。
HMD设备2000可以连接到第一设备1000，并且通过从第一设备1000接收关于虚拟图像的附加画面的信息来在HMD设备2000的画面上显示虚拟图像的附加画面。根据本公开的实施例，HMD设备2000可以连接到服务器(未示出)。
控制单元2600可以经由通信单元2500从第一设备1000接收关于虚拟图像的附加画面的信息和关于要显示附加画面的HMD设备2000的显示单元上的位置的信息。
根据本公开的实施例，控制单元2000可以通过使用相机2050对第一设备1000的形状拍照，基于关于第一设备1000的形状的信息和关于附加画面的信息确定要显示虚拟图像的附加画面的位置，在第一设备1000的显示画面附近显示虚拟图像的附加画面，并且控制虚拟图像的附加画面以联接到第一设备1000上的显示画面。
在该情况中，控制单元2600可以从关于第一设备1000的形状的信息中提取关于第一设备1000上的画面的位置和角度的信息，基于第一设备1000上的画面的位置和角度来确定要显示虚拟图像的附加画面的区域。例如，控制单元2600可以通过从第一设备1000接收关于第一设备1000的形状的信息来确定在第一设备1000上的画面的位置和角度，从关于第一设备1000的形状的信息中提取特征点，并且将由相机2050捕捉的第一设备1000的图像的特征点与关于第一设备1000的形状的信息的特征点进行比较。
而且，根据本公开的实施例，控制单元2600可以根据在第一设备1000上执行的用户输入和使用HMD设备2000的相机2050执行的用户输入来控制联接到第一设备1000上的显示画面的HMD设备2000的附加画面。而且，控制单元2600可以通过相机2050来识别附加画面上的用户输入，并且当识别出用户输入时结束附加画面，并且将指示附加画面的结束的信息传送到第一设备1000。
HMD设备2000可以在其屏幕上显示附加画面而无需连接到第一设备1000。
在该情况中，控制单元通过使用相机2050对实际空间中的第一设备1000拍照。控制单元2600可以实时或以预定周期对实际空间中的第一设备1000拍照。
而且，根据本公开的实施例，控制单元2600确定要在第一设备1000的捕捉图像周围显示的附加画面。在该情况中，控制单元2600可以在HMD设备2000的画面上显示用于选择附加画面的用户界面，并且基于经由用户输入单元2200或相机2050接收的用户输入来选择特定附加画面。
而且，控制单元2600可以确定要显示附加画面的、在第一设备1000附近的位置。
根据本公开的实施例，由于使用HMD设备2000来显示附加画面，所以可以扩展第一设备1000的有限屏幕，并且可以提供大量的视觉信息和便利的低水平交互。
本公开的实施例可以被实现为在其上记录有计算机可执行指令的非瞬时计算机可读记录介质的形式，例如可以使用计算机执行的程序模块。非瞬时计算机可读记录介质的示例可以不仅包括可由计算机访问的任意可用记录介质，而且包括易失性和非易失性记录介质、以及可分离/非可分离记录介质。而且，非瞬时计算机可读记录介质可以包括计算机存储介质和通信介质。计算机存储介质包括根据任意方法或技术制造的用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的易失性或非易失性记录介质以及可分离和非可分离记录介质。通信介质通常包括计算机可读指令、数据结构、程序模块、调制数据信号的其他数据、其他传输机制和任意信息传输介质。
在本公开中，术语“单元”可以被理解为包括硬件组件(诸如处理器或电路)和/或由诸如处理器的硬件组件执行的软件组件。
应理解在此描述的各个实施例应仅在描述意义上考虑，而不用限制。在本公开的每个实施例中的特征点或方面的描述应典型地被认为可用于其他各个实施例中的其他类似特征点或方面。例如，被描述为包括在单个单元中的元件可以被分散。类似地，被描述分散的元件可以组合在单个单元中。
虽然已参考本公开的各个实施例特定示出和描述了本公开，但本领域技术人员将理解，在不脱离如所附权利要求及其等同物限定的本公开的精神和范围的情况下可对其进行各种形式和细节上的改变。

Claims (15)

1.一种由眼镜类型的头戴式显示(HMD)设备执行的显示虚拟画面的方法，该方法包括：
通过HMD设备的相机来获得在实际空间中显示在电子设备上的画面的图像；
基于所获得的图像来识别通过相机获得的画面；
基于所识别的画面，通过HMD设备的投影仪输出与虚拟画面有关的光，使得在用户的视野中，在显示于电子设备上的画面附近显示虚拟画面，该虚拟画面的内容基于显示在电子设备上的画面；
检测用于选择在虚拟画面中包括的对象的用户输入，用户输入包括手势或语音中的至少一个；以及
基于所检测的用户输入，通过HMD设备的投影仪来输出与选择的对象有关的信息的光。
2.根据权利要求1所述的方法，还包括：
检测用于选择虚拟画面上的内容的输入；
响应于检测到输入，根据所检测的输入来显示与所选择的内容对应的虚拟画面；以及
响应于检测用于选择虚拟画面的输入，向电子设备发送与虚拟画面对应的选择信息，使得所述设备根据从HMD设备接收的选择信息来更新与虚拟画面对应的显示画面并在电子设备上显示更新后的显示画面。
3.根据权利要求1所述的方法，其中还包括从电子设备获得与画面有关的信息，
其中，与画面有关的信息包括以下中的至少一个：
电子设备的形状信息；
要在视觉上被显示在所述设备的实际显示画面附近的虚拟画面的视觉位置；
虚拟画面的大小；
与虚拟画面有关的内容信息；或
使用相机捕捉的电子设备的状态信息。
4.根据权利要求3所述的方法，其中，电子设备的状态信息包括电子设备的画面的视觉位置和角度。
5.根据权利要求3所述的方法，其中，使用相机周期性地更新电子设备的状态信息。
6.根据权利要求1所述的方法，其中，输出与虚拟画面有关的光包括：
捕捉电子设备的图像；
基于所捕捉的电子设备的图像，确定电子设备的画面的视觉位置和方向；以及
基于电子设备的画面的视觉位置和方向，在电子设备的实际显示画面附近的预定视觉位置显示虚拟画面。
7.根据权利要求1所述的方法，其中，通过使用HMD设备，HMD的虚拟画面在视觉上被显示为在电子设备的实际显示画面附近。
8.根据权利要求6所述的方法，其中，确定电子设备的画面的视觉位置和方向包括：
从电子设备接收电子设备的形状信息；
从电子设备的形状信息中提取特征点；以及
将所述设备的图像的特征点与所述设备的形状信息的特征点进行比较，以确定所述设备的实际显示画面的视觉位置和方向。
9.根据权利要求1所述的方法，还包括：根据在电子设备或HMD设备中的至少一个上执行的用户输入，控制电子设备的画面与虚拟画面相互联接。
10.根据权利要求9所述的方法，其中，控制电子设备的画面与虚拟画面相互联接包括：根据在相应设备或HMD设备上执行的用户输入，控制电子设备上的画面与HMD设备上的虚拟画面相互联接。
11.根据权利要求9所述的方法，其中，控制电子设备上的画面与虚拟画面相互联接包括：
根据从第一设备接收的用户输入来识别用于结束虚拟画面的命令；以及
通过将用于结束虚拟画面的命令传送到HMD设备来结束虚拟画面。
12.根据权利要求9所述的方法，其中，控制电子设备上的画面与虚拟画面相互联接包括：
通过使用相机来识别在HMD设备上的虚拟画面上的用户输入；以及
当识别出用户输入时，结束虚拟画面并且将指示虚拟画面的结束的信息传送到电子设备。
13.根据权利要求1所述的方法，其中，输出与虚拟画面有关的光包括：
通过HMD设备的投影仪，与所述显示于电子设备上的画面一起显示虚拟画面以形成连续画面。
14.一种用于显示虚拟画面的眼镜类型的头戴式显示(HMD)设备，该HMD设备包括：
相机；
投影仪；
显示器，包括波导以将从投影仪输出的光朝向HMD设备的用户的眼睛传递；以及
至少一个处理器，被配置为：
进行控制以通过相机来获得在实际空间中显示在电子设备上的画面的图像，
基于所获得的图像来识别通过相机获得的画面，
进行控制以基于所识别的画面，通过投影仪输出与虚拟画面有关的光，使得在用户的视野中，在显示于电子设备上的画面附近显示虚拟画面，该虚拟画面的内容基于显示在电子设备上的画面，
检测用于选择在虚拟画面中包括的对象的用户输入，用户输入包括手势或语音中的至少一个，和
基于所检测的用户输入，进行控制以通过投影仪来输出与选择的对象有关的信息的光。
15.根据权利要求14所述的设备，其中，至少一个处理器还被配置为：
通过使用相机来拍摄电子设备的形状；
基于电子设备的形状，从状态信息中提取关于电子设备的画面的视觉位置和角度的信息；以及
基于电子设备的画面的视觉位置和角度，确定其中要显示虚拟画面的视觉区域。
CN202010411170.4A 2014-10-15 2015-10-15 眼镜类型的头戴式显示设备及其方法 Active CN111665905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010411170.4A CN111665905B (zh) 2014-10-15 2015-10-15 眼镜类型的头戴式显示设备及其方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0139071 2014-10-15
KR1020140139071A KR102358548B1 (ko) 2014-10-15 2014-10-15 디바이스를 이용한 화면 처리 방법 및 장치
CN201510667006.9A CN105528066B (zh) 2014-10-15 2015-10-15 用于使用设备来处理画面的方法和装置
CN202010411170.4A CN111665905B (zh) 2014-10-15 2015-10-15 眼镜类型的头戴式显示设备及其方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510667006.9A Division CN105528066B (zh) 2014-10-15 2015-10-15 用于使用设备来处理画面的方法和装置

Publications (2)

Publication Number Publication Date
CN111665905A CN111665905A (zh) 2020-09-15
CN111665905B true CN111665905B (zh) 2024-03-08

Family

ID=54329375

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510667006.9A Active CN105528066B (zh) 2014-10-15 2015-10-15 用于使用设备来处理画面的方法和装置
CN202010411170.4A Active CN111665905B (zh) 2014-10-15 2015-10-15 眼镜类型的头戴式显示设备及其方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510667006.9A Active CN105528066B (zh) 2014-10-15 2015-10-15 用于使用设备来处理画面的方法和装置

Country Status (7)

Country Link
US (5) US10331205B2 (zh)
EP (3) EP3617835A1 (zh)
KR (6) KR102358548B1 (zh)
CN (2) CN105528066B (zh)
ES (1) ES2763701T3 (zh)
TW (3) TW201626291A (zh)
WO (1) WO2016060397A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626804B2 (en) * 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
JP6686319B2 (ja) * 2015-08-04 2020-04-22 富士通株式会社 画像投影装置及び画像表示システム
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统
US10602133B2 (en) * 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
KR20180042880A (ko) 2016-10-18 2018-04-27 삼성디스플레이 주식회사 표시 패널, 이를 포함하는 머리 부착형 표시 장치, 및 머리 부착형 표시 장치의 영상 표시 방법
US10262010B2 (en) * 2016-11-02 2019-04-16 International Business Machines Corporation Screen capture data amalgamation
IT201700035014A1 (it) * 2017-03-30 2018-09-30 The Edge Company S R L Metodo e dispositivo per la visione di immagini in realta' aumentata
AU2017429200B2 (en) * 2017-08-23 2021-09-23 Huawei Technologies Co., Ltd. Display method and apparatus
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
KR102479052B1 (ko) * 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
KR102389185B1 (ko) 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
CN110192169B (zh) * 2017-11-20 2020-10-02 腾讯科技（深圳）有限公司 虚拟场景中菜单处理方法、装置及存储介质
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
US10559133B2 (en) * 2018-02-07 2020-02-11 Dell Products L.P. Visual space management across information handling system and augmented reality
CN108595092A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 图像处理方法、设备及计算机存储介质
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US10783713B2 (en) * 2018-09-05 2020-09-22 International Business Machines Corporation Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene
US11281334B2 (en) * 2018-11-30 2022-03-22 Samsung Electronics Co., Ltd. Interaction method, system, and device for information
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11106288B1 (en) * 2020-03-02 2021-08-31 John Walter Downey Electronic input system
JP2021152639A (ja) 2020-03-23 2021-09-30 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
KR20210149543A (ko) * 2020-06-02 2021-12-09 삼성전자주식회사 메모리 장치 및 이를 포함하는 메모리 시스템
TWI779332B (zh) 2020-08-21 2022-10-01 宏碁股份有限公司 擴增實境系統與其錨定顯示虛擬物件的方法
CN114201028B (zh) * 2020-09-01 2023-08-04 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
JP7352530B2 (ja) 2020-10-05 2023-09-28 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
TWI765398B (zh) * 2020-11-04 2022-05-21 宏正自動科技股份有限公司 指示圖示共享方法、指示訊號控制方法以及指示訊號處理裝置
CN112306443A (zh) * 2020-11-23 2021-02-02 Oppo广东移动通信有限公司 一种信息展示方法和存储介质
CN112596609A (zh) * 2020-12-25 2021-04-02 维沃移动通信有限公司 显示处理方法、显示处理装置和可穿戴设备
JP2022124133A (ja) 2021-02-15 2022-08-25 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014113408A1 (en) * 2013-01-21 2014-07-24 Microsoft Corporation Virtual interaction with image projection

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US8141159B2 (en) * 2002-12-31 2012-03-20 Portauthority Technologies Inc. Method and system for protecting confidential information
KR100800859B1 (ko) 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
KR20090040839A (ko) 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
KR20090105485A (ko) 2008-04-02 2009-10-07 주식회사 업앤온 Ｈｍｄ를 이용한 멀티미디어 제공 시스템 및 그 제공 방법
KR100984937B1 (ko) 2008-10-21 2010-10-18 (주)에이치티엑스 가상현실프로그램의 모니터링 시스템
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
KR20110024435A (ko) 2009-09-02 2011-03-09 삼성전자주식회사 제어 디바이스, 피제어 디바이스, 제어 시스템, 그리고 제어권한 제공방법
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP5765019B2 (ja) 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5695797B2 (ja) * 2011-04-14 2015-04-08 グァンツォ ハース ファーマ デベロップメント シーオー．，エルティーディー． 新規抗血小板化合物の付加塩
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US20130222371A1 (en) * 2011-08-26 2013-08-29 Reincloud Corporation Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality
KR20130024615A (ko) * 2011-08-31 2013-03-08 주식회사 케이티 외부 디바이스와 결합하는 휴대 단말 및 그 제어 방법
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
KR20130045002A (ko) 2011-10-25 2013-05-03 송영일 안경형 모니터
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
KR101474927B1 (ko) 2011-12-22 2014-12-31 주식회사 케이티 외부 디스플레이 기기로의 영상 송출 방법 및 그 단말
EP2621179A1 (en) 2012-01-30 2013-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for providing multi-view thereof
KR101310940B1 (ko) 2012-01-30 2013-09-23 삼성전자주식회사 디스플레이 장치 및 이를 이용한 멀티 뷰 제공 방법
JP2013200793A (ja) 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR102164453B1 (ko) 2012-04-07 2020-10-13 삼성전자주식회사 투명 디스플레이를 포함하는 디바이스에서 오브젝트 제어 방법 및 그 디바이스와 기록 매체
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR101546654B1 (ko) 2012-06-26 2015-08-25 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20140052294A (ko) * 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
KR102001218B1 (ko) 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
KR20140057087A (ko) 2012-11-02 2014-05-12 삼성전자주식회사 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20140285520A1 (en) 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
JP5796726B2 (ja) 2013-03-29 2015-10-21 コニカミノルタ株式会社 ジョブ情報表示装置
KR102171444B1 (ko) * 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
KR102065407B1 (ko) * 2013-07-11 2020-01-13 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
KR102135353B1 (ko) * 2013-08-30 2020-07-17 엘지전자 주식회사 시계형 단말기와 이를 포함하는 시스템
KR102294945B1 (ko) * 2014-06-11 2021-08-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
WO2016190458A1 (ko) * 2015-05-22 2016-12-01 삼성전자 주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014113408A1 (en) * 2013-01-21 2014-07-24 Microsoft Corporation Virtual interaction with image projection

Also Published As

Publication number Publication date
EP3418858B1 (en) 2019-12-04
KR102358548B1 (ko) 2022-02-04
EP3617835A1 (en) 2020-03-04
TW202001686A (zh) 2020-01-01
EP3418858A1 (en) 2018-12-26
TWI730824B (zh) 2021-06-11
US11914153B2 (en) 2024-02-27
TW202038138A (zh) 2020-10-16
KR102458665B1 (ko) 2022-10-25
KR102637662B1 (ko) 2024-02-19
KR20220145317A (ko) 2022-10-28
KR20240023091A (ko) 2024-02-20
US20210048678A1 (en) 2021-02-18
CN105528066A (zh) 2016-04-27
TW201626291A (zh) 2016-07-16
KR20220020308A (ko) 2022-02-18
US20160109937A1 (en) 2016-04-21
CN111665905A (zh) 2020-09-15
US10331205B2 (en) 2019-06-25
US10860087B2 (en) 2020-12-08
US20190265780A1 (en) 2019-08-29
US20220269089A1 (en) 2022-08-25
KR20160044272A (ko) 2016-04-25
WO2016060397A1 (en) 2016-04-21
KR20220088660A (ko) 2022-06-28
KR102585237B1 (ko) 2023-10-05
US11353707B2 (en) 2022-06-07
KR20230141724A (ko) 2023-10-10
CN105528066B (zh) 2020-06-12
ES2763701T3 (es) 2020-05-29
EP3009915A1 (en) 2016-04-20
EP3009915B1 (en) 2018-12-05
US20230229004A1 (en) 2023-07-20
KR102411100B1 (ko) 2022-06-22

Similar Documents

Publication Publication Date Title
CN111665905B (zh) 眼镜类型的头戴式显示设备及其方法
US10666780B2 (en) Mobile terminal and control method therefor
EP3096275B1 (en) Mobile terminal and method for controlling the same
US10757335B2 (en) Mobile terminal
EP2926215B1 (en) Method and apparatus for facilitating interaction with an object viewable via a display
US9874998B2 (en) Mobile terminal and controlling method thereof
EP3522030A1 (en) Mobile terminal and controlling method thereof
KR102404790B1 (ko) 카메라의 초점을 변경하는 방법 및 장치
JP2017032870A (ja) 画像投影装置及び画像表示システム
KR101989992B1 (ko) 영상표시장치, 및 그 동작방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant