CN111052063A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN111052063A
CN111052063A CN201880057152.1A CN201880057152A CN111052063A CN 111052063 A CN111052063 A CN 111052063A CN 201880057152 A CN201880057152 A CN 201880057152A CN 111052063 A CN111052063 A CN 111052063A
Authority
CN
China
Prior art keywords
display
virtual
image
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880057152.1A
Other languages
English (en)
Other versions
CN111052063B (zh
Inventor
郑多熙
金世现
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111052063A publication Critical patent/CN111052063A/zh
Application granted granted Critical
Publication of CN111052063B publication Critical patent/CN111052063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices
    • H04N21/42227—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • H04N21/42228—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys the reprogrammable keys being displayed on a display screen in order to reduce the number of keys on the remote control device itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种用于提供增强现实显示的电子装置，增强现实显示包括与显示在显示装置上的用户界面相对应的虚拟用户界面，并且电子装置经由虚拟用户界面接收用于控制显示装置的输入。

Description

电子装置及其控制方法
技术领域
本公开的实施例涉及一种电子装置、电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品，并且更具体地涉及一种显示与显示装置有关的用户界面(UI)的电子装置、电子装置的控制方法和使用该电子装置的控制方法的计算机程序产品。
背景技术
诸如电视机(TV)的显示装置根据通过用户界面(UI)接收的用户输入来操作。UI可以是输入设备，诸如遥控器等。通常，对于通过UI的用户输入，可以使用提供在遥控器上的方向键或使用诸如陀螺仪的传感器的运动输入。
因此，当使用运动输入时存在问题，即在用户输入的利用范围受限的情况下，如果运动的行进距离较短，则可能无法识别该运动，从而使运动识别难以精确地应用。另外，由于通过TV屏幕提供的UI的类型、种类和数量受到限制，因此需要各种用户输入模型。
近来，电子装置，即混合现实(MR)设备，其向用户提供所谓的混合现实(MR)或增强现实(AR)环境(在该环境中虚拟对象被合并到现实世界中)变得越来越受欢迎。MR设备向用户提供由全息图对象或虚拟图像增强的物理环境的视图，并且可以接收用户的输入(例如运动或语音识别)以与混合现实或增强现实环境交互。
发明内容
技术问题
实施例至少解决以上问题和/或其他缺点和上面未描述的缺点。
实施例可以提供电子装置、该电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品，该电子装置使能(enable)使用电子装置对于显示装置的用户输入用于提供混合现实(MR)。
此外，实施例可以提供电子装置、该电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品，该电子装置经由MR环境提供与各种类型的显示装置有关的用户界面(UI)。
此外，实施例可以提供电子装置、该电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品，该电子装置使能对显示在屏幕上的UI进行远程和精确的选择。
另外，实施例可以提供电子装置、该电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品，该电子装置可以放大屏幕区域以向用户提供与显示装置有关的各种UI。
技术方案
根据实施例的一方面，提供了电子装置，其包括：相机，被配置用于捕获图像；通信器，被配置用于与显示装置通信；显示器；处理器，被配置用于：从显示装置接收位置信息、控制显示器在与位置信息相对应的图像的位置上显示虚拟UI、以及控制通信器将与对于虚拟UI的用户输入相对应的信息发送到显示装置。因此，能够使用显示其中混合了捕获图像和虚拟UI的图像的MR设备来远程控制(remotely control)显示装置。
处理器可以被配置用于从图像中确定显示装置的屏幕区域，并控制显示器以在图像上的屏幕区域的给定位置上显示虚拟UI。因此，基于TV屏幕区域的位置来显示虚拟UI，因此可以准确地检测虚拟UI的用户输入位置。
处理器可以被配置用于控制显示器以将虚拟UI定位在屏幕区域的顶部、底部、左侧或右侧中的至少一处。因此，可以放大屏幕区域以向用户提供与显示装置有关的各种虚拟UI。
处理器可以被配置用于控制显示器，使得虚拟UI被定位屏幕区域中以对应于在显示装置的屏幕上显示的菜单。因此，用户可以像选择在TV屏幕上显示的UI一样自由地选择虚拟UI。
处理器可以被配置用于控制显示器在由显示器提供的用户观看区域(view area)中的预设位置上显示虚拟UI。因此，可以总是显示频繁使用的菜单，而不管用户观看区域如何改变，从而有助于用户的便利。
处理器可以被配置用于基于来自图像的信息来确定电子装置相对于显示装置的位置，并且确定与该位置相对应的屏幕区域。因此，虚拟UI可以自然地与TV屏幕一起显示，从而增加用户的沉浸感。
处理器可以被配置用于通过通信器从显示装置接收虚拟UI的坐标信息，并在由显示器提供的用户观看区域中显示虚拟UI以对应于坐标信息。因此，从显示装置接收的数据可以用于在适当的位置显示虚拟UI。
处理器可以被配置用于控制通信器响应于选择虚拟UI的元素的用户手势将对应于元素的控制命令作为用户输入信息发送到显示装置。因此，可以在显示装置中执行与用户手势相对应的适当操作。
虚拟UI可以对应于用于控制显示装置的菜单、能够在显示装置中再现的内容、或者能够在显示装置中执行的应用中的至少一个。因此，可以提供用户可选择的各种虚拟UI，从而更加提高用户的便利性。
处理器可以被配置用于基于来自图像的信息通过通信器执行与显示装置的连接。因此，即使不习惯建立通信的用户也可以容易地连接和使用TV和MR设备。
根据另一实施例的一个方面，提供了电子装置的控制方法，该方法包括：利用相机捕获图像；从显示装置接收位置信息；在与位置信息相对应的图像的位置上显示随其显示虚拟UI的图像；以及响应于与虚拟UI相对应的用户输入，将与用户输入信息相对应的信息发送到显示装置。因此，可以使用显示其中混合了捕获图像和虚拟UI的图像的MR设备来远程控制显示装置。
该方法可以进一步包括：从图像中确定显示装置的屏幕区域；以及在图像中的屏幕区域的给定位置上显示虚拟UI。因此，基于TV屏幕区域的位置来显示虚拟UI，因此可以准确地检测虚拟UI的用户输入位置。
显示虚拟UI可以包括将虚拟UI定位在屏幕区域的顶部、底部、左侧或右侧中的至少一处。因此，可以放大屏幕区域以向用户提供与显示装置有关的各种虚拟UI。
显示虚拟UI可以包括在屏幕区域中定位虚拟UI以对应于在显示装置的屏幕上显示的菜单。因此，用户可以像选择在TV屏幕上显示的UI一样自由地选择虚拟UI。
显示虚拟UI可以包括在由电子装置的显示器提供的用户观看区域中的预设位置上显示虚拟UI。因此，可以总是显示频繁使用的菜单，而不管用户观看区域如何改变，从而有助于用户的便利。
确定屏幕区域可以包括基于来自图像的信息确定电子装置相对于显示装置的位置，并且确定屏幕区域以对应于所述位置。因此，虚拟UI可以自然地与TV屏幕一起显示，从而增加用户的沉浸感。
接收UI信息可以包括从显示装置接收虚拟UI的坐标信息，并且显示随其混合虚拟UI的图像可以包括在由电子装置的显示器提供的用户观看区域中显示虚拟UI以对应于坐标信息。因此，从显示装置接收的数据可以用于在适当的位置显示虚拟UI。
该方法可以进一步包括：接收选择虚拟UI的元素的用户手势，并且响应于用户手势，将与该元素相对应的控制命令作为用户输入信息发送到显示装置。因此，可以在显示装置中执行与用户手势相对应的适当操作。
该方法可以进一步包括：基于来自相机捕获的图像的信息通过通信器执行与显示装置的连接。因此，即使不习惯建立通信的用户也可以容易地连接和使用TV和MR设备。
根据另一实施例的一个方面，提供了非暂时性计算机可读介质，其上存储有用于执行控制电子装置的方法的计算机可执行指令，该方法包括：从显示装置接收位置信息，在与位置信息相对应的图像的位置上显示随其显示虚拟UI的图像，该图像被相机捕获，并且响应于与虚拟UI相对应的用户输入，将与用户输入信息相对应的信息发送到显示装置。因此，能够使用显示其中混合了捕获图像和虚拟UI的图像的MR设备来远程控制显示装置。
有益效果
根据如上所述的实施例，电子装置、该电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品可以显示其中混合了由相机捕获的图像和虚拟UI的图像，并且将根据对于显示的虚拟UI的用户输入的信号发送到显示装置，从而使用提供MR的MR设备远程控制显示装置。
此外，电子装置、该电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品可以从显示装置接收虚拟UI的位置信息，并且基于显示装置的屏幕区域来定位虚拟UI，从而准确地检测到用户输入位置以提供拓宽的(widened)用户输入的使用范围。
另外，电子装置、该电子装置的控制方法以及使用该电子装置的控制方法的计算机程序产品不限制在MR环境中显示的虚拟UI的类型、种类、数量和显示位置，从而提供扩展的(expanded)用户输入功能。
附图说明
通过以下结合附图的描述，本发明实施例的上述和其他方面、特征和优点将更加明显，其中：
图1是示出根据实施例的包括电子装置和显示装置的系统的示图；
图2是示出根据实施例的显示装置的框图；
图3是示出根据实施例的电子装置的框图；
图4是示出根据实施例的在显示装置和电子装置之间的操作方法的流程图；
图5、图6、图7和图8是示出根据实施例的在显示装置的屏幕上显示的图案的示例的示图；
图9、图10、图11和图12是示出根据实施例的通过电子装置显示的虚拟UI的示图；以及
图13是示出根据实施例的控制电子装置的方法的流程图。
具体实施方式
在下文中，将参考附图详细描述实施例。附图说明在实施例的以下描述中参考附图中示出的元素，并且为了清楚起见，在各个附图中呈现的相同的附图标记或符号表示基本上执行相同功能的相同的元素。
图1是示出根据实施例的包括电子装置和显示装置的系统的图。
在实施例中，显示装置100可以由电子装置200控制，根据从远程输入设备接收的用户10的命令来操作。远程输入设备可以包括电子装置200，例如，遥控器或提供在电子装置本身上的输入部件，诸如操作面板。如图1所示，显示装置100可以显示用户可选择的用户界面(UI)(以下也称为“图形用户界面(GUI)”)。
显示装置100根据预设图像处理过程处理从外部图像提供源提供的图像信号以显示与其对应的图像。
在实施例中，如图1所示，显示装置100可以被实现为电视机(TV)，其基于从广播站的传输设备接收的广播信号、广播信息和/或广播数据来处理广播图像。在显示装置100中接收到的广播信号也可以经由地面电视机、卫星、电缆等来接收。在本公开中，提供图像信号的源不限于广播站。换句话说，任何装置或站都可以被包括在图像提供源中。
此外，显示装置100可以从各种类型的外部装置接收图像信号。而且，显示装置100可以处理信号以在屏幕上显示以下中的一个或多个：基于内部/外部存储介质中存储的信号/数据的运动图像、静止图像、应用、屏上显示(OSD)、用于各种操作的用户界面(UI)等。
在实施例中，显示装置100可以被实现为智能TV或互联网协议(IP)TV。智能TV是实时接收广播信号并且可以提供网络浏览功能从而实时显示广播信号的TV。显示装置100还可以同时经由互联网来执行搜索和消费各种内容，并且可以提供便利的用户环境。而且，智能TV包括开放软件平台，其可以为用户提供双向服务。因此，智能TV可以经由开放软件平台向用户10提供许多内容，例如，用于提供给定服务的应用。这些应用是可以提供各种服务的应用程序，例如包括提供诸如社交网络服务(SNS)、金融、新闻、天气信息、地图信息、音乐、电影、游戏、电子书等服务的应用。
然而，本公开不限于根据上述实施例的显示装置100。显示装置100也可以是处理图像的装置，例如，连接到主计算机的监视器等。
电子装置200具有用于包括显示装置100的屏幕的实际现实环境的图像捕获或拾取功能。
在实施例中，电子装置200混合并呈现所捕获的实际现实环境和虚拟环境(诸如一个或多个虚拟UI)，为用户10提供所谓的MR或AR环境。提供电子装置200(以下也称为“MR设备”)以便向用户10显示基于实际环境和叠加在实际环境之上或实际环境之中的虚拟元素而生成的混合图像，并经由虚拟UI来接收用户输入用于在显示的MR中进行交互。
实际环境(物理环境)是指真实世界，即，真实空间。换句话说，构成真实空间的各种对象被包括在实际环境中。
虚拟环境提供了一个或多个可视元素，例如三维(3D)全息对象、二维(2D)虚拟图像等，它们是各种类型的虚拟对象。
在实施例中，基于真实空间的位置生成并显示虚拟对象。在另一实施例中，虚拟对象被生成并显示在用户10的观看范围内的给定位置上。在本公开中，虚拟UI可以以3D全息对象或2D虚拟图像的形式实现。
在本公开中，尽管已经将虚拟UI指定为形成在电子装置200的显示器上的虚拟图像的示例，但是也可以使用表达“虚拟图像”或“全息图”而不是虚拟UI。虚拟图像包括不是真实物品(诸如内容等)的虚拟对象，例如UI、静止图像等。
电子装置200显示包括真实对象和所生成的虚拟对象的混合图像，以允许用户观看到增强现实。真实对象可以包括各种电子装置、家具、墙壁等以及显示装置100。
在实施例中，如图1中所示，电子装置200可以是头戴式显示器(HMD)设备(201)或其他可穿戴设备。例如，HMD设备201包括具有透明显示器的眼镜或护目镜型的可穿戴设备。HMD设备201可以以各种形式实现，其中透明或半透明的显示面板被设置在用户10(即观看者)的眼睛前面。
在实施例中，HMD设备201可以被实现为位于靠近用户10的眼睛的眼型(oculartype)显示装置。眼型显示装置可以包括与用户的双眼相对应的两个显示器。这两个显示器可以显示相同的屏幕或不同的屏幕。
HMD设备201可以根据用户10的移动来显示图像。用户10可以移动她或他的整个身体或者仅移动她或他的头部。在这种情况下，HMD设备201显示与实际环境相对应的图像，该图像根据用户10的移动和方向而被动态地显示。
在实施例中，HMD设备201可以被配置用于在视觉上增加用户10正在观看的实际环境的外观。例如，通过透明显示器提供以生成MR环境的实际环境的外观可以以与捕获的原始图像相比增强的颜色和亮度的形式来提供以增加用户的可见度。
提供HMD设备201以从用户10接收手势，即，动作输入和音频输入(即语音输入)。换句话说，用户10可以在穿戴HMD设备时利用她或他的身体(例如，手指)做出用于选择虚拟UI的元素的手势，并且通过手势选择的信息或元素被发送到显示装置100，以允许显示装置100执行与其对应的操作。
在另一实施例中，电子装置200可以是移动设备202，诸如便携式电话、智能电话、智能平板等。
移动设备202经由显示器显示包括虚拟UI的混合图像。用户通过手势，即，触摸屏上的触摸输入，选择虚拟UI的元素，并且与通过手势选择的元素的信息相对应的命令被发送到显示装置100。
虽然图1示出了用户10使用HMD设备201和移动设备202两者与显示装置100进行交互，但是这仅是示例，并且本公开可以实施，从而用户仅利用一个电子装置200就可以远程控制显示装置100。换句话说，电子装置200将可作为代替TV的遥控器的远程控制设备来操作，这是显示装置100的一种实现形式。
在下文中，将参考附图描述显示装置100和电子装置200的详细配置。
图2是示出根据实施例的显示装置100的框图。
如图2所示，显示装置100包括图像接收器110、第一图像处理器120、第一显示器130、第一存储器140、第一通信器150和第一控制器160。
图像接收器110从外部装置接收图像信号(内容)，该图像信号被提供给第一图像处理器120。图像信号可以根据一个或多个标准进行格式化，并且可以根据显示装置100的实现类型以各种方式进行配置。例如，图像接收器110可以接收从广播站无线发送的射频(RF)信号或者有线地接收根据诸如复合视频、分量视频、超级视频、SCRAT、高清多媒体接口(HDMI)等标准的图像信号。
在实施例中，如果图像信号是广播信号，则信号接收器110可以包括用于根据所选择的频道调谐广播信号的调谐器。
此外，可以从外部装置接收图像信号，外部装置诸如移动设备(包括智能手机、智能平板(诸如平板电脑)和MP3播放器)、个人计算机(包括桌上型计算机或笔记本计算机)等。此外，图像信号可以来自经由诸如因特网之类的网络接收的数据，并且在这种情况下，显示装置100可以通过第一通信器150接收图像信号。
而且，可以从存储在第一存储器140中的数据接收图像信号，该第一存储器可以是非易失性存储器，诸如闪存、硬盘等。第一存储装置140可以在显示装置100内部或外部。如果第一存储装置140被提供在显示装置100外部，则显示装置100还可以包括连接到第一存储装置140的连接器。
第一图像处理器120针对从信号接收器110接收的图像信号执行各种视频/音频处理过程。第一图像处理器120将通过执行视频处理过程而生成或组合的输出信号输出至第一显示器130，以便在第一显示器130上显示与图像信号相对应的图像。
第一图像处理器120可以包括：解码器，其对图像信号进行解码以对应于显示装置100的图像格式；以及缩放器(scaler)，其可以调整图像信号以满足第一显示器130的输出标准。解码器可以例如实现为运动图像专家组(MPEG)解码器。这里，由第一图像处理器120执行的视频处理过程可以进一步执行以下多种过程中的至少一个：例如用于将隔行类型的广播信号转换为逐行类型的图像信号的去隔行(de-interlacing)、用于增强图像质量的降噪、细节增强、帧刷新率转换、行扫描等。
第一图像处理器120可以被实现为可以执行上述过程的单个元素的组，或者被实现为包含各种功能的主片上系统(SoC)中包含的形式。主SoC可以包括至少一个微处理器或中央处理单元(CPU)，这是实现第一控制器160的示例。
在实施例中，第一图像处理器120可以被实现为图像板，在该图像板中在印刷电路板(PCB)上安装包括分别用于执行上述过程的各种芯片组、存储器、电子部件和布线。在这种情况下，可以配置显示装置100使得图像接收器110、第一图像处理器120和第一控制器160被提供在信号图像板上。当然，这仅是示例，并且图像接收器110、第一图像处理器120和第一控制器160也可以提供在多个PCB上，这些PCB相互连接以进行通信。
由第一图像处理器120处理的图像信号被输出到第一显示器130。第一显示器130显示与从第一图像处理器120接收的图像信号相对应的图像。
第一显示器130的实现类型不受限制。例如，可以以各种显示方式来实现第一显示器130，诸如液晶显示器(LCD)、等离子体、发光二极管(LED)、有机发光二极管(OLED)、表面传导电子发射器、碳纳米管、纳米晶体等等。根据其实现的类型，第一显示器130可以进一步包括附加配置(例如，驱动器)。
第一显示器130在其上显示用户可选择的至少一个UI。在实施例中，在第一显示器130上显示的UI可以对应于可由电子装置200显示的虚拟UI。
在实施例中，第一显示器130在屏幕的给定位置上显示图案。电子装置200基于从捕获第一显示器130上显示的图案而获得的数据来确定(identify)显示装置100与电子装置200之间的距离和方向信息。所确定的距离和方向信息用于在电子装置200生成MR显示。
第一存储装置140被配置来存储显示装置100的各种数据。第一存储装置140可以提供有非易失性存储器(可写ROM)，该非易失性存储器不管显示装置100是开启还是关闭都保留数据，并且是可写的以反映变化。换句话说，第一存储器140可以提供有闪存、EPROM或EEPROM中的任何一个。第一存储器140可以进一步提供有易失性存储器，诸如DRAM或SRAM，其具有比非易失性存储器更快的读取或写入速度。
存储在第一存储器140中的数据包括例如用于驱动显示装置100的操作系统(OS)以及各种应用、图像数据、附加数据等。
更具体地说，第一存储装置140可以存储根据第一控制器160的控制而输入或输出以对应于元素的各个操作的信号或数据。第一存储装置140可以存储用于控制显示装置100的程序、与制造商提供或从外部下载的应用相关的UI、用于提供UI的图像、用户信息、文档、数据库或相关数据。
在实施例中，第一存储器140可以进一步存储身份信息(例如，MAC地址)，该身份信息可以经由第一通信器150与电子装置200直接通信。
在实施例的描述中，术语“存储器”被定义为在第一存储器140和第一控制器160中包括ROM或RAM或者可安装在显示装置100上的存储卡(例如微卡、存储棒等)。
第一通信器150使用有线或无线通信方法与包括电子装置200的各种外部装置进行通信。第一通信器150包括有线和/或无线通信模块。
在实施例中，第一通信器150包括短距离通信模块中的至少一个，诸如蓝牙、低功耗蓝牙、红外数据协会(IrDA)、无线保真(Wi-Fi)直接、Zigbee、超宽带(UWB)和近场通信(NFC)。可以提供短距离通信模块以通过有或没有接入点(AP)的无线通信来支持显示装置100和电子装置200之间的直接通信。
在实施例中，第一通信器150还包括无线局域网(LAN)单元。无线LAN单元可以根据第一控制器160的控制经由AP与电子装置200连接。无线LAN单元可以包括Wi-Fi通信模块。
在实施例中，第一通信器150可以包括诸如以太网的有线通信模块。
根据实施例的第一通信器150可以由短距离通信模块、无线LAN单元和以太网的一个或多于两个的组合组成。
第一控制器160执行操作显示装置100的所有元素所需的控制。第一控制器160可以执行控制程序(或指令)以执行控制操作，并且可以包括其中安装了控制程序的非易失性存储器、其中加载了至少一部分控制程序的易失性存储器和执行所加载的控制程序的处理器或CPU。
处理器可以包括单核、双核、三核、四核和多核。处理器可以包括多个处理器，例如，主处理器和副处理器，以在例如显示装置仅被提供待机电力并且不操作的情况下，以睡眠模式进行操作。而且，处理器、ROM和RAM可以经由内部总线互连。
在实施例中，第一控制器160或第一图像处理器120可以进一步包括用于图形处理的图形处理单元(GPU)。
另外，在另一实施例中，如果显示装置100被实现为数字TV，则处理器可以包括GPU。例如，处理器可以以内核和GPU被组合在一起的SoC的形式实现。
作为实现根据实施例的第一控制器160的示例的处理器，可以以包含在安装在显示装置100中内置的印刷电路板(PCB)上的主SoC中的形式来实现。在另一实施例中，主SoC可以进一步包括处理图像信号的第一图像处理器120。
控制程序可以包括以BIOS、设备驱动器、OS、固件、平台或应用程序(应用)中的至少一种的形式实现的一个或多个程序。作为实施例，可以在制造中将应用程序预先安装或存储在显示装置100中，或者在使用中可以基于从外部接收的用于应用的数据安装在显示装置100中。可将用于应用程序的数据从诸如应用服务器等的外部服务器下载到显示装置100。
在实施例中，第一控制器160经由第一通信器150执行与电子装置200的通信。第一控制器160控制第一通信器150将关于在第一显示器130上显示的UI和/或在电子装置200的显示器上显示的虚拟UI的信息发送到电子装置200。再者，第一控制器160通过第一通信器150从电子装置200接收对于虚拟UI的用户选择信息，并执行与接收到的用户选择信息相对应的操作。
在实施例中，如上所述的第一控制器160的操作也可以被实现为计算机程序，其被存储在与显示装置100分开提供的计算机程序产品中。
在这种情况下，计算机程序产品包括其中存储与计算机程序相对应的并由处理器执行的指令的介质。由处理器执行的指令包括将与虚拟UI有关的信息发送到电子装置200，并且执行与经由电子装置200接收的用户选择相对应的操作。
因此，显示装置100可以下载并执行存储在单独的计算机程序产品中的计算机程序以执行操作。
图3是示出根据实施例的电子装置200的框图。
图3示出了实现为HMD设备201的电子装置200的配置。如图3所示，电子装置200包括相机210、第二图像处理器220、第二显示器230、第二存储器240、第二通信器250、传感器260和第二控制器270。
相机210包括捕获图像穿过的镜头和图像传感器。相机210将通过镜头输入的光转换成电子图像信号以输出到第二控制器270。用户可以通过相机210捕获运动图像或静止图像。
透镜会聚输入光以形成对象的光学图像。图像传感器检测由通过透镜输入的外部光形成的光学图像作为电子图像信号。作为图像传感器，可以使用电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器等。
在实施例中，相机210可以由多个图像捕获设备组成。多个图像捕获设备可以提供有两个图像捕获设备以分别对应于用户的双眼，或者根据场合需要设置多于两个的图像捕获设备。相机210可以进一步包括捕获运动图像的视频相机和/或深度相机。
在实施例中，相机210获得图像数据，该图像数据捕获用户的正面视角(frontview)。相机210可以捕获包括用户通过第二显示器230的屏幕观看的视场角(angle offield)(视野(field of view))的视角(view angle)内的正面视角。用于确保类似于人体的90°-110°的视场角的广角镜头可以被附接到相机210。第二控制器270可以使用通过对应于用户双眼的两个图像捕获设备获得的图像数据来获得电子装置200相对于现实世界对象的距离和方向信息。
在实施例中，可以提供电子装置200以感测在通过相机210的视野中做出的用户的手势，即运动输入。
在实施例中，电子装置200可以进一步提供有麦克风，其接收用户的声音输入(或语音输入)。
第二图像处理器220执行图像处理以在第二显示器230上显示与由相机210捕获的实际图像相对应的MR的图像。
在实施例中，第二图像处理器220可以在帧基础上处理基于从相机210输入的图像生成的虚拟UI等、第二存储器240中存储的图像、第二存储器240中存储的数据、或通过第二通信器260从显示装置100接收的数据，从而执行图像处理以满足屏幕输出特性(尺寸、图像质量、分辨率等)。
第二显示器230基于第二图像处理器220的图像处理来显示图像。第二显示器230上显示的图像对应于由相机210捕获的现实世界和其中混合了至少一个虚拟UI的MR环境。
在实施例中，虚拟UI可以显示在作为现实对象的显示装置100的第一显示器130的屏幕的给定位置上，即，屏幕的顶部、底部、左侧或右侧的至少一个位置。替代地，虚拟UI可以显示在穿戴电子装置200的用户10的视野中的给定位置上或固定在电子装置200的第二显示器230区域中的给定位置上。
可以使用透射投影技术、反射技术、发射技术等来实现第二显示器230，通过这些技术解调来自光源的白光。可以使用具有强背光和高光能量密度的LCD型显示器来实现所述技术。
在实施例中，第一显示器130包括透明的显示面板，该透明的显示面板具有可透过光的显示区域。例如，第一显示器130可以被实现为各种结构的面板，例如，其中应用了使用透明OLED的自发发光结构的面板或者其中由外部光显示图像而没有单独的发光元件的面板。在此，第一显示器130可以包括与用户的双眼相对应的两个以上的透明显示面板。
在实施例中，第二显示器230可以包括输出投影光的投影仪、从投影仪输出的投影光穿过的面板、以及将穿过面板的光放大并投影到屏幕上的投影透镜。因此，用户具有与电子装置200(即，HMD设备201)前面的实际环境相对应的直接视图。用户可以利用穿戴的HMD设备201识别真实世界对象，并且同时经由透明显示面板看到包含虚拟UI的MR屏幕。提供如上所述的通过第二显示器230形成的MR屏幕，从而在用户视野的空间中利用三维(3D)坐标来指定虚拟对象的位置。
第二存储器240被配置用于存储电子装置200的各种数据。第二存储器240可以提供有非易失性存储器(可写ROM)，其不管电子装置200是开启还是关闭都保留数据，并且其是可写的以反映变化。换句话说，第二存储器240可以配备有闪存、EPROM或EEPROM中的任何一种。第二存储器240可以进一步设置有易失性存储器，例如DRAM或SRAM，其具有比非易失性存储器更快的读取或写入速度。
存储在第二存储器240中的数据包括例如用于驱动电子装置200的OS以及各种应用、图像数据、附加数据等。
更具体地说，第二存储器240可以存储根据第二控制器270的控制而输入或输出以对应于元素的各个操作的信号或数据。第二存储器240可以存储用于控制电子装置200的程序、由制造商提供或从诸如显示装置100之类的外部源接收的虚拟UI的相关信息、用于提供UI的图像、用户信息或相关数据。
在实施例中，第二存储器240可以进一步存储身份(identification)信息(例如，MAC地址)，并且可以经由第二通信器250直接与显示装置100通信。另外，第二存储器240可以进一步存储可以指定到用户观看空间的位置的坐标信息。
第二通信器250使用有线或无线通信方法与包括显示装置100的各种外部装置通信。第二通信器250包括有线和/或无线通信模块。
在实施例中，第二通信器250包括短距离通信模块中的至少一个，诸如蓝牙、低功耗蓝牙、IrDA、Wi-Fi直连、Zigbee、UWB和NFC。可以提供短距离通信模块以支持显示装置100与电子装置200之间的无线通信，具有或不具有AP。
在实施例中，第二通信器250还包括无线LAN单元。根据第二控制器270的控制，无线LAN单元可以经由AP与显示装置100无线连接。无线LAN单元可以包括Wi-Fi通信模块。
在实施例中，第二通信器250可以包括有线通信模块，例如以太网。
根据实施例的第二通信器250可以由短距离通信模块、无线LAN单元和以太网的一个或多个组合构成。
传感器260可以包括可以感测外部信息的各种传感器，例如运动传感器、接近传感器、位置传感器、声学传感器等。运动传感器可以感测电子装置200的运动、姿势、朝向方向、倾斜角度等。在实施例中，运动传感器可以具有方向传感器(诸如陀螺仪)以感测穿戴HMD设备201的用户正在观看的方向。可替代地，运动传感器可以具有加速度传感器以感测穿戴HMD设备201的用户移动的方向或速度。
在实施例中，传感器260可以进一步包括眼睛跟踪传感器，其跟踪用户眼睛的瞳孔响应、位置和/或运动。第二控制器270可以基于由眼睛跟踪传感器检测到的信息来确定用户正在锁定的方向以及用户正在锁定哪个物理对象或虚拟对象。
第二控制器270执行操作电子装置200的所有元素所需的控制。第二控制器270可以包括控制以执行控制操作的控制程序(或指令)、其中安装有控制程序的非易失性存储器、其中加载了控制程序的至少一部分的易失性存储器、以及执行加载的控制程序的至少一个处理器。
处理器可以包括单核、双核、三核、四核和多核。处理器可以包括多个处理器，例如主处理器和副处理器，在例如显示装置仅被提供待机电力并且不操作的情况下，以睡眠模式操作。而且，处理器、ROM和RAM可以经由内部总线互连。
在实施例中，电子装置200的处理器可以包括GPU。例如，处理器可以以内核和GPU被组合在一起的SoC的形式实现。
控制程序可以包括以BIOS、设备驱动器、OS、固件、平台或应用程序(应用)中的至少一个的形式实现的一个或多个程序。作为实施例，可以在制造中预先将应用程序安装或存储在电子装置200中，或者在使用中可以基于从外部接收的用于应用的数据将应用程序安装在电子装置200中。用于应用程序的数据可以从诸如应用服务器等的外部服务器下载到电子装置200。
如果第二控制器270被实现为单个处理器(例如CPU)，则CPU可以被提供为可执行的，例如，控制用于生成在第二显示器230上显示的MR图像的各种图像处理过程的进度、控制通过第二通信器250与显示装置100的有线和无线网络通信等。
在实施例中，电子装置200经由第二通信器250执行与显示装置100的通信。第二控制器270控制第二通信器250从显示装置100接收关于在第二显示器230上显示的虚拟UI的信息。然后，第二控制器270通过相机210检测对于虚拟UI的用户输入，并将与检测到的用户输入相对应的控制信号发送至显示装置100，以允许显示装置10执行与其相对应的操作。
在实施例中，第二控制器270的操作也可以被实现为计算机程序，其被存储在与电子装置200分开提供的计算机程序产品中。
在这种情况下，计算机程序产品包括存储器，在该存储器中存储与计算机程序相对应的并由处理器执行的指令。由处理器执行的指令包括：从显示装置100接收与虚拟UI有关的信息；基于接收到的信息，呈现其中虚拟UI被反映在现实世界中的MR环境，以输出到第二显示器230；以及向显示装置100发送与对于显示的虚拟UI的用户选择相对应的控制信号。
因此，电子装置200可以下载并执行存储在单独的计算机程序产品中的计算机程序以执行第二控制器270的操作。
另一方面，根据另一实施例，电子装置200可以被实现为移动设备202，诸如智能电话、智能平板(平板电脑)等。
可以被实现为移动设备202的电子装置200包括相机210、第二图像处理器220、第二显示器230、第二存储器240、第二通信器250、传感器260和第二控制器270，类似于图3所示的根据被实施为HMD设备201的实施例的电子装置200。然而，与根据被实施为HMD设备201的实施例的电子装置200相比，第二显示器230的实施类型可以不同。
在被实施为移动设备202的电子装置200中，第二显示器230的实施类型不受限制。例如，第二显示器230可以以各种显示方式来实现，诸如液晶、等离子体、LED、OLED、表面传导电子发射器、碳纳米管、纳米晶体等。而且，第二显示器230可以包括触摸屏，该触摸屏显示虚拟UI并且感测作为对于虚拟UI的用户手势的触摸输入。第二控制器270通过第二通信器250向显示装置100发送对于触摸屏上显示的虚拟UI的输入信息。
因此，在根据另一示例性实施例的电子装置中，与根据先前实施例的电子装置的元素执行相同操作的元素由相同的名称、数字或符号表示，并且为了避免重复说明，对其的详细描述将被省略。
在下文中，将参考附图描述在根据实施例的显示装置100和电子装置200中执行的控制操作。
图4是示出根据实施例的在显示装置和电子装置之间的操作方法的流程图。
如图4所示，根据实施例的向用户提供MR环境的电子装置200(即MR设备)执行通信设置(即配对)，用于与显示装置100连接(301)，该显示装置100为构成空间中实际环境的对象。这里，显示装置100和电子装置200可以通过诸如蓝牙、Wi-Fi直连等的短距离通信来连接。连接的显示装置100作为要被控制的对象设备，其从电子装置200接收根据用户输入的控制信号。
为此，电子装置200从显示装置100接收用于配对的身份信息。
在实施例中，电子装置200可以通过相机210捕获在显示装置100的第一显示器130的屏幕上显示的图案，并且从捕获图像识别身份信息(例如，MAC地址)用于与显示装置100进行通信设置。在这种情况下，在显示装置100上显示图案可以起到触发通信设置的作用。电子装置200响应于接收到显示装置100的身份信息而将其自身的身份信息发送到显示装置100，从而完成两个装置100和200之间的配对。
在另一实施例中，显示装置200可以以不同的方式(例如，使用简单服务发现协议(SSDP)等)执行与显示装置100的通信设置(即，配对)而不使用捕获的图案。
电子装置200利用相机210捕获显示在配对的显示装置200的屏幕上的图案并且识别所捕获的图案(303)。
第二控制器270可以使用识别出的图案的类型、位置、大小等来确定电子装置200相对于显示装置100的相对位置(304)。这里，电子装置200相对于显示装置100的相对位置可以包括两个装置100和200之间的距离以及在显示装置100的基础上的电子装置200的方向，例如，穿戴HMD设备201的用户的注视方向及其角度。
图5至图8示出根据实施例的在显示装置的屏幕上显示的图案的示例。
如图5至图8所示，图案41、42、43和44可以由诸如快速响应(QR)码的预设形式组成。被实现为QR码的图案可以包括显示装置100的唯一信息，例如MAC地址。此外，图案可以包括诸如显示装置100的型号名称和屏幕尺寸的信息。
在实施例中，图案41、42、43和44可以以能够区分其顶部、底部、左侧和右侧并能够识别通过旋转或倾斜而发生形状变化的形式提供。
如图5所示，图案41可以位于第一显示器130的屏幕的中间。再者，如图6所示，图案42可以位于第一显示器130的屏幕的特定角上。虽然在图6中，已经将图案42图示为位于例如第一显示器130的屏幕的右下角，但是它也将定位于第一显示器130的屏幕的不同角。
图7和图8中所示的图案43和44被定位在角落上，即第一显示器130的屏幕的边缘上。换句话说，第一控制器160控制第一显示器130以在图7中的屏幕的顶部边缘和底部边缘上显示图案43或者在图8中的屏幕的左侧边缘和右侧边缘上显示图案44。
图5至图8示出根据实施例的在显示装置100上显示的图案的示例，但是本公开不限于此。换句话说，可以以可在电子装置200中捕获和识别的各种其他类型以及QR码来实施图案。显示的图案的数量也不限于一个或两个，并且三个以上的图案将组合定位在各个位置，例如屏幕的中间和角落或屏幕的中间和边缘。如果在显示装置100的屏幕的各个位置上显示多个图案，则可以在确定相对于电子装置200中的显示装置100的相对位置(即，距离和方向)方面提供更高精度。
在实施例中，第二控制器270掌握捕获图案41、42、43和44的类型、位置和大小，并将所获取的信息与存储在第二存储器240中的参考信息进行比较。在实施例中，第二存储器240可以根据显示在显示装置100的屏幕的各个位置上的图案41、42、43和43来存储参考信息，例如，图案的种类和原始尺寸(测量值)。可以存储参考信息，使得多个图案分别与显示装置100的屏幕的显示位置(中间、角落、顶部和底部、左侧和右侧等)匹配。
第二控制器270可以根据比较结果来确定电子装置200相对于显示装置100的相对位置。
更具体地说，第二控制器270将捕获的图案41、42、43和44的尺寸与参考信息进行比较，以确定电子装置200与显示装置100之间的距离。此外，第二控制器270也将捕获图案41、42、43和44的姿态(attitude)(例如，旋转角度或倾斜水平)与参考信息进行比较，以确定电子装置200相对于显示装置100的方向。
可以根据传感器260的感测结果来校正距离和方向信息。在实施例中，第二控制器270将确定的距离和方向信息与传感器260的感测结果进行比较，以检测传感器260中是否发生了错误。在此，如果根据比较结果的差等于或大于预设标准水平，则第二控制器270可以经由第二通信器250、第二显示器230和语音输出通知用户以促使用户检查传感器是否故障。
如果感测到电子装置200的移动，则第二控制器270响应于该移动而确定电子装置200相对于显示装置100的位置。
在实施例中，第二控制器270可以根据通过相机210感测到的结果和通过传感器260感测到的结果的组合来确定电子装置200与显示装置100的相对位置(距离和方向)。
在根据实施例的电子装置200中，第二控制器270可以使用位置信息(距离和方向)控制第二显示器230基于现实空间的位置来生成和显示虚拟对象。
电子装置200从显示装置100接收屏幕，即，第一显示器130的屏幕信息(305)。
在实施例中，显示装置100的信息(例如，屏幕尺寸)可以被包括在如图5至图8所示的图案中，以便这些信息由电子装置200中的相机210捕获的图像获得。电子装置200的第二控制器270可以从捕获的图像提取与显示装置100的屏幕的角落或边缘对应的区域，并从提取的区域中确定屏幕尺寸。在此，电子装置200还可以从捕获的图案中获取附加信息，例如，显示装置100的型号名称。
在另一实施例中，电子装置200可以通过第二通信器250从显示装置100单独接收信息，诸如屏幕尺寸。这里，电子装置200可以通过第二通信器250进一步检索附加信息，诸如显示装置100的型号。
在其他实施例中，电子装置200可以使用安装在显示装置100上或附接到显示装置100的标记来确定显示装置100的屏幕尺寸。例如，红外反射片的标记可以被附着到屏幕的四个角落部分，以便容易地确定第一显示器130的屏幕区域。在这种情况下，电子装置200的传感器260可以包括红外传感器。
第二控制器270基于接收到的屏幕尺寸信息以及确定的到显示装置200的距离和方向信息来确定穿戴电子装置200(即，HMD设备201)的用户的视野中显示装置100的屏幕区域(即，TV屏幕区域(图9中的50)(306)。这里，如果电子装置200是移动设备202，则第二控制器270可以确定第二显示器230的区域内的TV屏幕区域(图11中的80)所对应的部分。
电子装置200从显示装置100接收UI信息(307)。在此，接收到的UI信息可以包括显示在显示装置100的屏幕上的UI的信息，以及没有显示在显示装置100上而是通过电子装置200显示给用户的虚拟UI的信息。
从显示装置100接收的UI信息包括位置信息。更具体地，在UI被显示在显示装置100的屏幕上的情况下，接收关于UI在屏幕中的位置的信息和/或虚拟UI的位置的信息，其被呈现在与UI相对应的位置处。在通过电子装置200向用户示出虚拟UI的情况下，可以接收关于实际对象(即，显示装置100)的特定位置(在该位置处显示虚拟UI)的信息，例如，相对位置信息(诸如TV屏幕的顶部、底部、左侧或右侧)。任何虚拟UI都可以始终显示在用户视野中的固定位置上，而不管实际对象的位置如何。并且还可以接收例如指定的位置信息(诸如用户视野中的特定位置，例如右眼的底部)。
位置信息包括坐标信息，并且虚拟UI可以被显示以对应于由第二显示器230提供的用户视野中的接收坐标信息。这里，用户视野被定义为由穿戴例如HMD设备201的用户的视野所确定的显示区域或者由移动设备202的第二显示器203所提供的显示区域。
在实施例中，UI信息可以被包括在如图5至图8所示的图案中，从而这些信息通过用电子装置200中的相机210所捕获的图像而获得。
在另一实施例中，电子装置200可以通过第二通信器250单独地从显示装置100接收UI信息。
从显示装置100发送到电子装置200的UI信息不仅可以包括位置信息，还可以包括当前在显示装置100中执行的操作信息(TV数据)，诸如应用、频道、内容等。可以从显示装置100动态地或周期性地更新操作信息。
电子装置200的第二控制器270基于收到的UI信息控制第二显示器230在对应于接收的UI信息中包括的位置信息的位置上显示虚拟UI(308)。在此，显示的虚拟UI与显示装置100的功能或操作有关。
虚拟UI不显示在显示装置100上而是被提供，以便用户可以通过电子装置200看到虚拟UI。虚拟UI可以包括与用于控制显示装置100的菜单相对应的选择项、能够在显示装置100中再现的内容和能够在显示装置100中执行的应用。用于控制显示装置100的菜单包括电源开/关、频道选择、音量调节、外部输入选择、用户设置等。虚拟UI的选项可以显示为2D虚拟图像，例如，图标或缩略图或3D全息对象。
在实施例中，虚拟UI可以是透明UI，其被显示在第二显示器230的TV屏幕区域上以对应于显示在显示装置100的屏幕上的UI。在这种情况下，用户在视觉上不能看见UI层，并且透明UI成为用于通过电子装置200测量用户输入位置的坐标测量UI。换句话说，第二控制器270可以在呈现虚拟UI的位置处确定用户的运动。
图9至图12示出根据示例性实施例的通过电子装置显示的虚拟UI。
如图9所示，电子装置200的第二控制器270基于从显示装置100接收的UI信息在给定位置上显示虚拟UI 51、52、53和54。
在实施例中，虚拟UI 51、52、53和54包括用户在显示装置100处可选择的选择项。选择项可以被显示为图标，这些图标对应于用于控制显示装置100的菜单、能够在显示装置100中再现的内容、能够在显示装置100中执行的应用等。
如图9所示，选择项即虚拟UI 51、52和53可以被显示在显示装置100的TV屏幕区域50之外的给定位置上。这里，TV屏幕区域50对于用户来说是不可见的，但是可以处于标准位置即坐标处，在该位置第二控制器270显示虚拟UI。
作为示例，第二控制器270可以基于从显示装置100接收到的UI信息来控制第二显示器230在TV屏幕区域的顶部、底部、左侧或右侧的至少一个位置上呈现虚拟UI 51、52和53。例如，第二控制器270确定先前确定的TV屏幕区域的信息，并控制第二显示器230在TV屏幕的顶部显示作为虚拟UI的选择项51。以相同的方式，选择项52和53可以分别作为虚拟UI显示在TV屏幕的底部和右侧。
参考图9，可以将用于控制显示装置100的固定菜单作为虚拟UI 54显示。第二控制器270控制第二显示器230在用户视野或第二显示器中的预设位置上显示虚拟UI 54。
图9示出了在固定位置(例如右下侧)上显示虚拟UI 54，而不管用户视野如何移动。换句话说，在图9中，虚拟UI 54被示为位于桌子55的上侧，但是这不是基于桌子55的位置，并且如果用户将她或他的视线例如向左移动(图9中)，则虚拟UI 54可以显示在扬声器55的正面。
作为图9中所示的虚拟UI 54的示例，菜单可以被实现为包括能够控制TV操作的菜单，例如用于频道改变、音量调节、外部输入选择、用户设置等的各种菜单项。
图10更详细地示出图9的屏幕区域50上显示的虚拟UI 54。如图10，电子装置200的第二控制器270基于从显示装置100接收的UI信息来控制第二显示器230以在TV屏幕区域70中的给定位置上呈现虚拟UI 71和73。
第二控制器270控制第二显示器230，使得虚拟UI 71和73被定位为对应于在屏幕区域70中的显示装置100的屏幕60上显示的菜单61和63。
在实施例中，图10所示的虚拟UI 71和73是与UI 61和63相对应的透明UI，其实际上显示在显示装置100的第一显示器130上。换句话说，虚拟UI 71和73位于用户观看实际显示的UI 61和63的视线(line of vision)路径上，因此用户可能从视觉上不能识别虚拟UI71和73。
因此，当用户通过电子装置200观看显示装置100(即，TV)时，可以在与显示在显示装置100的屏幕上的UI 61和63相对应的适当位置上呈现虚拟UI 71和73，由此允许用户具有观看TV屏幕60的自然感受而没有差异感。
在另一实施例中，图10中所示的虚拟UI 71和73可以显示为半透明UI。在这种情况下，用户可以通过对比度等来感知虚拟UI 71和73。
另一方面，如果电子装置200是移动设备202，则可以显示如图11和12所示的虚拟UI。
如图11所示，电子装置200的第二控制器270基于从显示装置100接收的UI信息在给定位置上显示虚拟UI 81、82、83和84。
图11所示的虚拟UI 81、82、83和84与图9的虚拟UI 51、52、53和54相同，除了被显示在移动设备202的第二显示器230上之外，对图9中的虚拟UI 51、52、53和54的说明也可以应用于图11中的虚拟UI 81、82、83和84。然而，图9中的虚拟UI 53和54是被示为被实现为3D全息对象，而图11中的虚拟UI 83和84被示出为被实现为2D虚拟图像。
图12更详细地示出在图11的屏幕区域80上显示的虚拟UI。如图12所示，电子装置200的第二控制器270基于从显示装置100接收的UI信息，控制第二显示器230以在TV屏幕区域90中的给定位置上呈现虚拟UI 91和93。
类似于图11，图12中所示的虚拟UI 91和93与图11中的虚拟UI 71和73相同，除了被显示在移动设备202的第二显示器230上之外，因此对图10中的虚拟UI 71和73的说明也适用于图12中的虚拟UI 91和93。但是，图10中的虚拟UI 71和73被定位于3D空间的给定位置，而图12中的UI被定位于第二显示器230的2D坐标上，因此实际上对应于在显示装置100的屏幕上显示的实际UI的位置。
因此，图12中示出的虚拟UI 91和93成为位于显示装置100的第一显示器130上实际显示的UI的正面重叠的透明UI。因此，虚拟UI 91和93位于用户观看TV屏幕上实际显示的UI的视线路径上，因此用户可能无法在视觉上识别出虚拟UI 91和93而有一种他或她观看TV屏幕上显示的实际UI的感觉。
在图9至图12所示的实施例中，第二控制器270控制第二显示器230突出显示(highlight)当前选择的虚拟UI，从而允许用户容易地确定选择的UI。在此，突出显示可以被不同地应用，并且包括用对比度、颜色或指针中的至少一种来强调所选择的UI、使所选择的UI具有动画效果等。
电子装置200可以接收输入到虚拟UI 51、52、53、54、71、73、81、82、83、84、91和93的用户手势，如参考图9至图12所描述的(310)。
在实施例中，如果电子装置200是HMD设备201，则第二控制器270可以感测用户的手势，即利用相机210输入的运动，并且如果在UI 51、52、53、54、71和73中的一个虚拟UI的特定位置感测到运动变为特定运动，则第二控制器270可以感测用户的手势，确定选择了一个虚拟UI。这里，用于选择一个虚拟UI的特定动作可以被预设为例如用手或手指制作诸如圆形、三角形、矩形等的预设图案的轨迹、执行握拳或打开手掌一次或多次的操作等。
在另一实施例中，如果电子装置200是移动设备202，则第二控制器270可以感测用户的手势即对触摸屏的触摸输入，并且如果在虚拟UI 81、82、83、84、91和93中的一个虚拟UI的位置处感测到诸如轻敲、点击等的触摸，则确定选择了一个虚拟UI。
电子装置200将包括用户输入信息的信号即消息发送到显示装置100(311)，该消息包括到虚拟UI的输入信息。
在实施例中，所发送的信号可以包括控制命令，该控制命令使显示装置100能够执行与所选择的UI相对应的操作。
在另一实施例中，所发送的信号可以仅包括所选择的UI的位置信息，即坐标信息。在这种情况下，显示装置100的第一控制器160基于接收到的坐标信息，确定在相应坐标上显示的虚拟UI并确定用户选择了虚拟UI。
显示装置100基于接收到的信号执行与UI选择相对应的操作(320)。例如，如果在图10中接收到对与特定内容相对应的虚拟UI 71的选择，则显示装置100的第一控制器160进行控制以再现特定内容以在第一显示器130上显示与之相对应的图像。此外，如果在图10中选择了与特定应用相对应的虚拟UI 73，则显示装置100的第一控制器160进行控制以执行特定应用来在第一显示器130上显示与其对应的图像。
作为另一示例，如果在图9或图11中接收到对菜单项54和84中的电源图标的选择，则关闭显示装置100的电源。
参照图4说明的操作是显示装置100和电子装置200之间的交互操作的示例，不限于图4所示的顺序，而是可以同时执行两个以上的操作或者可以以预设的时间间隔执行任何一个操作。
在下文中，将参考附图描述根据实施例的电子装置的控制方法。
图13是示出根据实施例的控制电子装置的方法的流程图。
如图13所示，根据实施例的电子装置200执行与显示装置100的连接(S1001)。在此，电子装置200可以经由图像获得用于显示装置100的通信设置的身份信息，该图像是通过利用相机210捕获在显示装置100上显示的图案而获得的。
电子装置200从显示装置100接收信息(S1003)。在此，接收到的信息包括用于确定电子装置200相对于显示装置100的相对位置(距离和方向)和尺寸(屏幕区域的尺寸)的信息以及用于在给定位置上显示虚拟UI的UI信息。在操作S1003，可以在经由操作S1001中捕获的图像获取信息，或者根据操作S1001中两个装置之间的连接经由第二通信器从显示装置100接收信息。UI信息可以是接收的更新信息(根据显示装置100的操作而改变的)，并且除了坐标信息之外还包括对应的UI的内容信息。
另一方面，电子装置100利用相机210捕获包括显示装置100的实际空间(S1005)。在此，如果在操作S1001或S1003使用捕获的图像，则可以在操作S1001或S1003中包括并执行操作S1005。
电子装置200的第二控制器270从操作S1005中捕获的图像确定显示装置100的屏幕区域(S1007)。在此，第二控制器270可以使用接收到的信息来确定电子装置200相对于显示装置100的相对位置(距离和方向)，并且根据所确定的相对位置来确定屏幕区域。
并且，第二控制器270生成混合图像(包括捕获图像和在给定位置上显示的虚拟UI)以通过第二显示器230显示(S1009)。这里，虚拟UI可以被显示在作为实际对象的显示装置100的给定位置的、操作S1007中确定的屏幕区域的顶部、底部、左侧或右侧至少之一处，或者被固定地显示在通过第二显示器230提供的用户视野中的给定位置上而不考虑实际对象。此外，虚拟UI可以显示在操作S1007所确定的屏幕区域中。在这种情况下，虚拟UI可以是与当前显示在显示装置100的屏幕上的实际UI相对应的透明UI。
然后，第二控制器270可以检测针对操作S1009处显示的虚拟UI的用户手势(S1011)。在此，第二控制器270可以通过选择虚拟UI的动作或触摸输入来检测用户的手势。
第二控制器270通过第二通信器250将在操作S1011中检测到的用户手势的信息即用户输入信息发送到显示装置100(S1013)。在此，发送的用户输入信息可以包括在操作S1011中选择的虚拟UI的坐标信息或者与所选择的虚拟UI相对应的控制命令。显示装置100接收发送的用户输入信息并执行与选择的虚拟UI相对应的操作。
根据如上所述的实施例，电子装置、其控制方法以及使用该电子装置的控制方法的计算机程序产品可以通过提供MR的电子装置200向用户显示各种UI，并且使得用户能够向显示装置输入装置100使用显示的UI，从而允许电子装置200用作实际上代替遥控器的单个远程输入设备。
此外，电子装置、其控制方法以及使用该电子装置的控制方法的计算机程序产品可以使得显示装置100和电子装置200之间能够经由简单的手势(即相对于虚拟UI从用户接收到的运动输入或触摸输入)进行交互，并且基于捕获的TV屏幕区域的位置来显示虚拟UI，从而响应于用户的确切输入位置来控制显示装置100的操作。
另外，电子装置、其控制方法以及使用该电子装置的控制方法的计算机程序产品可以在屏幕区域中呈现虚拟UI以对应于显示在显示装置100上的实际菜单，从而允许用户自然地使用电子装置200而不会有类似于选择TV屏幕的UI的不同感觉。
尽管已经用各种实施例描述了本公开，但是对于本领域技术人员来说提示了各种改变和修改。本公开旨在涵盖落入所附权利要求的范围内的这种改变和修改。

Claims (15)

1.一种电子装置，包括：
相机，被配置用于捕获图像；
通信器，被配置用于与显示装置通信；
显示器；
处理器，被配置用于：
从显示装置接收位置信息；
控制显示器在与位置信息相对应的图像位置上显示虚拟UI；以及
控制通信器向显示装置发送与对于虚拟UI的用户输入相对应的信息。
2.根据权利要求1所述的装置，其中，所述处理器还被配置用于：
从图像中确定显示装置的屏幕区域，以及
控制显示器在图像中的屏幕区域上的给定位置显示虚拟UI。
3.根据权利要求2所述的设备，其中，所述处理器被配置用于控制显示器将虚拟UI定位在屏幕区域的顶部、底部、左侧或右侧中的至少一处。
4.根据权利要求2或3所述的装置，其中，所述处理器被配置用于控制显示器以显示虚拟UI，所述虚拟UI被定位在屏幕区域中以对应于在显示装置的屏幕上显示的菜单。
5.根据权利要求2至4中任一项所述的装置，其中，所述处理器被配置用于控制显示器在由显示器提供的用户观看区域中的预设位置上显示虚拟UI。
6.根据权利要求2至5中任一项所述的装置，其中，所述处理器被配置用于：
基于来自图像的信息确定电子装置相对于显示装置的位置；以及
确定屏幕区域以对应于所述位置。
7.根据权利要求1至6中任一项所述的装置，其中，所述处理器被配置用于：
通过通信器从显示装置接收虚拟UI的坐标信息；以及
在由显示器提供的用户观看区域中显示虚拟UI以对应于坐标信息。
8.根据权利要求1至7中任一项所述的装置，其中，所述处理器被配置用于控制通信器响应于选择虚拟UI的元素的用户手势，向显示装置发送与所述元素相对应的控制命令作为用户输入信息。
9.一种控制电子装置的方法，包括：
利用相机捕捉图像；
从显示装置接收位置信息；
在与位置信息相对应的图像的位置上显示随其显示虚拟UI的图像；以及
响应于与虚拟UI相对应的用户输入，向显示装置发送与用户输入信息相对应的信息。
10.根据权利要求9所述的方法，还包括：
从图像中确定显示装置的屏幕区域，并且
在图像中的屏幕区域的给定位置上显示虚拟UI。
11.根据权利要求10所述的方法，其中，所述显示虚拟UI包括将虚拟UI定位在屏幕区域的顶部、底部、左侧或右侧中的至少一个处。
12.根据权利要求10或11所述的方法，其中，所述显示虚拟UI包括在屏幕区域中定位虚拟UI以对应于在显示装置的屏幕上显示的菜单。
13.根据权利要求10至12中任一项所述的方法，其中，所述显示虚拟UI包括在由电子装置的显示器提供的用户观看区域中的预设位置上显示虚拟UI。
14.根据权利要求10至13中任一项所述的方法，其中，确定屏幕区域可以包括：
基于来自图像的信息确定电子装置相对于显示装置的位置；以及
确定屏幕区域以对应于所述位置。
15.根据权利要求10至14中任一项所述的方法，其中，接收UI信息包括从显示装置接收虚拟UI的坐标信息；以及
其中，显示随其混合了虚拟UI的图像包括在由电子装置的显示器提供的用户观看区域中显示虚拟UI以对应于坐标信息。
CN201880057152.1A 2017-09-04 2018-08-30 电子装置及其控制方法 Active CN111052063B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0112777 2017-09-04
KR1020170112777A KR102431712B1 (ko) 2017-09-04 2017-09-04 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
PCT/KR2018/010070 WO2019045491A2 (en) 2017-09-04 2018-08-30 ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF

Publications (2)

Publication Number Publication Date
CN111052063A true CN111052063A (zh) 2020-04-21
CN111052063B CN111052063B (zh) 2024-03-29

Family

ID=65518325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057152.1A Active CN111052063B (zh) 2017-09-04 2018-08-30 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11025855B2 (zh)
EP (1) EP3635525B1 (zh)
KR (1) KR102431712B1 (zh)
CN (1) CN111052063B (zh)
WO (1) WO2019045491A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351325A (zh) * 2020-11-06 2021-02-09 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质
CN113643438A (zh) * 2020-04-27 2021-11-12 北京七鑫易维信息技术有限公司 一种控制方法、装置、控制设备、目标设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149066A (ja) * 2018-02-28 2019-09-05 富士ゼロックス株式会社 情報処理装置及びプログラム
CN109831662B (zh) * 2019-03-22 2021-10-08 芋头科技（杭州）有限公司 Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
CN115209195B (zh) * 2019-08-09 2023-10-20 荣耀终端有限公司 一种通过遥控器实现一碰投屏的终端设备、方法以及系统
US11556912B2 (en) 2021-01-28 2023-01-17 Bank Of America Corporation Smartglasses-to-smartglasses payment systems
US11734665B2 (en) * 2021-02-08 2023-08-22 Bank Of America Corporation Card-to-smartglasses payment systems
KR102516278B1 (ko) * 2022-06-08 2023-03-30 (주)이브이알스튜디오 미디어 패널에 대한 직관적인 컨트롤 환경을 제공하는 사용자 단말, 서버, 및 디스플레이 장치
US12077297B2 (en) 2022-07-14 2024-09-03 Rockwell Collins, Inc. System and method for augmented reality mobile device to select aircraft cabin display and video content for aircraft cabin

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP2012181809A (ja) * 2011-03-03 2012-09-20 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR20120106519A (ko) * 2011-03-16 2012-09-26 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
US20140267130A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
JP2014174507A (ja) * 2013-03-13 2014-09-22 Nec Corp 拡張現実表示装置及び情報端末並びにマルチディスプレイシステム、プログラム
US20150269783A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP2016038682A (ja) * 2014-08-06 2016-03-22 キヤノン株式会社 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
KR20170010815A (ko) * 2014-08-25 2017-02-01 엑스 디벨롭먼트 엘엘씨 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템
JP2017027206A (ja) * 2015-07-17 2017-02-02 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100957189B1 (ko) * 2008-02-13 2010-05-11 광주과학기술원 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체
US9443353B2 (en) * 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140267074A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated System and method for virtual user interface controls in multi-display configurations
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US9626764B2 (en) * 2014-07-01 2017-04-18 Castar, Inc. System and method for synchronizing fiducial markers
US20160054791A1 (en) 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US9804813B2 (en) * 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US20170115742A1 (en) 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10834454B2 (en) * 2015-12-17 2020-11-10 Interdigital Madison Patent Holdings, Sas Personalized presentation enhancement using augmented reality
KR20170084458A (ko) * 2016-01-12 2017-07-20 엘지전자 주식회사 헤드 마운트 디스플레이 장치
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US10504290B2 (en) * 2018-05-04 2019-12-10 Facebook Technologies, Llc User interface security in a virtual reality environment

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP2012181809A (ja) * 2011-03-03 2012-09-20 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR20120106519A (ko) * 2011-03-16 2012-09-26 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
US20140267130A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
JP2014174507A (ja) * 2013-03-13 2014-09-22 Nec Corp 拡張現実表示装置及び情報端末並びにマルチディスプレイシステム、プログラム
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150269783A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
JP2016038682A (ja) * 2014-08-06 2016-03-22 キヤノン株式会社 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム
KR20170010815A (ko) * 2014-08-25 2017-02-01 엑스 디벨롭먼트 엘엘씨 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템
JP2017027206A (ja) * 2015-07-17 2017-02-02 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643438A (zh) * 2020-04-27 2021-11-12 北京七鑫易维信息技术有限公司 一种控制方法、装置、控制设备、目标设备及存储介质
CN112351325A (zh) * 2020-11-06 2021-02-09 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质
CN112351325B (zh) * 2020-11-06 2023-07-25 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质

Also Published As

Publication number Publication date
KR20190026267A (ko) 2019-03-13
US11025855B2 (en) 2021-06-01
WO2019045491A2 (en) 2019-03-07
CN111052063B (zh) 2024-03-29
EP3635525B1 (en) 2021-05-05
EP3635525A2 (en) 2020-04-15
EP3635525A4 (en) 2020-04-15
KR102431712B1 (ko) 2022-08-12
US20190075266A1 (en) 2019-03-07
WO2019045491A3 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
CN111052063B (zh) 电子装置及其控制方法
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20210405761A1 (en) Augmented reality experiences with object manipulation
US10120454B2 (en) Gesture recognition control device
US10416835B2 (en) Three-dimensional user interface for head-mountable display
US11094105B2 (en) Display apparatus and control method thereof
US20180203518A1 (en) Control of a real world object user interface
US20140337749A1 (en) Display apparatus and graphic user interface screen providing method thereof
US10671265B2 (en) Display apparatus and display method
US20200142495A1 (en) Gesture recognition control device
KR102499354B1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
US10802784B2 (en) Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
US20140132726A1 (en) Image display apparatus and method for operating the same
CN107924234B (zh) 透视眼镜的辅助物品选择
KR20180023723A (ko) 디스플레이장치 및 그 제어방법
KR20160097868A (ko) 디스플레이 장치 및 디스플레이 방법
US10719147B2 (en) Display apparatus and control method thereof
US10255832B2 (en) Multi-layer display including proximity sensor and depth-changing interface elements, and/or associated methods
KR102104136B1 (ko) 제어 장치를 위한 증강 현실 오버레이
EP3032393B1 (en) Display apparatus and display method
US20170285767A1 (en) Display device and display method
CN117597653A (zh) 信息处理系统、信息处理装置和图像显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant