CN110325953A - 用于虚拟现实服务的屏幕控制方法和设备 - Google Patents

用于虚拟现实服务的屏幕控制方法和设备 Download PDF

Info

Publication number
CN110325953A
CN110325953A CN201880013823.4A CN201880013823A CN110325953A CN 110325953 A CN110325953 A CN 110325953A CN 201880013823 A CN201880013823 A CN 201880013823A CN 110325953 A CN110325953 A CN 110325953A
Authority
CN
China
Prior art keywords
screen
window
pointer
movement
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880013823.4A
Other languages
English (en)
Other versions
CN110325953B (zh
Inventor
Y.雅基欣
O.彼得丘克
O.拉多姆斯基
O.休尔
金善京
A.奥利尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110325953A publication Critical patent/CN110325953A/zh
Application granted granted Critical
Publication of CN110325953B publication Critical patent/CN110325953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及作为将IoT技术与用于支持超出4G系统的更高数据传输速率的5G通信系统的融合的通信技术及其系统。本发明可以应用于基于5G通信技术和IoT相关技术的智能服务(例如，智能家居、智能建筑、智能城市、智能汽车或联网汽车、医疗保健、数字教育、智能零售、安全性和安全相关服务等)。本公开在用于电子设备中的虚拟现实服务的屏幕控制方法中包括以下步骤：在正在执行虚拟现实服务的应用的同时检测指针在屏幕上的移动；基于预设的屏幕显示方法分析指针的移动；以及根据指针的移动的分析改变和显示屏幕的配置。

Description

用于虚拟现实服务的屏幕控制方法和设备
技术领域
本公开涉及用于在虚拟现实(VR)服务中配置和显示用户屏幕的方法和装置。
背景技术
为了满足自第4代(4G)通信系统的商用以来猛增的无线数据业务的需求，已经努力开发改善的第5代(5G)通信系统或5G前通信系统。因此，5G通信系统或5G前通信系统也称为超4G网络通信系统或后长期演进(LTE)系统。
为了更高的数据传输速率，5G通信系统被认为是在例如60GHz的超高频带(mmWave)中实现的。在5G通信系统中，为了减少超高频带中的传播损耗并增加传播距离，已经讨论了波束成形、大规模多输入多输出(MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形、以及大规模天线技术。
为了系统网络改善，在5G通信系统中，已经开发了诸如演进的小小区、先进的小小区、云无线电接入网络(RAN)、超密集网络、设备到设备(D2D)通信、无线回程、移动网络、协作通信、协调多点(CoMP)、以及干扰消除。
在5G系统中，已经开发了包括混合频移键控(FSK)和正交幅度调制(QAM)调制(FQAM)和滑动窗口叠加编码(SWSC)的高级编码调制(ACM)方案、以及包括滤波器组多载波(FBMC)、非正交多址(NOMA)和稀疏码多址(SCMA)的高级接入方案(ACM)。
互联网是人类生成和使用信息的以人为中心的连接网络，现在正在向物联网(IoT)演进，物联网(IoT)中的诸如物体的分布式实体交换和处理信息。通过与云服务器连接，作为IoT技术和大数据处理技术相结合的万物互联(IoE)已经出现。
为了满足诸如传感技术、有线/无线通信和网络基础设施、服务接口技术和安全技术的技术要素的需求，对于IoT实现，关于物体之间的连接，近来已经研究了传感器网络、机器对机器(M2M)通信、机器类型通信(MTC)等。
这样的IoT环境可以提供智能互联网技术(IT)服务，通过收集和分析在连接的物体之间生成的数据来为人类生活创造新的价值。通过现有IT与各种工业的融合和结合，IoT可应用于包括智能家居、智能建筑、智能城市、智能汽车或联网汽车、智能电网、医疗保健、智能家电、先进医疗服务等的各种领域。
因此，已经进行了各种尝试以将5G通信系统应用于IoT网络。例如，诸如传感器网络、M2M、MTC等的5G通信已经可以通过诸如波束成形、MIMO、阵列天线等的方案来实现。云RAN作为大数据处理技术的应用也可以被认为是5G技术和IoT技术的融合的示例。
由于运营商最近在虚拟现实(VR)服务中进行了大量投资，因此期望将其扩展到下一代代表服务。通常，VR可以指由计算机图形创建的类似于现实生活环境的环境或情境，并且意味着允许人类通过他们的感官感觉VR环境就好像他们在现实生活中与环境交互一样的界面。用户可以通过设备操纵实时地与虚拟现实交互，并且可以具有与现实世界中的感官体验类似的感官体验。
增强现实(AR)是指一种计算机图形技术，其将虚拟对象或信息与现实世界环境组合以显示虚拟对象，就好像它们存在于现实环境中一样。这种AR是用于在用户看到的现实世界上覆盖虚拟对象的技术，并且也被称为混合现实(MR)，因为它实时将附加信息和虚拟世界与现实世界合并以将合并的世界显示为一个图像。
随着移动设备(例如，智能电话、平板个人计算机(PC)等)的普遍使用，VR技术在诸如教育、游戏、导航、广告或博客的各种服务中经常且容易地被访问。最近，随着可穿戴在身体上的可穿戴设备的商业化，已经积极地进行了对VR技术的研究。
例如，可穿戴设备以可穿戴在身体和衣服上或可从身体和衣服上移除的各种形式提供，诸如头戴类、眼镜类、手表类、带类、隐形眼镜类、环类、鞋类、衣服类等。诸如衣服、眼镜等的可穿戴设备可以允许电子设备穿戴在身体上，增加便携性和可接近性。
发明内容
技术问题
VR与用户界面调整的问题密切相关。当在VR中改变或请求改变窗口大小时，用户可能有机会改变它们的配置。然而，当前技术在输入数据和输入数据转换为VR环境的可解释信号方面具有一些限制。此外，根据迄今为止的技术，不可能在与VR用户界面的操作有关的任何解决方案中为特定用户个性化(individualize)界面。
因此，本公开可以提出用于在VR环境中操作和生成用户界面的附加元素(更具体地，窗口)的系统和方法。
本公开还可以提出一种方法和装置，其中VR用户另外生成窗口以在已经存在的窗口中分配期望的区域或者从虚拟现实环境分配对象/区域以额外地给出所生成的窗口的特性。
技术方案
根据本公开的实施例，一种用于控制电子设备中虚拟现实(VR)服务的屏幕的方法，该方法包括：在执行VR服务的应用的状态下检测指针在屏幕上的移动；基于预设的屏幕显示方法分析指针的移动；以及根据指针移动的分析改变和显示屏幕的配置。
根据本公开的实施例，一种用于控制VR服务的屏幕的电子设备，该电子设备包括：控制器，配置为：在执行VR服务的应用的状态下检测指针在屏幕上的移动，基于预设的屏幕显示方法分析指针的移动，以及根据指针的移动的分析，改变屏幕的配置并显示配置改变的屏幕；以及显示器，配置为在控制器的控制下显示屏幕。
附图说明
图1示出了根据本公开的、基于安装在移动设备或头盔上的定位传感器的注视方向指针投影的示例。
图2示出了根据本公开的、基于从安装在头盔上的眼睛跟踪传感器等感测的信息、基于眼睛跟踪来识别注视方向并将注视方向显示为指针的示例。
图3示出了根据本公开的、基于从安装在各个单独的控制器上的定位传感器获得的传感器值来识别和显示指针的位置的示例。
图4a和4b示出了根据本公开的、基于从安装在各种可穿戴设备上的传感器获得的传感器值来识别和显示指针位置的示例。
图5示出了根据本公开的使用相机识别用户的手势并基于手势显示指针的示例。
图6示出了根据本公开的基于使用脑传感器测量的脑信号(脑波)显示指针的示例。
图7和8示出了根据本公开的生成新窗口的示例。
图9至图19示出了根据本公开的通过使用指针编辑在屏幕上显示的窗口的示例。
图20至22示出了根据本公开的将窗口编辑方法应用于各种地图解决方案的示例。
图23a至29c示出了根据本公开的应用用于通过使用指针编辑和显示窗口的方法的示例。
图30是根据本公开的用于通过使用指针编辑和显示屏幕的电子设备的框图。
图31是示出根据本公开的用于通过使用指针编辑和显示屏幕的电子设备的操作的流程图。
具体实施方式
在下文中，将参考附图公开本公开的各种实施例。然而，该描述并非旨在将本公开限制于特定实施例，并且其应被解释为包括根据本公开的实施例的各种修改、等同物和/或替代方案。关于附图的描述，类似的附图标记可用于指代类似或相关的元件。
在本公开中，诸如“具有”、“可具有”、“包含”或“可包括”的表达指示存在相应的特性(例如，数值、函数、操作或像部分的元件)，并不排除附加特征的存在。
在本公开中，诸如“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”的表达可以包括一起列出的项目的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的一个或多个”可以指示以下条目：(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B两者。
在各种实施例中使用的诸如“第一”、“第二”，“主要”或“次要”的表达可以表示各种元件而不管顺序和/或重要性，并且不限制相应的元件。表达可用于将一个元件与另一个元件区分开。例如，第一用户设备和第二用户设备可以表示不同的用户设备而不管顺序或重要性。例如，在不脱离本公开的各种示例性实施例的正确范围的情况下，第一元件可以被命名为第二元件，并且类似地，第二元件可以被命名为第一元件。
当描述元件(诸如第一元件)与另一元件(例如第二元件)“可操作地或通信地耦合”或“连接”时，该元件可以直接连接到另一元件(例如第二元件)，或可以通过另一个元件(例如，第三元件)连接到所述另一元件。然而，当描述元件(诸如第一元件)与另一元件(诸如第二元件)“直接连接”或“直接耦合”时，意味着在所述元件和所述另一元件之间没有中间元件(诸如第三元件)。
根据情况，在本公开中使用的“配置(或设置)”的表达可以替换为例如“适合于”、“具有能力”、“设计为”、“适应于”、“制造为”、或“能够”。术语“配置(或设置)为”并不总是仅意味着由硬件“专门设计为”。替代地，在一些情况下，表达“配置为…的装置”可以意味着该装置“可以”与另一装置或组件一起操作。例如，短语“配置(或设置)以执行A、B和C的处理器”可以是用于执行相应操作的专用处理器(例如，嵌入式处理器)或可以通过执行存储在存储器设备的至少一个软件程序来执行相应的操作的通用处理器(诸如CPU或者应用处理器)。
本公开中定义的术语仅用于描述特定示例性实施例，并且可以不旨在限制其他示例性实施例的范围。应当理解，对应于项目的单数形式的名词可以包括一个或多个事物，除非相关上下文另有明确说明。本文使用的所有术语(包括技术或科学术语)具有与相关领域的普通技术人员通常理解的含义相同的含义。在通常使用的字典中定义的术语应该被解释为具有与相关技术的上下文含义相同或相似的含义，并且不应该被解释为具有理想或夸大的含义，除非它们在各种示例性实施例中被清楚地定义。在一些情况下，不能分析本公开中定义的术语以排除本示例性实施例。
根据本公开各种实施例的电子设备可以包括以下中的至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)读取器、台式PC、膝上型PC、上网本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机或可穿戴设备(例如，智能眼镜、头戴式设备(HMD)、电子服装、电子手镯、电子项链、电子配件、电子纹身、智能镜子或智能手表)。
根据一些实施例，电子设备可以是智能家用电器。家用电器可以包括例如电视(TV)、数字视频盘(DVD)播放器、音频设备、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如、SamsungHomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如、XboxTM、PlayStaionTM)、电子字典、电子钥匙、便携式摄像机或电子相框。
根据本公开的其他实施例，电子设备可以包括各种医疗设备中的至少一种(例如，各种便携式医疗测量设备(血糖仪、心率测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、成像设备或超声设备)、导航系统、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶电子设备(例如船舶导航系统和陀螺罗盘)、航空电子设备、安全设备、车头单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)或物联网设备(例如电灯泡、各种传感器、电表或煤气表、喷淋设备、火灾报警设备、温度调节器、路灯、烤面包机、健身器材、热水箱、加热器、锅炉等等)。
根据一些实施例，电子设备可以包括家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如，水、电、气体、或电波测量设备等)。根据本公开的各种实施例的电子设备可以是上面列出的设备之一或其组合。根据一些实施例的电子设备可以是柔性电子设备。根据本公开各种实施例的电子设备不限于上面列出的设备，并且可以包括根据技术发展的新电子设备。
在下文中，将参考附图描述根据本公开的各种实施例的用于配置和显示屏幕的方法。这里，在本公开的各种实施例中使用的术语“用户”可以指使用电子设备的人或使用该电子设备的设备(例如，具有人工智能的电子设备)。这里，术语“控制器”可以意味着用用户接口访问可视化设备以实现附加信息输入和必要操作的控制设备。控制器可以被视为但不限于操纵杆、游戏手柄、手套和可用于实现信息输入和/或操作的其他操纵设备。术语“元素”可以被理解为使得用户在虚拟现实环境中的元素下生成窗口以便于操作和界面调整。
本公开的实施例提供了一种用于配置和显示VR服务的屏幕的方法，其中用户可以在虚拟现实中容易地制作二维和三维(3D)形状，并基于能够组织用户期望的环境的3D方案，通过使用用户控制类型的用户控制的指针，创建或修改在屏幕上显示的窗口和内容。根据本公开的窗口的布局系统可以通过集成窗口区域的识别和内容可视化来控制屏幕上的窗口。根据本公开的用于配置和显示屏幕的方法可以应用于屏幕，而不管屏幕的类型，诸如各种角度(360度、180度、110度等)的屏幕和各种尺寸的屏幕(小型和中型屏幕(如个人电脑、笔记本电脑等)和大型2D屏幕(如视频墙、超大电视等)。
首先，将描述根据本公开的用于可视化位于屏幕上的指针的方法。
图1至图6示出了根据本公开的可视化位于屏幕上的指针的示例。
图1示出了根据本公开的通过使用移动设备或VR头盔可视化位于屏幕上的指针的示例。参考图1，可以通过基于安装在移动设备或头盔上的定位传感器将指针投射在凝视方向上来可视化位于屏幕上的指针。
图2示出了根据本公开的基于眼睛跟踪可视化位于屏幕上的指针的示例。参考图2，可以基于从安装在VR头盔等上的眼睛跟踪传感器感测到的信息来识别注视方向，并且可以用指针显示注视方向。
图3示出了根据本公开的通过使用控制器可视化位于屏幕上的指针的示例。参考图3，可以基于从安装在各个单独控制器上的定位传感器获得的传感器值来识别和显示指针的位置。虽然图3示出了控制器与VR头盔通信的示例，但是控制器可以通过与其他设备以及VR头盔通信来显示指针的位置。
图4示出了根据本公开的通过使用可穿戴设备可视化位于屏幕上的指针的示例。参考图4，可以基于从安装在各种可穿戴设备上的传感器获得的传感器值来识别和显示指针的位置。图4(a)示出了作为可穿戴设备的示例的智能手套，并且位于手上的各种可穿戴设备以及智能手套可以用作如图4(b)中所示的控制器。
图5示出了根据本公开的通过使用相机可视化位于屏幕上的指针的示例。参考图5，可以使用位于用户前方的相机和安装在VR头盔上的相机来识别用户的手势，并且可以基于识别的用户的手势来显示位于屏幕上的指针。在图5中，501指示安装在VR头盔上的摄像机，其中摄像机用于识别用户的手势和手指方向，并且502指示与VR头盔通信的外部相机，其中外部相机用于识别用户的手势和手指方向。
图6示出了根据本公开的通过使用脑传感器可视化位于屏幕上的指针的示例。参考图6，可以基于通过脑传感器测量的脑信号(脑波)在屏幕上显示指针。
根据本公开的基于指针识别的屏幕显示可以以电子设备(例如，便携式电话)对接在各种可穿戴设备上或与各种可穿戴设备组合的形式实现。例如，当在普通模式下显示便携式电话的屏幕的状态下将便携式电话安装在可穿戴设备上时，便携式电话的屏幕可以切换到VR模式，并且可以通过可穿戴设备的显示器来显示在VR模式下的屏幕。
同时，图1至图6仅示出了本公开的实施例，并且各种方法可以用作根据本公开的用于识别和显示指针的方法，而不限于所示实施例。
根据本公开，用户可以通过使用利用上述各种方法识别和显示的指针在AR/VR、传统2D、立体、全3D或全息类型屏幕上绘制2D和3D形状，并且可以使用各种在线识别方案(例如，隐马尔可夫模型方法等)来由电子设备识别屏幕上绘制的形状并在屏幕上显示。当使用指针将各种图案绘制到屏幕上显示的窗口上时，可以识别图案并将其应用于窗口，使得可以改变和显示窗口。
接下来，参考图7和图8，将描述根据本公开的用于在屏幕上生成新窗口的方法。
参考图7，一旦用户通过在图1至图6中所示的方法等使用在360度屏幕上显示的指针绘制矩形图形，如图7(a)所示，电子设备可以识别由指针的移动绘制的矩形，在屏幕上创建并显示矩形窗口，如图7(b)所示。
参考图8，一旦用户通过在图1至图6中所示的方法等使用在360度屏幕上显示的指针绘制圆形图形，如图8(a)所示，电子设备可以识别由指针的移动绘制的圆，在屏幕上创建和显示圆形窗口，如图8(b)所示。
尽管在图7和图8中示出了作为2D图形的矩形和圆形作为示例，但是本公开不限于此，并且也可以识别诸如六面体、球体、金字塔、圆锥等的3D图形以及诸如三角形、多边形等各种形状的2D图形以创建和显示窗口。
图9至图19示出了根据本公开的通过使用指针编辑在屏幕上显示的窗口的示例。
参考图9，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针在目标周围绘制线，如图9(a)所示，电子设备可以识别由指针的移动绘制的线，从窗口屏幕区域切割线内的目标，并且在屏幕上显示切割区域，如图9(b)所示。在这种情况下，电子设备可以将用户使用指针绘制的线识别为线内的区域，而不是作为特定形状的图形。
参考图10，在已经显示一个窗口的状态下，一旦用户通过在图1至图6中所示的方法等使用在360度屏幕上显示的指针绘制矩形，如图10(a)所示，电子设备可以识别由指针的移动绘制的矩形，并在已经显示的窗口上显示新的矩形窗口，如图10(b)所示。
参考图11，当在屏幕上重叠显示两个窗口时，在用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针选择前面的窗口的状态下，一旦用户将所选择的窗口向后移动，如图11(a)所示，电子设备可以识别指针的移动，并且将所选择的窗口移动到非选择的窗口后面并显示，如图11(b)所示。
参考图12，当在屏幕上重叠显示两个窗口时，在用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针选择后面的窗口的状态下，一旦用户向前移动所选择的窗口，如图12(a)所示，电子设备可以识别指针的移动，并且将所选择的窗口移动到非选择的窗口的前面并显示，如图12(b)所示。
参考图13，当在屏幕上显示小窗口和大窗口时，在用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针选择窗口的状态下，一旦用户通过使用控制器等向后移动所选择的窗口，如图13(a)所示，电子设备可以识别指针的移动，放大所选择的窗口的尺寸，并且显示放大的窗口。如图13(b)所示。
参考图14，当在屏幕上显示小窗口和大窗口时，在用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针选择窗口的状态下，一旦用户通过使用控制器等向前移动所选择的窗口，如图14(a)所示，电子设备可识别指针的移动，减小所选择的窗口的尺寸，并显示缩小的窗口，如图14(b)所示。
参考图15，当在屏幕上显示多个窗口时，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针在窗口周围绘制线，如图15(a)所示，电子设备可以识别指针的移动，并选择并显示由绘制的线指示的区域内的所有窗口，如图15(b)所示。
参考图16，当在屏幕上显示多个窗口时，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针在窗口周围绘制线，如图16(a)所示，电子设备可以识别指针的移动并选择由绘制的线指示的区域内的所有窗口，并且一旦用户通过使用指针绘制手势(例如，X标记)，用于删除所选择的窗口上的目标，然后电子设备可以识别指针的移动，然后所选择的窗口从屏幕上消失，如图16(b)所示。
参考图17，当在屏幕上显示多个窗口时，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针绘制用于删除窗口上的目标的手势(例如，X标记)，如图17(a)所示，电子设备可以识别指针的移动，然后手势下的窗口从屏幕上消失，如图17(b)所示。为了提供用于删除屏幕上显示的所有窗口的选项，当用户用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针绘制用于删除目标的手势时，电子设备可以识别指针的移动并显示用于选择屏幕上的所有窗口的删除的确认窗口。
参考图18，当在屏幕上显示多个窗口时，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针绘制用于将目标分成两个部分的手势(例如，绘线手势)，如图18(a)所示，电子设备可以识别指针的移动，然后可以通过手势将所选择的窗口分成两部分并显示为单独的窗口，如图18(b)所示。
参考图19，当在屏幕上显示多个窗口时，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针绘制用于将窗口上的目标分成四个部分的手势(例如，十字形的绘线手势)，如图19(a)所示，电子设备可以识别指针的移动，然后可以通过手势将所选择的窗口分成四个部分，并且显示为单独的窗口，如图19(b)所示。
图20至22示出了根据本公开的将窗口创建和编辑方法应用于各种地图解决方案的示例。
参考图20，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针在屏幕上绘制矩形、并且通过特定的运动切换到立方体地图解决方案，如图20(a)所示，电子设备可以识别指针的移动，将当前显示的屏幕改变为立方体地图，并且显示立方体地图，如图20(b)所示。
参考图21，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针在屏幕上绘制圆圈、并且通过特定的运动切换到球形地图解决方案，如图21(a)所示，电子设备可以识别指针的移动，将当前显示的屏幕改变为球形地图，并且显示球形地图，如图21(b)所示。
参考图22，一旦用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针在屏幕上绘制三角形、并且通过特定的运动切换到三角形地图解决方案，如图22(a)所示，电子设备可以识别指针的移动，将当前显示的屏幕改变为三角形地图，并且显示三角形地图，如图22(b)所示。
图23至图29示出了根据本公开的应用用于通过使用指针来编辑和显示窗口的方法的示例。
参考图23，用户可以通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针以容易的方式为用户环境建立布局，如图23a所示。然后，用户通过使用指针在所建立的布局的每个窗口上安排智能电话或桌面的应用，如图23b所示。然后，用户可以通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针来选择和执行应用，如图23c所示。
参考图24，用户可以通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针在窗口中的位置处创建附加窗口，以在玩游戏期间以简单和适当的方式获得特定通知，如图24(a)所示。然后，用户可以通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针来选择所需通知的应用并将其应用于所创建的窗口，如图24(b)所示。图24示出了在游戏屏幕上显示时钟应用的示例，但是可以在屏幕上选择并显示诸如相机应用、文本消息应用等的各种其他应用。
参考图25，用户可以通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针来创建窗口，如图25(a)所示，以在创建的窗口上显示外部虚拟现实等。图25示出了使用相机捕获外部屏幕的示例，如图25(b)所示，并且捕获的图像显示在所创建的窗口上，如图25(c)所示。
参考图26，用户可以将屏幕的一部分设置为优选菜单区域，使得该区域可以通过诸如头盔等的各种控制器出现或消失，如图26(a)所示。在图26中，用户通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针来选择联系人号码作为优选菜单，如图26(b)所示，并且指示用户选择的联系人号码或预设数量的联系人号码的图像可以显示在优选菜单区域上，如图26(c)所示。
参考图27，为了优化内容可视化，用户可以切割未使用的区域。例如，如图27(a)所示，用户可以通过使用360度视图中的指针在顶部或底部区域上绘制大圆圈以切割该区域，其中当用户在底部区域上绘制大圆圈时，显示没有底部的360度视图，并且当用户在顶部区域和底部区域上绘制大圆圈时，切换到360度圆柱视图模式。如图27(b)所示，在180度视图中，当用户绘制用于使球体减半的圆圈时，切换到180度半球视图模式。
参考图28，在视频会话期间用户可以通过使用指针来分离屏幕或创建新窗口以呼叫附加的会话伙伴，如图28(a)所示，并且可以在分离的屏幕或创建的窗口上显示联系人或信息，如图28(b)所示。在这种情况下，可以优先显示一些用户预设的联系人或信息，或者可以优先显示属于与当前视频会话的会话伙伴相同的组的联系人号码或信息。此后，通过选择在分离的屏幕或创建的窗口上显示的联系人信息之一，用户可以引导与所选择的联系人信息相对应的人加入当前视频会话，如图28(c)所示。
图29示出了根据本公开的通过使用指针编辑图片的示例。参考图29，当在屏幕上显示一个图片时，用户可以通过在图1至图6中所示的方法等通过使用在360度屏幕上显示的指针来划分图片，如图29a所示，将由划分创建的窗口划分为两个部分，如图29b所示，分别在两个部分上选择和显示新图片，如29c所示。
尽管未在图29中示出，但是用户可以划分显示在屏幕上的图片并在由划分创建的区域上绘制用于删除的手势以删除该区域。
图30是根据本公开的用于通过使用指针编辑和显示屏幕的电子设备的框图。
参考图30，根据本公开的电子设备可以包括控制器3010、收发器3020和显示单元3030。
在控制器3010的控制下，收发器3020可以发送和接收用于根据本公开编辑和显示屏幕的信号。
控制器3010可以执行用于实现根据本公开的屏幕编辑和显示的一系列控制操作，并且可以包括控制器中断单元3011、指针可视化单元3012、传感器处理单元3013、布局处理单元3014、形状识别单元3015和图形用户界面(GUI)控制单元3016。
控制器中断单元3011可以提供从一个或多个控制器或可穿戴设备触发的事件。该事件可以包括用于根据本公开的屏幕编辑和显示的整体操作。
指针可视化单元3012可以执行用于基于屏幕的类型在屏幕上显示指针的操作。
传感器处理单元3013可以提供从定位传感器接收的传感器值，以使屏幕上的指针可视化。传感器可以是游戏控制器、TV控制器、VR控制器或诸如智能电话的移动设备。
布局处理单元3014可以在屏幕上组织布局以管理屏幕上的内容的层、布置和位置。
形状识别单元3015可以执行用于识别用户绘制的形状的识别解决方案。
窗口GUI 3016可以基于各种操作系统提供用户界面解决方案。
显示单元3030可以基于控制器3010的一系列控制操作来显示屏幕。
图31是示出根据本公开的用于通过使用指针编辑和显示屏幕的电子设备的操作的流程图。
参考图31，在操作3101中，电子设备可以在执行VR服务的应用的状态下检测指针在屏幕上的移动，并且在操作3102中根据本公开的上述实施例基于预设的屏幕显示方法分析检测到的指针的移动。在操作3103中，电子设备可以基于所分析的指针的移动来改变屏幕的配置并显示配置改变的屏幕。
如本文所使用的，术语“单元”可以意味着例如包括硬件、软件和固件中的一个、或两个或更多个的组合的单元。“单元”可以与单元、逻辑、逻辑块、组件或电路互换使用。“单元”可以是最小单元或集成组件的一部分。“单元”可以机械地或电子地实现。例如，“单元”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和执行已知或将要开发的某些操作的可编程逻辑设备中的至少一个。
可以利用以编程模块的形式存储在计算机可读存储介质中的命令来实现根据各种实施例的装置的至少一部分(例如，其模块或功能)或方法(例如，操作)。当指令由一个或多个处理器(例如，处理器)执行时，一个或多个处理器可以执行与指令相对应的功能。计算机可读存储介质可以是例如存储器。
计算机可读记录介质包括硬盘、软盘或磁介质(例如，磁带)、光学介质(例如，光盘只读存储器(CD-ROM))、数字通用盘(DVD))、磁光介质(例如，软光盘)、硬件设备(例如，ROM、RAM、闪存等)等。此外，程序指令可以包括由编译器创建的机器语言代码和由计算机使用解释器可执行的高级语言代码。上述硬件设备可以被配置为作为至少一个软件模块操作以执行本公开的操作，反之亦然。
根据本公开的各种实施例的模块或编程模块可以包括前述元件中的一个或多个，省略一些前述元件，或者还包括另外的其他元件。根据各种实施例由模块、编程模块或其他元件执行的操作可以以顺序、并行、重复或启发式方式执行。而且，一些操作可以以不同的顺序执行或省略，或者可以具有另外的不同操作。
根据各种实施例，一种存储介质，其中存储有指令，当由至少一个处理器执行时，所述指令使得所述至少一个处理器执行根据本公开的至少一个操作。
已经提供了本说明书和附图中公开的实施例以容易地描述本公开并且有助于理解本公开，并且不旨在限制本公开的范围。因此，应该理解，本公开的各种实施例的范围包括基于本公开的技术精神以及本文描述的实施例的任何改变或其他各种实施例。

Claims (15)

1.一种用于控制电子设备中用于虚拟现实(VR)服务的屏幕的方法，该方法包括：
在执行用于VR服务的应用的状态下检测指针在屏幕上的移动；
基于预设的屏幕显示方法分析所述指针的移动；以及
根据所述指针的移动的分析改变和显示屏幕的配置。
2.根据权利要求1所述的方法，其中，所述显示包括：
响应于所述指针的移动被分析为多边形形状的平面图形，生成并显示多边形形状的新窗口。
3.根据权利要求1所述的方法，其中，所述显示包括：
响应于所述指针的移动被分析为用于删除屏幕上显示的至少一个窗口的移动，删除屏幕上显示的所述至少一个窗口。
4.根据权利要求1所述的方法，其中，所述显示包括：
响应于所述指针的移动被分析为用于划分在屏幕上显示的窗口的移动，将屏幕上显示的窗口划分为至少两个窗口并显示所述至少两个窗口。
5.根据权利要求1所述的方法，其中，所述显示包括：
响应于所述指针的移动被分析为用于选择屏幕上显示的至少一个窗口的区域，在屏幕上显示位于该区域中的窗口被选择。
6.根据权利要求5所述的方法，其中，所述显示包括：
响应于所述指针的移动被分析为用于改变所选择的窗口的尺寸的移动，改变所选择的窗口的尺寸并显示尺寸改变的窗口。
7.根据权利要求5所述的方法，其中，所述显示包括：
响应于所述指针的移动被分析为用于改变所选择的窗口的位置的移动，改变所选择的窗口的位置并显示位置改变的窗口。
8.一种用于控制用于虚拟现实(VR)服务的屏幕的电子设备，该电子设备包括：
控制器，配置为：
在执行用于VR服务的应用的状态下检测指针在屏幕上的移动，
基于预设的屏幕显示方法分析所述指针的移动，以及
根据所述指针的移动的分析，改变屏幕的配置并显示配置改变的屏幕；以及
显示器，配置为在控制器的控制下显示屏幕。
9.根据权利要求8所述的电子设备，其中，所述控制器被配置为：
响应于所述指针的移动被分析为多边形形状的平面图形，生成并显示多边形形状的新窗口。
10.根据权利要求8所述的电子设备，其中，所述控制器被配置为：
响应于所述指针的移动被分析为用于删除屏幕上显示的至少一个窗口的移动，删除在屏幕上显示的所述至少一个窗口。
11.根据权利要求8所述的电子设备，其中，所述控制器被配置为：
响应于所述指针的移动被分析为用于划分在屏幕上显示的窗口的移动，将屏幕上显示的窗口划分为至少两个窗口并显示所述至少两个窗口。
12.根据权利要求8所述的电子设备，其中，所述控制器被配置为：
响应于所述指针的移动被分析为用于选择在屏幕上显示的至少一个窗口的区域，在屏幕上显示位于该区域中的窗口被选择。
13.根据权利要求12所述的电子设备，其中，所述控制器被配置为：
响应于所述指针的移动被分析为用于改变所选择的窗口的尺寸的移动，改变所选择的窗口的尺寸并显示尺寸改变的窗口。
14.根据权利要求12所述的电子设备，其中，所述控制器被配置为：
响应于所述指针的移动被分析为用于改变所选择的窗口的位置的移动，改变所选择的窗口的位置并显示位置改变的窗口。
15.一种计算机可读记录介质，其上记录有用于在计算机上执行根据权利要求1至7中任一项所述的方法的程序。
CN201880013823.4A 2017-02-23 2018-02-21 用于虚拟现实服务的屏幕控制方法和设备 Active CN110325953B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170024086A KR102391965B1 (ko) 2017-02-23 2017-02-23 가상현실 서비스를 위한 화면 제어 방법 및 장치
KR10-2017-0024086 2017-02-23
PCT/KR2018/002117 WO2018155897A1 (ko) 2017-02-23 2018-02-21 가상현실 서비스를 위한 화면 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
CN110325953A true CN110325953A (zh) 2019-10-11
CN110325953B CN110325953B (zh) 2023-11-10

Family

ID=63252822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013823.4A Active CN110325953B (zh) 2017-02-23 2018-02-21 用于虚拟现实服务的屏幕控制方法和设备

Country Status (5)

Country Link
US (1) US11287875B2 (zh)
EP (1) EP3588255B1 (zh)
KR (1) KR102391965B1 (zh)
CN (1) CN110325953B (zh)
WO (1) WO2018155897A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340962A (zh) * 2020-02-24 2020-06-26 维沃移动通信有限公司 控制方法、电子设备及存储介质
CN112215198A (zh) * 2020-10-28 2021-01-12 郑小云 一种基于大数据的自适应人机交互系统与方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329566B (zh) * 2017-06-23 2020-03-24 联想(北京)有限公司 虚拟对象处理方法及其系统、虚拟现实设备
USD914734S1 (en) * 2018-02-05 2021-03-30 St Engineering Land Systems Ltd Display screen or portion thereof with graphical user interface
KR20210035419A (ko) 2019-09-24 2021-04-01 엄준형 혼합현실 환경에서 3d카메라 영상 기반 사용자 모션센싱 알고리즘 및 상황인지 방법
KR20210035418A (ko) 2019-09-24 2021-04-01 엄준형 브레인 피트니스 서비스 제공을 위한 BeaMR 디바이스 및 혼합현실 콘텐츠
KR20210035420A (ko) 2019-09-24 2021-04-01 엄준형 뇌질환 예방 및 관리를 위한 브레인 피트니스 교육 프로그램 및 임상 유효성 평가 방법
CN116438503A (zh) * 2020-12-17 2023-07-14 三星电子株式会社 电子装置和电子装置的操作方法
CN116670627A (zh) * 2020-12-31 2023-08-29 苹果公司 对环境中的用户界面进行分组的方法
FR3143791A1 (fr) * 2022-12-16 2024-06-21 Orange Procédé de gestion de fenêtres et gestionnaire de fenêtre d’affichage d’un poste de travail virtuel d’un environnement immersif, procédé de gestion d’environnement immersif et système de réalité immersive

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266209A (ja) * 2008-04-02 2009-11-12 Microdent:Kk ファイナルフレームワーク
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof
CN105955461A (zh) * 2016-04-25 2016-09-21 乐视控股（北京）有限公司 一种交互界面管理方法和系统
CN106201207A (zh) * 2016-07-13 2016-12-07 上海乐相科技有限公司 一种虚拟现实交互方法及装置
CN106200927A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种信息处理方法及头戴式设备

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574364A (en) 1982-11-23 1986-03-04 Hitachi, Ltd. Method and apparatus for controlling image display
US5191644A (en) 1990-10-10 1993-03-02 Fuji Xerox Co., Ltd. Multiwindow control system
US6166736A (en) 1997-08-22 2000-12-26 Natrificial Llc Method and apparatus for simultaneously resizing and relocating windows within a graphical display
US6075531A (en) 1997-12-15 2000-06-13 International Business Machines Corporation Computer system and method of manipulating multiple graphical user interface components on a computer display with a proximity pointer
US6091395A (en) 1997-12-15 2000-07-18 International Business Machines Corporation Computer system and method of manipulating a graphical user interface component on a computer display through collision with a pointer
US6587128B2 (en) 1999-07-15 2003-07-01 International Business Machines Corporation Method for displaying hidden objects by varying the transparency of overlapping objects
US6874128B1 (en) * 2000-03-08 2005-03-29 Zephyr Associates, Inc. Mouse driven splitter window
US20030142136A1 (en) 2001-11-26 2003-07-31 Carter Braxton Page Three dimensional graphical user interface
US8327440B2 (en) * 2004-11-08 2012-12-04 Bt Web Solutions, Llc Method and apparatus for enhanced browsing with security scanning
US8196055B2 (en) * 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
EP1847924A1 (en) 2006-04-20 2007-10-24 International Business Machines Corporation Optimal display of multiple windows within a computer display
US7773121B1 (en) * 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP4342578B2 (ja) 2007-07-24 2009-10-14 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置およびプログラム
JPWO2010095255A1 (ja) * 2009-02-23 2012-08-16 富士通株式会社 情報処理装置、表示制御方法および表示制御プログラム
JP2010198408A (ja) * 2009-02-26 2010-09-09 Brother Ind Ltd インターフェース装置およびプログラム
WO2011072497A1 (zh) * 2009-12-18 2011-06-23 联想(北京)有限公司 窗口管理方法、装置及计算设备
KR20120000688A (ko) * 2010-06-28 2012-01-04 삼성전자주식회사 디스플레이 장치 및 그 ｕｉ 제공 방법
CN102314288A (zh) * 2010-07-02 2012-01-11 英业达股份有限公司 轨迹式窗口分割系统及其方法
US9142193B2 (en) * 2011-03-17 2015-09-22 Intellitact Llc Linear progression based window management
KR101394604B1 (ko) * 2012-05-21 2014-05-13 주식회사 에스원 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치
KR101379398B1 (ko) * 2013-01-29 2014-03-28 은명진 스마트 텔레비전용 원격 제어 방법
KR20140120211A (ko) 2013-04-02 2014-10-13 엘지전자 주식회사 영상 표시 장치 및 그것의 제어 방법
US10371944B2 (en) 2014-07-22 2019-08-06 Sony Interactive Entertainment Inc. Virtual reality headset with see-through mode
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
KR20160026323A (ko) 2014-08-29 2016-03-09 삼성전자주식회사 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
KR102202576B1 (ko) * 2014-12-12 2021-01-13 삼성전자주식회사 음향 출력을 제어하는 디바이스 및 그 방법
KR102329124B1 (ko) * 2015-01-05 2021-11-19 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
US10559117B2 (en) * 2016-02-08 2020-02-11 Google Llc Interactions and scaling in virtual reality
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266209A (ja) * 2008-04-02 2009-11-12 Microdent:Kk ファイナルフレームワーク
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof
CN105955461A (zh) * 2016-04-25 2016-09-21 乐视控股（北京）有限公司 一种交互界面管理方法和系统
CN106200927A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种信息处理方法及头戴式设备
CN106201207A (zh) * 2016-07-13 2016-12-07 上海乐相科技有限公司 一种虚拟现实交互方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340962A (zh) * 2020-02-24 2020-06-26 维沃移动通信有限公司 控制方法、电子设备及存储介质
CN111340962B (zh) * 2020-02-24 2023-08-15 维沃移动通信有限公司 控制方法、电子设备及存储介质
CN112215198A (zh) * 2020-10-28 2021-01-12 郑小云 一种基于大数据的自适应人机交互系统与方法

Also Published As

Publication number Publication date
US11287875B2 (en) 2022-03-29
EP3588255C0 (en) 2023-08-16
EP3588255A1 (en) 2020-01-01
KR102391965B1 (ko) 2022-04-28
CN110325953B (zh) 2023-11-10
EP3588255B1 (en) 2023-08-16
WO2018155897A1 (ko) 2018-08-30
KR20180097287A (ko) 2018-08-31
US20200264694A1 (en) 2020-08-20
EP3588255A4 (en) 2020-03-18

Similar Documents

Publication Publication Date Title
CN110325953A (zh) 用于虚拟现实服务的屏幕控制方法和设备
US20230305675A1 (en) Three-dimensional interaction system
US20190279424A1 (en) Collaborative augmented reality system
US20200371665A1 (en) Collaborative augmented reality system
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
US11941762B2 (en) System and method for augmented reality scenes
US20170139478A1 (en) Method and apparatus for providing interface recognizing movement in accordance with user's view
CN110168476B (zh) 增强现实对象操纵
CN107807732A (zh) 用于显示图像的方法、存储介质和电子装置
CN109416580A (zh) 对三维空间中的对象的选择
CN106201390A (zh) 用于输出屏幕的方法及支持该方法的电子装置
CN110476189A (zh) 用于在电子装置中提供增强现实功能的方法和设备
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR20170060485A (ko) 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
US10228836B2 (en) System and method for generation of 3D virtual objects
CN107861613A (zh) 显示与内容相关联的导航器的方法和实现其的电子装置
CN107004063A (zh) 移动终端和使用该移动终端控制医疗装置的方法
CN108293108A (zh) 用于显示并生成全景图像的电子装置和方法
CN115191006B (zh) 用于所显示的2d元素的3d模型
US12026351B2 (en) 3D models for displayed 2D elements
KR102405385B1 (ko) 3d 컨텐츠를 위한 여러 오브젝트를 생성하는 방법 및 시스템
RO134789A0 (ro) Metode de augmentare virtuală în inspectarea reţelelor biologice
Wang Interaction and visualization techniques for immersive exploration and perception of 3D datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant