CN108513671A - 一种2d应用在vr设备中的显示方法及终端 - Google Patents

一种2d应用在vr设备中的显示方法及终端 Download PDF

Info

Publication number
CN108513671A
CN108513671A CN201780005046.4A CN201780005046A CN108513671A CN 108513671 A CN108513671 A CN 108513671A CN 201780005046 A CN201780005046 A CN 201780005046A CN 108513671 A CN108513671 A CN 108513671A
Authority
CN
China
Prior art keywords
patterns
interface
under
terminal
notice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780005046.4A
Other languages
English (en)
Other versions
CN108513671B (zh
Inventor
商泽利
李小娟
郜文美
陈心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108513671A publication Critical patent/CN108513671A/zh
Application granted granted Critical
Publication of CN108513671B publication Critical patent/CN108513671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/067—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42—Graphical user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/54—Details of telephonic subscriber devices including functional features of a projector or beamer module assembly

Abstract

一种2D应用在VR设备中的显示方法及终端，涉及虚拟现实技术领域，具体方法包括：终端在VR模式下确定普通模式的第一通知界面，第一通知面包括通知消息，通知消息来自2D应用(301)；终端在VR模式下根据第一通知界面确定第二通知界面，并在VR模式下显示第二通知界面(302)；在VR模式下确定用户操作，用户操作的触控点位于第二通知界面(303)；终端在VR模式下根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应所述用户操作(304)。

Description

一种2D应用在VR设备中的显示方法及终端
本申请要求2017年1月26日提交中国专利局、申请号为201710061842.1、发明名称为“一种2D应用在VR眼镜中的显示方法和显示设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请文件中。
技术领域
本申请具体涉及虚拟现实技术领域，尤其涉及一种2D应用在VR设备中的显示方法及终端。
背景技术
虚拟现实(virtual reality，VR)是一种利用计算机模拟产生的一个三维空间的虚拟世界，提供关于视觉、听觉以及触觉等感官的仿真系统，生成一种模拟环境。
目前，涉及到VR技术的使用时，需要在终端上开发相应的VR技术所需要的VR版本，才能利用VR技术对该终端上的应用进行显示和操作。支持VR技术的终端中的应用包括：三维(3 dimensions，3D)应用和二维(2 dimensions，2D)应用，由上述可知两者的运行规则是不同的。VR系统的设计主要为3D模式，所以在支持VR技术的终端(例如：VR眼镜)上一般不支持对2D模式下的应用的显示和操作。
发明内容
本申请实施例提供了一种2D应用在VR设备中的显示方法及终端，用户使用VR眼镜浏览支持VR技术的终端中的2D应用时，无需从VR眼镜上卸下该终端就可以对该终端中的2D应用进行显示和操作。
第一方面，本申请实施例提供了一种2D应用在VR设备中的显示方法，包括：终端在VR模式下确定普通模式的第一通知界面，第一通知界面包括通知消息，通知消息来自2D应用；终端在VR模式下根据第一通知界面确定第二通知界面，并在VR模式下显示第二通知界面；终端在VR模式下确定用户操作，用户操作的触控点位于第二通知界面，所述触控点在所述第二通知界面的位置信息为第一位置信息；终端在VR模式下根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应用户操作，所示第二位置信息为第一通知界面上的位置信息。本申请实施例通过在VR模式下，终端将来自2D应用的普通模式的通知消息通过处理，处理后的消息可以下VR模式下显示并操作。然后，在VR模式下，根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应所述用户操作。该终端将用户操作界面投影至VR眼镜的3D界面上，使得用户无需从VR眼镜中拿出该终端就可以对该终端中的2D应用进行显示和操作。
在一个可选地实现方式中，上述“终端在VR模式下确定普通模式的第一通知界面”的方法中还可以包括：终端在VR模式下确定通知消息；终端确定普通模式下的第一通知界面。
在另一个可选地实现方式中，上述“终端在VR模式下根据第一通知界面确定第二通知界面，并在VR模式下显示第二通知界面”的方法可以包括：终端将第一通知界面映射到3D模型中，确定第二通知界面；终端在VR模式下，显示第二通知界面。
在又一个可选地实现方式中，上述终端在VR模式下将第一通知界面映射到3D模型的部分区域或全部区域。在再一个可选地实现方式中，上述“终端在VR模式下根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应用户操作”的方法中可以包括：第一位置信息为触控点的3D坐标；第二位置信息为第一通知界面的2D坐标。将第一位置信息映射到VR模式下的3D模型中，可以获取3D数据，并将该3D数据投影到VR眼镜中，此过程解决了在2D模式下，支持VR技术的终端可以对2D应用进行显示。
在再一个可选地实现方式中，上述终端在VR模式下，通过映射所述3D坐标确定所述第一通知界面的2D坐标。
第二方面，本申请实施例提供了一种2D应用在VR设备中的显示终端，该终端包括：处理器，用于在VR模式下确定普通模式的第一通知界面，第一通知界面包括通知消息，通知消息来自2D应用；处理器还用于，在VR模式下根据第一通知界面确定第二通知界面；显示器，用于在VR模式下显示第二通知界面；处理器还用于，在VR模式下确定用户操作，用户操作的触控点位于第二通知界面，所述触控点在所述第二通知界面的位置信息为第一位置信息；处理器还用于，在VR模式下根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应用户操作，所示第二位置信息为第一通知界面上的位置信息。本申请实施例通过在VR模式下，处理器将来自2D应用的普通模式的通知消息通过处理，处理后的消息可以下VR模式下显示并操作。然后，在VR模式下，该处理器根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应用户操作。收发器将用户操作界面投影至VR眼镜的3D界面上，就可以解决了用户无需拿出该终端就可以对该终端中的2D应用进行显示和操作。
在一个可选地实现方式中，收发器，用于在VR模式下确定通知消息，该通知消息来自2D应用；上述处理器还用于，确定普通模式下的第一通知界面，第一通知界面包括通知消息。
在另一个可选地实现方式中，上述处理器还用于，将第一通知界面映射到3D模型中，确定第二通知界面；在VR模式下，显示第二通知界面。
在又一个可选地实现方式中，上述处理器还用于，在VR模式下将第一通知界面映射到3D模型的部分区域或全部区域。
在再一个可选地实现方式中，上述处理器还用于，第一位置信息为触控点的3D坐标；第二位置信息为第一通知界面的2D坐标。该处理器将第一位置信息映射到VR模式下的3D模型中，可以获取3D数据，并将该3D数据投影到VR眼镜中，此过程解决了在2D模式下，支持VR技术的终端可以对2D应用进行显示。
在再一个可选地实现方式中，上述处理器还用于，在VR模式下，通过映射所述3D坐标确定所述第一通知界面的2D坐标。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
第四方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
附图说明
下面将参照所示附图对本申请实施例进行更详细的描述。
图1为本发明实施例提供的一种终端设备架构示意图；
图2为本发明实施例提供的一种终端结构示意图；
图3为本发明实施例提供的一种2D应用在VR设备中的显示方法流程示意图；
图4为本发明实施例提供的一种映射原理的流程示意图；
图5(a)-(b)为本发明实施例提供的一种映射原理的结构示意图；
图6本发明实施例提供的另一种终端的结构示意图；
图7本发明实施例提供的一种2D应用在VR设备中的显示的实现效果图。
具体实施方式
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
本发明实施例提供一种2D应用在VR设备中的显示方法及终端，通过在VR模式下将通知消息映射到3D模型中，确定用户在3D模型中的触控操作，再将用户在3D模型中的触控操作映射到第一通知界面(即2D应用的界面)，以便2D应用响应用户操作。解决了VR设备不能提供2D应用的显示功能以及相应的操作功能的问题。
图1为本发明实施例提供的一种终端设备架构示意图。如图1所示，该应用场景包括：终端和VR设备。其中，该终端包括：手机100。该VR设备包括：VR眼镜200。
具体地，该终端至少可以包括存储器、触摸屏以及处理器，存储器可用于存储软件程序，处理器通过运行存储在存储器的软件程序，执行终端的各种功能，触摸屏可用于显示由用户输入的信息、提供给用户的信息以及终端的各种菜单，还可以接受用户输入。为了方便描述，本申请中，下述终端以手机为例进行具体描述。手机100的状态设置成VR模式，将手机100放置到VR眼镜200中，通过外接设备(例如：蓝牙手柄)对手机100中的2D应用进行操作并投影到VR眼镜的3D界面上。具体地，本发明实施例提供的显示方法均在VR模式下进行。
图2为本发明实施例提供的一种终端结构示意图。图2示出的是与本申请实施例相关的一种手机结构示意图。如图2所示，手机100的部分结构的框图。其中，手机100包括：射频电路110(radio frequency，RF)、存储器120、输入单元130、显示单元140、传感器150、音频电路160、无线保真模块170(wireless fidelity，WiFi)、处理器180、以及电源190。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面对手机100的各个构成部件进行具体的介绍：
RF电路110，可以用于收发信息或通话过程中，信号的接收和发送。其中，RF电路110接收基站的下行信息，将该基站的下行信息发送至处理器180，该服务器对该下行信息进行处理；另外，RF电路110还可以将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，LNA)以及双工器等。此外，RF电路110还可以通过无线通信与网络和/或其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(global system ofmobile communication，GSM)、通用分组无线服务(general packet radio service，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband codedivision multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件以及短消息服务(short messaging service，SMS)等。
存储器120，可用于存储软件程序以及模块。通常，该存储器120包括但不限于操作系统、通信模块、接触/移动模块、图形模块、文本输出模块、应用程序、内容截取模块、照相机模块、显示合成模块(surface flinger module)、缓冲模块(buffer module)、触控模块(touch module)以及蓝牙模块等。此外，存储器120可以主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图象播放功能等)等；存储数据区可存储根据手机100的使用所创建的数据(比如音频数据、电话本等)等。存储器120还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。此外，存储器120包括的接触/运动模块用于检测物体或手指与触摸屏140或点击式触摸转盘的接触，捕捉接触的速度(方向和大小)、加速度(大小或方向的变化)，判断接触事件类型。例如，多种接触事件检测模块：计算模块(figure-down module或figure-up module)、图形拖动模块(figure-dragging module)、数字抽头模块(figure-tap module)，有时手势和UI界面中的元素相结合实现一些操作：手指挤压/扩大(finger pinching/depinching)等等。
其中，蓝牙模块用于连接外接设备，该外接设备通过蓝牙模块对手机进行操作，该外接设备包括蓝牙手柄等可远程控制手机的设备。
图形模块用于在触摸屏或其他显示器上渲染和显示图形，图形包括网页、图标、数字图像、视频和动画。
应用程序可以包括联系人、电话、视频会议、电子邮件客户端、即时通信、个人运动、相机、图像管理、视频播放器、音乐播放器、日历、插件(天气、股票、计算器、时钟、词典)、自定义插件、搜索、笔记、地图以及在线视频等等。
输入单元130，可用于接收输入的数字或字符信息，以及产生与手机100的用户设置以及功能控制有关的键信号输入。输入单元130可包括触控面板131以及其他输入设备132。其中，触控面板131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作)，并根据预先设定的程式驱动相应的连接装置。此外，触控面板131还可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。具体地，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131，输入单元130还可以包括其他输入设备132。其中，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、蓝牙手柄等中的一种或多种。
显示单元140，可用于显示由用户输入的信息或提供给用户的信息以及手机100的各种菜单。显示单元140可以包括显示面板141，其中，可以采用液晶显示器(liquidcrystal display，LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板141。进一步的，触控面板131可覆盖显示面板141，当触控面板131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板131与显示面板141是作为两个独立的部件来实现手机100的输入和输入功能，但是在某些实施例中，可以将触控面板131与显示面板141集成而实现手机100的输入和输出功能。
手机100还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在手机100移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机100还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，麦克风162可提供用户与手机100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路110以发送给比如另一手机，或者将音频数据输出至存储器120以便进一步处理。
无线传输技术(wireless fidelity，WiFi)属于短距离，手机100通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块170，但是可以理解的是，其并不属于手机100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180通过运行存储在存储器120的软件程序以及模块，从而执行手机100的各种功能应用以及数据处理。处理器180是手机100的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行手机100的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理单元；处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
手机100还包括给各个部件供电的电源200(比如电池)，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。尽管未示出，手机100还可以包括摄像头等，在此不再赘述。
下述实施例结合图3和图7进行详细描述。图3为本发明实施例提供的一种2D应用在VR设备中的显示方法流程示意图。图7本发明实施例提供的一种2D应用在VR设备中的显示的实现效果图。用户首先可以将终端(例如：图1所示的手机100)设置为启动VR模式，再将处于VR模式的手机放置到VR眼镜中。启动VR模式的步骤可以包括：VR眼镜与手机连接之前，在手机上选择启动VR模式；VR眼镜与手机连接时，手机通过检测连接信号启动VR模式；VR眼镜与手机连接时，通过VR眼镜的输入单元，输入信号选择启动VR模式。如图3所示，2D应用在VR设备中的显示方法具体包括：
S301，终端在VR模式下确定普通模式的第一通知界面，第一通知界面包括通知消息，通知消息来自2D应用。
具体地，该终端在VR模式下确定通知消息；终端确定普通模式下的第一通知界面。需要说明的是，在本发明提供的实施中，该2D应用可以理解为是处在普通模式下的应用。
其中，该VR模式可以为综合利用终端的图形系统和各种提供VR技术的设备(例如：VR眼镜)，为用户提供可交互的三维环境。该普通模式可以为利用终端的图形系统为用户提供图像信息，与用户进行交互。换句话说，该终端在普通模式下用户无需通过VR眼镜即可实现交互；终端在VR模式下用户通过VR眼镜看见的是虚拟的三维图像信息，且可以通过该虚拟的三维图像信息实现交互。其中，普通模式还可称为非VR模式。
在一个可能的实施例中，如图2所示的处理器180中的surface flinger模块接收通知消息，该surface flinger模块判断该通知消息是否来自2D应用。
若该通知消息来自3D应用，则该surface flinger模块将该来自3D应用的通知消息发送至如图2所示的处理器180中的buffer模块，该buffer模块对该通知消息进行存储并直接投影到如图1所示的VR眼镜200的3D界面上。此时，手机的系统中保存有任意应用的3D模型，在当前的VR模式下显示任意应用中至少一个应用的3D模型。
若该通知消息来自2D应用，则执行S302。
S302，终端在所述VR模式下根据所述第一通知界面确定第二通知界面，并在所述VR模式下显示所述第二通知界面。
具体地，终端将第一通知界面映射到3D模型中，确定第二通知界面；终端在VR模式下，显示第二通知界面。
在一个可能的实施例中，该surface flinger模块接收来自2D应用的通知消息并确定该2D应用的通知消息所在的2D通知界面，该2D通知界面中包括该来自2D应用的通知消息。
例如，该2D应用为图库，该通知消息为截屏指令，则执行以下步骤：该surfaceflinger模块接收来自图库应用的截屏指令，并确定该截屏指令所指示截取的截屏图片。该surface flinger模块获取该截屏图片的坐标。
在一个可能的实施例中，终端将2D通知界面映射到VR模式下的3D模型中。
具体地，该Surface flinger模块映射该2D通知界面至VR模式下的3D模型中。其中，终端在VR模式下将第一通知界面映射到3D模型的部分区域或全部区域。此步骤中的映射可以理解为在VR模式下，映射2D通知界面至3D模型中。
该surface flinger模块获取该2D通知界面在3D模型中所对应的3D数据。
该surface flinger模块将该对应的3D数据发送至如图2所示的处理器中的buffer模块，该buffer模块对该3D数据进行存储并直接投影到如图1所示的VR眼镜200的3D界面上。
举例来说，该surface flinger模块映射该截屏图片至VR模式下的3D模型中，即将2D截屏图片的坐标与3D模型的坐标相对应，其中，终端在VR模式下将第一通知界面映射到3D模型的部分区域或全部区域。
该surface flinger模块将该截屏图片所对应的3D数据发送至如图2所示的处理器中的buffer模块，该buffer模块对该3D数据进行存储并直接投影到如图1所示的VR眼镜200的3D界面上。
S303，终端在VR模式下确定用户操作，用户操作的触控点位于第二通知界面，触控点在第二通知界面的位置信息为第一位置信息。
具体地，终端在VR模式下确定用户对终端的操作指令，该终端根据用户操作的触控点的位置判断是否是2D应用响应该操作指令。此外，VR眼镜也可以确定用户操作。
若该用户的触控操作是在3D应用的界面上，则如图2所示的处理器180中的touch模响应该操作指令，该3D应用根据该操作指令执行相应的操作。
若该用户操作的触控点位于第二通知界面上，则执行S304。
S304，终端在VR模式下根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应用户操作，第二位置信息为第一通知界面上的位置信息。
具体地，第一位置信息为用户操作点的3D坐标；第二位置信息为该3D坐标在第一通知界面上对应的2D坐标。在一个可能的实施例中，该终端映射该触控点的3D坐标位置至2D坐标处，该终端获取当前2D坐标的位置。该终端根据该2D坐标的位置，模拟触控2D应用的操作指令。如图2所示的处理器180中的touch模块响应该操作指令，该2D应用根据该操作指令执行相应的操作。其中，此过程中的映射可以理解为S302的逆过程，即在VR模式下，映射该触点的3D模型至2D界面上。
将该终端将该2D应用得界面投影至VR眼镜的3D屏幕上，具体的效果图可以由图5(a)-(b)所示。
图4为本发明实施例提供的一种映射原理的流程示意图。上述所涉及到的映射，结合图2和图5(a)-(b)对该映射原理进行详细解释，图5(a)-(b)为本发明实施例提供的一种映射原理的结构示意图，该2D通知界面映射到VR模式下的3D界面包括：
S401，该终端获取该2D通知界面的坐标，该2D通知界面包括来自2D应用的通知消息。
具体地，如图2所示的处理器180中的surface flinger模块获取该2D通知界面的坐标。如图5(a)所示的2D应用的界面501，正方体502为2D应用显示界面所对应的3D模型。
S402，该终端获取系统中包括的3D模型。
具体地，该终端根据上述2D通知界面的坐标在系统中确定该2D通知界面的3D模型，如图5(a)-如图5(b)的正方体502所示。
S403，该终端将该2D通知界面的坐标映射至3D模型中。
具体地，可以由S401中的2D通知界面的坐标值映射至3D模型上，可以由如图5(b)所示，其中，终端在VR模式下将第一通知界面映射到3D模型的部分区域或全部区域。。
例如，该映射也可以理解为，三维坐标(例如：3D坐标)和二维坐标(例如：2D通知界面的坐标)可以构成一个3D-2D坐标对，则三维坐标P对应的2D坐标的计算过程如式(1)、(2)、(3)所示，式(1)中R为一3*3正交旋转矩阵，t为一3*1平移向量，由于VR设备中的虚拟物体的坐标已知，式(1)中的R和t均为已知。
式(1)中的正交旋转矩阵R可以用三个3*1的列向量表示，如式(2)所示：
R＝[r1 r2 r3] (2)
则位于3D平面上的三维坐标P(X,Y,0)投影到二维图像中的点p的齐次坐标可以用式(3)表示：
至此，位于智能设备显示屏(例如：手机)外的图像上任意一点与其在头戴式设备(例如：VR眼镜)显示的二维图像上的变换H可以用式(4)表示的3*3矩阵表示：
H＝[K*[r1 r2] K*t] (4)
同理，二维平面上的任一点p对应的三维坐标P可以由H-1计算得到。
图6本发明实施例提供的另一种终端的结构示意图。如图6所示，该终端包括：
收发器601，用于在VR模式下确定通知消息，通知消息来自2D应用。
处理器602，用于确定2D通知界面，2D通知界面包括通知消息。
处理器602还用于，在VR模式下根据第一通知界面确定第二通知界面。
显示器，用于在VR模式下显示第二通知界面。
处理器602还用于，在VR模式下确定用户操作，用户操作的触控点位于第二通知界面，所述触控点在所述第二通知界面的位置信息为第一位置信息；处理器还用于，在VR模式下根据第一位置信息确定第二位置信息，以便2D应用根据第二位置信息响应用户操作，所示第二位置信息为第一通知界面上的位置信息。
收发器601还用于，将用户操作界面投影至VR眼镜的3D界面上。在VR模式下确定通知消息，该通知消息来自2D应用。
处理器602还用于，确定普通模式下的第一通知界面，第一通知界面包括通知消息。将第一通知界面映射到3D模型中，确定第二通知界面。
其中，该处理器还用于，在VR模式下将第一通知界面映射到3D模型的部分区域或全部区域。
处理器602还用于，映射用户操作的触控点的3D坐标至第一通知界面的2D坐标处，根据第一通知界面的2D坐标的位置响应用户操作。第一位置信息为触控点的3D坐标；第二位置信息为第一通知界面的2D坐标。
该处理器602将第一位置信息映射到VR模式下的3D模型中，可以获取3D数据，并将该3D数据投影到VR眼镜中，此过程解决了在2D模式下，支持VR技术的终端可以对2D应用进行显示。
其中，处理器还用于，在VR模式下，根据3D坐标通过映射确定第一通知界面中2D坐标坐标。
图7本发明实施例提供的一种2D应用在VR设备中的显示的实现效果图。如图7所示，用户通过对外接设备(例如：蓝牙手柄，VR手柄等)中2D应用界面的触控操作，终端将用户操作的触控点在3D模型中的位置的3D坐标映射至2D通知界面的坐标。该终端确定2D通知界面的坐标的2D坐标，根据2D通知界面的坐标的2D坐标，模拟触控2D通知界面对应的2D应用，以便所述2D应用响应用户触控操作。终端根据2D应用待3D显示的映射，终端可以将整个操作过程投影至VR眼镜的屏幕上，VR眼镜可以提供用户观看的3D效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (14)

1.一种2D应用在VR设备中的显示方法，其特征在于，包括：
终端在VR模式下确定普通模式的第一通知界面，所述第一通知界面包括通知消息，所述通知消息来自2D应用；
所述终端在所述VR模式下根据所述第一通知界面确定第二通知界面，并在所述VR模式下显示所述第二通知界面；
所述终端在所述VR模式下确定用户操作，所述用户操作的触控点位于所述第二通知界面，所述触控点在所述第二通知界面的位置信息为第一位置信息；
所述终端在所述VR模式下根据所述第一位置信息确定第二位置信息，以便所述2D应用根据所述第二位置信息响应所述用户操作，所述第二位置信息为所述第一通知界面上的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述终端在VR模式下确定普通模式的第一通知界面，包括：
所述终端在VR模式下确定通知消息；
所述终端确定普通模式下的第一通知界面。
3.根据权利要求1或2所述的方法，其特征在于，所述终端在所述VR模式下根据所述第一通知界面确定第二通知界面，并在所述VR模式下显示所述第二通知界面，包括：
所述终端将所述第一通知界面映射到3D模型中，确定第二通知界面；
所述终端在所述VR模式下，显示所述第二通知界面。
4.根据权利要求3所述的方法，其特征在于，所述终端在所述VR模式下将所述第一通知界面映射到所述3D模型的部分区域或全部区域。
5.根据权利要求1-4任意一项所述的方法，其特征在于，
所述第一位置信息为所述触控点的3D坐标；
所述第二位置信息为所述第一通知界面的2D坐标。
6.根据权利要求5所述的方法，其特征在于，
所述终端在所述VR模式下，通过映射所述3D坐标确定所述第一通知界面的2D坐标。
7.一种2D应用在VR设备中的显示终端，其特征在于，包括：
处理器，用于在VR模式下确定普通模式的第一通知界面，所述第一通知界面包括通知消息，所述通知消息来自2D应用；
所述处理器还用于，在所述VR模式下根据所述第一通知界面确定第二通知界面；
显示器，用于在所述VR模式下显示所述第二通知界面；
所述处理器还用于，在所述VR模式下确定用户操作，所述用户操作的触控点位于所述第二通知界面，所述触控点在所述第二通知界面的位置信息为第一位置信息；
所述处理器还用于，在所述VR模式下根据第一位置信息确定第二位置信息，以便所述2D应用根据所述第二位置信息响应所述用户操作，所述第二位置信息为所述第一通知界面上的位置信息。
8.根据权利要求7所述的终端，其特征在于，还包括：
收发器，用于在VR模式下确定通知消息，所述通知消息来自2D应用；
所述处理器还用于，确定普通模式下的第一通知界面，所述第一通知界面包括所述通知消息。
9.根据权利要求7或8所述的终端，其特征在于，包括：
所述处理器还用于，将所述第一通知界面映射到3D模型中，确定第二通知界面；在所述VR模式下，显示所述第二通知界面。
10.根据权利要求9所述的终端，其特征在于，所述处理器在所述VR模式下将所述第一通知界面映射到所述3D模型的部分区域或全部区域。
11.根据权利要求7-10任意一项所述的终端，其特征在于，包括：
所述第一位置信息为所述触控点的3D坐标；
所述第二位置信息为所述第一通知界面的2D坐标。
12.根据权利要求11所述的终端，其特征在于，
所述处理器还用于，在所述VR模式下，通过映射所述3D坐标确定所述第一通知界面的2D坐标。
13.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的方法。
14.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的方法。
CN201780005046.4A 2017-01-26 2017-06-09 一种2d应用在vr设备中的显示方法及终端 Active CN108513671B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2017100618421 2017-01-26
CN201710061842 2017-01-26
PCT/CN2017/087761 WO2018137304A1 (zh) 2017-01-26 2017-06-09 一种2d应用在vr设备中的显示方法及终端

Publications (2)

Publication Number Publication Date
CN108513671A true CN108513671A (zh) 2018-09-07
CN108513671B CN108513671B (zh) 2021-08-27

Family

ID=62978089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780005046.4A Active CN108513671B (zh) 2017-01-26 2017-06-09 一种2d应用在vr设备中的显示方法及终端

Country Status (4)

Country Link
US (1) US11294533B2 (zh)
EP (1) EP3561667B1 (zh)
CN (1) CN108513671B (zh)
WO (1) WO2018137304A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328155A (zh) * 2020-11-12 2021-02-05 维沃移动通信有限公司 输入设备的控制方法、装置和电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US10771620B1 (en) * 2019-06-12 2020-09-08 Trend Micro Inc. Virtualization of smartphone functions in a virtual reality application
CN114637545B (zh) * 2020-11-30 2024-04-09 华为终端有限公司 Vr交互方法及装置
CN112596609A (zh) * 2020-12-25 2021-04-02 维沃移动通信有限公司 显示处理方法、显示处理装置和可穿戴设备
US20240019979A1 (en) * 2022-07-15 2024-01-18 Lenovo (Singapore) Pte. Ltd. Conversion of 3d virtual actions into 2d actions
CN115576457A (zh) * 2022-09-29 2023-01-06 歌尔科技有限公司 显示控制方法和装置、增强现实头戴设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266546A (zh) * 2008-05-12 2008-09-17 深圳华为通信技术有限公司 一种实现操作系统三维显示的方法和一种三维操作系统
WO2009113886A1 (en) * 2008-03-14 2009-09-17 Ctm Galicja Spolka Z O. O. Virtual 3d shop management method and virtual 3d shop management system
US20100241999A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Canvas Manipulation Using 3D Spatial Gestures
CN102148818A (zh) * 2010-12-29 2011-08-10 北京大学 移动设备上实现分布式虚拟现实与可视化的方法及系统
US20150177947A1 (en) * 2013-12-20 2015-06-25 Motorola Mobility Llc Enhanced User Interface Systems and Methods for Electronic Devices
CN105051662A (zh) * 2012-10-23 2015-11-11 漫游控股有限公司 三维虚拟环境
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
US20160124499A1 (en) * 2014-10-30 2016-05-05 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
CN105975259A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 一种3d空间用户界面的实现方法及其装置
CN105975179A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 一种3d空间用户界面的操作对象确定方法及其装置
CN106249857A (zh) * 2015-12-31 2016-12-21 深圳超多维光电子有限公司 一种显示转换方法、装置及终端设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999660A (en) 1995-07-26 1999-12-07 California Institute Of Technology Imaging system for correction of perceptual distortion in wide angle images
US20050204306A1 (en) * 2003-09-15 2005-09-15 Hideya Kawahara Enhancements for manipulating two-dimensional windows within a three-dimensional display model
CN103888654B (zh) 2012-12-24 2018-09-07 深圳富泰宏精密工业有限公司 拍照校正系统及方法
EP2793127B1 (en) * 2013-04-19 2021-11-17 Huawei Technologies Co., Ltd. Method for displaying a 3D scene graph on a screen
KR102355118B1 (ko) * 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
CN104731959B (zh) 2015-04-03 2017-10-17 北京威扬科技有限公司 基于文本的网页内容生成视频摘要的方法、装置及系统
KR20170060485A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
CN105808184B (zh) * 2016-02-24 2019-01-08 北京小鸟看看科技有限公司 显示安卓2d应用图像的方法、装置及一种头戴设备
KR101846142B1 (ko) * 2016-11-04 2018-05-21 이장근 체험 공유 시스템
US10593105B2 (en) * 2016-11-10 2020-03-17 Karan Singh Method and system for linking a first virtual reality (VR) immersive space with a second VR immersive space

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113886A1 (en) * 2008-03-14 2009-09-17 Ctm Galicja Spolka Z O. O. Virtual 3d shop management method and virtual 3d shop management system
CN101266546A (zh) * 2008-05-12 2008-09-17 深圳华为通信技术有限公司 一种实现操作系统三维显示的方法和一种三维操作系统
US20100241999A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Canvas Manipulation Using 3D Spatial Gestures
CN102148818A (zh) * 2010-12-29 2011-08-10 北京大学 移动设备上实现分布式虚拟现实与可视化的方法及系统
CN105051662A (zh) * 2012-10-23 2015-11-11 漫游控股有限公司 三维虚拟环境
US20150177947A1 (en) * 2013-12-20 2015-06-25 Motorola Mobility Llc Enhanced User Interface Systems and Methods for Electronic Devices
US20160124499A1 (en) * 2014-10-30 2016-05-05 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
CN106249857A (zh) * 2015-12-31 2016-12-21 深圳超多维光电子有限公司 一种显示转换方法、装置及终端设备
CN105975259A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 一种3d空间用户界面的实现方法及其装置
CN105975179A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 一种3d空间用户界面的操作对象确定方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
查宇飞等: "《视频目标跟踪方法》", 31 July 2015, 国防工业出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328155A (zh) * 2020-11-12 2021-02-05 维沃移动通信有限公司 输入设备的控制方法、装置和电子设备

Also Published As

Publication number Publication date
CN108513671B (zh) 2021-08-27
US11294533B2 (en) 2022-04-05
WO2018137304A1 (zh) 2018-08-02
EP3561667B1 (en) 2022-02-23
EP3561667A4 (en) 2020-01-22
US20190384482A1 (en) 2019-12-19
EP3561667A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
CN108513671A (zh) 一种2d应用在vr设备中的显示方法及终端
CN106933525B (zh) 一种显示图像的方法和装置
CN109213728A (zh) 基于增强现实的文物展示方法及系统
US20170199662A1 (en) Touch operation method and apparatus for terminal
CN107728886B (zh) 一种单手操作方法和装置
CN104915091B (zh) 一种显示状态栏提示信息的方法和装置
CN106445340B (zh) 一种双屏终端显示立体图像的方法和装置
US20170046040A1 (en) Terminal device and screen content enlarging method
JP2023526618A (ja) 未読メッセージの表示方法、装置及び電子機器
CN107295251B (zh) 图像处理方法、装置、终端及存储介质
CN105740145B (zh) 定位控件中的元素的方法及装置
CN109885257A (zh) 一种磁盘文件读写方法及装置
CN108415641A (zh) 一种图标的处理方法及移动终端
CN106371749A (zh) 一种终端控制的方法和装置
CN104820546B (zh) 功能信息展示方法和装置
CN108920069A (zh) 一种触控操作方法、装置、移动终端和存储介质
CN109857354A (zh) 一种界面显示方法及终端设备
CN109491632A (zh) 一种资源分享方法及终端
CN106210838B (zh) 字幕显示方法及装置
CN108108113A (zh) 网页切换方法及装置
CN107479799A (zh) 一种显示窗口的方法和装置
CN110162234A (zh) 一种应用控制方法及终端设备
US20150070360A1 (en) Method and mobile terminal for drawing sliding trace
CN110531916A (zh) 处理未读消息的方法及电子设备
CN114168873B (zh) 一种页面弹框的处理方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant