CN106851240A - 图像数据处理的方法及装置 - Google Patents

图像数据处理的方法及装置 Download PDF

Info

Publication number
CN106851240A
CN106851240A CN201611216926.XA CN201611216926A CN106851240A CN 106851240 A CN106851240 A CN 106851240A CN 201611216926 A CN201611216926 A CN 201611216926A CN 106851240 A CN106851240 A CN 106851240A
Authority
CN
China
Prior art keywords
image
view data
virtual reality
treatment
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611216926.XA
Other languages
English (en)
Inventor
王志伟
曾镇城
李永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201611216926.XA priority Critical patent/CN106851240A/zh
Publication of CN106851240A publication Critical patent/CN106851240A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

本发明公开了一种图像数据处理的方法,包括:在运行虚拟现实应用时,实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景;当所述待显示的图像数据不能应用于虚拟现实场景时,从所述显卡数据缓冲区中提取所述待显示的图像数据,通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据;将所述标准图像数据写入所述图像数据缓冲区,以使所述标准图像数据显示在屏幕中。相应地,本发明还公开了一种图像数据处理的装置。采用本发明实施例,使得用户在体验VR过程中无需摘下VR镜片设备来查看显示的移动设备发生系统事件的图像信息。

Description

图像数据处理的方法及装置
技术领域
本发明涉及图像显示技术领域,尤其涉及图像数据处理的方法及装置。
背景技术
虚拟现实(Virtual Reality,VR)是近几年兴起的计算机技术。通过佩戴VR镜片设备来观看虚拟现实资源,使用户能够产生身临其境的感受。目前的VR装置主要基于三种平台:移动设备、PC和专用游戏设备(如PS)。现有的基于移动设备平台的VR设备,所呈现的虚拟现实元素(视频、图像),都要借助运行在移动设备平台上的第三方软件(或VR厂商自研的软件,即VR软件)。为了在屏幕中呈现全景效果,这些第三方软件对其自身的图像进行了虚拟现实处理,使其能够应用于虚拟现实场景。进而再结合陀螺仪感知用户头部的转动,以显示应用于虚拟现实场景的图片,即给予用户身临其境的感觉。
用户使用时,首先在移动设备上打开与VR装置对接的VR软件,然后将移动设备放入VR装置中,用户佩带上与VR装置配套的VR镜片设备开始体验VR资源。其中,有些VR装置支持在将移动设备插到VR装置上的接口时,自动启动VR软件。当移动设备启动VR软件,运行VR软件,由于VR软件提供的图像资源均是应用于虚拟现实场景的图像,因而移动设备的屏幕上相应地呈现的该应用于虚拟现实场景的图像资源,则用户通过佩戴VR镜片设备能看到移动设备的屏幕呈现出的全景效果。
发明人在实施本发明的过程中,发现移动设备除了作为虚拟现实资源呈现的载体,其还包括很多其他的功能,例如语音通话和SNS社交网络通信。在使用移动设备运行VR软件,屏幕展示虚拟现实资源时,若有除了VR资源展示的系统事件发生,且这些系统事件会在移动设备上显示相应的图像信息时,其中,该图像信息是平面图像,用户透过VR镜片看到的这些图像信息将是非正常、扭曲、翻转的。例如用户在观看VR全景电影时,收到了来自微信的视频请求,则会在眼前呈现巨大的、横向的视频请求UI在眼前。因而,用户在体验VR过程中,移动设备发生系统事件并需要在屏幕上显示相应图像信息时,用户为了看清屏幕上显示的信息不得不摘下VR镜片设备再查看显示的图像信息,否则用户的视觉仍为VR视觉,无法看清显示的图像信息。
发明内容
本发明实施例提出的一种图像数据处理的方法及装置,使得用户在体验VR过程中,在移动设备发生系统事件且需在屏幕上显示相应图像信息时,无需摘下VR镜片设备来查看屏幕显示的图像信息及实现对移动设备的操控。
本发明实施例提供的一种图像数据处理的方法,包括:
在运行虚拟现实应用时,实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景;
当所述待显示的图像数据不能应用于虚拟现实场景时,从所述图像数据缓冲区中提取所述待显示的图像数据,通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据;
将所述标准图像数据写入所述图像数据缓冲区,以使所述标准图像数据显示在屏幕中。
进一步地,所述实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景,包括:
实时读取写入到图像数据缓冲区的待显示的图像数据的标识;所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据;
根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。
进一步地,所述虚拟现实处理包括球面化处理,所述球面化处理具体为:
对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y),根据球面化公式:计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py);其中,R是预设的球面化曲率;
将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标,完成对所述待显示的图像数据的球面化处理。
进一步地,所述虚拟现实处理还包括沉浸化处理,所述沉浸化处理具体为:
将已完成球面化处理的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中;其中,所述背景图像的尺寸大于所述屏幕的显示尺寸。
进一步地,所述虚拟现实处理还包括分屏处理,所述分屏处理具体为:
获取用户的左眼球的左视角与右眼球的右视角间的视差;
复制已完成沉浸化处理的待显示的图像数据,获得左眼图像和右眼图像;
根据所述视差调整所述左眼图像和所述右眼图像的视差,以分屏显示左右眼图像。
进一步地,所述方法还包括:
在所述标准图像数据显示在屏幕之后,获取当前用户的视觉焦点坐标;
判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内;
若是,则判断所述视觉焦点是否满足预设的触发条件,所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令;
若满足所述触发条件,则将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标;
将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给操作系统。
相应地,本发明实施例还提供一种图像数据处理的装置,包括:
实时判断模块,用于在运行虚拟现实应用时,实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景;
图像转化处理模块,用于当所述待显示的图像数据不能应用于虚拟现实场景时,从所述图像数据缓冲区中提取所述待显示的图像数据,通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据;
图像数据显示模块,用于将所述标准图像数据写入所述图像数据缓冲区,以使所述标准图像数据显示在屏幕中。
进一步地,所述实时判断模块包括:
标识读取单元,用于实时读取写入到图像数据缓冲区的待显示的图像数据的标识;所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据;
标识判断单元,用于根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。
进一步地,所述虚拟现实处理包括球面化处理,所述球面化处理具体为:
对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y),根据球面化公式:计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py);其中,R是预设的球面化曲率;
将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标,完成对所述待显示的图像数据的球面化处理。
进一步地,所述虚拟现实处理还包括沉浸化处理,所述沉浸化处理具体为:
将完成球面化的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中;其中,所述背景图像的尺寸大于所述屏幕的显示尺寸。
进一步地,所述虚拟现实处理还包括分屏处理,所述分屏处理具体为:
获取用户的左眼球的左视角与右眼球的右视角间的视差;
复制已完成沉浸化处理的待显示的图像数据,获得左眼图像和右眼图像;
根据所述视差调整所述左眼图像和所述右眼图像的视差,以分屏显示左右眼图像。
进一步地,所述装置还包括:
焦点坐标接收模块,用于在所述标准图像数据显示在屏幕后,获取当前用户的视觉焦点坐标;
焦点坐标判断模块,用于判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内;
触发判断模块,用于当所述视觉焦点坐标位于所述范围内时,判断所述视觉焦点是否满足预设的触发条件,所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令;
坐标转化模块,用于当所述视觉焦点满足所述触发条件时,将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标;
操作信息发送模块,用于将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给所述移动设备的操作系统。
实施本发明实施例,具有如下有益效果:
本发明实施例提供的图像数据处理的方法和装置,当移动设备判别到写入到图像数据缓冲区的图像数据为非VR图像数据时,将该图像数据转化成能应用于虚拟现实场景的标准图像数据,再将标准图像数据写入到图像数据缓冲区中进行相应的显示,从而,即使移动设备发生系统事件请求,移动设备的屏幕上显示的图像仍为VR图像,用户无需摘下VR镜片设备再查看显示的图像,即无需用户从VR视角转变成平面视角与操作系统进行交互,可以在VR视角下无缝地与操作系统进行交互。
附图说明
图1是本发明提供的图像数据处理的方法的一个实施例的流程示意图;
图2是本发明提供的图像数据处理的方法的球面化处理前的图像的示意图;
图3是本发明提供的图像数据处理的方法的球面化处理后的图像的俯视示意图;
图4是本发明提供的图像数据处理的方法的球面化处理前后的图像的侧视示意图;
图5是本发明提供的图像数据处理的方法的分屏处理后的图像的裸眼效果图;
图6是本发明提供的图像数据处理的方法的分屏处理后的图像的VR视角效果图;
图7是本发明提供的图像数据处理的装置的一个实施例的结构示意图;
图8是本发明提供的图像数据处理的装置的实时判断模块的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,是本发明提供的图像数据处理的方法的一个实施例的流程示意图;本发明实施例提供的一种图像数据处理的方法,由移动设备执行,包括步骤S1至步骤S3,具体为:
S1,在移动设备运行虚拟现实应用时,实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景;
S2,当所述待显示的图像数据不能应用于虚拟现实场景时,从所述显卡数据缓冲区中提取所述待显示的图像数据,通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据;
S3,将所述标准图像数据写入所述图像数据缓冲区,以使图像处理器将所述标准图像数据显示在所述移动设备的屏幕中。
需要说明的是,用户基于移动设备体验VR的过程中,移动设备通过运行内置的虚拟现实应用模块,在屏幕上呈现VR图像,用户通过佩带VR镜片设备观看屏幕所呈现的VR图像,其中,此虚拟现实应用模块为软模块,例如VR软件。移动设备在屏幕上呈现VR图像过程具体为:由虚拟现实应用模块将VR图像数据(即能应用于虚拟现实场景的图像数据)放入到图像数据缓冲区(例如显卡缓存)中,以使图像处理器(例如显卡)从中将该VR图像数据对应的图像显示在屏幕中。在此过程中,移动设备有可能会出现系统事件,例如通话请求、微信视频请求等操作,移动设备控制虚拟现实应用模块暂停将VR图像数据放入到图像数据缓冲区中,与此同时,移动设备会将与上述请求相对应的待显示的图像数据写入到图像数据缓冲区中。因而,本发明实施例提供的方法,当移动设备判别到写入的图像数据缓冲区的图像数据为非VR图像数据(即不能应用于虚拟现实场景)时,将该图像数据转化成能应用于虚拟现实场景的标准图像数据,再将标准图像数据写入到图像数据缓冲区中进行相应的显示,从而,即使移动设备发生系统事件请求,移动设备的屏幕上显示的图像仍为VR图像,用户无需摘下VR镜片设备再查看显示的图像,即无需用户从VR视角转变成平面视角。
在本发明实施例中,上述步骤S1中的“实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景”,具体包括:
实时读取写入到图像数据缓冲区的待显示的图像数据的标识;所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据;
根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。
需要说明的是,为了区别于非VR图像数据,虚拟现实模块提供的VR图像数据都具有一个VR标识,而发生系统事件请求而提供的图像数据是并不是VR图像数据,不具有VR标识的,因而移动设备可以通过判断写入图像数据缓冲区的图像数据是否具有VR标识,进而判断该图像数据是否能应用于虚拟现实场景。除了这个方式外,还可以通过VR图像数据与非VR图像数据的特定区别特征进行判别。
在本发明实施例中,所述虚拟现实处理包括球面化处理,所述球面化处理具体为:
对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y),根据球面化公式:计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py);其中,R是预设的球面化曲率;
将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标,完成对所述待显示的图像数据的球面化处理。
参图2至图4,图2是本发明提供的图像数据处理的方法的球面化处理前的图像的示意图;图3是本发明提供的图像数据处理的方法的球面化处理后的图像的俯视示意图;图4是本发明提供的图像数据处理的方法的球面化处理后的图像的侧视示意图。
下面将结合图2、图3和图4描述对图像数据对应的图像中的一个像素点在经过球面化前后的坐标变化过程:
如图2所示,图像中的一个像素点的原始坐标为A(x,y),将该图像进行球面化,即对该图像进行拉伸,拉伸方向为从屏幕里到屏幕外,如图3所示,以俯视的视角看该图像,拉伸后点A的位置变为A`(px,py),而从侧面观看拉伸后图片,效果如图4所示,a`、a和O`分别为A`、A和O对应的球面上的点。假设球面半径为R,即球面化曲率,可以推算出以下:
图4中夹角α的值为:
原点O到A`的距离为:
OA`=R*sin(α);
OA`与OA两者的比例关系为:
OA`/OA=px/x=py/y;
最终结合上述三个公式计算出球面化后的坐标(px,py):
需要说明的是,R是预设的球面化曲率,由屏幕的尺寸和VR镜片设备的中镜片的凸透率决定的,可根据具体情况进行设置。
在本发明实施例中,所述虚拟现实处理还包括沉浸化处理,所述沉浸化处理具体为:
将已完成球面化处理的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中,进而完成对所述待显示的图像数据的沉浸化处理;其中,所述背景图像的尺寸大于所述移动设备的屏幕的显示尺寸。
需要说明的是,由于在虚拟现实应用场景当中,呈现在用户眼前的只是整个虚拟现实场景中的一部分,而当用户旋转视角时,看到该场景的其他部分时,也应为虚拟现实的图像,使用户一直沉浸于虚拟现实场景当中。因而,本发明实施例提供的沉浸化处理,可以使得用户在旋转视角,超出原图像区域后,不会看到一片黑或其他扭曲的图像,看到的仍为VR图像的场景,能为用户提供沉浸式的VR体验。
在本发明实施例中,所述虚拟现实处理还包括分屏处理,所述分屏处理具体为:
获取用户的左眼球的左视角与右眼球的右视角间的视差;
复制已完成沉浸化处理的待显示的图像数据,获得左眼图像和右眼图像;
根据所述视差调整所述左眼图像和所述右眼图像的视差,以分屏显示左右眼图像。
需要说明的是,由于在生成左眼图像和右眼图像时,还需要考虑用户的左眼球到左眼图像的左视角与右眼球到右眼图像的右视角两者间的视差,可通过用户佩戴的VR镜片设备中内置的传感器,例如光学传感器,获取用户的左眼球的左视角与右眼球的右视角间的视差,来进行调整。视差是指从有一定距离的两个点上观察同一个目标所产生的方向差异,而从目标看两个点之间的夹角,叫做这两个点的视差角。
参见图5和图6,图5是本发明提供的图像数据处理的方法的分屏处理后的图像的裸眼效果图;图6是本发明提供的图像数据处理的方法的分屏处理后的图像的VR视角效果图;
分屏处理的图像数据后在屏幕中呈现的图示如图5所示,而用户在佩戴上VR镜片设备后所看到的图示如图6所示。
进一步地,所述方法还包括:
在所述标准图像数据显示在所述移动设备的屏幕之后,获取当前用户的视觉焦点坐标;
判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内;
若是,则判断所述视觉焦点是否满足预设的触发条件,所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令;所述触发条件可以但不限于用户的视觉焦点在所述视觉焦点停留的预设时间、用户的的视觉焦点在所述视觉焦点停留时眨动眼睛的预设次数或转动眼球的操作,当满足触发条件即可发出触摸命令。
若满足所述触发条件,则将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标;
将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给所述移动设备的操作系统。
需要说明的是,视觉焦点坐标由用户佩戴的VR镜片设备检测的,具体可通过在VR镜片设备中设置陀螺仪,通过陀螺仪进行检测,也可通过在VR镜片设备中设置光学传感器,通过光学传感感进行检测。由于屏幕上呈现的图像为VR图像,则用户佩戴的VR镜片设备检测到的用户的视觉焦点坐标为以VR坐标系为准的坐标,因而在与操作系统进行交互时,需要将该视觉焦点坐标换算成屏幕坐标系对应的平面坐标,进而将该平面坐标对应的用户的触控屏幕的操作信息发送给操作系统进行处理。
本发明实施例提供的图像数据处理的方法,当移动设备判别到写入到图像数据缓冲区的图像数据为非VR图像数据时,将该图像数据转化成能应用于虚拟现实场景的标准图像数据,再将标准图像数据写入到图像数据缓冲区中进行相应的显示,从而,即使移动设备发生系统事件请求,移动设备的屏幕上显示的图像仍为VR图像,用户无需摘下VR镜片设备再查看显示的图像,即无需用户从VR视角转变成平面视角与操作系统进行交互,可以在VR视角下无缝地与操作系统进行交互。
参见图7,是本发明提供的图像数据处理的装置的一个实施例的结构示意图;该装置为软系统,设置在移动设备内,该图像数据处理的装置,包括:
实时判断模块10,用于在运行虚拟现实应用时,实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景;
图像转化处理模块20,用于当所述待显示的图像数据不能应用于虚拟现实场景时,从所述图像数据缓冲区中提取所述待显示的图像数据,通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据;
图像数据显示模块30,用于将所述标准图像数据写入所述图像数据缓冲区,以使所述标准图像数据显示在屏幕中。
进一步,参见图8,是本发明提供的图像数据处理的装置的实时判断模块的一个实施例的结构示意图;该实时判断模块10包括:
标识读取单元11,用于实时读取写入到图像数据缓冲区的待显示的图像数据的标识;所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据;
标识判断单元12,用于根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。
进一步地,所述虚拟现实处理包括球面化处理,所述球面化处理具体为:
对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y),根据球面化公式:计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py);其中,R是预设的球面化曲率;
将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标,完成对所述待显示的图像数据的球面化处理。
进一步地,所述虚拟现实处理还包括沉浸化处理,所述沉浸化处理具体为:
将完成球面化的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中;其中,所述背景图像的尺寸大于所述屏幕的显示尺寸。
进一步地,所述虚拟现实处理还包括分屏处理,所述分屏处理具体为:
获取用户的左眼球的左视角与右眼球的右视角间的视差;
复制已完成沉浸化处理的待显示的图像数据,获得左眼图像和右眼图像;
根据所述视差调整所述左眼图像和所述右眼图像的视差,以分屏显示左右眼图像。
进一步地,所述装置还包括:
焦点坐标接收模块40,用于在所述标准图像数据显示在所述移动设备的屏幕后,获取当前用户的视觉焦点坐标;
焦点坐标判断模块50,用于判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内;
触发判断模块60,用于当所述视觉焦点坐标位于所述范围内时,判断所述视觉焦点是否满足预设的触发条件,所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令;
坐标转化模块70,用于当所述视觉焦点满足所述触发条件时,将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标;
操作信息发送模块80,用于将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给操作系统。
本发明实施例提供的图像数据处理的装置,当移动设备判别到写入到图像数据缓冲区的图像数据为非VR图像数据时,将该图像数据转化成能应用于虚拟现实场景的标准图像数据,再将标准图像数据写入到图像数据缓冲区中进行相应的显示,从而,即使移动设备发生系统事件请求,移动设备的屏幕上显示的图像仍为VR图像,用户无需摘下VR镜片设备再查看显示的图像,即无需用户从VR视角转变成平面视角与操作系统进行交互,可以在VR视角下无缝地与操作系统进行交互。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (12)

1.一种图像数据处理的方法,其特征在于,包括:
在运行虚拟现实应用时,实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景;
当所述待显示的图像数据不能应用于虚拟现实场景时,从所述图像数据缓冲区中提取所述待显示的图像数据,通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据;
将所述标准图像数据写入所述图像数据缓冲区,以使所述标准图像数据显示在屏幕中。
2.如权利要求1所述的图像数据处理的方法,其特征在于,所述实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景,包括:
实时读取写入到图像数据缓冲区的待显示的图像数据的标识;所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据;
根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。
3.如权利要求1所述的图像数据处理的方法,其特征在于,所述虚拟现实处理包括球面化处理,所述球面化处理具体为:
对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y),根据球面化公式:计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py);其中,R是预设的球面化曲率;
将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标,完成对所述待显示的图像数据的球面化处理。
4.如权利要求3所述的图像数据处理的方法,其特征在于,所述虚拟现实处理还包括沉浸化处理,所述沉浸化处理具体为:
将已完成球面化处理的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中;其中,所述背景图像的尺寸大于所述屏幕的显示尺寸。
5.如权利要求4所述的图像数据处理的方法,其特征在于,所述虚拟现实处理还包括分屏处理,所述分屏处理具体为:
获取用户的左眼球的左视角与右眼球的右视角间的视差;
复制已完成沉浸化处理的待显示的图像数据,获得左眼图像和右眼图像;
根据所述视差调整所述左眼图像和所述右眼图像的视差,以分屏显示左右眼图像。
6.如权利要求1所述的图像数据处理的方法,其特征在于,所述方法还包括:
在所述标准图像数据显示在屏幕之后,获取当前用户的视觉焦点坐标;
判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内;
若是,则判断所述视觉焦点是否满足预设的触发条件,所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令;
若满足所述触发条件,则将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标;
将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给操作系统。
7.一种图像数据处理的装置,其特征在于,包括:
实时判断模块,用于在运行虚拟现实应用时,实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景;
图像转化处理模块,用于当所述待显示的图像数据不能应用于虚拟现实场景时,从所述图像数据缓冲区中提取所述待显示的图像数据,通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据;
图像数据显示模块,用于将所述标准图像数据写入所述图像数据缓冲区,以使所述标准图像数据显示在屏幕中。
8.如权利要求7所述的图像数据处理的装置,其特征在于,所述实时判断模块包括:
标识读取单元,用于实时读取写入到图像数据缓冲区的待显示的图像数据的标识;所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据;
标识判断单元,用于根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。
9.如权利要求7所述的图像数据处理的装置,其特征在于,所述虚拟现实处理包括球面化处理,所述球面化处理具体为:
对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y),根据球面化公式:计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py);其中,R是预设的球面化曲率;
将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标,完成对所述待显示的图像数据的球面化处理。
10.如权利要求9所述的图像数据处理的装置,其特征在于,所述虚拟现实处理还包括沉浸化处理,所述沉浸化处理具体为:
将完成球面化的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中;其中,所述背景图像的尺寸大于所述屏幕的显示尺寸。
11.如权利要求10所述的图像数据处理的装置,其特征在于,所述虚拟现实处理还包括分屏处理,所述分屏处理具体为:
获取用户的左眼球的左视角与右眼球的右视角间的视差;
复制已完成沉浸化处理的待显示的图像数据,获得左眼图像和右眼图像;
根据所述视差调整所述左眼图像和所述右眼图像的视差,以分屏显示左右眼图像。
12.如权利要求7所述的图像数据处理的装置,其特征在于,所述装置还包括:
焦点坐标接收模块,用于在所述标准图像数据显示在屏幕后,获取当前用户的视觉焦点坐标;
焦点坐标判断模块,用于判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内;
触发判断模块,用于当所述视觉焦点坐标位于所述范围内时,判断所述视觉焦点是否满足预设的触发条件,所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令;
坐标转化模块,用于当所述视觉焦点满足所述触发条件时,将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标;
操作信息发送模块,用于将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给操作系统。
CN201611216926.XA 2016-12-26 2016-12-26 图像数据处理的方法及装置 Pending CN106851240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611216926.XA CN106851240A (zh) 2016-12-26 2016-12-26 图像数据处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611216926.XA CN106851240A (zh) 2016-12-26 2016-12-26 图像数据处理的方法及装置

Publications (1)

Publication Number Publication Date
CN106851240A true CN106851240A (zh) 2017-06-13

Family

ID=59135556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611216926.XA Pending CN106851240A (zh) 2016-12-26 2016-12-26 图像数据处理的方法及装置

Country Status (1)

Country Link
CN (1) CN106851240A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840045A (zh) * 2017-11-28 2019-06-04 深圳市冠旭电子股份有限公司 一种虚拟现实设备的控制方法、系统及终端设备
CN114302221A (zh) * 2021-03-26 2022-04-08 海信视像科技股份有限公司 一种虚拟现实设备及投屏媒资播放方法
WO2022111005A1 (zh) * 2020-11-30 2022-06-02 海信视像科技股份有限公司 虚拟现实设备及vr场景图像识别方法
WO2023206282A1 (zh) * 2022-04-28 2023-11-02 京东方科技集团股份有限公司 图像显示方法及系统、计算机可读存储介质及电子设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023471A (ja) * 1996-07-05 1998-01-23 Sony Corp ホワイトバランス測定装置
CN1771740A (zh) * 2003-01-24 2006-05-10 米科伊公司 立体全景图像捕捉装置
CN101266546A (zh) * 2008-05-12 2008-09-17 深圳华为通信技术有限公司 一种实现操作系统三维显示的方法和一种三维操作系统
CN101938599A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成互动的动态全景影像的方法
CN105245838A (zh) * 2015-09-29 2016-01-13 成都虚拟世界科技有限公司 一种全景视频播放方法及播放器
WO2016036625A1 (en) * 2014-09-03 2016-03-10 Microsoft Technology Licensing, Llc Management of content in a 3d holographic environment
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
WO2016076680A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN105808184A (zh) * 2016-02-24 2016-07-27 北京小鸟看看科技有限公司 显示安卓2d应用图像的方法、装置及一种头戴设备
CN105898062A (zh) * 2016-04-26 2016-08-24 乐视控股(北京)有限公司 一种基于虚拟设备的来电管理方法及装置
CN105900051A (zh) * 2014-01-06 2016-08-24 三星电子株式会社 电子装置以及在虚拟现实模式下的事件显示方法
CN105892643A (zh) * 2015-12-31 2016-08-24 乐视致新电子科技(天津)有限公司 基于虚拟现实的多界面统一显示系统及方法
CN105957130A (zh) * 2016-04-18 2016-09-21 北京小鸟看看科技有限公司 一种实现虚拟现实系统平面启动动画的方法和装置
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置
CN106095432A (zh) * 2016-06-07 2016-11-09 北京小鸟看看科技有限公司 一种识别应用类型的方法
CN106215418A (zh) * 2016-07-06 2016-12-14 深圳超多维科技有限公司 一种应用的显示控制方法及其装置、终端
CN106227412A (zh) * 2016-07-27 2016-12-14 深圳羚羊极速科技有限公司 一种利用获取焦点触发手机vr应用的交互方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023471A (ja) * 1996-07-05 1998-01-23 Sony Corp ホワイトバランス測定装置
CN1771740A (zh) * 2003-01-24 2006-05-10 米科伊公司 立体全景图像捕捉装置
CN101266546A (zh) * 2008-05-12 2008-09-17 深圳华为通信技术有限公司 一种实现操作系统三维显示的方法和一种三维操作系统
CN101938599A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成互动的动态全景影像的方法
CN105900051A (zh) * 2014-01-06 2016-08-24 三星电子株式会社 电子装置以及在虚拟现实模式下的事件显示方法
WO2016036625A1 (en) * 2014-09-03 2016-03-10 Microsoft Technology Licensing, Llc Management of content in a 3d holographic environment
WO2016076680A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN105245838A (zh) * 2015-09-29 2016-01-13 成都虚拟世界科技有限公司 一种全景视频播放方法及播放器
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
CN105892643A (zh) * 2015-12-31 2016-08-24 乐视致新电子科技(天津)有限公司 基于虚拟现实的多界面统一显示系统及方法
CN105808184A (zh) * 2016-02-24 2016-07-27 北京小鸟看看科技有限公司 显示安卓2d应用图像的方法、装置及一种头戴设备
CN105957130A (zh) * 2016-04-18 2016-09-21 北京小鸟看看科技有限公司 一种实现虚拟现实系统平面启动动画的方法和装置
CN105898062A (zh) * 2016-04-26 2016-08-24 乐视控股(北京)有限公司 一种基于虚拟设备的来电管理方法及装置
CN106095432A (zh) * 2016-06-07 2016-11-09 北京小鸟看看科技有限公司 一种识别应用类型的方法
CN106215418A (zh) * 2016-07-06 2016-12-14 深圳超多维科技有限公司 一种应用的显示控制方法及其装置、终端
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置
CN106227412A (zh) * 2016-07-27 2016-12-14 深圳羚羊极速科技有限公司 一种利用获取焦点触发手机vr应用的交互方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840045A (zh) * 2017-11-28 2019-06-04 深圳市冠旭电子股份有限公司 一种虚拟现实设备的控制方法、系统及终端设备
WO2022111005A1 (zh) * 2020-11-30 2022-06-02 海信视像科技股份有限公司 虚拟现实设备及vr场景图像识别方法
CN114302221A (zh) * 2021-03-26 2022-04-08 海信视像科技股份有限公司 一种虚拟现实设备及投屏媒资播放方法
CN114302221B (zh) * 2021-03-26 2023-09-08 海信视像科技股份有限公司 一种虚拟现实设备及投屏媒资播放方法
WO2023206282A1 (zh) * 2022-04-28 2023-11-02 京东方科技集团股份有限公司 图像显示方法及系统、计算机可读存储介质及电子设备

Similar Documents

Publication Publication Date Title
US8203595B2 (en) Method and apparatus for enabling improved eye contact in video teleconferencing applications
US9595127B2 (en) Three-dimensional collaboration
US10942585B2 (en) Trackability enhancement of a passive stylus
US10284817B2 (en) Device for and method of corneal imaging
CN109902630A (zh) 一种注意力判断方法、装置、系统、设备和存储介质
US9626564B2 (en) System for enabling eye contact in electronic images
CN106851240A (zh) 图像数据处理的方法及装置
CN109074681A (zh) 信息处理装置、信息处理方法和程序
CN105787884A (zh) 一种图像处理方法及电子设备
CN101180653A (zh) 用于三维呈现的方法和设备
CN105763829A (zh) 一种图像处理方法及电子设备
US20230023903A1 (en) Image processing method, vr device, terminal, display system, and non-transitory computer-readable storage medium
WO2020020022A1 (zh) 视觉识别方法及其系统
WO2020036821A1 (en) Identification method and apparatus and computer-readable storage medium
KR20230042277A (ko) 확장 현실을 위한 난독화된 제어 인터페이스들
CN109782913A (zh) 一种控制屏幕内容显示的方法及装置
CN109613982A (zh) 头戴式ar显示设备的显示交互方法
US20190369807A1 (en) Information processing device, information processing method, and program
Hsu et al. Look at me! correcting eye gaze in live video communication
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
CN107223255A (zh) 一种基于虹膜识别的图像预览方法及装置
US20170302904A1 (en) Input/output device, input/output program, and input/output method
CN108337466B (zh) 一种视频通话方法及电子设备
CN107426522A (zh) 基于虚拟现实设备的视频方法和系统
CN117041670B (zh) 图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination