CN111193919B - 一种3d显示方法、装置、设备及计算机可读介质 - Google Patents
一种3d显示方法、装置、设备及计算机可读介质 Download PDFInfo
- Publication number
- CN111193919B CN111193919B CN201811356847.8A CN201811356847A CN111193919B CN 111193919 B CN111193919 B CN 111193919B CN 201811356847 A CN201811356847 A CN 201811356847A CN 111193919 B CN111193919 B CN 111193919B
- Authority
- CN
- China
- Prior art keywords
- image
- object element
- screen
- screen terminal
- buckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明实施例公开了一种3D显示方法、装置、设备及计算机可读介质,涉及终端领域,所述方法包括:根据二维2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量;按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像;利用所述第一2D图像和所述第二2D图像,进行3D显示。
Description
技术领域
本发明实施例涉及终端领域,特别涉及一种3D显示方法、装置、设备及计算机可读介质。
背景技术
随着虚拟现实(Virtual Reality,VR)越来越火热,通过VR+终端(例如手机)观看三维(Three Dimensions,3D)影片给用户带来强大的视觉感受和冲击,未来3D影像将会越来越流行。但是受3D片源限制,用户只能在终端下载到对应的3D片源后才能享受到3D的影像。也就是说,用户无法随时享受3D影像。
发明内容
本发明实施例提供一种3D显示方法、装置、设备及计算机可读介质,解决用户受3D片源限制而无法随时观看3D影像的问题,实现2D原始图像的3D显示。
本发明实施例提供一种3D显示方法,所述方法包括:
根据二维2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量;
按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像;
利用所述第一2D图像和所述第二2D图像,进行3D显示。
本发明实施例提供的一种3D显示装置,所述装置包括:
确定模块,用于根据二维2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量;
移动模块,用于按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像;
显示模块,用于利用所述第一2D图像和所述第二2D图像,进行3D显示。
本发明实施例提供的一种3D显示设备,所述设备包括处理器和存储器,所述存储器上存储有可在所述处理器上运行的3D显示程序,所述3D显示程序被所述处理器执行时实现所述的3D显示方法的步骤。
本发明实施例提供的一种计算机可读介质,其上存储有3D显示程序,所述3D显示程序被处理器执行时实现所述的3D显示方法的步骤。
本发明实施例通过合理移动2D原始图像中物体元素的位置,得到分别供双眼观看的物体元素位置不同的2D图像,进而使用户感受到立体影像,即本发明实施例不受3D片源限制,可以随时对2D原始图像进行3D显示,不仅提升了3D显示的兼容性,也提升了用户体验。
附图说明
图1是本发明实施例提供的一种3D显示方法的示意性流程图;
图2a是三个物体A、B、C的俯视图;
图2b是图2a的平视图;
图2c是在单独使用左眼和右眼观察图2a中的三个物体时,左眼和右眼看到的A、B、C三个物体的位置示意图;
图2d是左眼看到的A、B、C三个物体的位置示意图;
图2e是右眼看到的A、B、C三个物体的位置示意图;
图3是本发明实施例提供的双屏终端3D立体双屏影像处理流程示意图;
图4是本发明实施例提供的双屏终端3D立体VR眼镜影像处理流程示意图;
图5a是应用实例1的拍摄图像示例图;
图5b是对图5a进行双眼视觉差异的算法示意图;
图5c和图5d分别是左眼和右眼应看到的图5a的图像;
图6a是应用实例2的俯视时的不同元素景深位置关系示意图;
图6b是单屏幕原始2D图像示意图;
图6c和图6d分别是左眼和右眼应看到的图6b的图像;
图7a是应用实例3的俯视时的不同元素景深位置关系示意图;
图7b人眼看到的终端文字的立体效果示意图;
图8a是应用实例4中双屏终端(例如手机)竖放时与VR设备的影像传输示意图;
图8b是应用实例4中双屏终端(例如手机)横放时与VR设备的影像传输示意图;
图9是本发明实施例提供的以像素互换算法填充留空区域的示意图;
图10是本发明实施例提供的一种3D显示装置的结构示意图;
图11是本发明实施例提供的一种3D显示设备的结构示意图。
具体实施方式
以下结合附图对本发明实施例进行详细说明,应当理解,以下所说明的实施例仅用于说明和解释本发明,并不用于限定本发明。本文中所使用的“第一”、“第二”,…等,并非特指次序或顺位,也非用于限定本发明,其仅为了区别以相同技术用于描述的元件或操作。本文中所使用的方向用于,例如,上、下、左、右、前、后等,仅是参考附图的方向。因此,使用的方向用语适用于说明并非用来限制本发明。本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包括但不限于。
图1是本发明实施例提供的一种3D显示方法的示意性流程图,如图1所示,所述方法可以包括:
步骤S101:根据2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量。
在一个实施方式中,步骤S101可以包括:对所述2D原始图像中的物体进行识别,得到所述2D原始图像中的物体元素,并根据每个所述物体元素相对于预定焦平面的相对位置,分别确定左眼和右眼观看到的每个所述物体元素在所述预定焦平面上的新位置,然后根据所述左眼观看到的每个所述物体元素在所述预定焦平面上的新位置和每个所述物体元素在所述预定焦平面上的原始位置,确定每个所述物体元素的第一像素偏移量,并根据所述右眼看到的每个所述物体元素在所述预定焦平面上的新位置和每个所述物体元素在所述预定焦平面上的原始位置,确定每个所述物体元素的第二像素偏移量。
在本实施方式中,可以利用已有的图像识别技术,对所述2D原始图像中的物体进行识别,得到物体元素。还可以在得到物体元素的基础上,利用已有的图像分类技术,对识别出的物体元素进行分类,例如按照位置层次,分为前景物体、中景物体、后景物体等,又例如按照突出程度,分为主要物体(或关键物体)和次要物体等。
在本实施方式中,每个所述物体元素相对于预定焦平面的相对位置是远离焦平面的用来实现3D显示的位置,是使双眼看到3D立体影像的基础,其可以是预设的,也可以是动态配置的。在步骤S101之前,需要获取预设的每个所述物体元素相对于预定焦平面的相对位置,或者,根据每个所述物体元素在所述2D原始图像中的位置层次信息,动态配置每个所述物体元素相对于预定焦平面的相对位置。
在本实施方式中,所述2D原始图像中的物体元素相对于所述预先焦平面的相对位置可以是零,即物体元素可以在所述预设焦平面上,或选择物体元素所在层作为焦平面。
步骤S102:按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像。
在一个实施方式中,按照每个所述物体元素的所述第一像素偏移量,移动所述2D原始图像中的每个所述物体元素,得到所述第一2D图像;并按照每个所述物体元素的所述第二像素偏移量,移动所述2D原始图像中的每个所述物体元素,得到所述第二2D图像。
在另一实施方式中,按照每个所述物体元素的所述第一像素偏移量,移动所述2D原始图像中的每个所述物体元素,并填充每个所述物体元素移动后产生的像素留空区域,得到所述第一2D图像;并按照每个所述物体元素的所述第二像素偏移量,移动所述2D原始图像中的每个所述物体元素,并填充每个所述物体元素移动后产生的像素留空区域,得到所述第二2D图像。
在本实施方式中,可以根据每个所述物体元素的第一和第二像素偏移量,确定每个所述物体元素移动后的像素留空区域,进而填充所述像素留空区域,填充方式包括但不限于像素互换填充法、虚化或均化运算近似法、物体等比例放大法。
步骤S103:利用所述第一2D图像和所述第二2D图像,进行3D显示。
在一个实施方式中,利用双屏终端的第一屏幕和第二屏幕分别显示所述第一2D图像和所述第二2D图像,并将所述第一屏幕显示的所述第一2D图像和所述第二屏幕显示的第二2D图像分别传送至3D显示设备,进行3D显示。
在本实施方式中,检测所述双屏终端是否已固定在所述3D显示设备中,若检测到所述双屏终端已固定在所述3D显示设备中,则按照预设配置,将所述第一屏幕显示的所述第一2D图像和所述第二屏幕显示的第二2D图像分别传送至所述3D显示设备的用于左眼观看的透镜系统和用于右眼观看的透镜系统。
在本实施方式中,所述3D显示设备具有用于锁定所述双屏终端的上、下、左、右卡扣四个卡扣,所述上卡扣和所述下卡扣用来固定竖直放置在所述3D显示设备中的所述双屏终端,所述左卡扣和右卡扣用于固定横向放置在所述3D显示设备中的所述双屏终端。
在本实施方式中,每个卡扣对应一个锁定传感器,当卡扣锁定双屏终端时,对应的锁定传感器可以发出卡扣生效指令。
在本实施方式中,当收到用于固定所述双屏终端的上卡扣和下卡扣对应的锁定传感器发出的卡扣生效指令或收到用于固定的所述双屏终端的左卡扣和右卡扣对应的锁定传感器发出的卡扣生效指令时,确定所述双屏终端已固定在所述3D显示设备中。
在另一实施方式中,可以将终端的屏幕划分为第一部分和第二部分,利用所述第一部分和第二部分分别显示所述第一2D图像和所述第二2D图像,并将所述第一部分显示的所述第一2D图像和所述第二部分显示的第二2D图像分别传送至3D显示设备,进行3D显示。
在本实施方式中,所述终端可以是单屏终端,也可以是双屏终端的任意一个屏幕。
以上实施方式中所述的3D显示设备包括但不限于VR设备。
目前,用户受3D片源限制,无法随时观看3D影像。因此,如果终端(例如手机)可以在用户想要观看3D影像时,配合特定的VR设备就能播放任何屏幕的3D影像,将极大提升用户体验。3D技术最核心的原理在于左右双眼的视觉误差,大脑把这种视觉误差合成成了3D立体影像。例如,如果用户分别捂住左眼和右眼看同一事物(例如一根柱子),左眼和右眼分别看到的柱子的位置是有一定位置偏移。对于双屏终端(例如双屏手机),如果可以分别显示带有一定视觉误差的影像,结合特定的VR设备,就可以观看到3D形态的按钮,短信,电话簿,或者用户拍摄的户外照片等等,将给用户带来不一样的视觉体验。
下面给出一个3D到2D图像,2D到3D图像最基本的转换原理。图2a是三个物体A、B、C的俯视图,如图2a所示,分别处于不同的位置。经2D的照相机拍摄后,得到如图2b所示的平视图,此时三个物体的位置信息已丢失,也就是从3D变成了2D图像。
双眼看到同一个物体的位置是有细微差异的,这种差异即的视觉误差,通过视觉误差,大脑经过一定的运算后展现出立体影像(即3D影像)。当单独使用左眼和右眼观察图2a中的三个物体时,左眼和右眼看到的A、B、C三个物体的位置分别如图2c所示,其中,下角标L和R分别代表左眼和右眼,下角标2代表2D图像的投影位置。也就是说,如果单独使用左眼和右眼看到的A、B、C的位置分别为图2d和图2e所示,则大脑会自动合成原始的A、B、C三个物体所在的位置,即3D影像。
图3是本发明实施例提供的双屏终端3D立体双屏影像处理流程示意图,如图3所示,所述处理流程可以包括:
步骤S201:在图像缓存(或显示缓存)中获取一帧图像。
步骤S202:采用图像识别或者其他技术获取图像中的关键物体元素,并且对于物体进行立体位置排序。
步骤S203:读取预设或动态配置的物体相对于选定的焦平面的立体相对位置,并且计算出各个物体相对于原始图像的位移,得到各个物体的像素位移表。
步骤S204:对于各个物体按照计算出的像素位移进行位移后,分别得到屏1和屏2要显示的图像数据,并且分别显示到屏1和屏2上。
也就是说,本发明实施例提供一种基于双屏终端(例如双屏手机)显示实时3D图像的方法,实现将2D图像转换为可以在双屏终端上显示并且在对应的VR设备上显示为3D图像,其具体方法为:实时的在显示缓存中获取一帧图像,然后对于图像中的物体元素进行分类,根据预设的不同物体在景深上的相对位置配置对于此图像中的物体要分别在屏1和屏2上显示的像素偏移量进行计算,得到各个物体的像素偏移量。按照所计算出的像素偏移量对所述图像中的元素进行移动后分别放置于屏1和屏2上进行显示。
图4是本发明实施例提供的双屏终端3D立体VR眼镜影像处理流程示意图,如图4所示,所述处理流程可以包括:
步骤S301:读取卡扣位置传感器(或卡扣传感器、传感器)的状态。
步骤S302:判断卡扣传感器的状态,确定卡扣是否锁定,若上下卡扣锁定,则执行步骤S303,若左右卡扣锁定,则执行步骤S304,若无卡扣锁定,则执行步骤S305。
步骤S303:确定终端处于竖放状态,将左右屏影像分别映射到左右眼。
步骤S304:确定终端处于横放状态,按照预设的配置将上下屏影像分别映射到左右眼
步骤S305:不进行任何无动作。
也就是说,本发明实施例提供一种基于双屏终端显示实时3D图像的VR设备(例如VR眼镜),所述VR设备具备与双屏终端(例如双屏手机)放置方向配套的卡扣及传感器。在卡扣设备卡住固定放置进去的双屏终端后,卡扣对应的传感器发送信号给影像控制单元,影像控制单元控制VR眼镜的透镜系统,分别将双屏终端的屏1和屏2的图像按照预设的配置传递给用户的左眼和右眼。
应用实施1:拍摄图片的3D显示。
图5a是已拍摄图像示例图,如图5a所示,该图像是一个典型的具备位置层次感的图像,其中具备明确的突出显示的物体(即网球),前景(即球网),中景(即网球运动员),背景(即除了运动员,网球,球网之外的其他物体)。通过已有的图像识别技术(图像识别和分类技术不是本专利的发明点,在此不再赘述),可以将此图片的几个主要物体进行分类,物体分别为:背景、网球运动员,网球,球网。
假设当前终端(例如手机)显示屏的分辨率为720dpi(像素数/英寸,Pixels/inch),1英寸(inch,in)等于2.54厘米(cm)。如果整个图片的宽和高分别为12英寸和8英寸,则宽和高的像素数目分别为720*12=8640,8*720=5760。人眼的双眼距离大概在5.5cm~6.5cm之间,这里取中间值6cm,也就是2.5英寸左右。
图5b给出了如果要将这些物体转换为可以显示在双屏手机上的用于3D显示的图像时,需要进行的双眼视觉差异的算法示意图。
如图5b所示,a为网球运动员的原始位置,b为球网和背景的原始位置,球网和背景再延展至整个图片中,因此可以采用图片的中间点c作为网球的原始位置。
假设要创造的视觉效果是在36英寸(36-in)外观看比赛,选择网球与网球运动员所在的图层作为焦平面。这样,点a自然就落在焦平面上。
将网球从位置c远离焦平面向前移动5英寸(5-in)到达位置f(即网球的新位置),模拟网球被打出的效果,由于这个移动,左眼看到网球的位置变为点r,右眼看到网球的位置变为点q。
球网从原来的点b远离焦平面向前移动2英寸(2-in)到位置e(即球网的新位置),左眼看到球网的位置变为o,右眼看到球网的位置变为n。
同理,背景从点b远离焦平面后退4英寸(4-in)到达位置d(即背景的新位置),则左眼看到背景的位置变为m,右眼看到背景的位置变为p。
以上给出的背景、网球运动员,网球,球网的位置如表1所示。
表1.双眼视觉差异位置表.
下面采用基本的数学和几何运算,找到这些关键物体在左眼和右眼图像中具体应该位移多少像素。
以网球为例,针对左眼,网球位移计算过程如下:
采用类似photoshop的图像处理软件,测量得到网球的原始位置c的x坐标为5850.5像素,除以分辨率720dpi,则确定网球的原始位置c的x坐标为8.126英寸左右。其中点b是按照图像中间点设置(假设图像宽度12英寸),所以点b的x坐标为12/2=6英寸,此时确定线段bc的长度=8.126-6=2.126英寸。
针对左眼,图片中网球偏移量的计算过程如下:
找到偏移量cr,如图5b所示,cr=fw,那么只需要计算出线段fw的长度即可。基本的几何原理和三角运算原理,由于△rfw~△fLt(即三角形rfw相似于三角形fLt,两个三角形相似),则有如下关系成立:
转换为像素:0.545*720=392(像素)。
针对右眼,图片中网球偏移量的计算过程如下:
与计算针对左眼时的网球偏移量的计算过程类似,右眼的偏移量cq=fx。同样根据三角形相似原理,△qfx~△fRt,得到:
转换为像素:0.141*720=102像素。
采用类似的方法,计算其他所有物体相对于原始2D图像(或2D原始图像)的像素偏移量,得到如表2所示的偏移量结果(或像素位移表),其中正数代表右移,负数代表左移。
表2.像素位移表
基于表2,用于3D显示时,终端的双屏分别显示左眼和右眼需要看到影像,即左眼和右眼应看到的图像分别如图5c和图5d所示。
应用实施2:终端(例如手机)对话框操作界面的3D显示。
图6a是应用实例2的不同元素景深位置关系示意图,如图6a所示,L为左眼,R为右眼,假设现在将弹出对话框的两个按钮(即前景A)、对话框本身(作为焦平面B),及其他背景(即终端主界面M)作为三个不同的物体进行立体显示,此时采用与应用实例1类似的原理进行运算。用户可以设置不同元素的景深,以产生不同的距离感。具体算法不再赘述。
图6b是单屏幕原始2D图像示意图,依据上述原理确定各物体的像素偏移量后,双屏幕3D处理显示结果如图6c和图6d所示,即左眼和右眼应看到的图6b的图像分别如图6c和图6d所示。
应用实施3:终端(例如手机)字体的3D显示.
在短信,电话簿或者某些文字类的界面中,可以提取文字,对于文字进行一定的处理,实现有质感和凹凸感的文字显示。景深元素运算示意图如图7a所示,L为左眼,R为右眼,现在将文字顶部(T1),文字底部(T2),短信或电话本或者其它文字类的界面(作为焦平面B),及背景(即终端背景界面M)作为不同的物体进行立体显示,使人眼看到终端的短信界面或电话簿界面或其它文字类界面的文字的立体效果,例如图7b所示的效果。
应用实施4:双屏配套VR眼镜设备
对于双屏产品,需要以转轴为双屏分界线进行隔离,并且允许用户横放或者竖放手机。
具体示例结构如下:此VR设备具备上下左右四个卡扣(或固定卡扣)及其对应的传感器(或卡扣位置传感器或卡扣传感器或锁定传感器)。
场景1:如图8a所示,当上下卡扣生效时,与所述上下卡扣对应的传感器发出指令,告知影像单元控制模块(或影像控制选择单元),所述影像单元控制模块发出指令给透镜系统,将左右屏的影像分别传递给用户的左右眼。
场景2:如图8b所示,当左右卡扣生效时,与所述左右卡扣对应的传感器发出指令,告知影像单元控制模块(或影像控制选择单元),所述影像单元控制模块发出指令给透镜系统,将上下屏的影像分别传递给用户的左右眼。
应当说明的是,在2D原始图像中的物体元素移动过程中,一部分区域会被物体元素的像素覆盖,一部分区域会因物体元素的移动被留空。以一个矩形按钮为例,通过API函数经过简单的运算可获取到所述矩形按钮的四个顶点a,b,c,d的位置,其中,四个顶点a,b,c,d围成的矩形内的像素形成按钮本身,如图9中虚线所示矩形框。在2D原始图像中移动所述矩形按钮后,假设供左眼观看的2D图像为图9上半部分实线所示的矩形框,即矩形按钮向左移动了一段距离,变成由四个顶点a_L,b_L,c_L,d_L围成的矩形,供右眼观看的2D图像为图9下半部分实线所示的矩形框,即矩形按钮向右移动了一段距离,变成由四个顶点a_R,b_R,c_R,d_R围成的矩形。那么在移动过程中,一部分区域的像素会被覆盖,例如图9上半部分四个顶点a_L,a,c,c_L围成的矩形内的像素和图9下半部分四个顶点b,b_R,d_R,d围成的矩形内的像素,而另一部分区域会因像素移动而被留空(即像素位移后,图像中出现的空白或者孔洞),例如图9上半部分四个顶点b_L,b,d,d_L围成的矩形区域和图9下半部分四个顶点a,a_R,c_R,c围成的矩形区域,此时需要对留空区域(或空洞区域)进行填充。
在一个实施方式中,可以采用像素互换填充法,对留空区域进行填充。
场景A:在供左眼和右眼观看的图像中,因移动导致的像素覆盖区域和留空区域正好互补。例如覆盖区域,即图9上半部分图像显示的a_L,a,c,c_L与图9下半部分图像显示的b,b_R,d_R,d的面积和形状完全相同。同理,留空区域,即图9上半部分图像显示的b,b_L,d_L,d与图9下半部分图像显示的a,a_R,c_R,c的面积和形状完全相同。此时可以进行完全的留空替代,也就是将供左眼观看的图像中的被覆盖的区域像素,直接填充供右眼观看的图像中的被留空的区域,反之亦然。具体实施步骤可以包括:
步骤1:将覆盖区域a_L,a,c,c_L的像素提取出来,存储到缓存M_L。将覆盖区域b,b_R,d_R,d的像素进行提取处理,存储到缓存M_R。
步骤2:将区域a,b,c,d所围成的矩形区域的像素拷贝到a_L,b_L,c_L,d_L,形成位移后的供左眼观看的按钮。将区域a,b,c,d所围成的矩形区域的像素拷贝到a_R,b_R,c_R,d_R,形成位移后的供右眼观看的按钮。
步骤3:将缓存M_R中的像素复制到供左眼观看的图像中的留空区域b,b_L,d_L,d,将缓存M_L中的像素复制到供右眼观看的图像中的留空区域a,a_R,c_R,c。
场景B:在供左眼和右眼观看的图像中,若覆盖区域和留空区域不相同,则需要执行像素区域匹配过程。过程如下:如果是供左眼观看的图像中的留空区域大于供右眼观看的图像中的覆盖区域,则取出覆盖区域,并针对该覆盖区域进行像素的循环填充,直至覆盖区域的大小等于左眼留空区域,再填充到留空区域。同样地,若供左眼观看的图像中的留空区域小于供右眼观看的图像中的覆盖区域,则从靠近物体最近的一边开始进行像素丢弃,直至剩余的大小等于留空区域,然后再利用剩余的覆盖区域对留空区域进行覆盖。
在另一实施方式中,可以采用虚化/均化运算近似法,对留空区域进行填充。
在本实施方式中,位移后出现的“空洞”,采用一定的模糊虚化运算,比如在供左眼观看的图像和供右眼观看的图像中,将被覆盖的区域的各个像素取出,像素的各个分量进行相加后取平均值,然后将平均后的像素逐一覆盖到空洞区域。
在又一实施方式中,可以采用物体等比例放大法,对留空区域进行填充。
在本实施方式中,将图像中被移动的物体进行等比例放大,从而利用放大后的物体覆盖掉因所述物体移动而出现的留空区域。例如在图9上半部分中,矩形按钮移动后,形成由四个顶点a_L,b_L,c_L,d_L围成的矩形区域,该矩形区域内的像素形成移动后的矩形按钮,为了填充四个顶点b_L,b,d,d_L围成的矩形留空区域,可以将四个顶点a_L,b_L,c_L,d_L围成的矩形按钮等比例放大,直至覆盖四个顶点b_L,b,d,d_L围成的矩形留空区域。同理,在图9下半部分中,矩形按钮移动后,形成由四个顶点a_R,b_R,c_R,d_R围成的矩形区域,该矩形区域内的像素形成移动后的矩形按钮,为了填充四个顶点a,a_R,c_R,c围成的矩形留空区域,可以将四个顶点a_R,b_R,c_R,d_R围成的矩形按钮等比例放大,直至覆盖四个顶点a,a_R,c_R,c围成的矩形留空区域。
图10是本发明实施例提供的一种3D显示装置的结构示意图,如图10所示,所述装置可以包括确定模块41、移动模块42和显示模块43。
所述确定模块41,用于根据2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量。
在一个实施方式中,所述确定模块41对所述2D原始图像中的物体进行识别,得到所述2D原始图像中的物体元素,并根据每个所述物体元素相对于预定焦平面的相对位置,分别确定左眼和右眼观看到的每个所述物体元素在所述预定焦平面上的新位置,然后根据所述左眼观看到的每个所述物体元素在所述预定焦平面上的新位置和每个所述物体元素在所述预定焦平面上的原始位置,确定每个所述物体元素的第一像素偏移量,并根据所述右眼看到的每个所述物体元素在所述预定焦平面上的新位置和每个所述物体元素在所述预定焦平面上的原始位置,确定每个所述物体元素的第二像素偏移量。
在本实施方式中,所述确定模块41可以利用已有的图像识别技术,对所述2D原始图像中的物体进行识别,得到物体元素。进一步地,所述确定模块41还可以在得到物体元素的基础上,利用已有的图像分类技术,对识别出的物体元素进行分类,例如按照位置层次,分为前景物体、中景物体、后景物体等,又例如按照突出程度,分为主要物体(或关键物体)和次要物体等。
在本实施方式中,每个所述物体元素相对于预定焦平面的相对位置是远离焦平面的用来实现3D显示的位置,是使双眼看到3D立体影像的基础,其可以是预设的,也可以是动态配置的。
在本实施方式中,所述2D原始图像中的物体元素相对于所述预先焦平面的相对位置可以是零,即物体元素可以在所述预设焦平面上,或选择物体元素所在层作为焦平面。
所述移动模块42,用于按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像。
在一个实施方式中,所述移动模块42按照每个所述物体元素的所述第一像素偏移量,移动所述2D原始图像中的每个所述物体元素,得到所述第一2D图像;并按照每个所述物体元素的所述第二像素偏移量,移动所述2D原始图像中的每个所述物体元素,得到所述第二2D图像。
在另一实施方式中,所述移动模块42按照每个所述物体元素的所述第一像素偏移量,移动所述2D原始图像中的每个所述物体元素,并填充每个所述物体元素移动后产生的像素留空区域,得到所述第一2D图像;并按照每个所述物体元素的所述第二像素偏移量,移动所述2D原始图像中的每个所述物体元素,并填充每个所述物体元素移动后产生的像素留空区域,得到所述第二2D图像。
在本实施方式中,所述移动模块42可以根据每个所述物体元素的第一和第二像素偏移量,确定每个所述物体元素移动后的像素留空区域,进而填充所述像素留空区域,填充方式包括但不限于像素互换填充法、虚化或均化运算近似法、物体等比例放大法。
所述显示模块43,用于利用所述第一2D图像和所述第二2D图像,进行3D显示。
在一个实施方式中,所述显示模块44利用双屏终端的第一屏幕和第二屏幕分别显示所述第一2D图像和所述第二2D图像,并将所述第一屏幕显示的所述第一2D图像和所述第二屏幕显示的第二2D图像分别传送至3D显示设备,进行3D显示。
在本实施方式中,所述3D显示设备具有用于锁定所述双屏终端的上、下、左、右卡扣四个卡扣,所述上卡扣和所述下卡扣用来固定竖直放置在所述3D显示设备中的所述双屏终端,所述左卡扣和右卡扣用于固定横向放置在所述3D显示设备中的所述双屏终端。每个卡扣对应一个锁定传感器,当卡扣锁定双屏终端时,对应的锁定传感器可以发出卡扣生效指令。
在本实施方式中,所述显示模块43可以包括:
影像控制选择单元,用于检测双屏终端是否已固定在3D显示设备中,若检测到所述双屏终端已固定在所述3D显示设备中,则按照预设配置,将所述双屏终端的第一屏幕显示的所述第一2D图像和所述第二屏幕显示的第二2D图像分别传送至所述3D显示设备的用于左眼观看的透镜系统和用于右眼观看的透镜系统。
在另一实施方式中,可以将终端的屏幕划分为第一部分和第二部分,所述显示模块43利用所述第一部分和第二部分分别显示所述第一2D图像和所述第二2D图像,并将所述第一部分显示的所述第一2D图像和所述第二部分显示的第二2D图像分别传送至3D显示设备,进行3D显示。
在本实施方式中,所述终端可以是单屏终端,也可以是双屏终端的任意一个屏幕。
以上实施方式中所述的3D显示设备包括但不限于VR设备。
图11是本发明实施例提供的一种3D显示设备的结构示意图,如图11所示,所述设备可以包括处理器51和存储器52,所述存储器52上存储有可在所述处理器51上运行的3D显示程序,所述3D显示程序被所述处理器51执行时实现所述的3D显示方法的步骤。
本发明实施例还提供的一种计算机可读介质,其上存储有3D显示程序,所述3D显示程序被处理器执行时实现所述的3D显示方法的步骤。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本发明实施例可以极大提升未来3D显示的兼容性,适用于双屏终端(例如双屏手机)产品在3D显示设备(可以是VR设备,例如VR眼镜)中的应用。
尽管上文对本发明进行了详细说明,但是本发明不限于此,本技术领域技术人员可以根据本发明的原理进行各种修改。因此,凡按照本发明原理所作的修改,都应当理解为落入本发明的保护范围。
Claims (7)
1.一种三维3D显示方法,其特征在于,所述方法包括:
根据2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量;
按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像;
利用双屏终端的第一屏幕和第二屏幕分别显示所述第一2D图像和所述第二2D图像;
检测所述双屏终端是否已固定在VR设备中;
若检测到所述双屏终端已固定在所述VR设备中,则按照预设配置,将所述第一屏幕显示的所述第一2D图像和所述第二屏幕显示的第二2D图像分别传送至所述VR设备的用于左眼观看的透镜系统和用于右眼观看的透镜系统;
所述检测所述双屏终端是否已固定在所述VR设备中包括:
若收到用于固定所述双屏终端的上卡扣和下卡扣对应的锁定传感器发出的卡扣生效指令或收到用于固定的所述双屏终端的左卡扣和右卡扣对应的锁定传感器发出的卡扣生效指令,则确定所述双屏终端已固定在所述VR设备中,其中,所述上卡扣和所述下卡扣用来固定竖直放置在所述VR设备中的所述双屏终端,所述左卡扣和右卡扣用于固定横向放置在所述VR设备中的所述双屏终端;确定所述双屏终端处于竖放状态时,将所述双屏终端的左右屏影像分别映射到左右眼观看的透镜系统;确定所述双屏终端处于横放状态时,将所述双屏终端的上下屏影像分别映射到左右眼观看的透镜系统。
2.根据权利要求1所述的方法,其特征在于,在所述根据2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量之前,还包括:
获取预设的每个所述物体元素相对于预定焦平面的相对位置;
或者,根据每个所述物体元素在所述2D原始图像中的位置层次信息,动态配置每个所述物体元素相对于预定焦平面的相对位置。
3.根据权利要求2所述的方法,其特征在于,所述根据2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量包括:
对所述2D原始图像中的物体进行识别,得到所述2D原始图像中的物体元素;
根据每个所述物体元素相对于预定焦平面的相对位置,分别确定左眼和右眼看到的每个所述物体元素在所述预定焦平面上的新位置;
根据所述左眼看到的每个所述物体元素在所述预定焦平面上的新位置和每个所述物体元素在所述预定焦平面上的原始位置,确定每个所述物体元素的第一像素偏移量;
根据所述右眼看到的每个所述物体元素在所述预定焦平面上的新位置和每个所述物体元素在所述预定焦平面上的原始位置,确定每个所述物体元素的第二像素偏移量。
4.根据权利要求1所述的方法,其特征在于,所述按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像包括:
按照每个所述物体元素的所述第一像素偏移量,移动所述2D原始图像中的每个所述物体元素,并填充每个所述物体元素移动后产生的像素留空区域,得到所述第一2D图像;
按照每个所述物体元素的所述第二像素偏移量,移动所述2D原始图像中的每个所述物体元素,并填充每个所述物体元素移动后产生的像素留空区域,得到所述第二2D图像。
5.一种三维3D显示装置,其特征在于,所述装置包括:
确定模块,用于根据2D原始图像中每个物体元素相对于预定焦平面的相对位置,确定所述2D原始图像中每个所述物体元素的用于3D显示的第一像素偏移量和第二像素偏移量;
移动模块,用于按照每个所述物体元素的所述第一像素偏移量和所述第二像素偏移量,分别移动所述2D原始图像中的每个所述物体元素,得到第一2D图像和第二2D图像;
显示模块,用于利用双屏终端的第一屏幕和第二屏幕分别显示所述第一2D图像和所述第二2D图像;
影像控制选择单元,用于检测所述双屏终端是否已固定在VR设备中;
若检测到所述双屏终端已固定在所述VR设备中,则按照预设配置,将所述第一屏幕显示的所述第一2D图像和所述第二屏幕显示的第二2D图像分别传送至所述VR设备的用于左眼观看的透镜系统和用于右眼观看的透镜系统;
所述检测所述双屏终端是否已固定在所述VR设备中包括:
若收到用于固定所述双屏终端的上卡扣和下卡扣对应的锁定传感器发出的卡扣生效指令或收到用于固定的所述双屏终端的左卡扣和右卡扣对应的锁定传感器发出的卡扣生效指令,则确定所述双屏终端已固定在所述VR设备中,其中,所述上卡扣和所述下卡扣用来固定竖直放置在所述VR设备中的所述双屏终端,所述左卡扣和右卡扣用于固定横向放置在所述VR设备中的所述双屏终端;确定所述双屏终端处于竖放状态时,将所述双屏终端的左右屏影像分别映射到左右眼观看的透镜系统;确定所述双屏终端处于横放状态时,将所述双屏终端的上下屏影像分别映射到左右眼观看的透镜系统。
6.一种三维3D显示设备,所述设备包括处理器和存储器,其特征在于,所述存储器上存储有在所述处理器上运行的3D显示程序,所述3D显示程序被所述处理器执行时实现如权利要求1至4中任一项所述的3D显示方法的步骤。
7.一种计算机可读介质,其特征在于,其上存储有三维3D显示程序,所述3D显示程序被处理器执行时实现如权利要求1至4中任一项所述的3D显示方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811356847.8A CN111193919B (zh) | 2018-11-15 | 2018-11-15 | 一种3d显示方法、装置、设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811356847.8A CN111193919B (zh) | 2018-11-15 | 2018-11-15 | 一种3d显示方法、装置、设备及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111193919A CN111193919A (zh) | 2020-05-22 |
CN111193919B true CN111193919B (zh) | 2023-01-13 |
Family
ID=70708894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811356847.8A Active CN111193919B (zh) | 2018-11-15 | 2018-11-15 | 一种3d显示方法、装置、设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111193919B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111970503B (zh) * | 2020-08-24 | 2023-08-22 | 腾讯科技(深圳)有限公司 | 二维图像的三维化方法、装置、设备及计算机可读存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1848966A (zh) * | 2006-04-10 | 2006-10-18 | 高盟 | 小窗口立体图像制作与显示方法 |
CN1956554A (zh) * | 2005-09-03 | 2007-05-02 | 三星电子株式会社 | 三维图像处理装置和方法 |
CN101635061A (zh) * | 2009-09-08 | 2010-01-27 | 南京师范大学 | 基于人眼立体视觉机制的自适应立体渲染方法 |
CN102210156A (zh) * | 2008-11-18 | 2011-10-05 | 松下电器产业株式会社 | 进行立体视再生的再生装置、再生方法、程序 |
CN102300103A (zh) * | 2010-06-25 | 2011-12-28 | 深圳Tcl新技术有限公司 | 一种将2d内容转换成3d内容的方法 |
CN102300105A (zh) * | 2010-06-25 | 2011-12-28 | 深圳Tcl新技术有限公司 | 一种将2d内容转换成3d内容的方法 |
CN102438161A (zh) * | 2011-08-19 | 2012-05-02 | 四川长虹电器股份有限公司 | 二维图像转三维图像的方法 |
CN104486611A (zh) * | 2014-12-29 | 2015-04-01 | 北京极维客科技有限公司 | 一种图像转换方法及装置 |
CN105376546A (zh) * | 2015-11-09 | 2016-03-02 | 中科创达软件股份有限公司 | 一种2d转3d方法、装置及移动终端 |
CN105808220A (zh) * | 2014-12-30 | 2016-07-27 | 深圳Tcl数字技术有限公司 | 应用程序显示三维立体效果的方法及装置 |
CN106598250A (zh) * | 2016-12-19 | 2017-04-26 | 北京星辰美豆文化传播有限公司 | 一种vr显示方法、装置和电子设备 |
CN107302694A (zh) * | 2017-05-22 | 2017-10-27 | 歌尔科技有限公司 | 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备 |
CN108124148A (zh) * | 2017-11-20 | 2018-06-05 | 上海玮舟微电子科技有限公司 | 一种单个视图影像转换多个视图影像的方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120055991A (ko) * | 2010-11-24 | 2012-06-01 | 삼성전자주식회사 | 영상처리장치 및 그 제어방법 |
-
2018
- 2018-11-15 CN CN201811356847.8A patent/CN111193919B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1956554A (zh) * | 2005-09-03 | 2007-05-02 | 三星电子株式会社 | 三维图像处理装置和方法 |
CN1848966A (zh) * | 2006-04-10 | 2006-10-18 | 高盟 | 小窗口立体图像制作与显示方法 |
CN102210156A (zh) * | 2008-11-18 | 2011-10-05 | 松下电器产业株式会社 | 进行立体视再生的再生装置、再生方法、程序 |
CN101635061A (zh) * | 2009-09-08 | 2010-01-27 | 南京师范大学 | 基于人眼立体视觉机制的自适应立体渲染方法 |
CN102300103A (zh) * | 2010-06-25 | 2011-12-28 | 深圳Tcl新技术有限公司 | 一种将2d内容转换成3d内容的方法 |
CN102300105A (zh) * | 2010-06-25 | 2011-12-28 | 深圳Tcl新技术有限公司 | 一种将2d内容转换成3d内容的方法 |
CN102438161A (zh) * | 2011-08-19 | 2012-05-02 | 四川长虹电器股份有限公司 | 二维图像转三维图像的方法 |
CN104486611A (zh) * | 2014-12-29 | 2015-04-01 | 北京极维客科技有限公司 | 一种图像转换方法及装置 |
CN105808220A (zh) * | 2014-12-30 | 2016-07-27 | 深圳Tcl数字技术有限公司 | 应用程序显示三维立体效果的方法及装置 |
CN105376546A (zh) * | 2015-11-09 | 2016-03-02 | 中科创达软件股份有限公司 | 一种2d转3d方法、装置及移动终端 |
CN106598250A (zh) * | 2016-12-19 | 2017-04-26 | 北京星辰美豆文化传播有限公司 | 一种vr显示方法、装置和电子设备 |
CN107302694A (zh) * | 2017-05-22 | 2017-10-27 | 歌尔科技有限公司 | 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备 |
CN108124148A (zh) * | 2017-11-20 | 2018-06-05 | 上海玮舟微电子科技有限公司 | 一种单个视图影像转换多个视图影像的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111193919A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109743892B (zh) | 虚拟现实内容的显示方法和装置 | |
US9049428B2 (en) | Image generation system, image generation method, and information storage medium | |
TWI547901B (zh) | 模擬立體圖像顯示方法及顯示設備 | |
KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
US20120236127A1 (en) | Processor, Apparatus and Associated Methods | |
US10074343B2 (en) | Three-dimensional image output apparatus and three-dimensional image output method | |
US20130057574A1 (en) | Storage medium recorded with program, information processing apparatus, information processing system, and information processing method | |
US20230298280A1 (en) | Map for augmented reality | |
JP2003284093A (ja) | 立体画像処理方法および装置 | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
JP2014095808A (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
CN110915206A (zh) | 用于产生看起来是投影在电子显示器前方或上方的虚拟三维图像的系统、方法和软件 | |
JP2013050883A (ja) | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 | |
CN104134235A (zh) | 真实空间和虚拟空间的融合方法和融合系统 | |
WO2013108285A1 (ja) | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 | |
CN113253845A (zh) | 一种基于人眼追踪视图显示方法、装置、介质及电子设备 | |
CN111095348A (zh) | 基于摄像头的透明显示器 | |
US9942540B2 (en) | Method and a device for creating images | |
CN111193919B (zh) | 一种3d显示方法、装置、设备及计算机可读介质 | |
CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
CN102799378A (zh) | 一种立体碰撞检测物体拾取方法及装置 | |
JP2003284095A (ja) | 立体画像処理方法および装置 | |
JP2012234411A (ja) | 画像生成装置、画像生成システム、画像生成プログラムおよび画像生成方法 | |
JP5766394B2 (ja) | 立体画像地図 | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |