CN111629195A - 一种3dvr照片的显示方法 - Google Patents

Abstract

本发明公开了一种3DVR照片的显示方法，结合高清3D拍摄，图像缩放、VR游历再现，来实现3D场景的拍摄、存储、显示。图像缩放可以模拟镜头的拉近推远效果，VR游历便于平滑浏览局部细节，当图像缩放和VR游历都停止的时候，静态显示高分辨率细节，三者相结合来动态显示场景的全部，以及兴趣点的局部细节。3DVR照片具有拍摄简单，传输、分享便捷，沉浸显示、立体生动的优点，保留了十分丰富的细节，消除了照片浏览碎片化感觉。

Description

一种3DVR照片的显示方法

技术领域：

本发明涉及一种3DVR照片，更具体地讲，涉及一种高清数码3D照片的显示方法。

背景技术：

目前135单反相机、无反相机拍摄照片已经达到30M～50M像素，智能手机拍摄的照片也超过了12M像素，而作为显示终端的手机、PAD、电脑屏幕像素大多为2M像素， 4K电视屏为8M像素。显然，显示端成为了照片再现的短板，为了看到更多细节，需要 100％显示照片局部并在屏幕上来回拖动，只能给予观看者碎片化而非完整的印象。

采用双机位视差拍摄的左右格式3D照片，像素可以高达60M～100M像素，而在裸眼3D手机或VR一体机上观看时，为了实现3D显示，照片被压缩处理成与显示屏清晰度一样，只有2M～4M像素，缺少3D显示细节，缺乏变化和动感，让3D摄影的魅力大打折扣。

VR逐渐普及，VR显示中采用了大视野及360°场景游历技术，其带来的现场感和沉浸感是其它显示方式难以企及的，但是，VR全景照片和视频在显示屏视窗中的清晰度目前还相当低，4K VR全景的清晰度还不如480P的3D照片。

本发明目的在于提供一种3DVR照片及显示方法。具有丰富细节的3D照片，通过 VR游历和图像缩放显示，模拟场景拉近、推远以及环视的动态效果，再现整个立体场景和清晰的局部细节。

发明内容：

本发明公开了一种3DVR照片，结合高清3D拍摄，图像缩放、VR游历再现，来实现3D场景的拍摄、存储、显示。

本发明中的3D拍摄是指视差立体拍摄，需要在具有水平视差的两个位置拍摄同一场景。拍摄方法主要有两种：双镜头同步拍摄，以及单镜头平移异步拍摄，两种方法各有优缺点以及适用性。

双镜头同步拍摄，如图1所示，需要两部相机(1)以及同步器(2)有线或无线连接，实现快门同步，采用更高精度的同步器，还可以实现闪光同步。双镜头同步拍摄适合各种场景(3)，如活动的人物、动物，公园、景点、广场等公众场合，也适合静态场景拍摄。不足之处在于需要两部相机(1)和同步器(2)，器材稍显复杂。

单镜头平移异步拍摄，如图2所示，只需要一部相机(1)，对准目标场景(3)，手持平移连拍就可以完成，十分简单方便。从多张连拍中挑选出视差合适的两张照片，利用图像软件调整一下目标场景(3)的偏移及旋转，组合成一张视差3D照片。除了手持拍摄，也可以将相机安装在滑轨上实现更稳定的移动拍摄；单镜头平移拍摄通过离机引闪实现闪光灯拍摄也很方便。既然是异步拍摄，两张视差照片之间存在拍摄的时间差，显然是不适合动态及公众场合拍摄。利用相机连拍功能，可以把拍摄的时间差控制在1秒以内，因此可以拍摄静态及准静态场景，包括人像棚拍、摆拍，静物拍摄。在没有中、近景人物移动的风景名胜等公众场所，单机平移异步拍摄也可以胜任，场景中个别移动目标对3D显示形成的干扰可以通过图像编辑修正。这种方法最大的优点是拍摄简单，对器材没有特殊要求，每个人都可以手持相机、手机拍摄3D照片。

3DVR照片相比于普通3D照片，需要拍摄、存储更多的图像细节，具有更高的显示清晰度。以单幅6000*4000像素的数码照片组成的3D照片为例，像素数达到48M，以常规3D照片显示方法，在1920*1080分辨率的手机屏幕上完整显示，需要压缩到 960*640大小。对于3DVR照片来说，其像素数远高于显示屏的分辨率，可以从完整的 960*640图像开始逐级无损放大，动态显示，一直到100％像素的局部显示，可以保证清晰细节和相当于6倍的无损数字变焦，因此可以通过图像缩放实现场景的拉近和推远效果，可以通过如图3所示的VR眼镜，采用分屏视窗的游历显示方法，实现场景局部细节的平滑浏览。

为了增强照片的吸引力，需要拍摄更大的场景，以及展现更多的局部细节，如图4所示，可以对3DVR照片左视差图像(9)和右视差图像(10)的目标区域(18)进行二级拍摄，目标区域(18)的大小一般为100％像素显示时视窗区域的大小，在3DVR 照片中称为左视局域图像(11)和右视局域图像(12)。二级拍摄的范围覆盖所关注的区域，可采用变焦镜头的长焦端在原位置拍摄，也可用原来的焦距走近目标拍摄，这时需要注意保持合适的视差。

3DVR照片的存储严格来说可以采用任意方式，为了便于不同显示APP之间的共享，采用通用的左右3D格式，左视差图像(9)和右视差图像(10)以图像块方式左右对齐存储，如图4所示；二级拍摄3DVR图像采用“田”字格的左右3D格式，如图5所示。

二级拍摄照片的左右视差图像称为二级左视差图像(13)和二级右视差图像(14)，最小倍率显示整体时，可以适当裁切让图像恰好充满左显示窗口(6)和右显示窗口(7)。从最小倍率整体到100％像素局部显示之间，可形成4倍的无损数字变焦，由此可见，以单幅24M图像分辨率拍摄，全高清屏幕显示为例，采用二级拍摄的3DVR照片，从整体到 100％局部无损显示之间，可实现24倍的放大。

本发明的重点在于3DVR照片的显示，实现3DVR照片的显示软件称为3DVR APP，包括图像缩放、VR游历和静态显示三个功能模块。图像缩放可以模拟镜头的拉近推远效果，VR游历便于平滑浏览局部细节，当图像缩放和VR游历都停止的时候，静态显示高分辨率细节，三者相结合来动态显示场景的全部，以及兴趣点的局部细节。

3DVR显示分为分屏(双屏)显示和全屏显示两类。

如图3所示的VR眼镜、VR一体机等近眼显示装置，显示屏均采用左右分屏或双屏模式；如图6所示的智能手机屏幕，被左右均分成左显示窗口(6)和右显示窗口(7)，与VR眼镜组合在一起，可作为3DVR照片的显示硬件装置之一。

全屏显示主要指裸眼3D手机、PAD、显示器，以及偏光、液晶光阀3D电视机等非近眼显示屏，如图7所示，显示窗口(15)占用全部显示屏。

显示窗口的图像分辨率为X*Y(单位：像素)，显然，全屏显示的显示窗口宽高比 X∶Y，比分屏窗口要大，两者进行的图像裁切缩放时比例有明显差别。全屏显示时还要对左右显示窗口的视差图像实时交织后显示。

设3DVR照片的单眼分辨率为W*H(单位：像素)，如图8所示，全场景显示时，用比例为X∶Y的裁切框(16)把完整的单视图W*H恰好居中装入其中，空白的部分用黑色填充，然后压缩成X*Y像素图像显示出来。这就是3D场景的完整显示，是常规3D照片的显示方法，在3DVR照片中作为显示的起始帧。我们以视频的方式显示3DVR照片，裁切框最大可以装入未压缩的视差图像，最小为X*Y像素的显示窗口，裁切框逐渐缩小的过程中，场景逐渐拉近图像平滑放大。设显示帧率为F，裁切框(16)的帧间压缩率为p，放大率为1/p，1＞p＞0.9，每一帧显示的图像是这样产生的：当前裁切框(16)从W*H 像素的视差图像对应位置截取图像块，压缩成X*Y像素的图像。显然，对于智能手机的运算能力和有限电量来说，要想达到较高的显示帧率，需要采用各种快速和简便算法来达到目的。p越接近1，图像缩放越平缓，p值越小，缩放越快速。

如图8所示，可以以当前裁切框(16)的中心点为中心进行图像缩放，来拉近推远场景；也可以在当前显示倍率视差图像(17)中指定目标区域(18)，将裁切框(16) 缩小的同时进行平移，逐渐拉近目标区域(18)。

更进一步，在VR眼镜中增加人眼注视点识别模块，以注视点图像块作为实时目标区域(18)，拉近放大的同时，逐渐平移到视窗中心，是一种更自然舒适的显示方法。

当3DVR照片处于局部显示时，为了观看视窗以外的场景，任意时刻都可以转换成VR游历方法显示。VR游历就是在当前缩放倍率下，显示窗口在X-Y方向上的平移，如图 9所示。帧间平移像素数为P，P≥1，显然，P越大，平移速度越快。显示窗口平移方向可以由陀螺仪确定，当手机屏幕的法线向某一方向偏转超过角度θ时，图像开始向反向移动，相当于VR显示中我们偏转头部时看到的更多场景。

在图像缩放、窗口平移动态显示的任意时刻，我们可以让图像停止下来静态显示，这时，当前裁切框(16)从W*H像素的视差图像对应位置全数据截取图像块，压缩成X*Y 像素的图像。显示窗口内图像经过全采样压缩而来，具有更高的清晰度。

在整个显示过程中，左右双屏缩放、平移、静态显示都是以相同的参数同步操作完成的，为了叙述方便，本文只针对左显示窗口(6)图像的缩放和平移过程进行图示和描述。针对VR眼镜的放大畸变，可以预先对显示窗口图像进行补偿校正，来进一步的提高显示效果。另外，为了描述更加直观，本发明应用了一些型号相机清晰度、手机屏幕分辨率的具体数值，但显然本发明的权利要求并不局限于这些具体数值。

缩放、平移、静态显示功能的触发，可以采用外接按键、视窗内建光标按键、声控或陀螺仪姿态触发等方式。除此之外，也可以采用无触发方式，按预定的缩放、平移路径来显示3D场景。

附图说明：

图1是双镜头同步3D拍摄示意图。

图2是单镜头平移3D拍摄示意图。

图3是VR眼镜近眼显示(俯视)示意图。

图4是视差3D图像示意图。

图5是二级拍摄3DVR图像示意图。

图6是智能手机分屏示意图。

图7是裸眼3D手机显示窗口示意图。

图8是图像缩放显示示意图。

图9是图像平移显示示意图。

图10是3DVR照片显示示意图。

图11是3DVR二级拍摄照片显示示意图。

上述各附图中的图示标号为：

1相机，2同步器，3拍摄场景，4VR眼镜左右分屏隔板，5放大镜，6左显示窗口， 7右显示窗口，8人眼，9左视差图像，10右视差图像，11左视局域图像，12右视局域图像，13二级左视差图像，14二级右视差图像，15显示窗口，16裁切框，17当前显示倍率视差图像，18目标区域。

本发明公开的3DVR照片，吸取了高清视频及VR显示的部分特点，具有拍摄简单，传输、分享便捷，沉浸显示、立体生动的优势。与VR及高清视频相比，拍摄器材、方法简单，数据量小、清晰度高；与普通3D照片相比，保留了数十倍丰富的细节；与2D数码照片相比，具有立体感和更高的清晰度。用本发明提供的显示方法观看2D 照片，也具有推拉和环视的效果，消除碎片化浏览感觉。

具体实施案例：

实施案例一，具体以sony A7r2相机为例，说明3DVR照片拍摄和显示的简便方法。如图2所示，将相机设置成慢速连拍，手持相机对准目标场景(3)，平移异步拍摄，从多张连拍中挑选出视差合适的两张照片，用photoshop软件调整手持拍摄中产生的偏移及旋转，对齐裁切成7500*5000像素大小，拼合成一张15000*5000像素的3DVR 照片。目前智能手机屏幕的比例一般大于16∶9，清晰度高于1920*1080，也存在分辨率高于1440P及2160P的超高清屏，出于通用性考虑，本例中将分屏的两个窗口均设定成960*1080大小，采用VR眼镜+智能手机的组合观看。如图10所示，以3DVR照片的中心为视窗中心，设帧间缩放率p＝0.996，显示帧率F＝30，从完整照片放大到100％像素局部显示，放大倍率为7500/960≈8倍变焦，需要约17秒钟。如果在完整照片即 1倍放大率处、2倍、4倍、8倍放大率及100％像素显示处各设置静态显示3秒钟，则从全场显示，放大拉近局部细节，再推远缩小到全场显示结束，共需要55秒。3DVR 照片的整个显示过程输出成全高清左右格式的3D视频文件，可以利用各种视频软件通过VR眼镜观看。本案例中，显示窗口设定成1920*1080，整个显示过程输出成1920*1080*2的左右(或上下)格式的3D视频文件，可以在裸眼3D手机、PAD、显示器，以及偏光、液晶光阀3D电视机等设备上观看。

实施案例二，左右格式3DVR照片的像素大小为15000*5000，左右单视差图像像素大小为7500*5000，分屏窗口为960*1080。采用显示窗口内置光标按键的功能触发方式，按键包括放大、缩小、平移、静态显示；任何时候，偏转手机，陀螺仪控制光标移动到相应按键上2秒钟触发该功能；当平移功能被触发后，陀螺仪识别手机的偏转方向来控制视窗内3D图像场景的平移方向。如图10所示，一开始显示全场景图像，触发放大功能，图像中心逐渐放大到当前倍率；触发平移功能，上下左右游历全部场景；遇到感兴趣的区域，触发静态显示；对当前窗口继续放大，直到100％局部显示，图像平移游历完全部场景，触发缩小功能逐渐回到全场景，显示结束。

实施案例三，在3DVR照片显示App中，显示窗口的大小是根据显示屏的分辨率自动设定或人工设定的。本例中智能手机的显示屏分辨率为2880*1440像素，显示窗口设定为1440*1440像素，照片采用二级拍摄，每个视差图像的像素大小均为7500*5000。采用陀螺仪姿态识别的功能触发方式：1，为手机屏幕法线方向设置初始状态；2，以初始法线方向为轴设置2个偏转范围锥角θ、2θ；3，任意时刻，手机偏转处于锥角θ范围内，图像静态显示；4，手机向右偏转处于锥角θ～2θ范围内，图像放大，向左偏转处于锥角θ～2θ范围内，图像缩小；5，手机偏转处于锥角2θ范围之外，图像向相对方向平移。如图11所示，一开始显示全场景图像，头部向右稍微偏移触发放大功能，图像逐渐放大，较大幅度偏移头部触发平移功能，上下左右游历全部场景，遇到感兴趣的区域，头部回到初始方向，触发静态显示，对当前窗口继续放大，直到一级拍摄图像100％局部显示，图像平移游历完一级拍摄全部场景。继续触发放大功能，图像先自动平移到目标区域(18)，再切换进入二级全场景的视差图像并进行放大显示，直至100％显示，游历完二级拍摄全部场景。头部向左稍微偏移触发缩小功能，向中央缩小到二级全场景，继续缩小到一级全场景结束。

3DVR照片目标区域(18)的左视局域图像(11)和右视局域图像(12)，与二级左视差图像(13)和二级右视差图像(14)之间，拍摄的时刻、角度存在一定的差异，两者的切换，可以采用渐隐淡化平滑过渡，也可以0.5～4Hz的频率来回切换数秒钟，以增强3D照片的动感。特别是在人像摄影中，动作、姿态的切换让人物鲜活起来。

Claims (10)

1.一种3DVR照片及显示方法，其特征在于，对于高清拍摄的具有左右视差的3D照片，通过图像缩放、VR游历显示的方法，来模拟场景拉近、推远，以及环视的效果，来再现立体场景的整体和局部细节。

2.如权利要求1所述的3DVR照片及显示方法，其特征还在于，为了展现更多的局部细节，对3DVR照片左视差图像(9)和右视差图像(10)的目标区域(18)进行二级拍摄，二级拍摄的范围覆盖所关注的目标区域。

3.如权利要求1或2所述的3DVR照片及显示方法，其特征还在于，3DVR照片的存储采用左右3D格式，左视差图像(9)和右视差图像(10)以图像块方式左右对齐存储，二级拍摄3DVR照片采用“田”字格的左右3D格式对齐存储。

4.如权利要求3所述的3DVR照片及显示方法，其特征还在于，显示APP的功能包括图像缩放、VR游历和静态显示三个功能模块，图像缩放模拟镜头的拉近推远效果，VR游历便于平滑浏览局部细节，在图像缩放、VR游历窗口动态显示的任意时刻，可以让图像停止下来静态显示，当前裁切框(16)从W*H像素的视差图像对应位置全数据截取图像块，经过全采样压缩成X*Y像素的图像，具有更高的清晰度。

5.如权利要求4所述的3DVR照片及显示方法，其特征还在于，采用左右分屏或双屏模式，包括智能手机屏幕被左右均分成左显示窗口(6)和右显示窗口(7)，与VR眼镜组合的显示方法：

a.设3DVR照片的单眼分辨率为W*H，用与左右显示窗口相同比例X：Y的裁切框(16)把完整的单视图W*H恰好居中装入其中，空白的部分用黑色填充，然后压缩成X*Y像素图像显示出来，作为3DVR照片中的起始帧，显示完整的3D场景；

b.裁切框最大可以装入完整的视差图像，最小为显示窗口X*Y像素，在裁切框逐渐缩小的过程中，场景逐渐拉近图像平滑放大；

c.静态显示时，当前裁切框(16)从W*H像素的视差图像对应位置截取图像块，全采样压缩成X*Y像素的图像；

d.任意时刻，可以当前裁切框(16)的中心点为中心进行图像缩放，来拉近推远场景，或者在当前显示倍率的视差图像(17)中指定目标区域(18)，将裁切框(16)缩小的同时进行平移，逐渐拉近目标区域(18)；

e.处于局部显示的任意时刻，图像可以在缩放和平移之间进行转换；

f.针对VR眼镜的放大畸变，可以预先对显示窗口图像进行补偿校正，来进一步的提高显示效果。

6.如权利要求4所述的3DVR照片及显示方法，其特征还在于，采用全屏显示模式，主要包括裸眼3D手机、PAD、显示器，以及偏光、液晶光阀3D电视机等非近眼显示屏，对左右显示窗口的视差图像实时交织成一帧3D图像，然后全屏显示。

7.如权利要求5所述的3DVR照片及显示方法，其特征还在于，在VR眼镜中增加人眼注视点识别模块，以注视点图像块作为实时目标区域(18)，图像拉近放大的同时，逐渐平移到视窗中心。

8.如权利要求5或6所述的3DVR照片及显示方法，其特征还在于，目标区域(18)的左视局域图像(11)和右视局域图像(12)，与二级左视差图像(13)和二级右视差图像(14)之间，拍摄的时刻存在一定的差异，以0.5～4Hz的频率来回切换数秒钟，以增强3D照片的动感。

9.如权利要求5所述的3DVR照片及显示方法，其特征还在于，缩放、平移、静态显示功能的触发，采用视窗内建光标按键或陀螺仪姿态触发方式。

10.如权利要求3所述的3DVR照片及显示方法，其特征还在于，采用无触发方式，按预定的缩放、平移路径来显示3D场景，显示窗口设定成1920*1080，整个显示过程输出成1920*1080*2的左右或上下格式3D视频文件，在全屏或分屏3D显示设备上观看。

Images