CN106254846B - 一种图像视差调整方法、装置及电子设备 - Google Patents
一种图像视差调整方法、装置及电子设备 Download PDFInfo
- Publication number
- CN106254846B CN106254846B CN201511018209.1A CN201511018209A CN106254846B CN 106254846 B CN106254846 B CN 106254846B CN 201511018209 A CN201511018209 A CN 201511018209A CN 106254846 B CN106254846 B CN 106254846B
- Authority
- CN
- China
- Prior art keywords
- parallax
- benchmark
- image
- shift amount
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种图像视差调整方法、装置及电子设备,涉及图像处理技术领域,用以提高立体视频图像的显示效果。本发明的图像视差调整方法包括:获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;获取所述待处理图像在位于拍摄零视差深度时的基准视差;其中所述拍摄零视差深度等于所述背景零视差深度;根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;根据所述视差偏移量对所述待处理图像进行调整。本发明主要用于立体视频显示技术中。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像视差调整方法、装置及电子设备。
背景技术
随着立体显示技术及虚拟场景融合技术的日益成熟,拥有虚拟场景的立体视频技术越来越多的出现在人们的生活当中。在使用这项技术的过程中,可以使用双目立体相机拍摄视频,然后在该视频中通过抠图技术提取出包括目标景物的待处理图像,再将待处理图像与虚拟背景图像融合到一起,从而得到拥有虚拟场景的立体视频图像。
但是,在上述过程中,由于待处理图像的视差和背景图像中同深度景物的视差不匹配,因而得到的立体视频图像不真实,显示效果较差。
发明内容
有鉴于此,本发明提供一种图像视差调整方法、装置及电子设备,用以提高立体视频图像的显示效果。
为解决上述技术问题,本发明提供一种图像视差调整方法,包括:
获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;
获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述背景零视差深度;
根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;
根据所述视差偏移量对所述待处理图像进行调整。
优选的,所述参考视差信息包括最大参考视差和最小参考视差;所述背景图像的视差信息还包括:背景图像最大视差和背景图像最小视差。
优选的,所述获取待处理图像的参考视差信息包括:
获取所述立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
获取所述待处理图像所对应的拍摄场景和所述立体相机之间的距离最大值和距离最小值;
根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式获得所述最大参考视差和最小参考视差:
其中,Discam_max表示最大参考视差,Discam_min表示最小参考视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d1和d2分别表示距离最大值和距离最小值。
优选的,所述获取所述待处理图像在位于拍摄零视差深度时的基准视差包括:
获取所述立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
根据所述背景图像的零视差深度、所述视野角、所述水平间距、所述水平分辨率按照下述公式获得所述基准视差:
其中,Discam_0表示基准视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d0表示拍摄零视差深度。
优选的,所述根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量包括:
根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数;
根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量。
优选的,所述根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数包括:
将所述初始视差和所述基准视差进行比较;
当所述初始视差大于等于所述基准视差时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数;
当所述初始视差小于所述基准视差时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
优选的,所述根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数包括:
将所述背景图像的最大视差与所述背景图像的最小视差之差作为第一参数;
将所述最大参考视差和所述最小参考视差之差作为第二参数;
将所述第一参数和所述第二参数的商作为所述视差调整系数。
优选的,所述根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量包括:
将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理图像的目标视差;
将所述初始视差和所述目标视差之差作为所述视差偏移量。
优选的,所述根据所述视差偏移量对所述待处理图像进行调整,包括:
当所述待处理图像为利用所述立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向左平移;
当所述待处理图像为利用所述立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向右平移。
第二方面,本发明提供一种图像视差调整装置,包括:
第一获取单元,用于获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;
第二获取单元,用于获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述背景零视差深度;
第三获取单元,用于根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;
处理单元,用于根据所述视差偏移量对所述待处理图像进行调整。
优选的,所述第一获取单元包括:
第一获取模块,用于获取所述立体相机的拍摄参数以及背景图像的视差信息,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
第二获取模块,用于获取所述待处理图像所对应的拍摄场景和所述立体相机之间的距离最大值和距离最小值;
第一计算模块,用于根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式获得所述最大参考视差和最小参考视差:
其中,所述参考视差信息包括最大参考视差和最小参考视差,Discam_max表示最大参考视差,Discam_min表示最小参考视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d1和d2分别表示距离最大值和距离最小值。
优选的,所述第二获取单元包括:
第三获取模块,用于获取所述立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
第二计算模块,用于第二计算模块,用于根据所述拍摄零视差深度、所述视野角、所述水平间距、所述水平分辨率按照下述公式获得所述基准视差:
其中,Discam_0表示基准视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d0表示拍摄零视差深度。
优选的,所述第三获取单元包括:
第五获取模块,用于根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数;
第六获取模块,用于根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量;
其中,所述参考视差信息包括最大参考视差和最小参考视差;所述背景图像的视差信息还包括:背景图像最大视差和背景图像最小视差。
优选的,所述第五获取模块,具体用于:
将所述初始视差和所述基准视差进行比较;
当所述初始视差大于等于所述基准视差时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数;
当所述初始视差小于所述基准视差时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
优选的,所述第五获取模块,具体用于:将所述背景图像的最大视差与所述背景图像的最小视差之差作为第一参数;将所述最大参考视差和所述最小参考视差之差作为第二参数;将所述第一参数和所述第二参数的商作为所述视差调整系数。
优选的,所述第六获取模块具体用于:
将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理图像的目标视差;将所述初始视差和所述目标视差之差作为所述视差偏移量。
优选的,所述处理单元具体用于:
当所述待处理图像为利用所述立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向左平移;
当所述待处理图像为利用所述立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向右平移。
第三方面,本发明提供一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行以下步骤:
获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;
获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述拍摄零视差深度;
根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;
根据所述视差偏移量对所述待处理图像进行调整。
优选的,所述背景图像的视差信息还包括:背景图像最大视差和背景图像最小视差;所述处理器还用于:
将所述初始视差和所述基准视差进行比较;
当所述初始视差大于等于所述基准视差时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数;当所述初始视差小于所述基准视差时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数;
根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量。
本发明的上述技术方案的有益效果如下:
在本发明实施例中,可根据待处理图像的参考视差信息、初始视差以及背景图像的视差信息,以及获取的待处理图像在相对于所述背景图像为零视差深度时的基准视差确定待处理图像的视差偏移量,从而可以根据所述视差偏移量对所述待处理图像进行调整。由于在本发明实施例中对待处理图像的视差调整考虑了背景图像的视差,因此利用本发明的方案可以使得待处理图像和背景图像的视差更为匹配,从而使得最终将待处理图像和背景图像合成后,该合成后的图像立体显示后的图像的视差更为合理,因而与现有技术相比利用本发明的方案获得的立体视频图像真实,显示效果更好。
附图说明
图1为现有技术的双目立体相机显示原理示意图;
图2为本发明实施例一的图像视差调整方法的流程图;
图3为本发明实施例二的图像视差调整方法的流程图;
图4为本发明实施例二中的视差调整原理示意图;
图5为本发明实施例三的图像视差调整装置的示意图;
图6为本发明实施例四的电子设备的示意图。
具体实施方式
下面将结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
图1为现有技术的双目立体相机显示原理示意图。如图1所示,人们所观看的立体视频是以屏幕作为零视差平面,视频中的场景既有凸出屏幕的部分(该部分场景视差为正视差),也有凹进屏幕的部分(该部分场景视差为负视差)。拍摄所用的立体相机大多为水平左右放置且光轴平行的双目立体相机。通常情况下,利用双目立体相机拍摄获得的图像并不适合直接输入立体显示设备直接观看,原因在于:(1)、由于利用双目立体相机拍摄出的左右图像之间的视差为正视差,而通常零视差平面又位于无穷远处,因而图像的视差范围较大,若不处理直接显示,则显示的都是凸出于屏幕的图像;(2)、利用双目立体相机获得的图像与背景图像的视差不匹配。因此,在立体视频播放之前需对拍摄出的图像的视差进行调整。
如图2所示,本发明实施例一的图像视差调整方法包括:
步骤11、获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息。
在利用双目立体相机进行拍摄时,对于拍摄到的图像中的一部分是用户想要融合到已经选定的背景图像中的,在此,我们将此部分图像称为待处理图像。在具体应用中该待处理图像可通过将拍摄获得的图像进行抠图算法获得,同时根据抠图算法的结果,也可以获得待处理图像的初始视差。
在本发明实施例中,所述参考视差信息包括最大参考视差和最小参考视差;所述背景图像的视差信息包括:背景零视差深度,背景图像最大视差和背景图像最小视差。其中,所述背景视差深度指的是在虚拟景物坐标系下的深度。由于背景图像是事先选定的,在选定了背景图像的同时也预先设定好了背景图像的视差信息参数,因此在执行本发明实施例的过程中,所述背景图像的视差信息可通过所述背景图像预设的视差信息参数获得。同时,在本发明实施例中还可获得拍摄用户的立体双目相机的拍摄参数,包括:立体相机的视野角,水平间距和水平分辨率等。因此,结合立体相机的拍摄参数以及立体相机与被拍摄对象之间的距离关系获得最大参考视差和最小参考视差。
步骤12、获取所述待处理图像在位于拍摄零视差深度时的基准视差。
在此,将所述待处理图像在拍摄零视差深度时的视差称为基准视差,其中所述拍摄零视差深度等于所述背景零视差深度。
其中所述拍摄零视差深度指的是在现实景物坐标系下的深度。背景图像在位于它的背景零视差深度时的视差为0。那么,为了保证待处理图像和背景图像的视差匹配并便于后续的调整,我们需要利用背景图像的背景零视差深度作为一个参考来确定待处理图像在位于拍摄场景中的、与背景零视差深度为同一视差深度时的视差,也即确定待处理图像在拍摄零视差深度时的基准视差。
其中,该基准视差可根据拍摄零视差深度、所述视野角、所述水平间距、所述水平分辨率获得。
步骤13、根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量。
在本发明实施例中,目标视差指的是该待处理图像调整后的视差。具体的,在此步骤中,可将所述基准视差和所述初始视差之差再乘以一个视差调整系数,将乘积作为所述待处理图像的目标视差。然后,再将所述初始视差和所述目标视差之差作为所述视差偏移量。
步骤14、根据所述视差偏移量对所述待处理图像进行调整。
具体的,在此步骤中,当所述待处理图像为利用所述立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像相对于所述背景图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向左平移。当所述待处理图像为利用所述立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向右平移。
由以上可以看出,由于在本发明实施例中对待处理图像的视差相对于背景图像的视差进行了调整,因此利用本发明的方案可以使得待处理图像和背景图像的视差更为匹配,从而使得最终将待处理图像和背景图像合成后,该合成后的图像立体显示后的图像的视差更为合理,因而与现有技术相比利用本发明的方案获得的立体视频图像真实,显示效果更好。
以下,结合本发明实施例二的图像视差调整方法详细描述一下本发明实施例的实现过程。
如图3所示,本发明实施例二的图像视差调整方法包括:
步骤21、获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息。
如前,在本发明实施例中,所述参考视差信息包括最大参考视差(Discam_max)和最小参考视差(Discam_min);所述背景图像的视差信息包括:背景零视差深度,背景图像最大视差(Disbg_max)和背景图像最小视差(Disbg_min)。其中,由于背景图像是事先选定的,因此所述背景图像的视差信息可通过所述背景图像的相关参数获得。待处理图像是通过抠图算法获得,因此该初始视差(Disin t)可以通过抠图处理的结果获得。
那么,对于最大参考视差和最小参考视差,在本发明实施例中可通过如下方式获得。
在利用立体相机进行拍摄时,通过读取立体相机的配置信息可获得所述立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率。假设被拍摄对象距离立体相机的距离为d,那么,根据立体相机拍摄参数等按照如下公式可确定被拍摄对象在深度为d时视差:
其中,Discam表示被拍摄对象在深度为d时视差(单位为像素),D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率。
设定立体相机距离待处理图像所在的场景的最大距离d1和最小距离d2。那么,根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式(1)和(2)获得所述最大参考视差和最小参考视差。
其中,Discam_max表示最大参考视差,Discam_min表示最小参考视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d1和d2分别表示距离最大值和距离最小值。
步骤22、获取所述待处理图像在位于拍摄零视差深度时的基准视差。
根据步骤21中获取的拍摄参数以及拍摄零视差深度按照下述公式(3)获得所述基准视差:
其中,Discam_0表示基准视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d0表示拍摄零视差深度。
步骤23、根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量。
为保证待处理图像的拍摄零视差深度和背景图像的背景零视差深度相匹配,在此需要将待处理图像在拍摄零视差深度时的视差,也即将基准视差调整为零。
具体的,在此步骤中可包括:
步骤231、根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数。
在此步骤中,可通过以下任一方式获得视差调整系数。
方式一、在具体应用中,由于待处理图像可能位于零视差深度之前,也有可能位于零视差深度之后,因此,在此步骤中可根据不同的情况按照不同的方式获得该视差调整系数。
因此,在此方式中,首先将所述初始视差和所述基准视差进行比较。
当所述初始视差大于等于所述基准视差(待处理图像位于零视差深度之前)时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数。
具体的,按照下述公式(4)计算此时的视差调整系数:
当所述初始视差小于所述基准视差(待处理图像位于零视差深度之后)时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
具体的,按照下述公式(5)计算此时的视差调整系数:
其中,copos表示所述初始视差大于等于所述基准视差时的视差调整系数,coneg表示所述初始视差小于所述基准视差时的视差调整系数,Discam_max表示最大参考视差,Discam_min表示最小参考视差,Discam_0表示基准视差,Disbg_max表示背景图像最大视差,Disbg_min表示背景图像最小视差。
方式二、将所述背景图像的最大视差与所述背景图像的最小视差之差作为第一参数,将所述最大参考视差和所述最小参考视差之差作为第二参数。然后,将所述第一参数和所述第二参数的商作为所述视差调整系数。
也就是说,在此情况下,可不考虑待处理图像和零视差深度的关系,而直接按照下述公式(6)计算视差调整系数。
其中,co表示视差调整系数,Discam_max表示最大参考视差,Discam_min表示最小参考视差,Disbg_max表示背景图像最大视差,Disbg_min表示背景图像最小视差,Disbg_max-Disbg_min表示第一参数,Discam_max-Discam_min表示第二参数。
将方式一和方式二相比,由于在方式一中考虑到在具体应用中待处理图像的实际位置与零视差深度的关系,因此利用方式一计算的视差调整系数更能使得待处理图像和背景图像的视差相匹配,避免出现经调整后显示的图像出现畸变的现象,从而进一步提高显示效果。
步骤232、根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量。
在此步骤中,包括如下过程:
步骤2321、计算目标视差。具体的,将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理图像的目标视差。
具体的,如图4所示,当采用上述方式一的视差调整系数时,按照下述公式(7)和(8)计算目标视差。
当所述初始视差大于等于所述基准视差时:
Disobj=copos·(Disin t-Discam_0) (7)
当所述初始视差小于所述基准视差时,
Disobj=coneg·(Disin t-Discam_0) (8)
其中,Disobj表示目标视差,Disin t表示初始视差,Discam_0表示基准视差,copos表示所述初始视差大于等于所述基准视差时的视差调整系数,coneg表示所述初始视差小于所述基准视差时的视差调整系数;
具体的,当采用上述方式二的视差调整系数时,按照下述公式(9)计算目标视差。
Disobj=co·(Disin t-Discam_0)(9)
其中,Disobj表示目标视差,Disin t表示初始视差,Discam_0表示基准视差,co表示视差调整系数。
步骤2322、计算视差偏移量。具体的,将所述初始视差和所述目标视差之差作为所述视差偏移量。
具体的,当采用上述方式一的视差调整系数时,按照如下公式(10)获取所述视差偏移量:
其中,Val表示视差偏移量,Disobj表示目标视差,Disin t表示初始视差,Discam_0表示基准视差,copos表示所述初始视差大于等于所述基准视差时的视差调整系数,coneg表示所述初始视差小于所述基准视差时的视差调整系数,Discam_0表示基准视差。
具体的,当采用上述方式二的视差调整系数时,按照如下公式(11)获取所述视差偏移量:
Val=Disin t-Disobj=(1-co)Disin t+co·Discam_0 (11)
其中,Val表示视差偏移量,Disobj表示目标视差,Disin t表示初始视差,Discam_0表示基准视差,co表示视差调整系数,Discam_0表示基准视差。
步骤24、根据所述视差偏移量对所述待处理图像进行调整。
具体的,在此步骤中,当所述待处理图像为利用所述立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向左平移。
当所述待处理图像为利用所述立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向右平移。
由以上可以看出,由于在本发明实施例中根据背景图像的相关视差信息对待处理图像的视差进行了调整,因此利用本发明的方案可以使得待处理图像和背景图像的视差匹配,从而使得最终将待处理图像和背景图像合成后,该合成后的图像立体显示后的图像的视差更为合理,因而与现有技术相比利用本发明的方案获得的立体视频图像真实,显示效果更好。而且在本发明的一些实施例中还将待处理图像和背景图像相对于零视差时的位置关系作为考虑因素来确定视差调整系数,使得该些实施例所描述的技术方案更能使得待处理图像和背景图像的视差匹配,避免出现经调整及合成处理后显示的图像出现畸变,从而进一步的提高了显示效果,也更加符合立体显示的要求。
如图5所述,本发明实施例三的图像视差调整装置,包括:
第一获取单元31,用于获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;第二获取单元32,用于获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述背景零视差深度;第三获取单元33,用于根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;处理单元34,用于根据所述视差偏移量对所述待处理图像进行调整。
其中,所述第一获取单元31包括:第一获取模块,用于获取所述立体相机的拍摄参数以及背景图像的视差信息,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;第二获取模块,用于获取所述待处理图像所对应的拍摄场景和所述立体相机之间的距离最大值和距离最小值;第一计算模块,用于根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式获得所述最大参考视差和最小参考视差:
其中,所述参考视差信息包括最大参考视差和最小参考视差,Discam_max表示最大参考视差,Discam_min表示最小参考视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d1和d2分别表示距离最大值和距离最小值。
其中,所述第二获取单元32包括:第三获取模块,用于获取所述立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;第二计算模块,用于根据所述拍摄零视差深度、所述视野角、所述水平间距、所述水平分辨率按照下述公式获得所述基准视差:
其中,Discam_0表示基准视差,D表示水平间距,f表示立体相机的视野角,Re s表示水平分辨率,d0表示拍摄零视差深度。
其中,所述第三获取单元33包括:第五获取模块,用于根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数;第六获取模块,用于根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量;其中,所述参考视差信息包括最大参考视差和最小参考视差;所述背景图像的视差信息还包括:背景图像最大视差和背景图像最小视差。
具体的,所述第五获取模块具体用于:将所述初始视差和所述基准视差进行比较;当所述初始视差大于等于所述基准视差时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数;当所述初始视差小于所述基准视差时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
或者,所述第五获取模块具体用于:将所述背景图像的最大视差与所述背景图像的最小视差之差作为第一参数,将所述最大参考视差和所述最小参考视差之差作为第二参数,并将所述第一参数和所述第二参数的商作为所述视差调整系数。
具体的,所述第六获取模块具体用于:将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理图像的目标视差;将所述初始视差和所述目标视差之差作为所述视差偏移量。
其中,所述处理单元34具体用于:当所述待处理图像为利用所述立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向左平移;当所述待处理图像为利用所述立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向右平移。
本发明所述装置的工作原理可参照前述方法实施例的描述。
由以上可以看出,由于在本发明实施例中对待处理图像的视差调整考虑了背景图像的视差信息,因此利用本发明的方案可以使得待处理图像和背景图像的视差匹配,从而使得最终将待处理图像和背景图像合成后,该合成后的图像立体显示后的图像的视差更为合理,因而与现有技术相比利用本发明的方案获得的立体视频图像真实,显示效果更好。
而且在本发明的一些实施例中还将待处理图像和背景图像相对于零视差时的位置关系作为考虑因素来确定视差调整系数,该些实施例所描述的技术方案更能使得待处理图像和背景图像的视差匹配,避免出现经调整和合成处理显示后的图像出现畸变的现象,从而进一步的提高了显示效果,也更加符合立体显示的要求。
如图6所示,本发明实施例四还提供了一种电子设备,可以实现本发明图1-2所示实施例的流程。如图6所示,上述电子设备可以包括:壳体61、处理器62、存储器63、电路板64和电源电路65,其中,电路板64安置在壳体61围成的空间内部,处理器62和存储器63设置在电路板64上;电源电路65,用于为上述电子设备的各个电路或器件供电;存储器63用于存储可执行程序代码;处理器62通过读取存储器63中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行以下步骤:
获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;
获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述背景零视差深度;
根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;
根据所述视差偏移量对所述待处理图像进行调整。
处理器62对上述步骤的具体执行过程以及处理器62通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图2-3所示实施例的描述,在此不再赘述。
由以上可以看出,由于在本发明实施例中对待处理图像的视差调整考虑了背景图像的视差,因此利用本发明的方案可以使得待处理图像和背景图像的视差匹配,从而使得最终将待处理图像和背景图像合成后,该合成后的图像立体显示后的图像的视差更为合理,因而与现有技术相比利用本发明的方案获得的立体视频图像真实,显示效果更好。而且在本发明的一些实施例中还将待处理图像和背景图像相对零视差时的位置关系作为考虑因素来确定视差调整系数,因此,利用本发明实施例的方案更能使得待处理图像和背景图像的视差匹配,避免出现经调整和合成处理显示后的图像出现畸变的现象,从而进一步的提高了显示效果,也更加符合立体显示的要求。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (19)
1.一种图像视差调整方法,其特征在于,包括:
获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;
获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述背景零视差深度;
根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;
根据所述视差偏移量对所述待处理图像进行调整;
其中,所述参考视差信息包括最大参考视差和最小参考视差,根据立体相机的拍摄参数以及立体相机与被拍摄对象之间的距离关系来获取所述最大参考视差和最小参考视差。
2.根据权利要求1所述的方法,其特征在于,所述背景图像的视差信息还包括:背景图像最大视差和背景图像最小视差。
3.根据权利要求2所述的方法,其特征在于,所述获取待处理图像的参考视差信息包括:
获取立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
获取所述待处理图像所对应的拍摄场景和所述立体相机之间的距离最大值和距离最小值;
根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式获得所述最大参考视差和最小参考视差:
其中,Discam_max表示最大参考视差,Discam_min表示最小参考视差,D表示水平间距,f表示立体相机的视野角,Res表示水平分辨率,d1和d2分别表示距离最大值和距离最小值。
4.根据权利要求2所述的方法,其特征在于,所述获取所述待处理图像在位于拍摄零视差深度时的基准视差包括:
获取立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
根据所述拍摄零视差深度、所述视野角、所述水平间距、所述水平分辨率按照下述公式获得所述基准视差:
其中,Discam_0表示基准视差,D表示水平间距,f表示立体相机的视野角,Res表示水平分辨率,d0表示拍摄零视差深度。
5.根据权利要求2所述的方法,其特征在于,所述根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量包括:
根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数;
根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数包括:
将所述初始视差和所述基准视差进行比较;
当所述初始视差大于等于所述基准视差时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数;
当所述初始视差小于所述基准视差时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
7.根据权利要求5所述的方法,其特征在于,所述根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数包括:
将所述背景图像的最大视差与所述背景图像的最小视差之差作为第一参数;
将所述最大参考视差和所述最小参考视差之差作为第二参数;
将所述第一参数和所述第二参数的商作为所述视差调整系数。
8.根据权利要求5-7任一所述的方法,其特征在于,所述根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量包括:
将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理图像的目标视差;
将所述初始视差和所述目标视差之差作为所述视差偏移量。
9.根据权利要求1所述的方法,其特征在于,所述根据所述视差偏移量对所述待处理图像进行调整,包括:
当所述待处理图像为利用立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向左平移;
当所述待处理图像为利用立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向右平移。
10.一种图像视差调整装置,其特征在于,包括:
第一获取单元,用于获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;
第二获取单元,用于获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述背景零视差深度;
第三获取单元,用于根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;
处理单元,用于根据所述视差偏移量对所述待处理图像进行调整;
其中,所述参考视差信息包括最大参考视差和最小参考视差,根据立体相机的拍摄参数以及立体相机与被拍摄对象之间的距离关系来获取所述最大参考视差和最小参考视差。
11.根据权利要求10所述的装置,其特征在于,所述第一获取单元包括:
第一获取模块,用于获取所述立体相机的拍摄参数以及背景图像的视差信息,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
第二获取模块,用于获取所述待处理图像所对应的拍摄场景和所述立体相机之间的距离最大值和距离最小值;
第一计算模块,用于根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式获得所述最大参考视差和最小参考视差:
其中,Discam_max表示最大参考视差,Discam_min表示最小参考视差,D表示水平间距,f表示立体相机的视野角,Res表示水平分辨率,d1和d2分别表示距离最大值和距离最小值。
12.根据权利要求10所述的装置,其特征在于,所述第二获取单元包括:
第三获取模块,用于获取所述立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率;
第二计算模块,用于根据所述拍摄零视差深度、所述视野角、所述水平间距、所述水平分辨率按照下述公式获得所述基准视差:
其中,Discam_0表示基准视差,D表示水平间距,f表示立体相机的视野角,Res表示水平分辨率,d0表示拍摄零视差深度。
13.根据权利要求10所述的装置,其特征在于,所述第三获取单元包括:
第五获取模块,用于根据所述参考视差信息、所述背景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数;
第六获取模块,用于根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量;
其中,所述背景图像的视差信息还包括:背景图像最大视差和背景图像最小视差。
14.根据权利要求13所述的装置,其特征在于,所述第五获取模块具体用于:
将所述初始视差和所述基准视差进行比较;
当所述初始视差大于等于所述基准视差时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数;
当所述初始视差小于所述基准视差时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
15.根据权利要求13所述的装置,其特征在于,所述第五获取模块具体用于:将所述背景图像的最大视差与所述背景图像的最小视差之差作为第一参数;将所述最大参考视差和所述最小参考视差之差作为第二参数;将所述第一参数和所述第二参数的商作为所述视差调整系数。
16.根据权利要求13-15任一所述的装置,其特征在于,所述第六获取模块具体用于:
将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理图像的目标视差;
将所述初始视差和所述目标视差之差作为所述视差偏移量。
17.根据权利要求10所述的装置,其特征在于,所述处理单元具体用于:
当所述待处理图像为利用立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向左平移;
当所述待处理图像为利用立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理图像向右平移。
18.一种电子设备,其特征在于,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行以下步骤:
获取待处理图像的参考视差信息、初始视差以及背景图像的视差信息;所述背景图像的视差信息包括:背景零视差深度;
获取所述待处理图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述拍摄零视差深度;
根据所述参考视差信息、所述背景图像的视差信息、所述基准视差、所述初始视差获取所述待处理图像的视差偏移量;
根据所述视差偏移量对所述待处理图像进行调整;
其中,所述参考视差信息包括最大参考视差和最小参考视差,根据立体相机的拍摄参数以及立体相机与被拍摄对象之间的距离关系来获取所述最大参考视差和最小参考视差。
19.根据权利要求18所述的电子设备,其特征在于,所述背景图像的视差信息还包括:背景图像最大视差和背景图像最小视差;所述处理器还用于:
将所述初始视差和所述基准视差进行比较;
当所述初始视差大于等于所述基准视差时,将利用所述背景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数;当所述初始视差小于所述基准视差时,将利用所述背景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数;
根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理图像的视差偏移量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511018209.1A CN106254846B (zh) | 2015-12-30 | 2015-12-30 | 一种图像视差调整方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511018209.1A CN106254846B (zh) | 2015-12-30 | 2015-12-30 | 一种图像视差调整方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106254846A CN106254846A (zh) | 2016-12-21 |
CN106254846B true CN106254846B (zh) | 2018-06-29 |
Family
ID=57626927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511018209.1A Active CN106254846B (zh) | 2015-12-30 | 2015-12-30 | 一种图像视差调整方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106254846B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115937291B (zh) * | 2022-09-14 | 2023-12-15 | 北京字跳网络技术有限公司 | 一种双目图像的生成方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102369735A (zh) * | 2009-06-29 | 2012-03-07 | 索尼公司 | 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法 |
CN102695070A (zh) * | 2012-06-12 | 2012-09-26 | 浙江大学 | 一种立体图像的深度一致性融合处理方法 |
CN102726052A (zh) * | 2010-10-01 | 2012-10-10 | 索尼公司 | 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法 |
CN102835120A (zh) * | 2010-04-14 | 2012-12-19 | 索尼公司 | 数据结构、图像处理设备、图像处理方法和程序 |
CN103168476A (zh) * | 2011-07-15 | 2013-06-19 | 索尼公司 | 发送器、发送方法以及接收器 |
-
2015
- 2015-12-30 CN CN201511018209.1A patent/CN106254846B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102369735A (zh) * | 2009-06-29 | 2012-03-07 | 索尼公司 | 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法 |
CN102835120A (zh) * | 2010-04-14 | 2012-12-19 | 索尼公司 | 数据结构、图像处理设备、图像处理方法和程序 |
CN102726052A (zh) * | 2010-10-01 | 2012-10-10 | 索尼公司 | 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法 |
CN103168476A (zh) * | 2011-07-15 | 2013-06-19 | 索尼公司 | 发送器、发送方法以及接收器 |
CN102695070A (zh) * | 2012-06-12 | 2012-09-26 | 浙江大学 | 一种立体图像的深度一致性融合处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106254846A (zh) | 2016-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10855909B2 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
US10523919B2 (en) | Apparatus and method for adjusting stereoscopic image parallax and stereo camera | |
US10469821B2 (en) | Stereo image generating method and electronic apparatus utilizing the method | |
US9286680B1 (en) | Computational multi-camera adjustment for smooth view switching and zooming | |
CN110574075B (zh) | 用于生成虚拟视点图像的设备、系统、方法和存储介质 | |
US8890934B2 (en) | Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same | |
US20080199070A1 (en) | Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image | |
US9746319B2 (en) | Generation of depth data based on spatial light pattern | |
CN103365063B (zh) | 三维图像拍摄方法和设备 | |
US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
CN105959669B (zh) | 一种基于重映射的集成成像微图像阵列快速生成方法 | |
CN106228530B (zh) | 一种立体摄影方法、装置及立体摄影设备 | |
CN106254846B (zh) | 一种图像视差调整方法、装置及电子设备 | |
JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
CN104121892B (zh) | 一种获取光枪射击的目标位置的方法、装置及系统 | |
CN104190078B (zh) | 一种光枪射击的目标识别方法、装置及系统 | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
US9743063B2 (en) | Method and apparatus for processing three-dimensional (3D) pseudoscopic images | |
TWI508526B (zh) | 產生視角平移影像之方法及其可攜式電子設備 | |
JP4249187B2 (ja) | 立体映像処理装置並びにそのプログラム | |
TWI466535B (zh) | 使用單鏡頭影像擷取裝置之立體成像方法以及基於用於立體影像顯示之第一、第二平面影像之立體影像增強方法與立體影像增強裝置 | |
TWI502960B (zh) | 二維轉三維轉換裝置及其方法 | |
JP5981460B2 (ja) | 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法 | |
CN113301321A (zh) | 成像方法、系统、装置、电子设备及可读存储介质 | |
CN106249858B (zh) | 一种显示转换方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |