二维图像转换成三维图像的方法、装置及三维成像系统
技术领域
本发明涉及图像处理技术领域,具体涉及一种二维图像转换成三维图像的方法、装置及三维成像系统。
背景技术
立体视觉,即双眼视物时,主观上可产生被视物体的厚度以及空间的深度或距离等感觉。其主要原因是,同一被视物体在两眼视网膜上的像并不完全相同,左眼从左方看到物体的左侧面较多,而右眼则从右方看到物体的右侧面较多;来自两眼的图像信息经过视觉高级中枢处理后,产生一个有立体感的物体的形象。
随着显示技术和数字技术的发展,利用电子产品模仿人眼的立体视觉已经成为研究热点。在现有技术中,只有采用三维(3D)摄像头才能使用户看到3D图像。现有的3D摄像头多数是模仿人眼的结构,由双摄像头构成,一个摄像头采集的图像对应于人眼的左眼图像,另一个摄像头采集的图像对应于人眼的右眼图像,再利用图像处理设备合成左眼图像以及右眼图像,即可形成3D图像。
其中,现有技术中在利用3D摄像头采集图像时,一般在摄像头的镜头前方设置两个偏振方向互相垂直的偏振片,以得到左眼用图像以及右眼用图像。由于每个摄像头仅采集一个偏振方向的图像,会导致整个图像的分辨率,清晰度为实际图像的一半,进而影响3D成像的效果。
发明内容
有鉴于此,本发明实施例提供了一种二维图像转换成三维图像的方法、装置及图像处理设备,以解决3D成像效果不佳的问题。
根据第一方面,本发明实施例提供了一种二维图像转换成三维图像的方法,包括:
获取待处理二维图像;
对所述待处理二维图像进行透视变换,分别得到左眼图像和右眼图像,其中,所述透视变换为按照预设规则对所述待处理二维图像进行映射;
根据所述透视变换的结果,调节所述左眼图像与所述右眼图像之间的距离;
合成距离调节后的所述左眼图像以及右眼图像。
本发明实施例通过对待处理二维图像进行透视变换,创造出双眼视差图像,实现立体视觉;并将经过透视变换的左眼图像以及右眼图像进行距离的调节,形成双目视差,创建收敛角,使肉眼观察的图像位于不同的深度处,从而可以看到不同的立体效果。即,通过对二维图像进行图像变换,并不涉及图像的分辨率以及清晰度,进而3D成像的图像与原始的二维图像的图像质量相同,并不影响3D成像的效果。
结合第一方面,在第一方面第一实施方式中,所述对所述待处理二维图像进行透视变换,包括:
将所述待处理二维图像对齐到图像模板上,提取所述待处理二维图像的尺寸;
按照所述预设规则依次对各边所述尺寸进行线性缩放,得到第一图像;
镜像处理所述第一图像,得到第二图像;其中,所述第一图像为所述左眼图像,所述第二图像为所述右眼图像;或,所述第一图像为所述右眼图像,所述第二图像为所述左眼图像。
本发明实施例通过将二维图像通过线性缩放转换为对应于左右眼的两幅图像,即,将无视差的2D图像转换成具有视差的左眼图像与右眼图像,该转换过程仅涉及图像尺寸而与图像质量无关,因此经过线性缩放所形成的左眼图像以及右眼图像与原始二维图像的质量相同。本发明实施例提供的转换方法能够在保证图像质量不变的前提下,形成左眼图像以及右眼图像。
结合第一方面第一实施方式,在第一方面第二实施中,所述按照所述预设规则依次对各边所述尺寸进行线性缩放,包括:
逐行扫描所述待处理二维图像;
依次对每行的图像进行所述线性缩放。
本发明实施例通过对待处理二维图像进行逐行扫描,即依次对每行进行线性缩放,减小了处理的数据量,能够实现二维图像的实时转换。
结合第一方面第一实施方式,在第一方面第三实施方式中,所述根据所述透视变换的结果,调节所述左眼图像与所述右眼图像之间的距离,包括:
将所述左眼图像与所述右眼图像同时对齐到所述图像模板上;
沿第一方向平移所述左眼图像或右眼图像,使得所述左眼图像与所述右眼图像之间的距离达到预设距离。
本发明实施例通过利用同一图像模板形成左眼图像和右眼图像,以及对左眼图像和右眼图像进行平移,创造出双眼视差以及收敛角,使得转换效率的提高。
结合第一方面,在第一方面第四实施方式中,所述待处理二维图像为视频流中的一帧图像。
本发明实施例提供的二维图像转换成三维图像的方法,能够对视频流中的一帧图像,以及,单个二维图像进行转换,具有广泛的应用。
根据第二方面,本发明实施例提供了一种二维图像转换成三维图像的装置,包括:
获取模块,用于获取待处理二维图像;
透视变换模块,用于对所述待处理二维图像进行透视变换,分别得到左眼图像和右眼图像,其中,所述透视变换为按照预设规则对所述待处理二维图像进行映射;
调节模块,用于根据所述透视变换的结果,调节所述左眼图像与所述右眼图像之间的距离;
合成模块,用于合成距离调节后的所述左眼图像以及右眼图像。
本发明实施例通过对待处理二维图像进行透视变换,创造出双眼视差图像,实现立体视觉;并将经过透视变换的左眼图像以及右眼图像进行距离的调节,形成双目视差,创建收敛角,使肉眼观察的图像位于不同的深度处,从而可以看到不同的立体效果。即,通过对二维图像进行图像变换,并不涉及图像的分辨率以及清晰度,进而3D成像的图像与原始的二维图像的图像质量相同,并不影响3D成像的效果。
结合第二方面,在第二方面第一实施方式中,透视变换模块,包括:
提取单元,用于将所述待处理二维图像对齐到图像模板上,提取所述待处理二维图像的尺寸;
线性缩放单元,用于按照所述预设规则依次对各边所述尺寸进行线性缩放,得到第一图像;
镜像单元,用于镜像处理所述第一图像,得到第二图像;其中,所述第一图像为所述左眼图像,所述第二图像为所述右眼图像;或,所述第一图像为所述右眼图像,所述第二图像为所述左眼图像。
根据第三方面,本发明实施例提供了一种图像处理设备,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发明第一方面,或第一方面任意一种实施方式中所述的二维图像转换成三维图像的方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行本发明第一方面,或第一方面任意一种实施方式中所述的二维图像转换成三维图像方法。
根据第五方面,本发明实施例提供了一种三维成像系统,包括:
图像采集设备,采集图像的镜头由单镜头组成;
本发明第三方面中所述的图像处理设备,与所述图像采集设备电连接,用于将二维图像转换成三维图像;
图像显示设备,与所述图像处理设备电连接,用于显示所述三维图像。
本发明实施例提供的三维成像系统,其中,在图像采集设备的镜头由单镜头组成,减小了整个图像采集设备的体积;此外,单镜头的图像采集设备仅需要一个数据线对采集的图像进行传输,能够减小图像采集设备与图像处理设备之间连接线的内径,使得该三维成像系统能够应用于尺寸较小的人体器官内,对人体器官进行三维成像,进一步提高了三维成像系统的使用范围。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明实施例中二维图像转换成三维图像的方法的一个具体示意的方法流程图;
图2示出了本发明实施例中收敛角与左右眼图像之间距离的关系的示意图;
图3示出了本发明实施例中二维图像转换成三维图像的方法的另一个具体示意的方法流程图;
图4示出了本发明实施例中线性缩放的原理示意图;
图5示出了本发明实施例中二维图像转换成三维图像的方法的另一个具体示意的方法流程图;
图6示出了本发明实施例中二维图像转换成三维图像的装置的一个具体示意的结构示意图;
图7示出了本发明实施例中二维图像转换成三维图像的装置的另一个具体示意的结构示意图;
图8示出了本发明实施例中图像处理设备的一个具体示意的结构示意图;
图9示出了本发明实施例中三维成像系统的一个具体示意的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的二维图像转换成三维图像的方法,通过将二维图像经过透视变换,创造出双眼视差图像,即左眼图像以及右眼图像,实现立体视觉;此外,通过调节左眼图像与右眼图像之间的距离,创建收敛角;利用双眼视差图像,结合收敛角,即可形成3D图像。
本发明实施例提供了一种二维图像转换成三维图像的方法,如图1所示,该方法包括:
S11,获取待处理二维图像。
二维图像转换成三维图像的装置获取到的待处理二维图像可以是二维图片;也可以是视频流中的一帧图像;也可以是实时采集视频,并从中提取出每帧图像,只需保证该二维图像转换成三维图像的装置获取到待处理二维图像即可。
S12,对待处理二维图像进行透视变换,分别得到左眼图像和右眼图像。
其中,透视变换为按照预设规则对待处理二维图像进行映射。二维图像转换成三维图像的装置按照预设规则对待处理二维图像进行映射,即在待处理二维图像的基础上,根据透视变换,通过图像处理形成左眼图像以及右眼图像。其中,预设规则用于表示透视变换的方法,例如,变换后的图像近端显大,远端显小;也可以是通过公式计算出透视后图像等等。
S13,根据透视变换的结果,调节左眼图像与右眼图像之间的距离。
二维图像转换成三维图像的装置调节透视变换之后形成的左眼图像以及右眼图像之间的距离,用于创造出收敛角。
发明人通过多次实验得出,图像之间的距离发生改变时,相应的收敛角改变。例如,如图2所示,描述了收敛角与左右眼图像之间的距离的关系,如图2a)所示,当收敛角为α1时,左右眼之间的距离较小;如图2b) 所示,当收敛角为α2时,左右眼之间的距离较大;即随着左右眼之间的距离的变换,收敛角也会产生相应的变化。因此,本发明中通过调教左右眼之间的距离,创造出收敛角。
S14,合成距离调节后的左眼图像以及右眼图像。
二维图像转换成三维图像的装置将调节后的左眼图像以及右眼图像进行合成,即利用经过图像变换创造出的双目视差以及收敛角,并将距离调节和的左眼图像以及右眼图像合成后输出至图像显示设备,用于后续的三维图像显示。其中,后续图像显示设备可以通过调节左眼图像与右眼图像的偏振方向,使得两幅图像的偏振方向相互垂直,用户在使用时,佩戴3D 眼镜即可实现3D图像的观看;也可以采用其他方式实现偏振方向的调节,只需保证在人的两只眼睛分别看见的两幅图像的偏振方向相互垂直即可。
本发明实施例通过对待处理二维图像进行透视变换,创造出双眼视差图像,实现立体视觉;并将经过透视变换的左眼图像以及右眼图像进行距离的调节,形成双目视差,创建收敛角,使肉眼观察的图像位于不同的深度处,从而可以看到不同的立体效果。即,通过对二维图像进行图像变换,并不涉及图像的分辨率以及清晰度,进而3D成像的图像与原始的二维图像的图像质量相同,并不影响3D成像的效果。
本发明实施例还提供了一种二维图像转换成三维图像的方法,如图3 所示,该方法包括:
S21,获取待处理二维图像。
本实施例中待处理二维图像为视频流中的一帧图像,二维图像转换成三维图像的装置从视频流中依次提取每帧图像,用作待处理二维图像。因此,本实施例提供的方法能够实时将该装置采集到的视频流转换成3D视频。
S22,对待处理二维图像进行透视变换,分别得到左眼图像和右眼图像。
其中,透视变换为按照预设规则对待处理二维图像进行映射。本实施例中的二维图像转换成三维图像的装置中设置有图像模板,该图像模板用于对待处理二维图像进行归一化处理。
具体地,包括以下步骤:
S221,将待处理二维图像对齐到图像模板上,提取待处理二维图像的尺寸。
二维图像转换成三维图像的装置在获取到待处理二维图像之后,将待处理二维图像对齐到图像模板上,对待处理二维图像进行等比例缩放,以保证待处理二维图像不超出该图像模板的范围。
将待处理二维图像对齐到图像模板上之后,提取待处理二维图像的尺寸,该尺寸用于表示待处理二维图像的各边尺寸。
S222,按照预设规则依次对尺寸进行线性缩放,得到第一图像。
其中,线性缩放的原理如图4所示,透视变换为对原始图像的左侧的边为旋转轴,向屏幕内部翻转一定角度,以及向屏幕外旋转相同的角度,分别形成于图4中间以及最右边的图像。本实施例中通过线性缩放待处理二维图像的尺寸,使得缩放后的左右眼图像达到图4所示的效果。具体可以包括以下步骤:
1)逐行扫描待处理二维图像。
二维图像转换成三维图像的装置将对齐到图像模板上的待处理二维图像进行逐行扫描,获取待处理二维图像每行的尺寸。
2)依次对每行的图像进行线性缩放。
二维图像转换成三维图像的装置按照一端显大,另一端显小的原则,对待处理二维图像的每行尺寸进行线性缩放,得到尺寸缩放后的第一图像。通过依次对每行进行线性缩放,减小了处理的数据量,能够实现二维图像的实时转换
S223,镜像处理第一图像,得到第二图像。
二维图像转换成三维图像的装置对第一图像进行镜像处理,得到第二图像;即,对第一图像沿竖直方向进行镜像处理,得到第二图像。
其中,第一图像为左眼图像,第二图像为右眼图像;或,第一图像为右眼图像,第二图像为左眼图像。
S23,根据透视变换的结果,调节左眼图像与右眼图像之间的距离。
二维图像转换成三维图像的装置在形成左眼图像以及右眼图像之后,将左眼图像以及右眼图像重合后,调节左眼图像与右眼图像之间的距离,使得两幅图像发生重影。
S24,合成距离调节后的左眼图像以及右眼图像。
二维图像转换成三维图像的装置将距离调节后的左眼图像以及右眼图像的重影重新重合到一起,用于在图像显示设备上进行3D图像的显示。
与图1所示实施例的二维图像转换成三维图像的方法相比,本实施例中通过将二维图像通过线性缩放转换为对应于左右眼的两幅图像,即,将无视差的2D图像转换成具有视差的左眼图像与右眼图像,该转换过程仅涉及图像尺寸而与图像质量无关,因此经过线性缩放所形成的左眼图像以及右眼图像与原始二维图像的质量相同。本发明实施例提供的转换方法能够在保证图像质量不变的前提下,形成左眼图像以及右眼图像。
本实施例还提供了一种二维图像转换成三维图像的方法,如图5所示,该方法包括:
S31,获取待处理二维图像。与图3所示实施例的S21相同,在此不再赘述。
S32,对待处理二维图像进行透视变换,分别得到左眼图像和右眼图像。与图3所示实施例的S22相同,在此不再赘述。
S33,根据透视变换的结果,调节左眼图像与所述右眼图像之间的距离。
本实施例中,利用对待处理二维图像进行归一化处理的图像模板,进行左眼图像以及右眼图像之间距离的调节。具体地,包括以下步骤:
S331,将左眼图像与右眼图像同时对齐到图像模板上。
二维图像转换成三维图像的装置将左眼图像以及右眼图像同时对齐到图像模板上,即以图像模板为基准对左右眼图像进行平移,在不增加数据处理量的前提下,能够保证较好的平移效果,提高二维图像的转换效率。
S332,沿第一方向平移左眼图像或右眼图像,使得左眼图像与右眼图像之间的距离达到预设距离。
本实施例中,第一方向为水平方向,将对齐到图像模板上的左右眼图像中的一个图像沿水平方向平移,使得左右眼图像之间的距离达到预设距离,或者同时沿相反方向移动左右眼图像。其中,预设距离可以根据实际显示设备的尺寸进行具体设置。
S34,合成距离调节后的左眼图像以及右眼图像。与图3所示实施例的 S24相同,在此不再赘述。
与图3所示实施例的二维图像转换成三维图像的方法相比,本实施例中通过利用同一图像模板形成左眼图像和右眼图像,以及对左眼图像和右眼图像进行平移,创造出双眼视差以及收敛角,提高了转换效率。
本发明实施例还提供了一种二维图像转换成三维图像的装置,如图6 所示,该装置包括:
获取模块41,用于获取待处理二维图像。
透视变换模块42,用于对待处理二维图像进行透视变换,分别得到左眼图像和右眼图像,其中,透视变换为按照预设规则对待处理二维图像进行映射。
调节模块43,用于根据透视变换的结果,调节左眼图像与右眼图像之间的距离。
合成模块44,用于合成距离调节后的左眼图像以及右眼图像。
本发明实施例中提供的二维图像转换成三维图像的装置,通过对待处理二维图像进行透视变换,创造出双眼视差图像,实现立体视觉;并将经过透视变换的左眼图像以及右眼图像进行距离的调节,形成双目视差,创建收敛角,使肉眼观察的图像位于不同的深度处,从而可以看到不同的立体效果。即,通过对二维图像进行图像变换,并不涉及图像的分辨率以及清晰度,进而3D成像的图像与原始的二维图像的图像质量相同,并不影响 3D成像的效果。
在本实施例的一些可选实施方式中,如图7所示,透视变换模块42,包括:
提取单元421,用于将待处理二维图像对齐到图像模板上,提取待处理二维图像的尺寸。
线性缩放单元422,用于按照预设规则依次对尺寸进行线性缩放,得到第一图像。
镜像单元423,用于镜像处理第一图像,得到第二图像;其中,第一图像为左眼图像,第二图像为右眼图像;或,第一图像为所述右眼图像,第二图像为左眼图像。
本发明实施例还提供了一种图像处理设备,如图8所示,该图像处理设备可以包括处理器51和存储器52,其中处理器51和存储器52可以通过总线或者其他方式连接,图8中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit,CPU)。处理器 51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的二维图像转换成三维图像的方法对应的程序指令/模块(例如,图6所示的第获取模块41、透视变换模块42、调节模块43和合成模块44)。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的二维图像转换成三维图像的方法。
存储器52可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器 51所创建的数据等。此外,存储器52可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器52可选包括相对于处理器51 远程设置的存储器,这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中,当被所述处理器51 执行时,执行如图1,图3以及图5所示实施例中的二维图像转换成三维图像的方法。
上述图像处理设备具体细节可以对应参阅图1,图3以及图5所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本发明实施例还提供了一种三维成像系统,如图9所示,该系统包括:图像采集设备61,图像处理设备62以及图像显示设备63。
其中,图像采集设备61中,用于采集图像的镜头由单镜头组成。图像处理设备62与图像采集设备61电连接,用于将图像采集设备61输出的待处理二维图像转换成三维图像。图像显示设备63,与图像处理设备62电连接,用于显示图像处理设备62输出的三维图像。
本发明实施例提供的三维成像系统,其中,在图像采集设备61的镜头由单镜头组成,减小了整个图像采集设备61的体积;此外,单镜头的图像采集设备仅需要一个数据线对采集的图像进行传输,能够减小图像采集设备61与图像处理设备62之间连接线的内径,使得该三维成像系统能够应用于尺寸较小的物体内部,例如人体器官内,对人体器官进行三维成像,进一步提高了三维成像系统的使用范围。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。