CN108540790A - 一种用于移动终端的立体图像获取方法、装置及移动终端 - Google Patents

一种用于移动终端的立体图像获取方法、装置及移动终端 Download PDF

Info

Publication number
CN108540790A
CN108540790A CN201810371988.0A CN201810371988A CN108540790A CN 108540790 A CN108540790 A CN 108540790A CN 201810371988 A CN201810371988 A CN 201810371988A CN 108540790 A CN108540790 A CN 108540790A
Authority
CN
China
Prior art keywords
image
pixel
target correction
width
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810371988.0A
Other languages
English (en)
Inventor
赖敬文
陈思正
席大军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuperD Co Ltd
Shenzhen Super Technology Co Ltd
Original Assignee
Shenzhen Super Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Technology Co Ltd filed Critical Shenzhen Super Technology Co Ltd
Priority to CN201810371988.0A priority Critical patent/CN108540790A/zh
Publication of CN108540790A publication Critical patent/CN108540790A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种用于移动终端的立体图像获取方法、装置及移动终端,其中移动终端上设置有双摄像头,该方法包括:获取双摄像头采集的两幅原始图像;利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理,以获取每幅原始图像对应的目标校正图像,其中,索引关系指示了目标校正图像的像素点与原始图像的像素点的位置对应关系;根据两幅原始图像分别对应的目标校正图像,获取立体图像。本发明实施例可以实现双摄立体拍摄的实时预览,使得用户便捷的获取立体图像,同时用户可以利用移动终端来获取立体图像,增强了移动终端的功能性。

Description

一种用于移动终端的立体图像获取方法、装置及移动终端
技术领域
本发明涉及立体显示技术领域,尤其涉及一种用于移动终端的立体图像获取方法、装置及移动终端。
背景技术
随着手机等智能移动终端的普及,用户对于各种应用的需求也越来越高,而摄像头拍照作为智能移动终端使用最多的功能之一,使得摄像头拍照应用成为各终端厂商主打终端差异化的一个主要的诉求点及突破点。
目前,双摄立体拍照已成为摄像头拍照应用的发展新趋势和开发热点。为实现立体拍照,首先需要在智能终端上设置由对称的双彩色摄像头(简称双摄或双摄像头)拼接或者制造而成的立体摄像头,由立体摄像头的双摄拍摄左右眼图像,利用左右眼图像获取立体图像,然后,可以直接由智能终端对所获取的立体图像进行立体显示,或者,也可以将立体图像发送给智能终端外部的立体显示设备进行立体显示。众所周知的,对于立体显示来说,内容采集是一个瓶颈问题,当前主要的立体内容还是来源于电影导演所拍摄的电影,普通民众所用的采集手段仍然不多,而双摄立体拍照弥补了这种不足,提供了普通民众可以采集立体内容的手段。
但是,在智能终端上设置立体摄像头时,双摄是无法完全做到水平对齐及无任何畸变的,因此,为了获取到立体图像,需要利用软件算法的方式,使用双摄的实际参数,例如内参和外参,对双摄拍摄出来的原始左右眼图像进行水平对齐和反畸变等校正处理。现有技术中,常规的处理方法,CPU(Central Processing Unit,中央处理器)需要逐个像素点进行运算,处理速度远远达不到实时处理的需求,因此,双摄立体拍照无法实现实时预览。
发明内容
本发明实施例提供一种用于移动终端的立体图像获取方法、装置及移动终端,以解决现有技术中通过立体摄像头获取立体图像时,无法实现对立体图像的实时预览影响拍摄体验的问题。
本发明实施例提供一种用于移动终端的立体图像获取方法,所述移动终端上设置有双摄像头,所述方法包括:
获取所述双摄像头采集的两幅原始图像;
利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像,其中,所述索引关系指示了所述目标校正图像的像素点与所述原始图像的像素点的位置对应关系;
根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像。
其中,在所述获取所述双摄像头采集的两幅原始图像之前,所述方法还包括:
获取所述双摄像头中每一摄像头所对应的内参和外参;
根据所获取的所述双摄像头中每一摄像头所对应的内参和外参,获取所述双摄像头中每一摄像头所对应的所述索引关系。
其中,所述获取所述双摄像头中每一摄像头所对应的内参和外参的步骤,包括:
利用所述双摄像头采集第一预定图像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像;
根据所述双摄像头中每一摄像头所采集的第一预定图像,获取所述双摄像头中每一摄像头所对应的内参和外参。
其中,所述利用所述双摄像头采集第一预定图像包括:
利用所述双摄像头采集所述移动终端显示的第一预定图像投射到镜面上所形成的虚像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像。
其中,所述根据所获取的所述双摄像头中每一摄像头所对应的内参和外参,获取所述双摄像头中每一摄像头所对应的所述索引关系包括:
针对所述双摄像头中的每一摄像头,根据所获取的所述摄像头所对应的内参和外参,计算所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,根据所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,建立所述摄像头对应的所述索引关系。
其中,所述索引关系包括索引关系图像;
所述索引关系图像的像素点的像素值用于指示所述目标校正图像的像素点所对应的所述原始图像中的像素点的像素坐标;
所述根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像的步骤,包括:
以所述目标校正图像中的像素点的像素坐标为索引,在所述索引关系图像中查询相同像素坐标的像素点的像素值;
根据查询到的像素值,确定所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
根据所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标,将所述目标校正图像中的像素点的像素值设置为所述目标校正图像中的像素点所对应的所述原始图像的像素点在所述原始图像中的像素值。
其中,所述根据查询到的像素值,确定所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标的步骤,包括:
将查询到的像素值,确定为所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
或者
根据查询到的像素值和预先设定的计算公式,计算得到所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标。
其中,所述在获取所述双摄像头采集的两幅原始图像之后,利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之前,所述方法还包括:
对所述原始图像进行翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述翻转处理后的两幅原始图像分别进行映射处理;
或者
对所述原始图像依次进行旋转和翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述旋转和翻转处理后的两幅原始图像分别进行映射处理;
在所述利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之后,所述方法还包括:
对所述映射处理后得到的每幅图像进行翻转处理,从而获取每幅所述原始图像对应的目标校正图像。
其中,所述根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像的步骤,包括:
对两幅所述目标校正图像分别进行边缘裁切处理;
将所述边缘裁切处理后的所述目标校正图像进行合成,从而获取立体图像。
其中,所述对两幅所述目标校正图像分别进行边缘裁切处理的步骤,包括:
根据所述目标校正图像的宽高比,对所述目标校正图像进行边缘裁切处理,以使所述边缘裁切处理前后的目标校正图像的宽高比不变。
其中,所述双摄像头为前置双摄像头;
在获取所述双摄像头采集的两幅原始图像后,所述方法还包括:
获取所述两幅原始图像中至少一幅原始图像中的人脸特征点的位置信息;
所述根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像包括:
根据所述人脸特征点的位置信息,对至少一幅所述目标校正图像进行风格化贴图处理,以在至少一幅所述目标校正图像中的人脸特征点位置上设置贴图;
根据进行风格化贴图处理后的目标校正图像,获取立体图像。
其中,所述人脸特征点包括眼部特征点;
在获取立体图像后,所述方法还包括:
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
其中,所述根据所述人脸特征点的位置信息,对至少一幅目标校正图像进行风格化贴图处理的步骤,包括:
根据所述人脸特征点的位置信息和所述索引关系,获取所述目标校正图像上的所述人脸特征点的位置信息;
根据所述目标校正图像上的所述人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置,并利用虚拟双摄像头对模型贴图进行拍摄,其中虚拟双摄像头之间的距离等于所述双摄像头之间的距离;
根据所述目标校正图像上的所述人脸特征点的位置信息,将拍摄得到的模型贴图设置于所述目标校正图像中。
其中,所述获取立体图像后,所述方法还包括:
对所述立体图像进行裸眼立体显示。
其中,在获取所述双摄像头采集的两幅原始图像后,所述方法还包括:
获取所述两幅原始图像中至少一幅原始图像中的眼部特征点的位置信息;
所述对所述立体图像进行裸眼立体显示包括:
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
其中,所述对所述立体图像进行裸眼立体显示包括:
采集用户的定位图像,并获取所述定位图像中所述用户的眼部特征点的位置信息;
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
本发明实施例还提供一种用于移动终端的立体图像获取装置,所述移动终端上设置有双摄像头,所述装置包括:
第一获取模块,用于获取所述双摄像头采集的两幅原始图像;
第二获取模块,用于利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像,其中,所述索引关系指示了所述目标校正图像的像素点与所述原始图像的像素点的位置对应关系;
第三获取模块,用于根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像。
其中,所述装置还包括:
第四获取模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像之前,获取所述双摄像头中每一摄像头所对应的内参和外参;
第五获取模块,用于根据所获取的所述双摄像头中每一摄像头所对应的内参和外参,获取所述双摄像头中每一摄像头所对应的所述索引关系。
其中,所述第四获取模块包括:
第一获取子模块,用于利用所述双摄像头采集第一预定图像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像;
第二获取子模块,用于根据所述双摄像头中每一摄像头所采集的第一预定图像,获取所述双摄像头中每一摄像头所对应的内参和外参。
其中,所述第一获取子模块进一步用于:
利用所述双摄像头采集所述移动终端显示的第一预定图像投射到镜面上所形成的虚像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像。
其中,所述第五获取模块进一步用于:
针对所述双摄像头中的每一摄像头,根据所获取的所述摄像头所对应的内参和外参,计算所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,根据所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,建立所述摄像头对应的所述索引关系。
其中,所述索引关系包括索引关系图像;
所述索引关系图像的像素点的像素值用于指示所述目标校正图像的像素点所对应的所述原始图像中的像素点的像素坐标;
所述第二获取模块包括:
查询子模块,用于以所述目标校正图像中的像素点的像素坐标为索引,在所述索引关系图像中查询相同像素坐标的像素点的像素值;
确定子模块,用于根据查询到的像素值,确定所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
设置子模块,用于根据所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标,将所述目标校正图像中的像素点的像素值设置为所述目标校正图像中的像素点所对应的所述原始图像的像素点在所述原始图像中的像素值。
其中,所述确定子模块包括:
确定单元,用于将查询到的像素值,确定为所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
或者
计算单元,用于根据查询到的像素值和预先设定的计算公式,计算得到所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标。
其中,所述装置还包括:
第一处理模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像之后,所述第二获取模块利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之前,对所述原始图像进行翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述翻转处理后的两幅原始图像分别进行映射处理;
或者
第二处理模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像之后,所述第二获取模块利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之前,对所述原始图像依次进行旋转和翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述旋转和翻转处理后的两幅原始图像分别进行映射处理;
所述装置还包括:
第三处理模块,用于在所述第二获取模块利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之后,对所述映射处理后得到的每幅图像进行翻转处理,从而获取每幅所述原始图像对应的目标校正图像。
其中,所述第三获取模块包括:
裁切子模块,用于对两幅所述目标校正图像分别进行边缘裁切处理;
合成子模块,用于将所述边缘裁切处理后的所述目标校正图像进行合成,从而获取立体图像。
其中,所述裁切子模块进一步用于:
根据所述目标校正图像的宽高比,对所述目标校正图像进行边缘裁切处理,以使所述边缘裁切处理前后的目标校正图像的宽高比不变。
其中,所述双摄像头为前置双摄像头;所述装置还包括:
第六获取模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像后,获取所述两幅原始图像中至少一幅原始图像中的人脸特征点的位置信息;
所述第三获取模块包括:
贴图子模块,用于根据所述人脸特征点的位置信息,对至少一幅所述目标校正图像进行风格化贴图处理,以在至少一幅所述目标校正图像中的人脸特征点位置上设置贴图;
第三获取子模块,用于根据进行风格化贴图处理后的目标校正图像,获取立体图像。
其中,所述人脸特征点包括眼部特征点;
所述装置还包括:
确定模块,用于在所述第三获取模块获取立体图像后,根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
第一显示模块,用于根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
其中,所述贴图子模块包括:
获取单元,用于根据所述人脸特征点的位置信息和所述索引关系,获取所述目标校正图像上的所述人脸特征点的位置信息;
处理单元,用于根据所述目标校正图像上的所述人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置,并利用虚拟双摄像头对模型贴图进行拍摄,其中虚拟双摄像头之间的距离等于所述双摄像头之间的距离;
设置单元,用于根据所述目标校正图像上的所述人脸特征点的位置信息,将拍摄得到的模型贴图设置于所述目标校正图像中。
其中,所述装置还包括:
第二显示模块,用于在所述第三获取模块获取立体图像后,对所述立体图像进行裸眼立体显示。
其中,所述装置还包括:
第七获取模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像后,获取所述两幅原始图像中至少一幅原始图像中的眼部特征点的位置信息;
所述第二显示模块进一步用于:
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
其中,所述第二显示模块进一步用于:
采集用户的定位图像,并获取所述定位图像中所述用户的眼部特征点的位置信息;
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
本发明实施例还提供一种移动终端,所述移动终端上设置有双摄像头,所述移动终端包括一个或多个处理器,所述处理器被配置为执行如下方法:
获取所述双摄像头采集的两幅原始图像;
利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像,其中,所述索引关系指示了所述目标校正图像的像素点与所述原始图像的像素点的位置对应关系;
根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像。
本发明实施例还提供一种计算机可读存储介质,用于存储计算机程序,所述计算机程序可被处理器执行上述的用于移动终端的立体图像获取方法。
本发明实施例技术方案的有益效果至少包括:
本发明技术方案,在获取双摄像头采集的两幅原始图像后,利用图形处理器,采用预设的指示目标校正图像的像素点与原始图像的像素点的位置关系的索引关系,对两幅原始图像分别进行映射处理,以获取两幅原始图像分别对应的目标校正图像,根据两幅目标校正图像获取立体图像。由于预先设定好索引关系,并利用图形处理器基于索引关系进行映射处理,即对原始图像进行水平对齐和反畸变校正处理,因此,可以利用图形处理器的处理速度,实现快速的获取立体图像,保证立体拍摄的实时预览,可以使得用户快速便捷的获取立体图像,提高拍摄体验,用户可以利用移动终端来获取立体图像,增强了移动终端的功能性和娱乐性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例用于移动终端的立体图像获取方法示意图;
图2表示本发明实施例获取目标校正图像的示意图;
图3表示本发明实施例对目标校正图像进行裁切并进行合成的示意图;
图4表示本发明实施例对目标校正图像进行人脸贴图的示意图;
图5表示本发明实施例通过前置双摄获取立体图像的示意图;
图6a表示本发明实施例用于移动终端的立体图像获取装置示意图一;
图6b表示本发明实施例用于移动终端的立体图像获取装置示意图二;
图6c表示本发明实施例用于移动终端的立体图像获取装置示意图三。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种用于移动终端的立体图像获取方法,其中移动终端上设置有双摄像头,如图1所示,该方法包括:
步骤101、获取双摄像头采集的两幅原始图像。
本发明实施的移动终端是指可以在移动中使用的计算机设备,例如手机、笔记本、平板电脑、POS机、车载电脑等等,具体例如具有多种应用功能的智能手机以及平板电脑。
本发明实施例的移动终端包括双摄像头,该双摄像头可用于立体拍摄,这里的双摄像头可以为前置双摄,也可以为后置双摄。移动终端启动双摄像头,利用双摄像头进行图像采集,并获取双摄像头所采集的两幅原始图像,其中,双摄像头中的每一摄像头各采集一幅原始图像。
步骤102、利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理,以获取每幅原始图像对应的目标校正图像,其中,索引关系指示了目标校正图像的像素点与原始图像的像素点的位置对应关系。
为了获取立体图像,原则上来讲,双摄像头需要模拟人眼设置,具有一定间距且保持水平对齐。但由于双摄像头在物理设置时,是不可能完全的水平对齐及无任何畸变的,因此,两幅原始图像是不满足立体成像要求的,需要对两幅原始图像进行水平对齐和反畸变处理,才能获得满足立体成像要求的、具有水平视差的左右眼立体图像。简单原理概括而言,水平对齐和反畸变这些校正处理实质上将像素点进行移动,使得像素点移动后,在双摄像头各自拍摄的两张图像上,拍摄场景中的同一点具有水平视差。具体可以利用算法,基于双摄像头的内参和外参确定出原始图像中每个像素点移动后的像素位置,其具体算法可参见现有技术,这里不再赘述。摄像头的内参和外参可通过任意方式获取,例如,现有技术中通过标定的方式获取摄像头的内参和外参,这里同样不在赘述。
本发明实施例中,可以预先确定出校正处理后,原始图像中的像素点在目标校正图像中的像素位置,进而建立索引关系,该索引关系指示了原始图像和目标校正图像的像素点之间的位置对应关系,比如,原始图像的像素点(x,y),通过该索引关系,可以获取到该像素点(x,y)在目标校正图像中的像素位置(x1,y1)。
本步骤中,在获取双摄像头采集的两幅原始图像之后,利用预先设定的指示目标校正图像的像素点与原始图像的像素点的位置对应关系的索引关系,基于图形处理器进行运算,获取双摄像头所采集的两幅原始图像分别对应的目标校正图像。
其中原始图像的像素点与目标校正图像的像素点的位置之间具有一定的索引关系,根据两者之间的索引关系,可以基于原始图像来获取目标校正图像。通过利用图形处理器根据索引关系进行计算,可以快速的得到原始图像所对应的目标校正图像,以解决现有技术中需要CPU对逐个像素点进行运算,处理速度较慢,远远达不到实时处理需求的问题。
步骤103、根据两幅原始图像分别对应的目标校正图像,获取立体图像。
在获取双摄像头采集的两幅原始图像分别对应的目标校正图像之后,可以根据所获取的两幅目标校正图像进行图像合成,生成立体图像。
本发明基于图形处理器和索引关系,快速获取原始图像对应的目标校正图像,并基于目标校正图像生成立体图像,可以保证立体拍摄的实时预览,同时可以使得用户便捷的获取立体图像,提高拍摄体验,用户可以利用移动终端来获取立体图像,增强了移动终端的功能性和娱乐性。
针对上述索引关系,在本发明的一个实施例中,在获取双摄像头采集的两幅原始图像之前,该方法还包括:
获取双摄像头中每一摄像头所对应的内参和外参;
根据所获取的双摄像头中每一摄像头所对应的内参和外参,获取双摄像头中每一摄像头所对应的索引关系。
在通过双摄像头采集原始图像之前,需要获取每一摄像头所对应的索引关系。其中在获取每一摄像头所对应的索引关系时,需要针对双摄像头,获取每一摄像头的内参和外参,在获取每一摄像头的内参和外参之后,可以根据每一摄像头的内参和外参,获取该摄像头所对应的索引关系。
内参和外参可以采用任意合理方式的方式获取,详细可参见现有技术。下面对获取双摄像头中每一摄像头的内参和外参,以及根据摄像头所对应的内参和外参,获取摄像头所对应的索引关系的过程进行介绍:
在获取双摄像头中每一摄像头所对应的内参和外参时,需要利用双摄像头采集第一预定图像,并获取双摄像头中每一摄像头所采集到的第一预定图像;根据双摄像头中每一摄像头所采集的第一预定图像,获取双摄像头中每一摄像头所对应的内参和外参。
在获取每一摄像头所对应的内参和外参时,首先需要利用双摄像头对第一预定图像进行采集,这里的第一预定图像可以为棋盘格图像。在获取双摄像头中的每一摄像头采集的棋盘格图像之后,根据每一摄像头所采集的棋盘格图像获取该摄像头的内参和外参。
获取摄像头的内参和外参时,业内通用的方法基本上是调用OpenCV现有的函数来做,其具体的原理与拍照过程类似,通过建立从世界坐标系到摄像头坐标系,再到相机内部图像投影的方式,构建好求解模型后,然后用图像检测的多个角点对应的检测值,对未知的参数进行求解,采用的原理均基于“张氏标定法”,其中“张氏标定法”为本领域较为成熟的技术,下面仅以一具体实例来对其进行简要介绍。
获取摄像头的内参和外参的过程可以为:根据第一预定图像中特征像素点的像素坐标、缩放因子、摄像头内参、摄像头外参以及该像素点在世界坐标系中的坐标的对应关系,采用多个特征像素点进行多次运算以无限逼近的方式获取摄像头内参以及摄像头外参。
这里的特征像素点优选棋盘格图像中的角点,获取棋盘格图像中的多个像素点在摄像头坐标系中的像素坐标,以及在世界坐标系中的坐标,根据多次运算获取摄像头的内参和外参。
采用上述方式获取双摄像头中每一摄像头所对应的内参和外参,在获取每一摄像头所对应的内参和外参之后,可以根据每一摄像头所对应的内参和外参,获取每一摄像头所对应的索引关系。其中,根据所获取的双摄像头中每一摄像头所对应的内参和外参,获取双摄像头中每一摄像头所对应的索引关系包括:
针对双摄像头中的每一摄像头,根据所获取的摄像头所对应的内参和外参,计算摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,根据摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,建立摄像头对应的索引关系。
在获取双摄像头中每一摄像头的内参和外参之后,针对每一摄像头,可以根据原始图像的像素点的像素坐标、摄像头的内参和外参,获取目标校正图像中像素点的像素坐标。然后根据原始图像的像素点的像素坐标以及目标校正图像中像素点的像素坐标,可以建立指示目标校正图像的像素点与原始图像的像素点的位置对应关系的索引关系。
其中根据原始图像的像素点的像素坐标、摄像头的内参和外参,获取目标校正图像中像素点的像素坐标的过程为:对原始图像的像素点的像素坐标进行径向和切向畸变校正。在进行径向和切向的畸变校正时,可以分别采用不同的校正公式,其中在径向畸变修正时,对应的径向畸变修正公式如下:
xcorrected=x(1+k1r2+k2r4+k3r6)
ycorrected=y(1+k1r2+k2r4+k3r6)
其中r为世界坐标系中的坐标点与摄像头坐标系中对应的坐标点之间的距离,k1、k2以及k3分别为径向畸变系数,实际使用中,通常会用到k1,k2以及k3的取值可为零。
在进行切向畸变修正时,对应的切向畸变修正公式如下:
xcorrected=x+[2p1xy+p2(r2+2x2)]
ycorrected=y+[2p2xy+p1(r2+2y2)]
其中r为世界坐标系中的坐标点与摄像头坐标系中对应的坐标点之间的距离,p1、p2分别为切向畸变系数。需要说明的是,径向畸变及切向畸变均用于对真实坐标进行修正,以使其符合理想坐标。
径向畸变系数和切向畸变系数根据摄像头的内参和外参获得。
需要说明的是,上述公式中分别以原始图像的像素点的像素坐标为依据进行径向和切向畸变修正,在修正完成后,根据径向修正后的像素坐标和切向修正后的像素坐标,来获取目标校正图像的像素点的像素坐标。
当然还可以在对原始图像的像素点的像素坐标进行径向修正之后,以径向修正后的像素坐标为依据继续进行切向修正,在修正完成后直接获取目标校正图像的像素点的像素坐标。
由上述公式可知,在进行畸变校正的时候,要对图像进行逐个像素点扫描,然后计算出该点对应的畸变校正后的位置。这种计算由CPU处理的话相对效率会低很多。我们把相关的索引关系写进图像中,畸变校正的时候由图形处理器按索引关系处理图像,这样并行处理就会提高处理效率。
其中,本发明实施例中获取摄像头内外参数,并获取目标校正图像中像素点的像素坐标的过程可以概括为:通过大量的棋盘格图像的角点,反算出摄像头模型,而该模型里面包含了摄像头的内、外参,根据这些参数即可求解目标校正图像中像素点的像素坐标。但严格来说,并没有先后之分,因为反向求解出其变换矩阵之后,对于新的图像,可以直接就用求解出的变换矩阵去变换世界坐标系的值,或者直接用索引关系去求解新的反畸变的图像。
需要说明的是,获取双摄像头内外参的方式以及根据摄像头的内外参数获取索引关系的方式并不局限于此,本领域技术人员还可以采用其他相类似的方式来计算得到摄像头的内外参数以及指示目标校正图像的像素点与原始图像的像素点的位置关系的索引关系。
其中,目前业界公认的方法均是衍生于“张氏标定法”,早期虽然有其他方法,但后来基本统一到“张氏标定法”的范围。现有技术中提出的镜面标定的推导过程与“张氏标定法”一致,只不过根据镜面的特点做了一些变化。
在本发明实施例中,利用双摄像头采集第一预定图像包括:利用双摄像头采集移动终端显示的第一预定图像投射到镜面上所形成的虚像,并获取双摄像头中每一摄像头所采集到的第一预定图像。
在利用双摄像头采集第一预定图像时,可以采用镜面方式来获取,通过移动终端显示第一预定图像,并将移动终端显示的第一预定图像投影至镜面上,利用双摄像头对镜面上所形成的虚像进行拍摄,来获取每一摄像头所采集到的第一预定图像。在镜面上形成虚像时,需要保证显示屏与镜面平行相对,且显示屏与镜面间隔预定距离,该预定距离本领域人员可以合理设置,基本原则是,需要保证显示屏与镜面之间的距离可使得双摄像头采集到画面清晰的第一预定图像。
具体实施中,针对采用镜面投影的方式获取第一预定图像,可设计专门的校正用制具,该制具可以包括用来支撑移动终端的支架以及镜面,当移动终端放置在支架上时,其显示屏可以与镜面间隔预定距离并且优选是平行的,镜面上可以显示清晰的第一预定图像的虚像。可以理解的是,所采用的制具可以为多种形式,本发明对此不做限定。
具体的,在本发明的一个实施例中,为了便于GPU(Graphics Processing Unit,图形处理器)的处理,可将索引关系设置为索引关系图像;其中,索引关系图像的像素点的像素值用于指示目标校正图像的该像素点所对应的原始图像中的像素点的像素坐标;
则,根据预先设定的索引关系,对两幅原始图像分别进行映射处理,以获取每幅原始图像对应的目标校正图像的步骤,如图2所示,包括:
步骤201、以目标校正图像中的像素点的像素坐标为索引,在索引关系图像中查询相同像素坐标的像素点的像素值。
步骤202、根据查询到的像素值,确定目标校正图像中的像素点所对应的原始图像的像素点的像素坐标。
步骤203、根据目标校正图像中的像素点所对应的原始图像的像素点的像素坐标,将目标校正图像中的像素点的像素值设置为目标校正图像中的像素点所对应的原始图像的像素点在原始图像中的像素值。
指示目标校正图像的像素点与原始图像的像素点的位置对应关系的索引关系包括索引关系图像,其中索引关系图像中包括多个像素点,每一像素点对应相应的像素值。索引关系图像中像素点的像素值用于指示目标校正图像的像素点所对应的原始图像中的像素点的像素坐标。
举例来讲,目标校正图像的像素点(a,b),索引关系图像包括两幅图像,分别为x索引关系图像和y索引关系图像,x索引关系图像中的像素点(a,b)的像素值为c,y索引关系图像中的像素点(a,b)的像素值为d,则目标校正图像的像素点(a,b)对应的原始图像的像素点(c,d),映射时,将目标校正图像的像素点(a,b)的像素值设置为原始图像中的像素点(c,d)的像素值。当然,由于像素值区间为0-255,但是像素坐标可能是超过这个范围的,因此,可以利用一个像素包括R,G,B三个子像素,每个子像素都有一个像素值,预先设定一函数关系,可以利用三个子像素像素值进行计算,计算出原始图像的像素点的像素坐标值。
在获取每幅原始图像对应的目标校正图像时,需要在目标校正图像中,将目标校正图像中像素点的像素坐标作为依据,在索引关系图像中进行查询,获取相同像素坐标的像素点的像素值,在获取目标校正图像中像素点的像素坐标所对应的像素值之后,根据获取到的像素值,在原始图像中查询对应的像素点的像素坐标,在原始图像中确定对应的像素点的像素坐标之后,根据对应的像素点的像素坐标在原始图像中的像素值对目标校正图像中的像素点进行设置,即将对应的像素点的像素坐标在原始图像中的像素值映射到目标校正图像中的对应像素点。
上面这一部分内容可以用以下公式进行更明确的阐述:
dst(x,y)=src(mapx(x,y),mapy(x,y))
其中通过上述公式可以对目标校正图像的任一位置通过索引图找到原始图像中的对应像素点,这里的mapx(x,y)为针对目标校正图像中x坐标对应的查询方式,即查询与x相关的索引关系,mapy(x,y)为针对目标校正图像中y坐标对应的查询方式,即查询与y相关的索引关系。
在生成指示目标校正图像的像素点与原始图像的像素点的位置对应关系的索引关系时,可以得到每幅图的索引关系mapx,mapy,这里的mapx指的是目标校正图像的像素点的x坐标值与原始像素点的(x,y)坐标之间的对应关系,mapy指的是目标校正图像的像素点的y坐标值与原始图像的像素点的(x,y)坐标之间的对应关系。则在获取目标校正图像的对应像素点时,可以通过查询mapx,mapy的方式在原始图像中找到对应像素点或者根据线性插值计算出对应的像素点。
依照上述方式,分别以目标校正图像中的每个像素点的像素坐标作为依据,对目标校正图像中的每个像素点分别进行设置,以获取每幅原始图像对应的目标校正图像。
其中,根据查询到的像素值,确定目标校正图像中的像素点所对应的原始图像的像素点的像素坐标的步骤,包括:
将查询到的像素值,确定为目标校正图像中的像素点所对应的原始图像的像素点的像素坐标;或者根据查询到的像素值和预先设定的计算公式,计算得到目标校正图像中的像素点所对应的原始图像的像素点的像素坐标。
为了使得这个查询目标像素点的索引关系能够在GPU端进行执行,需要对前述计算出的映射图像(mapx,mapy)做一些工程技巧上的处理,因为图像RGB的每一个像素上面最多能存到255的值,因此,若像素值大于255时,则通过单通道图像无法把这个位置值给编码进图像,因此,这里用了如下的小技巧对映射图像(mapx,mapy)进行处理,即对其进行除255取整数和余数的方式,将映射图像的坐标值存进图片。
因为图像的次像素是8位,最多可表示256个数值,所以通过对原始坐标值进行取整数及取余运算,可以用来替代表示的分辨率则可以变得非常大(理论上可以达到255*255*255+255*255+255)。其中,取整数及取余的操作如下,设高位值为H,低位值为L,其中高位值为整数值,低位值为余数。则计算方法如下:针对(x0,y0)的坐标,对x0进行表示,可以用:Hx=x0/255,Lx=x0%255,分别得到用于表示x0的高位及低位信息,对y0进行表示,可以用:Hy=y0/255,Ly=y0%255,分别得到用于表示y0的高位及低位信息。而在GPU端图像获取到mapx中的对应数值时,则可以对其进行还原:x0'=Hx*255+Lx,y0'=Hy*255+Ly。
下面以举例的方式对确定目标校正图像中的像素点所对应的原始图像的像素点的像素坐标的过程进行说明。
例如:在索引关系图像中进行查询,获取对应的像素值之后,需要根据对应的像素值确定目标校正图像中的像素点所对应的原始图像的像素点的像素坐标,在确定所对应的原始图像的像素点的像素坐标时,需要确定移动终端的分辨率,若移动终端的分辨率为128*128或者128*160,即横向分辨率与纵向分辨率均没有超过255,则可以直接将在索引关系图像中查询到的像素值,确定为目标校正图像中的像素点所对应的原始图像的像素点的像素坐标。
若移动终端的横向分辨率或者纵向分辨率中的一个超过255,或者横向分辨率和纵向分辨率均超过255,如移动终端的分辨率为240*400、320*240或1024*768等,则可以需要根据查询到的像素值,利用预先设定的计算公式,计算得到目标校正图像中的像素点所对应的原始图像的像素点的像素坐标。不同的分辨率对应的计算公式可以不同。以移动终端的分辨率为1024*768为例进行说明,若要查询目标像素位置(1000,750)中的像素值,则通过在x索引关系图像中的获取像素点(1000,750)的像素值,进而得到其两个子像素值3和236,其中这里的3和236为原始图像中对应的像素点的x坐标的高位和低位,因此,根据公式x0'=Hx*255+Lx,可以还原在目标校正图像中的像素点(1000,750),其对应的原始图像的像素点的坐标x0'为:3*255+236=1001;通过在y索引关系图像中的获取像素点(1000,750)的像素值,进而得到其两个子像素值2和230,其中2和230为原始图像中对应的像素点的y坐标的高位和低位,根据公式y0'=Hy*255+Ly计算得到y0'为2*255+230=740,则目标校正图像中的像素点所对应的原始图像的像素点的像素坐标为(1001,740)。
在本发明实施例中,在获取双摄像头采集的两幅原始图像之后,利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理之前,方法还包括:
对原始图像进行翻转处理,以使图形处理器利用预先设定的索引关系,对翻转处理后的两幅原始图像分别进行映射处理;或者对原始图像依次进行旋转和翻转处理,以使图形处理器利用预先设定的索引关系,对旋转和翻转处理后的两幅原始图像分别进行映射处理;
而在利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理之后,该方法还包括:
对映射处理后得到的每幅图像进行翻转处理,从而获取每幅原始图像对应的目标校正图像。
本领域技术人员可以理解的,我们需要获取到的是具有水平视差的、正常视角的标准图像,例如,人物头部在上身体在下的正常体位的视图。但是,根据移动终端的系统配置和摄像头感光芯片的要求,传送给GPU进行映射的原始图像,可能是人物躺倒的非标准视图,因此,是需要在映射之前,将非标准视图旋转为标准视图,然后再进行映射处理。
可选的,在获取双摄像头采集的两幅原始图像之后,可需要移动终端系统本身检测所获取的两幅原始图像是否为标准图像,这里的标准图像指的是预设正视图,即原始图像没有发生旋转,以正常视角进行显示。
若所获取的两幅原始图像为标准图像,则需要考虑到所获取的原始图像信息在导入图形处理器后坐标系会发生翻转,因此为了适配图形处理器的需求,需要对两幅原始图像分别进行翻转处理,在进行翻转处理之后,可以利用图形处理器,并依据索引关系,对翻转处理后的两幅原始图像分别进行映射处理。在映射处理之后,可以对映射处理后得到的每幅图像进行翻转处理,从而获取每幅原始图像对应的目标校正图像。其中对两幅原始图像分别进行翻转处理时,向第一方向进行翻转;在映射处理之后,对映射处理后得到的每幅图像进行翻转处理时,向第二方向进行翻转,这里的第一方向与第二方向所对应的方向相反。
若确定所获取的两幅原始图像不属于标准图像,则需要获取原始图像相较于标准图像向第三方向的旋转角度,然后根据确定的旋转角度,对原始图像向第四方向进行旋转,其中第三方向与第四方向所对应的方向相反。例如:对于双前摄来说,由于传感器的朝向设置,直接所获取的原始图像是右旋90度的,因此在获取原始图像之后,需要向左旋转90度。
需要说明的是,是否对原始图像进行旋转处理取决于硬件,开发人员可以判断出是否需要对原始图像进行旋转,进而在算法中进行旋转设计。
在对原始图像进行旋转处理后,还需要考虑图像信息在导入图形处理器后坐标系会发生翻转,因此为了适配图形处理器的需求,需要对经过旋转处理后的两幅原始图像分别进行翻转处理,在进行翻转处理之后,可以利用图形处理器,并依据索引关系,对翻转处理后的两幅原始图像分别进行映射处理。在映射处理之后,可以对映射处理后得到的每幅图像进行翻转处理,从而获取每幅原始图像对应的目标校正图像。其中对经过旋转处理后的两幅原始图像分别进行翻转处理时,向第一方向进行翻转;在映射处理之后,对映射处理后得到的每幅图像进行翻转处理时,向第二方向进行翻转,这里的第一方向与第二方向所对应的方向相反。
在本发明实施例中,根据两幅原始图像分别对应的目标校正图像,获取立体图像的步骤,如图3所示,包括:
步骤301、对两幅目标校正图像分别进行边缘裁切处理。
步骤302、将边缘裁切处理后的目标校正图像进行合成,从而获取立体图像。
在根据两幅原始图像分别获取对应的目标校正图像之后,所获取的两幅目标校正图像的边缘会存在黑边,像素边缘也不是成一条直线的。此时需要对两幅目标校正图像分别进行边缘裁切处理,在对两幅目标校正图像进行边缘裁切处理之后,将经过边缘裁切处理后的目标校正图像进行合成,根据合成结果来生成立体图像。
其中,对两幅目标校正图像分别进行边缘裁切处理的步骤,包括:根据目标校正图像的宽高比,对目标校正图像进行边缘裁切处理,以使边缘裁切处理前后的目标校正图像的宽高比不变。
在对目标校正图像进行边缘裁切处理时,优选的,需要按照目标校正图像的宽高比分别对目标校正图像在宽度方向和高度方向上进行裁切。例如目标校正图像的宽高比为1:2,则在进行边缘裁切处理时,在宽度方向的裁切尺寸与在高度方向的裁切尺寸之比应为1:2,这样可以使得经过裁切之后的目标校正图像的宽高比不变,也就保证了经过裁切之后的目标校正图像在拉伸后不会产生变形的情况。
具体过程为:裁切的区域对于两幅目标校正图像来说是同样的大小,同样的起点。需要在两幅目标校正图像中左边能裁切到的最左端,两幅目标校正图像顶端能裁切到的最上端,两幅目标校正图像右端能裁切到的最右端,两幅目标校正图像底端能裁切的最低端中进行选择。根据要保存图像宽高比进行裁切,一般裁切上述范围的中间位置。这里所要保存的图像宽高比即为初始目标校正图像的宽高比。
其中,裁切时要遵循的原则可概括为以下几点:1.使得两张目标校正图像裁切位置相同,且不能裁切到摄像头拍摄到的东西以外(因为映射处理的时候对原始图像没有的区域用黑色像素填充);2.在设定的比例中,尽量把图像裁切的大一些;3.图像裁切要根据屏幕所显示的比例进行裁切。
在本发明的一个实施例中,为了增加趣味性,若移动终端的双摄像头为前置双摄像头,则在获取双摄像头采集的两幅原始图像后,该方法还包括:获取两幅原始图像中至少一幅原始图像中的人脸特征点的位置信息;
则,根据两幅原始图像分别对应的目标校正图像,获取立体图像包括:
根据人脸特征点的位置信息,对至少一幅目标校正图像进行风格化贴图处理,以在至少一幅目标校正图像中的人脸特征点位置上设置贴图;根据进行风格化贴图处理后的目标校正图像,获取立体图像。
若移动终端的双摄像头为前置双摄,在通过双摄像头采集获取两幅原始图像之后,可以在两幅原始图像中的至少一幅中获取人脸特征点的位置信息,通过获取人脸特征点的位置信息可以对目标校正图像进行进一步的处理。
其中在两幅原始图像中的至少一幅中获取人脸特征点的位置信息之后,根据目标校正图像获取立体图像的过程具体为:
根据所获取的人脸特征点的位置信息,对至少一幅目标校正图像进行风格化贴图处理。对目标校正图像进行风格化贴图处理,就是对目标校正图像中的人画上兔耳朵、兔鼻子、猫耳朵、猫胡须、皇冠之类的装饰模型。
其中,根据人脸特征点的位置信息,对至少一幅目标校正图像进行风格化贴图处理的步骤,如图4所示,包括:
步骤401、根据人脸特征点的位置信息和索引关系,获取目标校正图像上的人脸特征点的位置信息;
步骤402、根据目标校正图像上的人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置,并利用虚拟双摄像头对模型贴图进行拍摄,其中虚拟双摄像头之间的距离等于双摄像头之间的距离;
步骤403、根据目标校正图像上的人脸特征点的位置信息,将拍摄得到的模型贴图设置于目标校正图像中。
具体过程为:在原始图像中获取人脸特征点的位置信息之后,根据所获取的人脸特征点的位置信息以及预先设定的索引关系,获取对应的目标校正图像上的人脸特征点的位置信息,在获取目标校正图像上的人脸特征点的位置信息之后,根据目标校正图像上的人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置。其中虚拟立体场景中有两个虚拟的摄像头,两个虚拟摄像头之间的间距与真实的两个摄像头之间的间距一样。预先设置的模型贴图均是通过3D建模得到的,然后放在虚拟的立体场景中。
在根据目标校正图像上的人脸特征点的位置信息相对于双摄像头的位置及角度,调整虚像摄像头与模型贴图的相对位置之后,利用虚拟双摄像头对模型贴图进行拍摄,在拍摄完成后将拍摄得到的模型贴图,根据目标校正图像上的人脸特征点的位置信息设置到目标校正图像上。
上述过程中可以仅对一幅目标校正图像进行风格化贴图处理,也可同时对两幅目标校正图像进行风格化贴图处理,取决于原始图像的人脸特征点的位置信息的来源,若在两幅原始图像中的一幅中获取了人脸特征点的位置信息,则可以针对对应的一幅目标校正图像进行风格化贴图处理,若在两幅原始图像中均获取了人脸特征点的位置信息,则可以针对两幅目标校正图像进行风格化贴图处理。
通过在目标校正图像中的人脸特征点位置设置贴图,实现对目标校正图像中的人脸进行风格化贴图处理,在进行风格化贴图处理之后,可以根据进行风格化贴图处理后的目标校正图像,获取立体图像。
需要说明的是,进行风格化贴图的对象是目标校正图像,如果对原始图像进行风格化贴图的话,由于还需要对原始图像进行映射处理,会造成模型图像无法配合人脸,以及模型图像被拉伸变形的问题。
其中,在上述实施过程中,人脸特征点包括眼部特征点;
针对自拍等应用场景,在获取立体图像后,该方法还包括:根据眼部特征点的位置信息,确定用户的空间观看位置信息;根据空间观看位置信息,对立体图像进行裸眼立体显示。
针对前置双摄而言,在获取人脸特征点的位置信息时,还可以获取眼部特征点,这里的眼部特征点为目标校正图像中的眼部特征点,即在至少一幅原始图像中获取眼部特征点之后,根据索引关系确定目标校正图像中的眼部特征点。在获取眼部特征点之后,可以根据眼部特征点获取用户的空间观看位置信息,在确定用户的空间观看位置信息后,确定用户的空间观看位置信息相对于显示屏的第一位置坐标,根据第一位置坐标确定第一排图参数;根据第一排图参数在图像显示界面对立体图像进行显示。
即,对于自拍场景,通过拍摄到的原始图像确定用户的观看位置,基于观看位置进行立体显示,则可以使自拍用户边自拍边观看到立体图像。
在本发明实施例中,获取立体图像后,该方法还包括:
对立体图像进行裸眼立体显示,通过对立体图像进行裸眼立体显示,可以提升用户的视觉体验。
其中在获取双摄像头采集的两幅原始图像后,还包括:获取两幅原始图像中至少一幅原始图像中的眼部特征点的位置信息;则对立体图像进行裸眼立体显示的过程为:根据眼部特征点的位置信息,确定用户的空间观看位置信息;根据空间观看位置信息,对立体图像进行裸眼立体显示。
在两幅原始图像中的至少一幅原始图像中获取眼部特征点的位置信息之后,可以根据索引关系获取对应的目标校正图像中的眼部特征点,根据目标校正图像中的眼部特征点获取用户的空间观看位置信息,在确定用户的空间观看位置信息后,确定用户的空间观看位置信息相对于显示屏的第一位置坐标,根据第一位置坐标确定第一排图参数;根据第一排图参数在图像显示界面对立体图像进行显示。
以上是针对用户在自拍模式下实时观看时,对立体图像进行显示的限定,即针对自拍,拍摄完立体图像后,移动终端相对于用户的位置不变时用户实时预览,基于原始图像来确定用户的观看位置。
而对于拍摄完立体图像后,用户将移动终端拿到眼前观看等应用场景,即拍摄完立体图像后,移动终端相对于用户的位置改变时用户实时预览,此时,在进行立体显示时,则对立体图像进行裸眼立体显示的过程包括:
采集用户即观看者的定位图像,并获取定位图像中用户的眼部特征点的位置信息;根据眼部特征点的位置信息,确定用户的空间观看位置信息;根据空间观看位置信息,对立体图像进行裸眼立体显示。
首先在用户处于观看场景下,采集用户的定位图像,在获取用户的定位图像之后,在用户的定位图像中获取用户的眼部特征点的位置信息,根据获取的用户的眼部特征点的位置信息,确定用户的空间观看位置信息。在确定用户的空间观看位置信息后,确定用户的空间观看位置信息相对于显示屏的第二位置坐标,根据第二位置坐标确定第二排图参数;根据第二排图参数在图像显示界面对立体图像进行显示。
需要说明的是,在获取立体图像之后,还可以对立体图像进行编码保存,根据编码保存的立体图像生成视频文件。由于视频文件可以由一帧帧立体图像生成,因此在这里对视频录制过程不再详细阐述。
综上为本发明实施例的技术方案,首先需要获取双摄像头采集的两幅原始图像,利用图形处理器,采用预设的指示目标校正图像的像素点与原始图像的像素点的位置关系的索引关系,对两幅原始图像分别进行映射处理,以获取两幅原始图像分别对应的目标校正图像,根据两幅目标校正图像获取立体图像,由于预先设定好索引关系,并利用图形处理器基于索引关系进行映射处理,即对原始图像进行水平对齐和反畸变校正处理,因此,可以利用图形处理器的处理速度,实现快速的获取立体图像,保证立体拍摄的实时预览,可以使得用户快速便捷的获取立体图像,提高拍摄体验,用户可以利用移动终端来获取立体图像,增强了移动终端的功能性和娱乐性。
其中,本发明实施例还提供一应用于前置双摄的一整体实施流程图,如图5所示,包括:
步骤501、启动前置双摄像头,获取两幅原始图像。
两个前置摄像头以同样的参数设定打开,这里包括设定两个摄像头的焦距、曝光、白平衡等,同时两个摄像头拍照的图像大小的设定也是一样的。完成后,在同一时间拍摄图像,获取到两路摄像头的原始图像数据。
步骤502、利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理,以获取每幅原始图像对应的目标校正图像。
在对两幅原始图像进行映射处理之前,需要进行双摄标定,根据标定结果获取索引关系。
步骤503、获取两幅原始图像中至少一幅原始图像中的人脸特征点的位置信息。
在两幅原始图像中的至少一幅中获取人脸特征点的位置信息。
步骤504、根据人脸特征点的位置信息,对至少一幅目标校正图像进行风格化贴图处理。
根据人脸特征点的位置信息和索引关系,获取目标校正图像上的人脸特征点的位置信息;根据目标校正图像上的所述人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置,并利用虚拟双摄像头对模型贴图进行拍摄,将拍摄得到的模型贴图设置于目标校正图像中。其中模型贴图是通过3D建模得到的,然后放在虚拟的立体场景中。
步骤505、对两幅目标校正图像分别进行边缘裁切处理。
根据目标校正图像的宽高比,对目标校正图像进行边缘裁切处理,以使边缘裁切处理前后的目标校正图像的宽高比不变。
步骤506、根据裁切处理后的两幅目标校正图像获取立体图像。
步骤507、对立体图像进行裸眼立体显示。
在进行裸眼立体显示时,可以获取两幅原始图像中至少一幅原始图像中的眼部特征点的位置信息;根据眼部特征点的位置信息,确定用户的空间观看位置信息;根据所述空间观看位置信息,对立体图像进行裸眼立体显示。
还可以采集用户的定位图像,并获取定位图像中用户的眼部特征点的位置信息;根据眼部特征点的位置信息,确定用户的空间观看位置信息;根据空间观看位置信息,对立体图像进行裸眼立体显示。
本发明实施例可以基于图形处理器的处理速度,实现快速的获取立体图像,保证立体拍摄的实时预览,还可以设置风格化贴图保证用户使用的趣味性,通过获取用户的空间观看位置信息进行立体显示,可以保证显示效果。
本发明实施例还提供一种用于移动终端的立体图像获取装置,移动终端上设置有双摄像头,如图6a所示,该装置包括:
第一获取模块10,用于获取双摄像头采集的两幅原始图像;
第二获取模块20,用于利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理,以获取每幅原始图像对应的目标校正图像,其中,索引关系指示了目标校正图像的像素点与原始图像的像素点的位置对应关系;
第三获取模块30,用于根据两幅原始图像分别对应的目标校正图像,获取立体图像。
其中,如图6b所示,该装置还包括:
第四获取模块40,用于在第一获取模块10获取双摄像头采集的两幅原始图像之前,获取双摄像头中每一摄像头所对应的内参和外参;
第五获取模块50,用于根据所获取的双摄像头中每一摄像头所对应的内参和外参,获取双摄像头中每一摄像头所对应的索引关系。
其中,第四获取模块40包括:
第一获取子模块41,用于利用双摄像头采集第一预定图像,并获取双摄像头中每一摄像头所采集到的第一预定图像;
第二获取子模块42,用于根据双摄像头中每一摄像头所采集的第一预定图像,获取双摄像头中每一摄像头所对应的内参和外参。
其中,第一获取子模块41进一步用于:
利用双摄像头采集移动终端显示的第一预定图像投射到镜面上所形成的虚像,并获取双摄像头中每一摄像头所采集到的第一预定图像。
其中,第五获取模块50进一步用于:
针对双摄像头中的每一摄像头,根据所获取的摄像头所对应的内参和外参,计算摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,根据摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,建立摄像头对应的索引关系。
其中,索引关系包括索引关系图像;
索引关系图像的像素点的像素值用于指示目标校正图像的像素点所对应的原始图像中的像素点的像素坐标;
如图6c所示,第二获取模块20包括:
查询子模块21,用于以目标校正图像中的像素点的像素坐标为索引,在索引关系图像中查询相同像素坐标的像素点的像素值;
确定子模块22,用于根据查询到的像素值,确定目标校正图像中的像素点所对应的原始图像的像素点的像素坐标;
设置子模块23,用于根据目标校正图像中的像素点所对应的原始图像的像素点的像素坐标,将目标校正图像中的像素点的像素值设置为目标校正图像中的像素点所对应的原始图像的像素点在原始图像中的像素值。
其中,确定子模块22包括:
确定单元221,用于将查询到的像素值,确定为目标校正图像中的像素点所对应的原始图像的像素点的像素坐标;
或者
计算单元222,用于根据查询到的像素值和预先设定的计算公式,计算得到目标校正图像中的像素点所对应的原始图像的像素点的像素坐标。
其中,该装置还包括:
第一处理模块60,用于在第一获取模块10获取双摄像头采集的两幅原始图像之后,第二获取模块20利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理之前,对原始图像进行翻转处理,以使图形处理器利用预先设定的索引关系,对翻转处理后的两幅原始图像分别进行映射处理;
或者
第二处理模块70,用于在第一获取模块10获取双摄像头采集的两幅原始图像之后,第二获取模块20利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理之前,对原始图像依次进行旋转和翻转处理,以使图形处理器利用预先设定的索引关系,对旋转和翻转处理后的两幅原始图像分别进行映射处理;
该装置还包括:
第三处理模块80,用于在第二获取模块20利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理之后,对映射处理后得到的每幅图像进行翻转处理,从而获取每幅原始图像对应的目标校正图像。
其中,第三获取模块30包括:
裁切子模块31,用于对两幅目标校正图像分别进行边缘裁切处理;
合成子模块32,用于将边缘裁切处理后的目标校正图像进行合成,从而获取立体图像。
其中,裁切子模块31进一步用于:
根据目标校正图像的宽高比,对目标校正图像进行边缘裁切处理,以使边缘裁切处理前后的目标校正图像的宽高比不变。
其中,双摄像头为前置双摄像头;该装置还包括:
第六获取模块90,用于在第一获取模块10获取双摄像头采集的两幅原始图像后,获取两幅原始图像中至少一幅原始图像中的人脸特征点的位置信息;
第三获取模块30包括:
贴图子模块33,用于根据人脸特征点的位置信息,对至少一幅目标校正图像进行风格化贴图处理,以在至少一幅目标校正图像中的人脸特征点位置上设置贴图;
第三获取子模块34,用于根据进行风格化贴图处理后的目标校正图像,获取立体图像。
其中,人脸特征点包括眼部特征点;该装置还包括:
确定模块100,用于在第三获取模块30获取立体图像后,根据眼部特征点的位置信息,确定用户的空间观看位置信息;
第一显示模块110,用于根据空间观看位置信息,对立体图像进行裸眼立体显示。
其中,贴图子模块33包括:
获取单元331,用于根据人脸特征点的位置信息和索引关系,获取目标校正图像上的人脸特征点的位置信息;
处理单元332,用于根据目标校正图像上的人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置,并利用虚拟双摄像头对模型贴图进行拍摄,其中虚拟双摄像头之间的距离等于双摄像头之间的距离;
设置单元333,用于根据目标校正图像上的人脸特征点的位置信息,将拍摄得到的模型贴图设置于目标校正图像中。
其中,该装置还包括:
第二显示模块120,用于在第三获取模块30获取立体图像后,对立体图像进行裸眼立体显示。
其中,该装置还包括:
第七获取模块130,用于在第一获取模块10获取双摄像头采集的两幅原始图像后,获取两幅原始图像中至少一幅原始图像中的眼部特征点的位置信息;
第二显示模块120进一步用于:
根据眼部特征点的位置信息,确定用户的空间观看位置信息;
根据空间观看位置信息,对立体图像进行裸眼立体显示。
其中,第二显示模块120进一步用于:
采集用户的定位图像,并获取定位图像中用户的眼部特征点的位置信息;
根据眼部特征点的位置信息,确定用户的空间观看位置信息;
根据空间观看位置信息,对立体图像进行裸眼立体显示。
本发明实施例提供的用于移动终端的立体图像获取装置是应用上述方法的装置,上述方法实施例中所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。
本发明实施例提供的用于移动终端的立体图像获取装置,在获取双摄像头采集的两幅原始图像后,利用图形处理器,采用预设的指示目标校正图像的像素点与原始图像的像素点的位置关系的索引关系,对两幅原始图像分别进行映射处理,以获取两幅原始图像分别对应的目标校正图像,根据两幅目标校正图像获取立体图像。由于预先设定好索引关系,并利用图形处理器基于索引关系进行映射处理,即对原始图像进行水平对齐和反畸变校正处理,因此,可以利用图形处理器的处理速度,实现快速的获取立体图像,保证立体拍摄的实时预览,可以使得用户快速便捷的获取立体图像,提高拍摄体验,用户可以利用移动终端来获取立体图像,增强了移动终端的功能性和娱乐性。
本发明实施例还提供一种移动终端,移动终端上设置有双摄像头,移动终端包括一个或多个处理器,处理器被配置为执行如下方法:
获取双摄像头采集的两幅原始图像;利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理,以获取每幅原始图像对应的目标校正图像,其中,索引关系指示了目标校正图像的像素点与原始图像的像素点的位置对应关系;根据两幅原始图像分别对应的目标校正图像,获取立体图像。
其中处理器能够实现前述实施例中用于移动终端的立体图像获取方法的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端,在获取双摄像头采集的两幅原始图像后,利用图形处理器,采用预设的指示目标校正图像的像素点与原始图像的像素点的位置关系的索引关系,对两幅原始图像分别进行映射处理,以获取两幅原始图像分别对应的目标校正图像,根据两幅目标校正图像获取立体图像,由于预先设定好索引关系,并利用图形处理器基于索引关系进行映射处理,即对原始图像进行水平对齐和反畸变校正处理,因此,可以利用图形处理器的处理速度,实现快速的获取立体图像,保证立体拍摄的实时预览,可以使得用户快速便捷的获取立体图像,提高拍摄体验,用户可以利用移动终端来获取立体图像,增强了移动终端的功能性和娱乐性。
本发明实施例还提供一种计算机可读存储介质,用于存储计算机程序,计算机程序可被处理器执行上述的用于移动终端的立体图像获取方法的步骤。
本发明实施例的计算机可读存储介质,用于存储计算机程序,计算机程序可被处理器执行以下步骤:获取双摄像头采集的两幅原始图像;利用图形处理器,根据预先设定的索引关系,对两幅原始图像分别进行映射处理,以获取每幅原始图像对应的目标校正图像,其中,索引关系指示了目标校正图像的像素点与原始图像的像素点的位置对应关系;根据两幅原始图像分别对应的目标校正图像,获取立体图像。
其中计算机程序被处理器执行时能够实现前述实施例中用于移动终端的立体图像获取方法的各个过程,为避免重复,这里不再赘述。
本发明实施例的计算机可读存储介质,在获取双摄像头采集的两幅原始图像后,利用图形处理器,采用预设的指示目标校正图像的像素点与原始图像的像素点的位置关系的索引关系,对两幅原始图像分别进行映射处理,以获取两幅原始图像分别对应的目标校正图像,根据两幅目标校正图像获取立体图像。由于预先设定好索引关系,并利用图形处理器基于索引关系进行映射处理,即对原始图像进行水平对齐和反畸变校正处理,因此,可以利用图形处理器的处理速度,实现快速的获取立体图像,保证立体拍摄的实时预览,可以使得用户快速便捷的获取立体图像,提高拍摄体验,用户可以利用移动终端来获取立体图像,增强了移动终端的功能性和娱乐性。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。

Claims (34)

1.一种用于移动终端的立体图像获取方法,所述移动终端上设置有双摄像头,其特征在于,所述方法包括:
获取所述双摄像头采集的两幅原始图像;
利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像,其中,所述索引关系指示了所述目标校正图像的像素点与所述原始图像的像素点的位置对应关系;
根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像。
2.根据权利要求1所述的方法,其特征在于,
在所述获取所述双摄像头采集的两幅原始图像之前,所述方法还包括:
获取所述双摄像头中每一摄像头所对应的内参和外参;
根据所获取的所述双摄像头中每一摄像头所对应的内参和外参,获取所述双摄像头中每一摄像头所对应的所述索引关系。
3.根据权利要求2所述的方法,其特征在于,所述获取所述双摄像头中每一摄像头所对应的内参和外参的步骤,包括:
利用所述双摄像头采集第一预定图像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像;
根据所述双摄像头中每一摄像头所采集的第一预定图像,获取所述双摄像头中每一摄像头所对应的内参和外参。
4.根据权利要求3所述的方法,其特征在于,所述利用所述双摄像头采集第一预定图像包括:
利用所述双摄像头采集所述移动终端显示的第一预定图像投射到镜面上所形成的虚像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像。
5.根据权利要求2所述的方法,其特征在于,所述根据所获取的所述双摄像头中每一摄像头所对应的内参和外参,获取所述双摄像头中每一摄像头所对应的所述索引关系包括:
针对所述双摄像头中的每一摄像头,根据所获取的所述摄像头所对应的内参和外参,计算所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,根据所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,建立所述摄像头对应的所述索引关系。
6.根据权利要求1至5任一项所述的方法,其特征在于,
所述索引关系包括索引关系图像;
所述索引关系图像的像素点的像素值用于指示所述目标校正图像的像素点所对应的所述原始图像中的像素点的像素坐标;
所述根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像的步骤,包括:
以所述目标校正图像中的像素点的像素坐标为索引,在所述索引关系图像中查询相同像素坐标的像素点的像素值;
根据查询到的像素值,确定所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
根据所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标,将所述目标校正图像中的像素点的像素值设置为所述目标校正图像中的像素点所对应的所述原始图像的像素点在所述原始图像中的像素值。
7.根据权利要求6所述的方法,其特征在于,所述根据查询到的像素值,确定所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标的步骤,包括:
将查询到的像素值,确定为所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
或者
根据查询到的像素值和预先设定的计算公式,计算得到所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标。
8.根据权利要求1所述的方法,其特征在于,所述在获取所述双摄像头采集的两幅原始图像之后,利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之前,所述方法还包括:
对所述原始图像进行翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述翻转处理后的两幅原始图像分别进行映射处理;
或者
对所述原始图像依次进行旋转和翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述旋转和翻转处理后的两幅原始图像分别进行映射处理;
在所述利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之后,所述方法还包括:
对所述映射处理后得到的每幅图像进行翻转处理,从而获取每幅所述原始图像对应的目标校正图像。
9.根据权利要求1所述的方法,其特征在于,所述根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像的步骤,包括:
对两幅所述目标校正图像分别进行边缘裁切处理;
将所述边缘裁切处理后的所述目标校正图像进行合成,从而获取立体图像。
10.根据权利要求9所述的方法,其特征在于,所述对两幅所述目标校正图像分别进行边缘裁切处理的步骤,包括:
根据所述目标校正图像的宽高比,对所述目标校正图像进行边缘裁切处理,以使所述边缘裁切处理前后的目标校正图像的宽高比不变。
11.根据权利要求1所述的方法,其特征在于,
所述双摄像头为前置双摄像头;
在获取所述双摄像头采集的两幅原始图像后,所述方法还包括:
获取所述两幅原始图像中至少一幅原始图像中的人脸特征点的位置信息;
所述根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像包括:
根据所述人脸特征点的位置信息,对至少一幅所述目标校正图像进行风格化贴图处理,以在至少一幅所述目标校正图像中的人脸特征点位置上设置贴图;
根据进行风格化贴图处理后的目标校正图像,获取立体图像。
12.根据权利要求11所述的方法,其特征在于,所述人脸特征点包括眼部特征点;
在获取立体图像后,所述方法还包括:
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
13.根据权利要求11所述的方法,其特征在于,所述根据所述人脸特征点的位置信息,对至少一幅目标校正图像进行风格化贴图处理的步骤,包括:
根据所述人脸特征点的位置信息和所述索引关系,获取所述目标校正图像上的所述人脸特征点的位置信息;
根据所述目标校正图像上的所述人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置,并利用虚拟双摄像头对模型贴图进行拍摄,其中虚拟双摄像头之间的距离等于所述双摄像头之间的距离;
根据所述目标校正图像上的所述人脸特征点的位置信息,将拍摄得到的模型贴图设置于所述目标校正图像中。
14.根据权利要求1所述的方法,其特征在于,所述获取立体图像后,所述方法还包括:
对所述立体图像进行裸眼立体显示。
15.根据权利要求14所述的方法,其特征在于,
在获取所述双摄像头采集的两幅原始图像后,所述方法还包括:
获取所述两幅原始图像中至少一幅原始图像中的眼部特征点的位置信息;
所述对所述立体图像进行裸眼立体显示包括:
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
16.根据权利要求14所述的方法,其特征在于,所述对所述立体图像进行裸眼立体显示包括:
采集用户的定位图像,并获取所述定位图像中所述用户的眼部特征点的位置信息;
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
17.一种用于移动终端的立体图像获取装置,所述移动终端上设置有双摄像头,其特征在于,所述装置包括:
第一获取模块,用于获取所述双摄像头采集的两幅原始图像;
第二获取模块,用于利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像,其中,所述索引关系指示了所述目标校正图像的像素点与所述原始图像的像素点的位置对应关系;
第三获取模块,用于根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像。
18.根据权利要求17所述的装置,其特征在于,所述装置还包括:
第四获取模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像之前,获取所述双摄像头中每一摄像头所对应的内参和外参;
第五获取模块,用于根据所获取的所述双摄像头中每一摄像头所对应的内参和外参,获取所述双摄像头中每一摄像头所对应的所述索引关系。
19.根据权利要求18所述的装置,其特征在于,所述第四获取模块包括:
第一获取子模块,用于利用所述双摄像头采集第一预定图像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像;
第二获取子模块,用于根据所述双摄像头中每一摄像头所采集的第一预定图像,获取所述双摄像头中每一摄像头所对应的内参和外参。
20.根据权利要求19所述的装置,其特征在于,所述第一获取子模块进一步用于:
利用所述双摄像头采集所述移动终端显示的第一预定图像投射到镜面上所形成的虚像,并获取所述双摄像头中每一摄像头所采集到的第一预定图像。
21.根据权利要求18所述的装置,其特征在于,所述第五获取模块进一步用于:
针对所述双摄像头中的每一摄像头,根据所获取的所述摄像头所对应的内参和外参,计算所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,根据所述摄像头所采集的原始图像的像素点在目标校正图像中的像素坐标,建立所述摄像头对应的所述索引关系。
22.根据权利要求17至21任一项所述的装置,其特征在于,
所述索引关系包括索引关系图像;
所述索引关系图像的像素点的像素值用于指示所述目标校正图像的像素点所对应的所述原始图像中的像素点的像素坐标;
所述第二获取模块包括:
查询子模块,用于以所述目标校正图像中的像素点的像素坐标为索引,在所述索引关系图像中查询相同像素坐标的像素点的像素值;
确定子模块,用于根据查询到的像素值,确定所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
设置子模块,用于根据所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标,将所述目标校正图像中的像素点的像素值设置为所述目标校正图像中的像素点所对应的所述原始图像的像素点在所述原始图像中的像素值。
23.根据权利要求22所述的装置,其特征在于,所述确定子模块包括:
确定单元,用于将查询到的像素值,确定为所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标;
或者
计算单元,用于根据查询到的像素值和预先设定的计算公式,计算得到所述目标校正图像中的像素点所对应的所述原始图像的像素点的像素坐标。
24.根据权利要求17所述的装置,其特征在于,所述装置还包括:
第一处理模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像之后,所述第二获取模块利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之前,对所述原始图像进行翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述翻转处理后的两幅原始图像分别进行映射处理;
或者
第二处理模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像之后,所述第二获取模块利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之前,对所述原始图像依次进行旋转和翻转处理,以使所述图形处理器利用预先设定的索引关系,对所述旋转和翻转处理后的两幅原始图像分别进行映射处理;
所述装置还包括:
第三处理模块,用于在所述第二获取模块利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理之后,对所述映射处理后得到的每幅图像进行翻转处理,从而获取每幅所述原始图像对应的目标校正图像。
25.根据权利要求17所述的装置,其特征在于,所述第三获取模块包括:
裁切子模块,用于对两幅所述目标校正图像分别进行边缘裁切处理;
合成子模块,用于将所述边缘裁切处理后的所述目标校正图像进行合成,从而获取立体图像。
26.根据权利要求25所述的装置,其特征在于,所述裁切子模块进一步用于:
根据所述目标校正图像的宽高比,对所述目标校正图像进行边缘裁切处理,以使所述边缘裁切处理前后的目标校正图像的宽高比不变。
27.根据权利要求17所述的装置,其特征在于,
所述双摄像头为前置双摄像头;所述装置还包括:
第六获取模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像后,获取所述两幅原始图像中至少一幅原始图像中的人脸特征点的位置信息;
所述第三获取模块包括:
贴图子模块,用于根据所述人脸特征点的位置信息,对至少一幅所述目标校正图像进行风格化贴图处理,以在至少一幅所述目标校正图像中的人脸特征点位置上设置贴图;
第三获取子模块,用于根据进行风格化贴图处理后的目标校正图像,获取立体图像。
28.根据权利要求27所述的装置,其特征在于,所述人脸特征点包括眼部特征点;
所述装置还包括:
确定模块,用于在所述第三获取模块获取立体图像后,根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
第一显示模块,用于根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
29.根据权利要求27所述的装置,其特征在于,所述贴图子模块包括:
获取单元,用于根据所述人脸特征点的位置信息和所述索引关系,获取所述目标校正图像上的所述人脸特征点的位置信息;
处理单元,用于根据所述目标校正图像上的所述人脸特征点的位置信息,调整虚拟立体场景中虚拟双摄像头与预先设置的模型贴图的相对位置,并利用虚拟双摄像头对模型贴图进行拍摄,其中虚拟双摄像头之间的距离等于所述双摄像头之间的距离;
设置单元,用于根据所述目标校正图像上的所述人脸特征点的位置信息,将拍摄得到的模型贴图设置于所述目标校正图像中。
30.根据权利要求17所述的装置,其特征在于,所述装置还包括:
第二显示模块,用于在所述第三获取模块获取立体图像后,对所述立体图像进行裸眼立体显示。
31.根据权利要求30所述的装置,其特征在于,所述装置还包括:
第七获取模块,用于在所述第一获取模块获取所述双摄像头采集的两幅原始图像后,获取所述两幅原始图像中至少一幅原始图像中的眼部特征点的位置信息;
所述第二显示模块进一步用于:
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
32.根据权利要求30所述的装置,其特征在于,所述第二显示模块进一步用于:
采集用户的定位图像,并获取所述定位图像中所述用户的眼部特征点的位置信息;
根据所述眼部特征点的位置信息,确定用户的空间观看位置信息;
根据所述空间观看位置信息,对所述立体图像进行裸眼立体显示。
33.一种移动终端,其特征在于,所述移动终端上设置有双摄像头,所述移动终端包括一个或多个处理器,所述处理器被配置为执行如下方法:
获取所述双摄像头采集的两幅原始图像;
利用图形处理器,根据预先设定的索引关系,对所述两幅原始图像分别进行映射处理,以获取每幅所述原始图像对应的目标校正图像,其中,所述索引关系指示了所述目标校正图像的像素点与所述原始图像的像素点的位置对应关系;
根据两幅所述原始图像分别对应的所述目标校正图像,获取立体图像。
34.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序可被处理器执行如权利要求1至16任一项所述的方法。
CN201810371988.0A 2018-04-24 2018-04-24 一种用于移动终端的立体图像获取方法、装置及移动终端 Pending CN108540790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810371988.0A CN108540790A (zh) 2018-04-24 2018-04-24 一种用于移动终端的立体图像获取方法、装置及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810371988.0A CN108540790A (zh) 2018-04-24 2018-04-24 一种用于移动终端的立体图像获取方法、装置及移动终端

Publications (1)

Publication Number Publication Date
CN108540790A true CN108540790A (zh) 2018-09-14

Family

ID=63478372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810371988.0A Pending CN108540790A (zh) 2018-04-24 2018-04-24 一种用于移动终端的立体图像获取方法、装置及移动终端

Country Status (1)

Country Link
CN (1) CN108540790A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469923A (zh) * 2021-05-28 2021-10-01 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114125304A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 拍摄方法及其装置
CN113469923B (zh) * 2021-05-28 2024-05-24 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996388A (zh) * 2009-08-20 2011-03-30 罗伯特·博世有限公司 用于修正摄像机图像的方法和控制装置
CN103313087A (zh) * 2013-06-28 2013-09-18 冠捷显示科技(厦门)有限公司 两视角裸眼立体显示器带跟踪功能的立体显示方法
CN107506732A (zh) * 2017-08-25 2017-12-22 奇酷互联网络科技(深圳)有限公司 贴图的方法、设备、移动终端以及计算机存储介质
CN107680059A (zh) * 2017-09-30 2018-02-09 努比亚技术有限公司 一种图像校正的判断方法、终端及计算机可读存储介质
CN107679497A (zh) * 2017-10-11 2018-02-09 齐鲁工业大学 视频面部贴图特效处理方法及生成系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996388A (zh) * 2009-08-20 2011-03-30 罗伯特·博世有限公司 用于修正摄像机图像的方法和控制装置
CN103313087A (zh) * 2013-06-28 2013-09-18 冠捷显示科技(厦门)有限公司 两视角裸眼立体显示器带跟踪功能的立体显示方法
CN107506732A (zh) * 2017-08-25 2017-12-22 奇酷互联网络科技(深圳)有限公司 贴图的方法、设备、移动终端以及计算机存储介质
CN107680059A (zh) * 2017-09-30 2018-02-09 努比亚技术有限公司 一种图像校正的判断方法、终端及计算机可读存储介质
CN107679497A (zh) * 2017-10-11 2018-02-09 齐鲁工业大学 视频面部贴图特效处理方法及生成系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469923A (zh) * 2021-05-28 2021-10-01 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113469923B (zh) * 2021-05-28 2024-05-24 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114125304A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 拍摄方法及其装置
CN114125304B (zh) * 2021-11-30 2024-04-30 维沃移动通信有限公司 拍摄方法及其装置

Similar Documents

Publication Publication Date Title
CN113382168B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
US10609282B2 (en) Wide-area image acquiring method and apparatus
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
US10460459B2 (en) Stitching frames into a panoramic frame
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
CN108475327A (zh) 三维采集与渲染
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
KR101915729B1 (ko) 360도 전방향 뷰 영상 생성 장치 및 방법
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
JP3524147B2 (ja) 3次元画像表示装置
JP2010154422A (ja) 画像処理装置
JP2010250452A (ja) 任意視点画像合成装置
CN107862718B (zh) 4d全息视频捕捉方法
US20150271467A1 (en) Capture of three-dimensional images using a single-view camera
US20180262749A1 (en) Storing Data Retrieved from Different Sensors for Generating a 3-D Image
CN109769109A (zh) 基于虚拟视点合成绘制三维物体的方法和系统
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN107005689B (zh) 数字视频渲染
CA2540538C (en) Stereoscopic imaging
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN108492381A (zh) 一种将实物颜色转换成3d模型贴图的方法及系统
CN108540790A (zh) 一种用于移动终端的立体图像获取方法、装置及移动终端
JP2005063041A (ja) 3次元モデリング装置、方法、及びプログラム
CN108513122A (zh) 基于3d成像技术的模型调整方法及模型生成装置
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914