CN109949212A - 图像映射方法、装置、电子设备及存储介质 - Google Patents
图像映射方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109949212A CN109949212A CN201910189889.5A CN201910189889A CN109949212A CN 109949212 A CN109949212 A CN 109949212A CN 201910189889 A CN201910189889 A CN 201910189889A CN 109949212 A CN109949212 A CN 109949212A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- mapped
- target
- threedimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
本申请是关于一种图像映射方法、装置、电子设备及存储介质,方法包括:基于待映射图像的摄像位置和三维模型的基准平面,确定三维模型的表面上具有不同反射属性的目标点,在待映射图像中,获取与各目标点相对应的映射点,将待映射图像中各映射点的信息映射至三维模型的目标点。基于本方案,可以将具有不同反射属性的点,按照不同的方式进行映射,可以将三维模型上的点均映射到待映射图像上,避免信息的丢失,从而实现将待映射图像完整的映射到三维模型上。
Description
技术领域
本公开涉及计算机视觉技术领域,尤其涉及图像映射方法、装置、电子设备及存储介质。
背景技术
随着手机、平板电脑等移动设备的广泛普及,移动设备的功能也越来越多,其中,拍摄功能成为一项日常的基本功能。AR(Augmented Reality,增强现实技术)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动,AR技术是建立在拍摄功能的基础上的,对于AR应用来说,将移动设备所采集到的图像映射到三维模型上,能够极大增加AR应用的沉浸感体验。
相关技术中,是对整个三维模型进行映射处理,将三维模型上的点映射到移动设备采集的图像上,具体地,确定基于三维模型中的点的射线与该三维模型所在的坐标平面的交点,然后确定该交点与以移动设备的原点之间的连线,将该连线与图像的交点即确定为三维模型中的点所映射的点。通过将三维模型中的点进行映射处理,这样就可以得到三维模型与图像的映射关系,然后再将图像中各点的颜色赋予给三维模型上对应的点,进而实现将图像映射到三维模型上。
然而,通过这样的方式将图像映射到三维模型时,会丢失图像信息。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像映射方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面,提供一种图像映射方法,包括:
基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
可选地,所述基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面具有不同反射属性的目标点,包括:
获取所述三维模型的表面上的点的摄像视线,其中,所述三维模型的表面上的点的摄像视线为:以所述待映射图像的摄像位置为起点、且通过该点的射线;
若所述三维模型的表面上的点的摄像视线相对于顶点法线的反射方向与所述基准平面存在第一交点、且所述第一交点与所述摄像位置之间的连线与所述待映射图像存在第二交点,则确定该点为具有反射可达属性的目标点;
将所述三维模型的表面上除所述具有反射可达属性的目标点之外的点,确定为具有反射不可达属性的目标点,其中,所述反射属性包括反射不可达属性和反射可达属性。
可选地,当所述目标点具有所述反射可达属性的情况下,所述在所述待映射图像中,获取与各所述目标点相对应的映射点,包括:
获取所述目标反射线与所述基准平面的交点;
将所获取的交点与所述摄像位置之间的连线在所述待映射图像中的交点,确定为所述目标点相对应的映射点。
可选地,当所述目标点具有所述反射不可达属性的情况下,所述在所述待映射图像中,获取与各所述目标点相对应的映射点,包括:
基于所述目标反射线的空间向量,计算基于所述待映射图像所在平面的坐标,并将所述坐标确定为所述目标点相对应的映射点。
可选地,所述基于所述目标反射线的空间向量,计算基于所述待映射图像所在平面的坐标,并将所述坐标确定为所述目标点相对应的映射点,包括:
利用以下公式,计算所述目标反射线的空间向量在单位球体中的模:
其中,m表示所述目标反射线的空间向量在单位球体中的模,Rx为所述目标反射线的空间向量中的x分量,Ry为所述目标反射线的空间向量中的y分量,Rz为所述目标反射线的空间向量中的z分量,n为预设参数;
将所述待映射图像中坐标为的点,确定为所述目标点相对应的映射点。
可选地,将所述待映射图像中各映射点的信息映射至所述三维模型的目标点的步骤之前,所述方法还包括:
获取所述待映射图像所需呈现的目标光滑度;
根据预设的光滑度与图像的模糊等级的对应关系,确定所述目标光滑度对应的模糊等级;
利用高斯模糊算法,按照所确定的模糊等级对所述待映射图像进行模糊处理。
根据本公开实施例的第二方面,提供一种图像映射装置,包括:
第一确定模块,用于基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
第一获取模块,用于在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
映射模块,用于将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
可选地,所述第一确定模块具体用于:
获取所述三维模型的表面上的点的摄像视线,其中,所述三维模型的表面上的点的摄像视线为:以所述待映射图像的摄像位置为起点、且通过该点的射线;
若所述三维模型的表面上的点的摄像视线相对于顶点法线的反射方向与所述基准平面存在第一交点、且所述第一交点与所述摄像位置之间的连线与所述待映射图像存在第二交点,则确定该点为具有反射可达属性的目标点;
将所述三维模型的表面上除所述具有反射可达属性的目标点之外的点,确定为具有反射不可达属性的目标点,其中,所述反射属性包括反射不可达属性和反射可达属性。
可选地,当所述目标点具有所述反射可达属性的情况下,所述第一获取模块具体用于:
获取所述目标反射线与所述基准平面的交点;
将所获取的交点与所述摄像位置之间的连线在所述待映射图像中的交点,确定为所述目标点相对应的映射点。
可选地,当所述目标点具有所述反射不可达属性的情况下,所述第一获取模块具体用于:
基于所述目标反射线的空间向量,计算基于所述待映射图像所在平面的坐标,并将所述坐标确定为所述目标点相对应的映射点。
可选地,所述第一获取模块具体用于:
利用以下公式,计算所述目标反射线的空间向量在单位球体中的模:
其中,m表示所述目标反射线的空间向量在单位球体中的模,Rx为所述目标反射线的空间向量中的x分量,Ry为所述目标反射线的空间向量中的y分量,Rz为所述目标反射线的空间向量中的z分量,n为预设参数;
将所述待映射图像中坐标为的点,确定为所述目标点相对应的映射点。
可选地,所述装置还包括:
第二获取模块,用于获取所述待映射图像所需呈现的目标光滑度;
第二确定模块,用于根据预设的光滑度与图像的模糊等级的对应关系,确定所述目标光滑度对应的模糊等级;
模糊模块,用于利用高斯模糊算法,按照所确定的模糊等级对所述待映射图像进行模糊处理。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种图像映射方法,所述方法包括:
基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品用于被运行以执行上述图像映射方法中的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:基于表征目标点与摄像位置、基准平面之间的相对位置关系的反射属性,可以确定出三维模型上具有不同反射属性的目标点,针对不同反射属性的目标点,采用不同的方式可以获取目标点相对应的映射点,在确定出各目标点相对应的映射点之后,将待映射图像中各映射点的信息映射至三维模型的目标点。基于本方案,可以将具有不同反射属性的点,按照不同的方式进行映射,可以将三维模型上的点均映射到待映射图像上,避免信息的丢失,从而实现将待映射图像完整的映射到三维模型上。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像映射方法的流程图。
图2是根据一示例性实施例示出的基于摄像设备和三维模型的一种示意图。
图3是根据一示例性实施例示出的一种图像映射装置的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了解决不能将整个图像完整地映射至三维模型上的问题,本公开实施例提供了图像映射方法、装置、电子设备及存储介质,本公开实施例提供的图像映射方法,包括如下步骤:
基于待映射图像的摄像位置和三维模型的基准平面,确定三维模型的表面上具有不同反射属性的目标点,其中,反射属性用于表征目标点与摄像位置、基准平面之间的相对位置关系;
在待映射图像中,获取与各目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
将待映射图像中各映射点的信息映射至三维模型的目标点。
通过本申请提供的技术方案,基于表征目标点与摄像位置、基准平面之间的相对位置关系的反射属性,可以确定出三维模型上具有不同反射属性的目标点,针对不同反射属性的目标点,采用不同的方式可以获取目标点相对应的映射点,在确定出各目标点相对应的映射点之后,将待映射图像中各映射点的信息映射至三维模型的目标点。基于本方案,可以将具有不同反射属性的点,按照不同的方式进行映射,可以将三维模型上的点均映射到待映射图像上,避免信息的丢失,从而实现将待映射图像完整的映射到三维模型上。
下面首先对本公开实施例提供的图像映射方法进行介绍,该图像映射方法可以应用于AR(Augmented Reality,增强现实技术)设备,还可以是应用于具有AR功能的摄像设备,摄像设备可以是摄像机、相机等。图1是根据一示例性实施例示出的一种图像映射方法的流程图,如图1所示,本公开实施例提供的一种图像映射方法包括以下步骤。
S101,基于待映射图像的摄像位置和三维模型的基准平面,确定三维模型的表面上具有不同反射属性的目标点。
其中,待映射图像的摄像位置,可以理解是采集待映射图像的摄像设备的位置,该摄像设备的位置即为摄像位置。其中,摄像设备采集待映射图像的方式至少包括以下两种。第一种方式,摄像设备的取景框中的画面,在摄像设备获取到拍摄指令后,将该画面拍下并生成一张图像,该图像即为待映射图像。第二种方式,拍摄设备的取景框中的画面,可以认为是一张待映射图像。以图2为例,图2所示中摄像设备的位置即为待映射图像的摄像位置。
其中,三维模型可以是预先构建的,为了将待映射图像映射到该三维模型上,摄像设备、待映射图像和三维模型之间的位置关系如图2所示,待映射图像位于摄像设备和三维模型之间的位置。一种实现方式中,摄像设备具备AR功能,摄像设备可以将获取的图像作为待映射图像,并将该待映射图像映射至三维模型上。在映射的过程中,处理器建立摄像设备的虚拟物点、待映射图像和三维模型之间的位置关系,可选地,待映射图像和三维模型位于摄像设备的摄像可视范围内,其中,待映射图像位于虚拟物点对应的成像平面上,且以虚拟物点为起点的每一摄像视线均与待映射图像相交,这样可以保证待映射图像在摄像设备的摄像可视范围内。
另外,对于三维模型来说,三维模型的基准平面与成像平面相垂直,三维模型位于基准平面的一侧,且以虚拟物点为起点的摄像视线可以与三维模型上的点相交,且三维模型上的每一点均存在摄像视线与该点相交。可以包括两种情况,第一种情况,以虚拟物点为起点的每一摄像视线均可以与三维模型上的点相交,第二种情况,以虚拟物点为起点的部分摄像视线可以与三维模型上的点相交,且三维模型上的每一点均可以从该部分摄像视线中确定出一条与该点相交。上述两种情况,均可以保证三维模型在摄像设备的摄像可视范围内。
这样,对于摄像设备所拍摄的图像,可以将该图像作为待映射图像,进而将图像映射至三维模型上。
其中,三维模型与基准平面接触,且位于基准平面的一侧。如图2所示,三维模型位于基准平面之上,且三维模型最底端与基准平面接触,可以认为该基准平面即为该三维模型的水平面。
针对三维模型上的每一个点,均可以具有反射属性,不同的点反射属性可以相同,也可以不相同。其中,反射属性用于表征目标点与摄像位置、基准平面之间的相对位置关系。
一种实现方式中,反射属性可以包括反射可达属性和反射不可达属性,其中,具有反射可达属性的点可以通过基准平面从待映射图像中确定该点对应的映射点,具有反射不可达属性的点不能通过基准平面从待映射图像中确定出映射点。
一种实施方式中,获取三维模型的表面上的点的摄像视线,若三维模型的表面上的点的摄像视线相对于顶点法线的反射方向与基准平面存在第一交点、且第一交点与所述摄像位置之间的连线与待映射图像存在第二交点,则确定该点为具有反射可达属性的目标点,将三维模型的表面上除具有反射可达属性的目标点之外的点,确定为具有反射不可达属性的目标点。
其中,反射属性包括反射不可达属性和反射可达属性。其中,三维模型的表面上的点的摄像视线为:以待映射图像的摄像位置为起点、且通过该点的射线。以图2为例,点B为三维模型的表面上的点,射线2即为点B的摄像视线,第一交点为点P,第一交点与所述摄像位置之间的连线即为连接线,连接线与待映射图像存在第二交点,即为点Q,则可以确定点B具有反射可达属性。点A为三维模型的表面上的点,射线1即为点A的摄像视线,射线1的反射线与基准平面不存在第一交点,则可以确定点A具有反射不可达属性。
一种实现方式中,可以从三维模型上选取点作为目标点,其中,所选取的目标点可以是三维模型的表面上的任一点。该目标点和待映射图像的摄像位置两个点可以确定一条直线,可以确定出一条以摄像位置为起点且通过目标点的射线,可以将所确定出的射线作为目标射线。
所确定出的目标射线可以在三维模型表面进行反射,得到该射线的反射线,可以将该反射线作为目标反射线。基于目标点为三维模型上的点,且目标射线经过该目标点,则目标射线在目标点进行反射得到目标反射线。目标射线在目标点的反射为球面反射,目标射线与目标反射线之间的法线垂直于通过目标点的切线。
在确定目标反射线之后,可以判断该目标反射线与基准平面是否存在交点。一种实现方式中,可以计算该目标反射线的空间向量。具体地,确定目标点的法线,并计算出该法线的空间向量,计算出目标射线的空间向量。在获得法线和目标射线的空间向量之后,通过以下公式可以计算出目标反射线的空间向量:
R(x,y,z)=2N(x,y,z)-L(x,y,z)
其中,R(x,y,z)表示目标反射线的空间向量,N(x,y,z)表示法线的空间向量,L(x,y,z)表示目标射线的空间向量。
在计算出目标反射线的空间向量之后,可以确定目标反射线的方向,进而可以判断目标反射线与基准平面是否存在交点。若目标反射线与基准平面不相交,则可以确定目标点具有反射不可达属性。
以图2为例,当目标点为点A时,以摄像位置为起点且通过点A的目标射线为射线1,点A的法线为法线1,该射线1在点A的目标反射线为反射线1。该反射线1与基准平面不相交,则可以确定点A具有反射不可达属性。
若目标反射线与基准平面相交,则可以确定目标反射线与基准平面的交点,该交点与以摄像位置可以确定一条直线,判断该交点与摄像位置之间的连线是否与待映射图像相交,若连线与待映射图像不相交,即连线与待映射图像不存在交点,则可以确定目标点具有反射不可达属性。若连线与待映射图像相交,即连线与待映射图像存在交点,且该交点在待映射图像中,则可以确定目标点确定具有反射可达属性。
以图2为例,当目标点为点B时,以摄像位置为起点且经过点B的目标射线为射线2,点B的法线为法线2,该射线2在点B的目标反射线为反射线2。该反射线2与基准平面相交于交点P,点P与摄像位置之间的连线为图2中的连接线,该连接线与待映射图像相交与交点Q,则可以确定点B具有反射可达属性。
S102,在待映射图像中,获取与各目标点相对应的映射点。
针对三维模型上的每一目标点,均可以从待映射图像中获取到对应的映射点。针对不同反射属性的目标点,获取该目标点相对应的映射点的方式不相同。
下面分别对具有反射可达属性的目标点的获取方式以及具有反射不可达属性的目标点的获取方式进行介绍。
一种实施方式中,当目标点具有反射可达属性的情况下,在确定目标射线以及该目标射线对应的目标反射线之后,基于目标点具有反射可达属性,目标反射线与基准平面存在交点,可以获取目标反射线与基准平面的交点,将所获取的交点与摄像位置之间的连线在待映射图像中的交点,确定为目标点相对应的映射点。
其中,在确定目标反射线之后,可以计算该目标反射线的空间向量,进而确定该目标反射线的方向。目标反射线的空间向量的计算方式可以参考上述实施方式,在此不再赘述。
以图2为例,当目标点为点B时,以摄像位置为起点且通过点B的目标射线为射线2,点B的法线为法线2,该射线2在点B的目标反射线为反射线2。反射线2与基准平面的交点为点P,点P与以摄像位置的连线为图2中的连接线,该连接线与待映射图像相交于点Q,则可以确定点Q为点B在待映射图像中的映射点。
另一种实施方式中,当目标点具有反射不可达属性的情况下,在确定目标射线以及该目标射线对应的目标反射线之后,可以计算出目标反射线的空间向量,基于目标反射线的空间向量,计算基于待映射图像所在平面的的坐标,并将该坐标确定为目标点相对应的映射点。
其中,目标反射线的空间向量为三维坐标,比如,目标反射线的空间向量为基于XYZ坐标系的三维坐标,待映射图像所在平面为X轴和Y轴所确定的平面,则计算出的基于待映射图像所在平面的的坐标为X轴分量和Y轴分量的坐标。
一种实现方式中,在计算出目标反射线的空间向量之后,利用以下公式,计算目标反射线的空间向量在单位球体中的模:
其中,m表示目标反射线的空间向量在预设的单位球体中的模,Rx为目标反射线的空间向量中的x分量,Ry为目标反射线的空间向量中的y分量,Rz为目标反射线的空间向量中的z分量,n为预设参数。其中,n可以为2。
在计算出目标反射线的空间向量在单位球体中的模之后,可以得到坐标基于该坐标可以在待映射图像中确定一个点,可以将该点确定为目标点在待映射图像中相对应的映射点,即待映射图像中坐标为的点映射到三维模型上的点为目标点。
以图2为例,当目标点为点A时,以摄像位置为起点且通过点A的目标射线为射线1,点A的法线为法线1,该射线1在点A的目标反射线为反射线1。当计算出反射线1的空间向量R为(2,1,1),按照上述公式,可以计算出反射线的空间向量在单位球体中的模m为6,则可以将待映射图像中坐标的点确定为目标点在待映射图像中的映射点。
S103,将待映射图像中各映射点的信息映射至三维模型的目标点。
其中,各映射点的信息为颜色信息,颜色信息可以是RGB值、像素值、灰度值、BGR值、YUV信息、YcbCr信息等。
在确定出三维模型上的各点在待映射图像中的映射点后,可以获取待映射图像中各映射点的信息,并确定每一映射点对应的在三维模型上的目标点,并将映射点的信息赋予给所对应的目标点,这样,三维模型上的每一目标点的信息与该目标点对应的映射点的信息保持一致,待映射图像所显示的内容会映射到三维模型上进行显示。
以图2为例,对于具有反射不可达属性的目标点A,在待映射图像中的映射点为坐标为的映射点,当该映射点的像素值为186时,则可以将三维模型上的目标点A的像素值设置为186。对于具有反射可达属性的目标点B,在待映射图像中的映射点为点Q,当点Q的像素值为255时,则可以将三维模型上的目标点B的像素值设置为255。
一种实施方式中,图像呈现不同的模糊程度,可以表现出不同光滑度的材质。一般来说,当图像的模糊程度较低时呈现表面光滑的材质,当图像的模糊程度较高时呈现表面粗糙的材质。
将待映射图像中各映射点的信息映射至三维模型的目标点的步骤(S103)之前,还可以包括如下步骤。
确定待映射图像所需呈现的目标光滑度。其中,光滑度可以自定义进行等级划分,比如,等级越高越光滑,即光滑度越高,等级越低越粗糙,即光滑度越低。目标光滑度可以是自定义设定的,用于确定待映射图像所呈现的材质的光滑度。
在确定出目标光滑度后,可以根据光滑度与图像的模糊等级的对应关系,确定出目标光滑度对应的模糊等级。其中,光滑度与模糊等级的对应关系可以是预先设定的,模糊等级可以是自定义划分的,模糊等级越高越模糊,模糊等级越低越清晰。在对应关系中,光滑度越高,模糊程度越低,即模糊等级越低,光滑度越低,模糊程度越高,即模糊等级越高。
在确定出目标光滑度对应的模糊等级之后,可以利用高斯模糊算法,按照所确定的模糊等级对待映射图像进行模糊处理。可以对待映射图像迭代反复地进行高斯模糊算法,并且每进行一次高斯模糊算法,待映射图像的越模糊,即模糊等级越高。
一种实现方式中,高斯模糊算法中采用预设的卷积核,对待映射图像进行一次高斯模糊算法的过程如下所示:利用预设的卷积核对待映射图像的X分量进行卷积计算,可以得到中间结果图像,再利用该卷积核对中间结果图像的Y分量进行卷积计算,可以得到一次模糊处理后的待映射图像。若所得到的一次模糊处理后的待映射图像的模糊等级达不到所确定的模糊等级,则对该一次模糊处理后的待映射图像继续进行高斯模糊算法处理,直至所得到的待映射图像的模糊等级达到所确定的模糊等级。
例如,高斯模糊算法中采用的卷积核可以如下所示:
1 | 4 | 7 | 4 | 1 |
4 | 16 | 26 | 16 | 4 |
7 | 26 | 41 | 26 | 7 |
4 | 16 | 26 | 16 | 4 |
1 | 4 | 7 | 4 | 1 |
通过本申请提供的技术方案,基于表征目标点与摄像位置、基准平面之间的相对位置关系的反射属性,可以确定出三维模型上具有不同反射属性的目标点,针对不同反射属性的目标点,采用不同的方式可以获取目标点相对应的映射点,在确定出各目标点相对应的映射点之后,将待映射图像中各映射点的信息映射至三维模型的目标点。基于本方案,可以将具有不同反射属性的点,按照不同的方式进行映射,可以将三维模型上的点均映射到待映射图像上,避免信息的丢失,从而实现将待映射图像完整的映射到三维模型上。
相应于上述图像映射方法实施例,本申请实施例还提供一种图像映射装置,图3是根据一示例性实施例示出的一种图像映射装置框图。参照图3,该装置包括第一确定模块310、第一获取模块320和映射模块330。
第一确定模块310,用于基于待映射图像的摄像位置和三维模型的基准平面,确定三维模型的表面上具有不同反射属性的目标点,其中,反射属性用于表征目标点与摄像位置、基准平面之间的相对位置关系;
第一获取模块320,用于在待映射图像中,获取与各目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
映射模块330,用于将待映射图像中各映射点的信息映射至三维模型的目标点。
一种实施方式中,第一确定模块310具体用于:
获取三维模型的表面上的点的摄像视线,其中,三维模型的表面上的点的摄像视线为:以待映射图像的摄像位置为起点、且通过该点的射线;
若三维模型的表面上的点的摄像视线相对于顶点法线的反射方向与基准平面存在第一交点、且第一交点与所述摄像位置之间的连线与待映射图像存在第二交点,则确定该点为具有反射可达属性的目标点;
将三维模型的表面上除具有反射可达属性的目标点之外的点,确定为具有反射不可达属性的目标点,其中,反射属性包括反射不可达属性和反射可达属性。
一种实施方式中,当目标点具有反射可达属性的情况下,第一获取模块320具体用于:
获取目标反射线与基准平面的交点;
将所获取的交点与摄像位置之间的连线在待映射图像中的交点,确定为目标点相对应的映射点。
一种实施方式中,当目标点具有反射不可达属性的情况下,第一获取模块320具体用于:
基于目标反射线的空间向量,计算基于待映射图像所在平面的坐标,并将坐标确定为目标点相对应的映射点。
一种实施方式中,第一获取模块320具体用于:
利用以下公式,计算目标反射线的空间向量在单位球体中的模:
其中,m表示目标反射线的空间向量在单位球体中的模,Rx为目标反射线的空间向量中的x分量,Ry为目标反射线的空间向量中的y分量,Rz为目标反射线的空间向量中的z分量,n为预设参数;
将待映射图像中坐标为的点,确定为目标点相对应的映射点。
一种实施方式中,该图像映射装置还可以包括:
第二获取模块,用于获取待映射图像所需呈现的目标光滑度;
第二确定模块,用于根据预设的光滑度与图像的模糊等级的对应关系,确定目标光滑度对应的模糊等级;
模糊模块,用于利用高斯模糊算法,按照所确定的模糊等级对待映射图像进行模糊处理。
通过本申请提供的技术方案,基于表征目标点与摄像位置、基准平面之间的相对位置关系的反射属性,可以确定出三维模型上具有不同反射属性的目标点,针对不同反射属性的目标点,采用不同的方式可以获取目标点相对应的映射点,在确定出各目标点相对应的映射点之后,将待映射图像中各映射点的信息映射至三维模型的目标点。基于本方案,可以将具有不同反射属性的点,按照不同的方式进行映射,可以将三维模型上的点均映射到待映射图像上,避免信息的丢失,从而实现将待映射图像完整的映射到三维模型上。
相应于上述图像映射方法实施例,本申请实施例还提供一种电子设备,图4是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备可以是摄像机,移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图4,电子设备可以包括以下一个或多个组件:处理组件402,存储器404,电力组件406,多媒体组件408,音频组件410,输入/输出(I/O)的接口412,传感器组件414,以及通信组件416。
处理组件402通常控制电子设备的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件406为电子设备的各种组件提供电力。电源组件406可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器,用于为电子设备提供各个方面的状态评估。例如,传感器组件414可以检测到电子设备的打开/关闭状态,组件的相对定位,例如所述组件为电子设备的显示器和小键盘,传感器组件414还可以检测电子设备或电子设备一个组件的位置改变,用户与电子设备接触的存在或不存在,装置400方位或加速/减速和电子设备的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件416被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件416还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由电子设备的处理器420执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
相应于上述图像映射方法实施例,本申请实施例还提供一种非临时性计算机可读存储介质,当该存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述图像映射方法的步骤。
相应于上述图像映射方法实施例,本申请实施例还提供一种计算机程序产品,该计算机程序产品用于被运行以执行上述图像映射方法中的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像映射方法,其特征在于,包括:
基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
2.根据权利要求1所述的方法,其特征在于,所述基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面具有不同反射属性的目标点,包括:
获取所述三维模型的表面上的点的摄像视线,其中,所述三维模型的表面上的点的摄像视线为:以所述待映射图像的摄像位置为起点、且通过该点的射线;
若所述三维模型的表面上的点的摄像视线相对于顶点法线的反射方向与所述基准平面存在第一交点、且所述第一交点与所述摄像位置之间的连线与所述待映射图像存在第二交点,则确定该点为具有反射可达属性的目标点;
将所述三维模型的表面上除所述具有反射可达属性的目标点之外的点,确定为具有反射不可达属性的目标点,其中,所述反射属性包括反射不可达属性和反射可达属性。
3.根据权利要求2所述的方法,其特征在于,当所述目标点具有所述反射可达属性的情况下,所述在所述待映射图像中,获取与各所述目标点相对应的映射点,包括:
获取所述目标反射线与所述基准平面的交点;
将所获取的交点与所述摄像位置之间的连线在所述待映射图像中的交点,确定为所述目标点相对应的映射点。
4.根据权利要求2所述的方法,其特征在于,当所述目标点具有所述反射不可达属性的情况下,所述在所述待映射图像中,获取与各所述目标点相对应的映射点,包括:
基于所述目标反射线的空间向量,计算基于所述待映射图像所在平面的坐标,并将所述坐标确定为所述目标点相对应的映射点。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标反射线的空间向量,计算基于所述待映射图像所在平面的坐标,并将所述坐标确定为所述目标点相对应的映射点,包括:
利用以下公式,计算所述目标反射线的空间向量在单位球体中的模:
其中,m表示所述目标反射线的空间向量在单位球体中的模,Rx为所述目标反射线的空间向量中的x分量,Ry为所述目标反射线的空间向量中的y分量,Rz为所述目标反射线的空间向量中的z分量,n为预设参数;
将所述待映射图像中坐标为的点,确定为所述目标点相对应的映射点。
6.根据权利要求1至5任一所述的方法,其特征在于,将所述待映射图像中各映射点的信息映射至所述三维模型的目标点的步骤之前,所述方法还包括:
获取所述待映射图像所需呈现的目标光滑度;
根据预设的光滑度与图像的模糊等级的对应关系,确定所述目标光滑度对应的模糊等级;
利用高斯模糊算法,按照所确定的模糊等级对所述待映射图像进行模糊处理。
7.一种图像映射装置,其特征在于,包括:
第一确定模块,用于基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
第一获取模块,用于在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
映射模块,用于将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块具体用于:
获取所述三维模型的表面上的点的摄像视线,其中,所述三维模型的表面上的点的摄像视线为:以所述待映射图像的摄像位置为起点、且通过该点的射线;
若所述三维模型的表面上的点的摄像视线相对于顶点法线的反射方向与所述基准平面存在第一交点、且所述第一交点与所述摄像位置之间的连线与所述待映射图像存在第二交点,则确定该点为具有反射可达属性的目标点;
将所述三维模型的表面上除所述具有反射可达属性的目标点之外的点,确定为具有反射不可达属性的目标点,其中,所述反射属性包括反射不可达属性和反射可达属性。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种图像映射方法,所述方法包括:
基于待映射图像的摄像位置和三维模型的基准平面,确定所述三维模型的表面上具有不同反射属性的目标点,其中,所述反射属性用于表征目标点与所述摄像位置、所述基准平面之间的相对位置关系;
在所述待映射图像中,获取与各所述目标点相对应的映射点,其中,不同反射属性的目标点所对应的映射点的获取方式不同;
将所述待映射图像中各映射点的信息映射至所述三维模型的目标点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910189889.5A CN109949212B (zh) | 2019-03-13 | 2019-03-13 | 图像映射方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910189889.5A CN109949212B (zh) | 2019-03-13 | 2019-03-13 | 图像映射方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109949212A true CN109949212A (zh) | 2019-06-28 |
CN109949212B CN109949212B (zh) | 2023-05-02 |
Family
ID=67009646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910189889.5A Active CN109949212B (zh) | 2019-03-13 | 2019-03-13 | 图像映射方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109949212B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761765A (zh) * | 2013-12-25 | 2014-04-30 | 浙江慧谷信息技术有限公司 | 基于映射边界优化的三维物体模型纹理映射算法 |
CN105006021A (zh) * | 2015-06-30 | 2015-10-28 | 南京大学 | 一种适用于快速点云三维重建的颜色映射方法及装置 |
CN105096382A (zh) * | 2015-07-09 | 2015-11-25 | 浙江宇视科技有限公司 | 一种在视频监控图像中关联真实物体信息的方法及装置 |
US9437045B2 (en) * | 2013-07-03 | 2016-09-06 | Fuji Xerox Co., Ltd. | Real-time mobile capture and application of photographic images as textures in three-dimensional models |
CN108765575A (zh) * | 2018-02-24 | 2018-11-06 | 石化盈科信息技术有限责任公司 | 一种基于ar的工业设备图鉴展示方法和系统 |
CN109165330A (zh) * | 2018-08-10 | 2019-01-08 | 南方电网科学研究院有限责任公司 | 一种用于变电站的建模方法、装置、设备及存储介质 |
CN109191505A (zh) * | 2018-08-03 | 2019-01-11 | 北京微播视界科技有限公司 | 静态生成人脸三维模型的方法、装置、电子设备 |
-
2019
- 2019-03-13 CN CN201910189889.5A patent/CN109949212B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9437045B2 (en) * | 2013-07-03 | 2016-09-06 | Fuji Xerox Co., Ltd. | Real-time mobile capture and application of photographic images as textures in three-dimensional models |
CN103761765A (zh) * | 2013-12-25 | 2014-04-30 | 浙江慧谷信息技术有限公司 | 基于映射边界优化的三维物体模型纹理映射算法 |
CN105006021A (zh) * | 2015-06-30 | 2015-10-28 | 南京大学 | 一种适用于快速点云三维重建的颜色映射方法及装置 |
CN105096382A (zh) * | 2015-07-09 | 2015-11-25 | 浙江宇视科技有限公司 | 一种在视频监控图像中关联真实物体信息的方法及装置 |
CN108765575A (zh) * | 2018-02-24 | 2018-11-06 | 石化盈科信息技术有限责任公司 | 一种基于ar的工业设备图鉴展示方法和系统 |
CN109191505A (zh) * | 2018-08-03 | 2019-01-11 | 北京微播视界科技有限公司 | 静态生成人脸三维模型的方法、装置、电子设备 |
CN109165330A (zh) * | 2018-08-10 | 2019-01-08 | 南方电网科学研究院有限责任公司 | 一种用于变电站的建模方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
吴斌等: "一种三维建筑物模型自动纹理映射方法", 《遥感信息》 * |
Also Published As
Publication number | Publication date |
---|---|
CN109949212B (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147805B (zh) | 图像处理方法、装置、终端及存储介质 | |
CN110097576B (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
CN110059685B (zh) | 文字区域检测方法、装置及存储介质 | |
CN110100251B (zh) | 用于处理文档的设备、方法和计算机可读存储介质 | |
CN110929651A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112907725B (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
WO2019237745A1 (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110853095B (zh) | 相机定位方法、装置、电子设备及存储介质 | |
CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
CN107958223B (zh) | 人脸识别方法及装置、移动设备、计算机可读存储介质 | |
CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN111325220B (zh) | 图像生成方法、装置、设备及存储介质 | |
CN110807769B (zh) | 图像显示控制方法及装置 | |
CN112308103B (zh) | 生成训练样本的方法和装置 | |
CN112135191A (zh) | 视频编辑方法、装置、终端及存储介质 | |
CN113033341A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111680758A (zh) | 图像训练样本生成方法和装置 | |
CN111857793B (zh) | 网络模型的训练方法、装置、设备及存储介质 | |
CN114741559A (zh) | 确定视频封面的方法、设备及存储介质 | |
CN109934168B (zh) | 人脸图像映射方法及装置 | |
CN112235650A (zh) | 视频处理方法、装置、终端及存储介质 | |
CN109345636B (zh) | 获取虚拟人脸图的方法和装置 | |
CN109949212A (zh) | 图像映射方法、装置、电子设备及存储介质 | |
CN111757146B (zh) | 视频拼接的方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |