CN115861745A - 一种用于生成三维模型的二维图像特征提取方法与系统 - Google Patents

一种用于生成三维模型的二维图像特征提取方法与系统 Download PDF

Info

Publication number
CN115861745A
CN115861745A CN202211310858.9A CN202211310858A CN115861745A CN 115861745 A CN115861745 A CN 115861745A CN 202211310858 A CN202211310858 A CN 202211310858A CN 115861745 A CN115861745 A CN 115861745A
Authority
CN
China
Prior art keywords
features
weight
scale
pixel point
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211310858.9A
Other languages
English (en)
Other versions
CN115861745B (zh
Inventor
徐兵
刘杨
刘学忠
王家祥
潘子翼
刘昕
王占鳌
郭旭磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Communications Information Technology Group Co ltd
Original Assignee
China Communications Information Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Communications Information Technology Group Co ltd filed Critical China Communications Information Technology Group Co ltd
Priority to CN202211310858.9A priority Critical patent/CN115861745B/zh
Publication of CN115861745A publication Critical patent/CN115861745A/zh
Application granted granted Critical
Publication of CN115861745B publication Critical patent/CN115861745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于生成三维模型的二维图像特征提取方法与系统,属于图像处理技术领域。该方法利用原始图像的二维图像特征建立原始图像中包含的目标对象的三维模型;以解决二维图像特征提取不准确且在转化为三维模型时影响准确率的问题。

Description

一种用于生成三维模型的二维图像特征提取方法与系统
技术领域
本发明属于图像处理技术领域,尤其涉及一种用于生成三维模型的二维图像特征提取方法与系统。
背景技术
在进行交通信息处理时,往往需要对监控区域进行三维测绘。现有技术中在进行三维测绘时,主要采用获取二维图像并将二维图像转化为三维模型的手段;例如,通过多方位摄像机标定的三维重建等。但上述处理方式往往不能通过一张二维图像重建三维模型,也不能重现原图像的轮廓纹理特征。因此,现有技术中提出了基于二维图像特征自动生成三维模型方法,例如,提取二维图像的边缘图像和填充图像等获得深度图像。但若二维图像存在纹理特征弱、图像拍摄时由各种原因导致的模糊等情况时,则会造成提取出的特征不准确;进一步地,在转化为三维模型时,会影响三维模型的准确率。
发明内容
为解决上述技术问题,本发明提供一种用于生成三维模型的二维图像特征提取方案。
本发明第一方面公开了一种用于生成三维模型的二维图像特征提取方法。所述方法利用原始图像的二维图像特征建立所述原始图像中包含的目标对象的三维模型,所述方法具体包括:步骤S1、获取所述原始图像的坐标注意力特征,以确定各个像素点在所述原始图像中的像素权重作为第一权重;步骤S2、获取所述原始图像的热力特征,以所述热力特征更新所述第一权重,以得到第二权重;步骤S3、获取所述原始图像的多尺度特征,基于所述第二权重对每一尺度下各个所述像素点的当前尺度特征进行增强处理;步骤S4、获取所述原始图像的语义注意力特征,对所述语义注意力特征和经增强的多尺度特征进行融合,以得到融合特征;其中,所述融合特征用于提取所述目标对象的边缘特征、纹理特征和灰度特征,以生成所述目标对象的三维模型。
根据第一方面的方法,在所述步骤S1中,利用坐标注意力网络获取所述坐标注意力特征;其中:所述坐标注意力网络包括用于提取二维坐标系X方向上的注意力特征的第一分支和用于提取所述二维坐标系Y方向上的注意力特征的第二分支,所述第一分支和所述第二分支各自分别包括卷积层、激活函数层和平均池化层;所述卷积层利用卷积网络提取所述原始图像的各个所述像素点在预定方向上的原始特征,所述激活函数层对所述预定方向上的原始特征进行激活,所述平均池化层从经激活的原始特征中抽取出特征值,作为各个所述像素点在所述预定方向上的坐标注意力特征;其中,所述预定方向包括所述X方向和所述Y方向,所述坐标注意力网络受梯度下降函数约束。
根据第一方面的方法,在所述步骤S1中,融合所述X方向和所述Y方向上的坐标注意力特征,将经融合的坐标注意力特征值作为所述第一权重。
根据第一方面的方法,在所述步骤S2中,基于获取到的所述热力特征确定各个所述像素点的热力权重,并对于各个所述像素点,利用如下公式更新所述第一权重以得到所述第二权重:W2=F1*H+F2*W1。其中,W2表示当前像素点的第二权重,H表示当前像素点的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
根据第一方面的方法,在所述步骤S2中,将所述原始图像划分为若干区域,获取每个区域的热力特征以确定所述每个区域的热力权重,并对于各个所述像素点利用如下公式更新所述第一权重以得到所述第二权重:W2=F1*Hs+F2*W1。其中,W2表示当前像素点的第二权重,Hs表示当前像素点所述区域的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
根据第一方面的方法,在所述步骤S3中,获取所述原始图像的各个像素点在N个尺度上的尺度特征以进行所述增强处理;具体包括:基于所述第二权重计算参考值R,以确定增强等级,R=(当前像素点的第二权重-第二权重阈值)/第二权重阈值;当参考值0<R<50%时,所述增强等级为一级,对当前像素点在当前尺度上的尺度特征进行一次所述增强处理;当参考值50%≤R<100%时,所述增强等级为二级,对当前像素点在当前尺度上的尺度特征进行两次所述增强处理;当参考值R≥100%时,所述增强等级为三级,对当前像素点在当前尺度上的尺度特征进行三次所述增强处理。
根据第一方面的方法,当参考值R≤0时,所述增强等级为零级,当前像素点在当前尺度上的尺度特征保持不变。
根据第一方面的方法,所述增强处理为以下任一种:(1)对所述当前像素点在所述当前尺度上的尺度特征乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];(2)获取所述当前像素点的邻域像素点在所述当前尺度上的尺度特征平均值,对所述尺度特征平均值乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];(3)在所述当前像素点与其邻域像素点之间进行插值处理。
根据第一方面的方法,在所述步骤S4中,对所述原始图像进行语义分割,提取与出所述目标对象关联的语义特征作为所述语义注意力特征,并将所述语义注意力特征分别与N个尺度下经增强的尺度特征进行融合,得到所述N个尺度下的语义融合结果,再将所述N个尺度下的语义融合结果进行融合得到所述融合特征。
本发明第二方面公开了一种用于生成三维模型的二维图像特征提取系统。所述系统利用原始图像的二维图像特征建立所述原始图像中包含的目标对象的三维模型,所述系统具体包括:第一处理单元,被配置为:获取所述原始图像的坐标注意力特征,以确定各个像素点在所述原始图像中的像素权重作为第一权重;第二处理单元,被配置为:获取所述原始图像的热力特征,以所述热力特征更新所述第一权重,以得到第二权重;第三处理单元,被配置为:获取所述原始图像的多尺度特征,基于所述第二权重对每一尺度下各个所述像素点的当前尺度特征进行增强处理;第四处理单元,被配置为:获取所述原始图像的语义注意力特征,对所述语义注意力特征和经增强的多尺度特征进行融合,以得到融合特征;其中,所述融合特征用于提取所述目标对象的边缘特征、纹理特征和灰度特征,以生成所述目标对象的三维模型。
根据第二方面的系统,所述第一处理单元具体被配置为,利用坐标注意力网络获取所述坐标注意力特征;其中:所述坐标注意力网络包括用于提取二维坐标系X方向上的注意力特征的第一分支和用于提取所述二维坐标系Y方向上的注意力特征的第二分支,所述第一分支和所述第二分支各自分别包括卷积层、激活函数层和平均池化层;所述卷积层利用卷积网络提取所述原始图像的各个所述像素点在预定方向上的原始特征,所述激活函数层对所述预定方向上的原始特征进行激活,所述平均池化层从经激活的原始特征中抽取出特征值,作为各个所述像素点在所述预定方向上的坐标注意力特征;其中,所述预定方向包括所述X方向和所述Y方向,所述坐标注意力网络受梯度下降函数约束。
根据第二方面的系统,所述第一处理单元具体被配置为,融合所述X方向和所述Y方向上的坐标注意力特征,将经融合的坐标注意力特征值作为所述第一权重。
根据第二方面的系统,所述第二处理单元具体被配置为,基于获取到的所述热力特征确定各个所述像素点的热力权重,并对于各个所述像素点,利用如下公式更新所述第一权重以得到所述第二权重:W2=F1*H+F2*W1。其中,W2表示当前像素点的第二权重,H表示当前像素点的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
根据第二方面的系统,所述第二处理单元具体被配置为,将所述原始图像划分为若干区域,获取每个区域的热力特征以确定所述每个区域的热力权重,并对于各个所述像素点利用如下公式更新所述第一权重以得到所述第二权重:W2=F1*Hs+F2*W1。其中,W2表示当前像素点的第二权重,Hs表示当前像素点所述区域的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
根据第二方面的系统,所述第三处理单元具体被配置为,获取所述原始图像的各个像素点在N个尺度上的尺度特征以进行所述增强处理;具体包括:基于所述第二权重计算参考值R,以确定增强等级,R=(当前像素点的第二权重-第二权重阈值)/第二权重阈值;当参考值0<R<50%时,所述增强等级为一级,对当前像素点在当前尺度上的尺度特征进行一次所述增强处理;当参考值50%≤R<100%时,所述增强等级为二级,对当前像素点在当前尺度上的尺度特征进行两次所述增强处理;当参考值R≥100%时,所述增强等级为三级,对当前像素点在当前尺度上的尺度特征进行三次所述增强处理。
根据第二方面的系统,当参考值R≤0时,所述增强等级为零级,当前像素点在当前尺度上的尺度特征保持不变。
根据第二方面的系统,所述增强处理为以下任一种:(1)对所述当前像素点在所述当前尺度上的尺度特征乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];(2)获取所述当前像素点的邻域像素点在所述当前尺度上的尺度特征平均值,对所述尺度特征平均值乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];(3)在所述当前像素点与其邻域像素点之间进行插值处理。
根据第二方面的系统,所述第四处理单元具体被配置为,对所述原始图像进行语义分割,提取与出所述目标对象关联的语义特征作为所述语义注意力特征,并将所述语义注意力特征分别与N个尺度下经增强的尺度特征进行融合,得到所述N个尺度下的语义融合结果,再将所述N个尺度下的语义融合结果进行融合得到所述融合特征。
本发明提供的技术方案通过对图像热力特征、坐标注意力特征、多尺度特征和语义注意力特征的融合,实现对重要区域或重要像素有选择性地进行特征增强,其计算量较小且后期三维重建的效果良好。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种用于生成三维模型的二维图像特征提取方法的流程示意图;
图2为根据本发明实施例的一种用于生成三维模型的二维图像特征提取系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明第一方面公开了一种用于生成三维模型的二维图像特征提取方法。所述方法利用原始图像的二维图像特征建立所述原始图像中包含的目标对象的三维模型。
图1为根据本发明实施例的一种用于生成三维模型的二维图像特征提取方法的流程示意图;如图1所示,所述方法具体包括:步骤S1、获取所述原始图像的坐标注意力特征,以确定各个像素点在所述原始图像中的像素权重作为第一权重;步骤S2、获取所述原始图像的热力特征,以所述热力特征更新所述第一权重,以得到第二权重;步骤S3、获取所述原始图像的多尺度特征,基于所述第二权重对每一尺度下各个所述像素点的当前尺度特征进行增强处理;步骤S4、获取所述原始图像的语义注意力特征,对所述语义注意力特征和经增强的多尺度特征进行融合,以得到融合特征。
其中,所述融合特征用于提取所述目标对象的边缘特征、纹理特征和灰度特征,以生成所述目标对象的三维模型。
在步骤S1,获取所述原始图像的坐标注意力特征,以确定各个像素点在所述原始图像中的像素权重作为第一权重。
在一些实施例中,在所述步骤S1中,利用坐标注意力网络获取所述坐标注意力特征;其中:所述坐标注意力网络包括用于提取二维坐标系X方向上的注意力特征的第一分支和用于提取所述二维坐标系Y方向上的注意力特征的第二分支,所述第一分支和所述第二分支各自分别包括卷积层、激活函数层和平均池化层;所述卷积层利用卷积网络提取所述原始图像的各个所述像素点在预定方向上的原始特征,所述激活函数层对所述预定方向上的原始特征进行激活,所述平均池化层从经激活的原始特征中抽取出特征值,作为各个所述像素点在所述预定方向上的坐标注意力特征;其中,所述预定方向包括所述X方向和所述Y方向。
具体地,将原始图像输入坐标注意力网络,所述坐标注意力网络包括两个分支,第一分支为X方向分支;第二分支为Y方向分支,第一分支的输出与第二分支的输出相融合;所述第一分支包括相互连接的X方向卷积层、X方向激活函数层和X方向平均池化层,所述第二分支包括相互连接的Y方向卷积层、Y方向激活函数层和Y方向平均池化层。
所述X方向卷积层用于对输入的原始特征进行卷积操作,获取原始图像的X方向特征;之后所述X方向激活函数层(relu函数)对X方向特征进行激活,所述X方向平均池化层用于抽取X方向的特征值。
所述Y方向卷积层用于对输入的原始特征进行卷积操作,获取原始图像的Y方向特征;之后所述Y方向激活函数层(relu函数)对Y方向特征进行激活,所述Y方向平均池化层用于抽取Y方向的特征值。
在一些实施例中,在所述步骤S1中,融合所述X方向和所述Y方向上的坐标注意力特征,将经融合的坐标注意力特征值作为所述第一权重。得到一圈中为图像像素权重,表明像素在图像中的重要程度。
在一些实施例中,所述坐标注意力网络受梯度下降函数约束。坐标注意力网络的梯度下降函数为:
Figure DEST_PATH_IMAGE001
其中,Fig(X)表示原始图像在X方向上的梯度值,X为X方向的像素最大值,gray(x,y)为图像中坐标为(x,y)的点对应的灰度值;Fig(Y)表示原始图像在Y方向上的梯度值,Y为Y方向的像素最大值,gray(x,y)为图像中坐标为(x,y)的点对应的灰度值。
在步骤S2,获取所述原始图像的热力特征,以所述热力特征更新所述第一权重,以得到第二权重。
具体地,获取所述原始图像的热力图,将热力图中各个像素点的热力值转化为所述热力特征。
在一些实施例中,在所述步骤S2中,基于获取到的所述热力特征确定各个所述像素点的热力权重,并对于各个所述像素点,利用如下公式更新所述第一权重以得到所述第二权重:
W2=F1*H+F2*W1
其中,W2表示当前像素点的第二权重,H表示当前像素点的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
在一些实施例中,在所述步骤S2中,将所述原始图像划分为若干区域,获取每个区域的热力特征以确定所述每个区域的热力权重,并对于各个所述像素点利用如下公式更新所述第一权重以得到所述第二权重:
W2=F1*Hs+F2*W1
其中,W2表示当前像素点的第二权重,Hs表示当前像素点所述区域的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
在步骤S3,获取所述原始图像的多尺度特征,基于所述第二权重对每一尺度下各个所述像素点的当前尺度特征进行增强处理。
在一些实施例中,在所述步骤S3中,获取所述原始图像的各个像素点在N个尺度上的尺度特征以进行所述增强处理;具体包括:基于所述第二权重计算参考值R,以确定增强等级,R=(当前像素点的第二权重-第二权重阈值)/第二权重阈值。
当参考值0<R<50%时,所述增强等级为一级,对当前像素点在当前尺度上的尺度特征进行一次所述增强处理。
当参考值50%≤R<100%时,所述增强等级为二级,对当前像素点在当前尺度上的尺度特征进行两次所述增强处理。
当参考值R≥100%时,所述增强等级为三级,对当前像素点在当前尺度上的尺度特征进行三次所述增强处理。
当参考值R≤0时,所述增强等级为零级,当前像素点在当前尺度上的尺度特征保持不变。
所述增强处理为以下任一种:
(1)对所述当前像素点在所述当前尺度上的尺度特征乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5]。
(2)获取所述当前像素点的邻域像素点在所述当前尺度上的尺度特征平均值,对所述尺度特征平均值乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5]。
(3)在所述当前像素点与其邻域像素点之间进行插值处理。
在步骤S4,获取所述原始图像的语义注意力特征,对所述语义注意力特征和经增强的多尺度特征进行融合,以得到融合特征;其中,所述融合特征用于提取所述目标对象的边缘特征、纹理特征和灰度特征,以生成所述目标对象的三维模型。
本发明第二方面公开了一种用于生成三维模型的二维图像特征提取系统。所述系统利用原始图像的二维图像特征建立所述原始图像中包含的目标对象的三维模型。
图2为根据本发明实施例的一种用于生成三维模型的二维图像特征提取系统的结构示意图;如图2所示,所述系统200具体包括:第一处理单元201,被配置为:获取所述原始图像的坐标注意力特征,以确定各个像素点在所述原始图像中的像素权重作为第一权重;第二处理单元202,被配置为:获取所述原始图像的热力特征,以所述热力特征更新所述第一权重,以得到第二权重;第三处理单元203,被配置为:获取所述原始图像的多尺度特征,基于所述第二权重对每一尺度下各个所述像素点的当前尺度特征进行增强处理;第四处理单元204,被配置为:获取所述原始图像的语义注意力特征,对所述语义注意力特征和经增强的多尺度特征进行融合,以得到融合特征;其中,所述融合特征用于提取所述目标对象的边缘特征、纹理特征和灰度特征,以生成所述目标对象的三维模型。
根据第二方面的系统,所述第一处理单元201具体被配置为,利用坐标注意力网络获取所述坐标注意力特征;其中:所述坐标注意力网络包括用于提取二维坐标系X方向上的注意力特征的第一分支和用于提取所述二维坐标系Y方向上的注意力特征的第二分支,所述第一分支和所述第二分支各自分别包括卷积层、激活函数层和平均池化层;所述卷积层利用卷积网络提取所述原始图像的各个所述像素点在预定方向上的原始特征,所述激活函数层对所述预定方向上的原始特征进行激活,所述平均池化层从经激活的原始特征中抽取出特征值,作为各个所述像素点在所述预定方向上的坐标注意力特征;其中,所述预定方向包括所述X方向和所述Y方向,所述坐标注意力网络受梯度下降函数约束。
根据第二方面的系统,所述第一处理单元201具体被配置为,融合所述X方向和所述Y方向上的坐标注意力特征,将经融合的坐标注意力特征值作为所述第一权重。
根据第二方面的系统,所述第二处理单元202具体被配置为,基于获取到的所述热力特征确定各个所述像素点的热力权重,并对于各个所述像素点,利用如下公式更新所述第一权重以得到所述第二权重:W2=F1*H+F2*W1。其中,W2表示当前像素点的第二权重,H表示当前像素点的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
根据第二方面的系统,所述第二处理单元202具体被配置为,将所述原始图像划分为若干区域,获取每个区域的热力特征以确定所述每个区域的热力权重,并对于各个所述像素点利用如下公式更新所述第一权重以得到所述第二权重:W2=F1*Hs+F2*W1。其中,W2表示当前像素点的第二权重,Hs表示当前像素点所述区域的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
根据第二方面的系统,所述第三处理单元203具体被配置为,获取所述原始图像的各个像素点在N个尺度上的尺度特征以进行所述增强处理;具体包括:基于所述第二权重计算参考值R,以确定增强等级,R=(当前像素点的第二权重-第二权重阈值)/第二权重阈值;当参考值0<R<50%时,所述增强等级为一级,对当前像素点在当前尺度上的尺度特征进行一次所述增强处理;当参考值50%≤R<100%时,所述增强等级为二级,对当前像素点在当前尺度上的尺度特征进行两次所述增强处理;当参考值R≥100%时,所述增强等级为三级,对当前像素点在当前尺度上的尺度特征进行三次所述增强处理。
根据第二方面的系统,当参考值R≤0时,所述增强等级为零级,当前像素点在当前尺度上的尺度特征保持不变。
根据第二方面的系统,所述增强处理为以下任一种:(1)对所述当前像素点在所述当前尺度上的尺度特征乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];(2)获取所述当前像素点的邻域像素点在所述当前尺度上的尺度特征平均值,对所述尺度特征平均值乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];(3)在所述当前像素点与其邻域像素点之间进行插值处理。
根据第二方面的系统,所述第四处理单元204具体被配置为,对所述原始图像进行语义分割,提取与出所述目标对象关联的语义特征作为所述语义注意力特征,并将所述语义注意力特征分别与N个尺度下经增强的尺度特征进行融合,得到所述N个尺度下的语义融合结果,再将所述N个尺度下的语义融合结果进行融合得到所述融合特征。
本发明提供的技术方案通过对图像热力特征、坐标注意力特征、多尺度特征和语义注意力特征的融合,实现对重要区域或重要像素有选择性地进行特征增强,其计算量较小且后期三维重建的效果良好。
请注意,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于生成三维模型的二维图像特征提取方法,其特征在于,所述方法利用原始图像的二维图像特征建立所述原始图像中包含的目标对象的三维模型,所述方法具体包括:
步骤S1、获取所述原始图像的坐标注意力特征,以确定各个像素点在所述原始图像中的像素权重作为第一权重;
步骤S2、获取所述原始图像的热力特征,以所述热力特征更新所述第一权重,以得到第二权重;
步骤S3、获取所述原始图像的多尺度特征,基于所述第二权重对每一尺度下各个所述像素点的当前尺度特征进行增强处理;
步骤S4、获取所述原始图像的语义注意力特征,对所述语义注意力特征和经增强的多尺度特征进行融合,以得到融合特征;
其中,所述融合特征用于提取所述目标对象的边缘特征、纹理特征和灰度特征,以生成所述目标对象的三维模型。
2.根据权利要求1所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,在所述步骤S1中,利用坐标注意力网络获取所述坐标注意力特征;其中:
所述坐标注意力网络包括用于提取二维坐标系X方向上的注意力特征的第一分支和用于提取所述二维坐标系Y方向上的注意力特征的第二分支,所述第一分支和所述第二分支各自分别包括卷积层、激活函数层和平均池化层;
所述卷积层利用卷积网络提取所述原始图像的各个所述像素点在预定方向上的原始特征,所述激活函数层对所述预定方向上的原始特征进行激活,所述平均池化层从经激活的原始特征中抽取出特征值,作为各个所述像素点在所述预定方向上的坐标注意力特征;
其中,所述预定方向包括所述X方向和所述Y方向,所述坐标注意力网络受梯度下降函数约束。
3.根据权利要求2所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,在所述步骤S1中,融合所述X方向和所述Y方向上的坐标注意力特征,将经融合的坐标注意力特征值作为所述第一权重。
4.根据权利要求1所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,在所述步骤S2中,基于获取到的所述热力特征确定各个所述像素点的热力权重,并对于各个所述像素点,利用如下公式更新所述第一权重以得到所述第二权重:
W2=F1*H+F2*W1
其中,W2表示当前像素点的第二权重,H表示当前像素点的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
5.根据权利要求1所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,在所述步骤S2中,将所述原始图像划分为若干区域,获取每个区域的热力特征以确定所述每个区域的热力权重,并对于各个所述像素点利用如下公式更新所述第一权重以得到所述第二权重:
W2=F1*Hs+F2*W1
其中,W2表示当前像素点的第二权重,Hs表示当前像素点区域的热力权重,W1表示当前像素点的第一权重,F1表示所述热力权重的重要度因子,F2表示所述第一权重的重要度因子,且F1+F2=1。
6.根据权利要求1所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,在所述步骤S3中,获取所述原始图像的各个像素点在N个尺度上的尺度特征以进行所述增强处理;具体包括:
基于所述第二权重计算参考值R,以确定增强等级,R=(当前像素点的第二权重-第二权重阈值)/第二权重阈值;
当参考值0<R<50%时,所述增强等级为一级,对当前像素点在当前尺度上的尺度特征进行一次所述增强处理;
当参考值50%≤R<100%时,所述增强等级为二级,对当前像素点在当前尺度上的尺度特征进行两次所述增强处理;
当参考值R≥100%时,所述增强等级为三级,对当前像素点在当前尺度上的尺度特征进行三次所述增强处理。
7.根据权利要求6所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,当参考值R≤0时,所述增强等级为零级,当前像素点在当前尺度上的尺度特征保持不变。
8.根据权利要求6所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,所述增强处理为以下任一种:
(1)对所述当前像素点在所述当前尺度上的尺度特征乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];
(2)获取所述当前像素点的邻域像素点在所述当前尺度上的尺度特征平均值,对所述尺度特征平均值乘以增强系数A作为所述当前像素点的增强尺度特征,A的取值范围为(1,1.5];
(3)在所述当前像素点与其邻域像素点之间进行插值处理。
9.根据权利要求6所述的一种用于生成三维模型的二维图像特征提取方法,其特征在于,在所述步骤S4中,对所述原始图像进行语义分割,提取与出所述目标对象关联的语义特征作为所述语义注意力特征,并将所述语义注意力特征分别与N个尺度下经增强的尺度特征进行融合,得到N个尺度下的语义融合结果,再将N个尺度下的语义融合结果进行融合得到所述融合特征。
10.一种用于生成三维模型的二维图像特征提取系统,其特征在于,所述系统利用原始图像的二维图像特征建立所述原始图像中包含的目标对象的三维模型,所述系统具体包括:
第一处理单元,被配置为:获取所述原始图像的坐标注意力特征,以确定各个像素点在所述原始图像中的像素权重作为第一权重;
第二处理单元,被配置为:获取所述原始图像的热力特征,以所述热力特征更新所述第一权重,以得到第二权重;
第三处理单元,被配置为:获取所述原始图像的多尺度特征,基于所述第二权重对每一尺度下各个所述像素点的当前尺度特征进行增强处理;
第四处理单元,被配置为:获取所述原始图像的语义注意力特征,对所述语义注意力特征和经增强的多尺度特征进行融合,以得到融合特征;
其中,所述融合特征用于提取所述目标对象的边缘特征、纹理特征和灰度特征,以生成所述目标对象的三维模型。
CN202211310858.9A 2022-10-25 2022-10-25 一种用于生成三维模型的二维图像特征提取方法与系统 Active CN115861745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211310858.9A CN115861745B (zh) 2022-10-25 2022-10-25 一种用于生成三维模型的二维图像特征提取方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211310858.9A CN115861745B (zh) 2022-10-25 2022-10-25 一种用于生成三维模型的二维图像特征提取方法与系统

Publications (2)

Publication Number Publication Date
CN115861745A true CN115861745A (zh) 2023-03-28
CN115861745B CN115861745B (zh) 2023-06-06

Family

ID=85661768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211310858.9A Active CN115861745B (zh) 2022-10-25 2022-10-25 一种用于生成三维模型的二维图像特征提取方法与系统

Country Status (1)

Country Link
CN (1) CN115861745B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020044541A (ja) * 2018-09-18 2020-03-26 日立金属株式会社 熱流体解析方法および造形物の製造方法
CN112395442A (zh) * 2020-10-12 2021-02-23 杭州电子科技大学 移动互联网上的低俗图片自动识别与内容过滤方法
KR20210023671A (ko) * 2019-08-23 2021-03-04 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치
CN113284149A (zh) * 2021-07-26 2021-08-20 长沙理工大学 Covid-19胸部ct图像识别方法、装置及电子设备
CN113393446A (zh) * 2021-06-21 2021-09-14 湖南大学 基于注意力机制的卷积神经网络医学图像关键点检测方法
CN113705675A (zh) * 2021-08-27 2021-11-26 合肥工业大学 一种基于多尺度特征交互网络的多聚焦图像融合方法
CN114140623A (zh) * 2021-12-10 2022-03-04 上海智能交通有限公司 一种图像特征点提取方法及系统
CN114254715A (zh) * 2022-03-02 2022-03-29 自然资源部第一海洋研究所 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
CN114266881A (zh) * 2021-11-18 2022-04-01 武汉科技大学 一种基于改进型语义分割网络的指针式仪表自动读数方法
CN114511576A (zh) * 2022-04-19 2022-05-17 山东建筑大学 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN114821519A (zh) * 2022-03-21 2022-07-29 上海应用技术大学 一种基于坐标注意力的交通标志识别方法及系统
CN114913485A (zh) * 2022-06-14 2022-08-16 中国民航大学 一种多层级特征融合的弱监督检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020044541A (ja) * 2018-09-18 2020-03-26 日立金属株式会社 熱流体解析方法および造形物の製造方法
KR20210023671A (ko) * 2019-08-23 2021-03-04 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치
CN112395442A (zh) * 2020-10-12 2021-02-23 杭州电子科技大学 移动互联网上的低俗图片自动识别与内容过滤方法
CN113393446A (zh) * 2021-06-21 2021-09-14 湖南大学 基于注意力机制的卷积神经网络医学图像关键点检测方法
CN113284149A (zh) * 2021-07-26 2021-08-20 长沙理工大学 Covid-19胸部ct图像识别方法、装置及电子设备
CN113705675A (zh) * 2021-08-27 2021-11-26 合肥工业大学 一种基于多尺度特征交互网络的多聚焦图像融合方法
CN114266881A (zh) * 2021-11-18 2022-04-01 武汉科技大学 一种基于改进型语义分割网络的指针式仪表自动读数方法
CN114140623A (zh) * 2021-12-10 2022-03-04 上海智能交通有限公司 一种图像特征点提取方法及系统
CN114254715A (zh) * 2022-03-02 2022-03-29 自然资源部第一海洋研究所 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
CN114821519A (zh) * 2022-03-21 2022-07-29 上海应用技术大学 一种基于坐标注意力的交通标志识别方法及系统
CN114511576A (zh) * 2022-04-19 2022-05-17 山东建筑大学 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN114913485A (zh) * 2022-06-14 2022-08-16 中国民航大学 一种多层级特征融合的弱监督检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LI, YING, ET AL: "One-stage disease detection method for maize leaf based on multi-scale feature fusion", APPLIED SCIENCES, pages 1 - 19 *
QIBIN HOU ET AL: "Coordinate Attention for Efficient Mobile Network Design", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), pages 13708 - 13717 *
YANG L , ET AL: "Multi-scale spatial-spectral fusion based on multi-input fusion calculation and coordinate attention for hyperspectral image classification", PATTERN RECOGNITION: THE JOURNAL OF THE PATTERN RECOGNITION SOCIETY, pages 1 - 14 *
倪锦园等: "多尺度坐标注意力金字塔卷积的面部表情识别", 计算机工程与应用, pages 1 - 13 *

Also Published As

Publication number Publication date
CN115861745B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Chowdhury et al. 3D face reconstruction from video using a generic model
CN112381837B (zh) 一种图像处理方法及电子设备
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN110909615B (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN110992366B (zh) 一种图像语义分割方法、装置及存储介质
EP4118619A1 (en) Pose estimation method and apparatus
CN108681753B (zh) 一种基于语义分割及神经网络的图像立体匹配方法及系统
CN112489063A (zh) 图像分割方法、图像分割模型的训练方法和装置
CN110533663B (zh) 一种图像视差确定方法、装置、设备及系统
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN111680573B (zh) 人脸识别方法、装置、电子设备和存储介质
US20240338933A1 (en) Image generation apparatus, image generation method, image generation program, learning device, and learning data
CN113840127A (zh) 一种卫星视频影像获取水域自动掩膜处理dsm的方法
KR100896712B1 (ko) 수치지도를 이용한 수치표고모델 제작시스템 및 그 방법
CN115861745B (zh) 一种用于生成三维模型的二维图像特征提取方法与系统
CN115147508B (zh) 服饰生成模型的训练、生成服饰图像的方法和装置
CN111627036A (zh) 图像区域校正方法、装置、设备及存储介质
CN109146886B (zh) 一种基于深度密度的rgbd图像语义分割优化方法
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN112634126B (zh) 人像减龄处理方法、训练方法、装置、设备及存储介质
CN112508776B (zh) 动作迁移方法、装置和电子设备
CN115049560A (zh) 一种模型训练方法及系统、人脸图像去光方法及系统
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant