CN111523411B - 基于语义修补的合成孔径成像方法 - Google Patents

基于语义修补的合成孔径成像方法 Download PDF

Info

Publication number
CN111523411B
CN111523411B CN202010277511.3A CN202010277511A CN111523411B CN 111523411 B CN111523411 B CN 111523411B CN 202010277511 A CN202010277511 A CN 202010277511A CN 111523411 B CN111523411 B CN 111523411B
Authority
CN
China
Prior art keywords
image
network
synthetic aperture
formula
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010277511.3A
Other languages
English (en)
Other versions
CN111523411A (zh
Inventor
裴炤
金敏
张艳宁
马苗
郭敏
武杰
杨红红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202010277511.3A priority Critical patent/CN111523411B/zh
Publication of CN111523411A publication Critical patent/CN111523411A/zh
Application granted granted Critical
Publication of CN111523411B publication Critical patent/CN111523411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于语义修补的合成孔径成像方法，由生成聚焦到遮挡平面的合成孔径图像、标记位于遮挡区域的像素、生成聚焦到目标平面的合成孔径图像、缺失区域的语义修补步骤组成，用于解决现有合成孔径成像方法中场景存在严重遮挡而导致合成图像信息缺失的问题。本发明充分利用合成孔径图像的语义信息以及多视角之间关联像素信息，将合成孔径成像视作图像的语义修补问题，利用目标周围的语义信息进行缺失区域的修补，实现了严重遮挡条件下具有清晰、完整的被遮挡目标合成孔径成像方法。

Description

基于语义修补的合成孔径成像方法
技术领域
本发明属于图像处理与模式识别技术领域，具体涉及基于语义修补的合成孔径成像方法。
背景技术
合成孔径成像技术使用相机阵列模拟具有大型虚拟凸透镜的相机，通过充分利用相机阵列中的多视角信息，可以轻松处理明显的遮挡。文献“All-In-Focus SyntheticAperture Imaging,ECCV,2014,p1-15”公开了一种合成孔径成像方法，该方法基于逐层可视像素标记的思想，可以获得整幅图像像素均清晰的合成孔径图像。然而，在利用多视角图像进行成像的过程中，当出现信息无法被所有相机视角捕获的情况时，该方法通常会失效。由于合成孔径图像中被遮挡目标将无可用的有效信息，导致目标成像区域信息缺失，表现为合成孔径图像中该区域出现空洞，从而降低成像的完整度和准确度。
发明内容
要解决的技术问题
为了解决现有合成孔径成像方法在严重遮挡下成像失效的问题，本发明提供一种基于语义修补的合成孔径成像方法。该方法首先基于标记遮挡的思路获得被遮挡目标的合成孔径图像，其次通过生成对抗网络迭代更新网络参数，使用生成的修补模型对合成图像的缺失区域进行语义修补，从而生成完整的、清晰的合成孔径图像。
技术方案
一种基于语义修补的合成孔径成像方法，其特征在于步骤如下：
步骤1：生成聚焦到遮挡平面的合成孔径图像
用由N个相机水平组成的相机阵列拍摄目标所在的场景，Fi表示由N个相机组成的相机阵列所采集的各个位于不同视角的相机图像，通过平均不同视角Fi经过仿射变换投影到参考视角r、深度l的遮挡平面图像，得到聚焦到遮挡平面的合成孔径图像S；其中i＝1,2,…,N；
步骤2：标记位于遮挡区域的像素
采用图像分割方法标记参考视角中属于遮挡物的像素，将聚焦到遮挡平面的合成孔径图像输入预先训练的基于Mask RCNN算法的图像分割模型，得到分割图像u；
步骤3：生成聚焦到目标平面的合成孔径图像
对步骤2得到的分割图像u进行形态学操作，得到参考视角下遮挡平面的二值标记图像ur，其中r∈[1,8]，用公式(1)得到不同视角下的遮挡标记图像ui：
Figure BDA0002445357860000021
式中，
Figure BDA0002445357860000022
为参考视角Fr投影到视角Fi的单应性矩阵，P-1为视差矩阵，
Figure BDA0002445357860000023
和P-1通过相机标定得出，用公式(2)得到标记为遮挡后的图像序列：
Figure BDA0002445357860000024
按照步骤1中的方法，用
Figure BDA0002445357860000025
代替Fi作为新的输入，在聚焦目标时去除被标记遮挡像素的影响，从而得到目标区域存在信息缺失的合成孔径图像Y；
步骤4：缺失区域的语义修补
对抗网络包括生成网络G和判别网络D的两个深度卷积神经网络，生成网络G为解码-编码网络，输入为缺失图像信息，通过编码-解码网络输出补全图像信息，从而得到类似真实数据的图像；判别网络D由局部判别网络和全局判别网络构成，局部判别网络识别局部一致性，全局判别网络将完整图像作为输入，通过卷积运算得到整体图像一致性分数，从而区分输入的图像来自于真实数据还是生成数据，直到无法判断输入数据的真假；在训练过程中，用公式(3)表示生成对抗网络的目标函数：
Figure BDA0002445357860000031
式中，I为输入图像，T为随机掩膜，指定缺失区域作为局部判别网络的输入，M为缺失区域掩膜，G(I,M)为生成网络的预测输出，D(G(I,M),M)为判别网络针对输入为G(I,M)的输出，β为超参数，LG为均方损失函数，用公式(4)计算得出：
LG＝‖M⊙(G(I,M)-I)‖2 (4)
式中，⊙表示矩阵点乘，‖‖表示欧几里得距离；
使用训练后的生成网络G对信息缺失的图像Y进行语义修补，在语义修补过程中，用公式(5)计算图像Y缺失信息区域对应掩码：
Figure BDA0002445357860000032
式中，tH为阈值，ur(m)为二值标记图像ur中像素m对应的像素值，Y(m)为存在信息缺失的合成孔径图像Y中像素m对应的像素值，K(m)为掩码K中像素m对应的像素值；
将信息缺失的图像Y与缺失信息区域对应的掩码K输入到使用最优模型参数辅助的生成网络G，得到最终修补完整的合成图像A，用公式(6)表示
A＝G(Y,K) (6)
步骤2具体如下：Mask RCNN首先利用ResNet-101-FPN深度残差网络作为特征提取网络对输入图像进行特征提取，然后利用候选区域网络计算原图中的某一区域是否包含特定物体：如果不包含物体则不进行分类，如果包含物体则使用感兴趣区域池化层进行特征提取并预测物体类别和物体边界框，通过对物体分类、边界框预测、物体分割三个分支的损失联合训练，优化模型参数，当模型的输出与真实标签的误差小于符合事务的阈值时，停止训练；记训练生成的分割模型为R，用公式(1)表示得到参考视角下遮挡平面的分割图像u：
u＝R(S)。
步骤3中所述的形态学操作包括膨胀与腐蚀。
有益效果
本发明提出的一种基于语义修补的合成孔径成像方法，由生成聚焦到遮挡平面的合成孔径图像、标记位于遮挡区域的像素、生成聚焦到目标平面的合成孔径图像、缺失区域的语义修补步骤组成，在充分利用多视角关联信息后，进一步对缺失区域实现局部和全局图像一致性的语义修补，解决合成孔径成像由于严重遮挡导致信息丢失的问题，与现有方法相比，本发明有效的提高视觉质量，并生成清晰、完整的合成孔径图像。
具体实施方式
现结合实施例对本发明作进一步描述：
本发明包括以下步骤：
(1)生成聚焦到遮挡平面的合成孔径图像
用由N个相机水平组成的相机阵列拍摄目标所在的场景，Fi(i＝1,2,…,N)表示由N个相机组成的相机阵列所采集的各个位于不同视角的相机图像，通过平均不同视角Fi经过仿射变换投影到参考视角r、深度l的遮挡平面图像，得到聚焦到遮挡平面的合成孔径图像S；
(2)标记位于遮挡区域的像素
为了确定像素是否属于遮挡物，采用图像实例分割方法标记参考视角中属于遮挡物的像素，将聚焦到遮挡平面的合成孔径图像输入预先训练的基于Mask RCNN算法的实例分割模型，得到图像聚焦区域的位置；Mask RCNN首先利用ResNet-101-FPN深度残差网络作为特征提取网络对输入图像进行特征提取，然后利用候选区域网络计算原图中的某一区域是否包含特定物体：如果不包含物体则不进行分类，如果包含物体则使用感兴趣区域池化层进行特征提取并预测物体类别和物体边界框，通过对物体分类、边界框预测、物体分割三个分支的损失联合训练，优化模型参数，当模型的输出与真实标签的误差小于符合事务的阈值时，停止训练；记训练生成的分割模型为R，用公式(1)表示得到参考视角下遮挡平面的分割图像u：
u＝R(S) (1)
(3)生成聚焦到目标平面的合成孔径图像
按照步骤(2)的方法得到聚焦区域的分割图像u，通过膨胀与腐蚀的操作，得到参考视角下遮挡平面的二值标记图像ur，其中r∈[1,N]，用公式(2)得到不同视角下的遮挡标记图像ui：
Figure BDA0002445357860000051
式中，
Figure BDA0002445357860000052
为参考视角Fr投影到视角Fi的单应性矩阵，P-1为视差矩阵，
Figure BDA0002445357860000053
和P-1通过相机标定得出，用公式(3)得到标记为遮挡后的图像序列：
Figure BDA0002445357860000054
按照步骤(1)中的方法，用
Figure BDA0002445357860000055
代替Fi作为新的输入，在聚焦目标时去除被标记遮挡像素的影响，从而得到目标区域存在信息缺失的图像Y；
(4)缺失区域的语义修补
语义修补算法具体实现方法为：对抗网络由包括生成网络G和判别网络D的两个深度卷积神经网络组成，生成网络G为解码-编码网络，输入为缺失图像信息，通过编码-解码网络输出补全图像信息，从而得到类似真实数据的图像，判别网络D由局部判别网络和全局判别网络构成，局部判别网络识别局部一致性，全局判别网络将完整图像作为输入，通过卷积运算得到整体图像一致性分数，从而区分输入的图像来自于真实数据还是生成数据，直到无法判断输入数据的真假；在训练过程中，用公式(4)表示生成对抗网络的目标函数：
Figure BDA0002445357860000061
式中，I为输入图像，T为随机掩膜，指定缺失区域作为局部判别网络的输入，M为缺失区域掩膜，G(I,M)为生成网络的预测输出，D(G(I,M),M)为判别网络针对输入为G(I,M)的输出，β为超参数，LG为均方损失函数，用于提高训练过程中的稳定性，用公式(5)计算得出：
LG＝‖M⊙(G(I,M)-I)‖2 (5)
式中，⊙表示矩阵点乘，‖‖表示欧几里得距离；
在训练过程中，只对生成网络G和判别网络D进行训练，在训练完成后，得到最优修补模型，通过使用最优修补模型来辅助生成网络G，从而对信息缺失的图像Y进行语义修补，在语义修补过程中，用公式(6)计算图像Y缺失信息区域对应掩码：
Figure BDA0002445357860000062
式中，tH为阈值，ur(m)为二值标记图像ur中像素m对应的像素值，Y(m)为存在信息缺失的合成孔径图像Y中像素m对应的像素值，K(m)为掩码K中像素m对应的像素值；通过上述操作，将信息缺失的图像Y与缺失信息区域对应的掩码K输入到使用最优模型参数辅助的生成网络G，最终得到修补完整的合成图像A，用公式(7)表示
A＝G(Y,K) (7)
实施例1
以由8个相机组成的相机阵列为例，基于语义修补的合成孔径成像方法的步骤如下:
(1)生成聚焦到遮挡平面的合成孔径图像
用由8个相机水平组成的相机阵列拍摄目标所在的场景，Fi(i＝1,2,...,8)表示8个相机组成的相机阵列所采集的各个位于不同视角的相机图像，通过平均8个不同视角经过仿射变换投影到参考视角r、深度l的遮挡平面图像，得到聚焦到遮挡平面的合成孔径图像S；
(2)标记位于遮挡区域的像素
为了确定像素是否属于遮挡物，采用图像实例分割方法标记参考视角中属于遮挡物的像素，将聚焦到遮挡平面的合成孔径图像输入预先训练的基于Mask RCNN算法的实例分割模型，得到图像聚焦区域的位置；Mask RCNN首先利用ResNet-101-FPN深度残差网络作为特征提取网络对输入图像进行特征提取，然后利用候选区域网络计算原图中的某一区域是否包含特定物体：如果不包含物体则不进行分类，如果包含物体则使用感兴趣区域池化层进行特征提取并预测物体类别和物体边界框，通过对物体分类、边界框预测、物体分割三个分支的损失联合训练，优化模型参数，当模型的输出与真实标签的误差小于符合事务的阈值时，停止训练；记训练生成的分割模型为R，用公式(1)表示得到参考视角下遮挡平面的分割图像u：
u＝R(S) (1)
(3)生成聚焦到目标平面的合成孔径图像
按照步骤(2)中的方法得到u，通过卷积核为6的膨胀与腐蚀操作，得到参考视角下遮挡平面的二值标记图像ur，其中r＝4，用公式(2)得到不同视角下的遮挡标记图像ui：
Figure BDA0002445357860000071
式中，
Figure BDA0002445357860000072
为参考视角Fr投影到视角Fi的单应性矩阵，P-1为视差矩阵，
Figure BDA0002445357860000073
和P-1通过相机标定得出，用公式(3)得到标记为遮挡后的图像序列：
Figure BDA0002445357860000081
按照步骤(1)中的方法，用
Figure BDA0002445357860000082
代替Fi作为新的输入，在聚焦目标时去除被标记遮挡像素的影响，从而得到目标区域存在信息缺失的图像Y；
(4)缺失区域的语义修补
语义修补算法具体实现方法为：对抗网络由包括生成网络G和判别网络D的两个深度卷积神经网络组成，生成网络G为解码-编码网络，输入为缺失图像信息，通过编码-解码网络输出补全图像信息，从而得到类似真实数据的图像，判别网络D由局部判别网络和全局判别网络构成，局部判别网络识别局部一致性，全局判别网络将完整图像作为输入，通过卷积运算得到整体图像一致性分数，从而区分输入的图像来自于真实数据还是生成数据，直到无法判断输入数据的真假，在训练过程中，用公式(4)表示生成对抗网络的目标函数：
Figure BDA0002445357860000083
式中，I为输入图像，T为随机掩膜，指定缺失区域作为局部判别网络的输入，M为缺失区域掩膜，G(I,M)为生成网络的预测输出，D(G(I,M),M)为判别网络针对输入为G(I,M)的输出，β＝0.0004，LG为均方损失函数，用于提高训练过程中的稳定性，用公式(5)计算得出：
LG＝‖M⊙(G(I,M)-I)‖2 (5)
式中，⊙表示矩阵点乘，‖‖表示欧几里得距离；
在训练过程中，只对生成网络G和判别网络D进行训练，在训练完成后，得到最优修补模型，通过使用最优修补模型来辅助生成网络G，从而对信息缺失的图像Y进行语义修补，在语义修补过程中，用公式(6)计算图像Y缺失信息区域对应掩码：
Figure BDA0002445357860000091
式中，tH为阈值，ur(m)为二值标记图像ur中像素m对应的像素值，Y(m)为存在信息缺失的合成孔径图像Y中像素m对应的像素值，K(m)为掩码K中像素m对应的像素值；通过上述步骤中训练好的网络G，将信息缺失的图像Y与缺失信息区域对应的掩码K作为生成网络的输入，用公式(7)计算修补完整的合成图像A：
A＝G(Y,K) (7)
在得到图像A之后，利用泊松融合对补全区域的边缘与周围像素进行融合，提高图像A的整体视觉质量。
实施例2
以由12个相机组成的相机阵列为例，基于语义修补的合成孔径成像方法的步骤如下:
(1)生成聚焦到遮挡平面的合成孔径图像
用由12个相机水平组成的相机阵列拍摄目标所在的场景，Fi(i＝1,2,...,12)表示12个相机组成的相机阵列所采集的各个位于不同视角的相机图像，通过平均12个不同视角经过仿射变换投影到参考视角r、深度l的遮挡平面图像，得到聚焦到遮挡平面的合成孔径图像S；
(2)标记位于遮挡区域的像素
为了确定像素是否属于遮挡物，采用图像实例分割方法标记参考视角中属于遮挡物的像素，将聚焦到遮挡平面的合成孔径图像输入预先训练的基于Mask RCNN算法的实例分割模型，得到图像聚焦区域的位置；Mask RCNN首先利用ResNet-101-FPN深度残差网络作为特征提取网络对输入图像进行特征提取，然后利用候选区域网络计算原图中的某一区域是否包含特定物体：如果不包含物体则不进行分类，如果包含物体则使用感兴趣区域池化层进行特征提取并预测物体类别和物体边界框，通过对物体分类、边界框预测、物体分割三个分支的损失联合训练，优化模型参数，当模型的输出与真实标签的误差小于符合事务的阈值时，停止训练；记训练生成的分割模型为R，用公式(1)表示得到参考视角下遮挡平面的分割图像u：
u＝R(S) (1)
(3)生成聚焦到目标平面的合成孔径图像
按照步骤(2)中的方法得到u，通过卷积核为6的膨胀与腐蚀操作，得到参考视角下遮挡平面的二值标记图像ur，其中r＝4，用公式(2)得到不同视角下的遮挡标记图像ui：
Figure BDA0002445357860000101
式中，
Figure BDA0002445357860000102
为参考视角Fr投影到视角Fi的单应性矩阵，P-1为视差矩阵，
Figure BDA0002445357860000103
和P-1通过相机标定得出，用公式(3)得到标记为遮挡后的图像序列：
Figure BDA0002445357860000104
按照步骤(1)中的方法，用
Figure BDA0002445357860000105
代替Fi作为新的输入，在聚焦目标时去除被标记遮挡像素的影响，从而得到目标区域存在信息缺失的图像Y；
其它步骤与实施例1相同。

Claims (3)

1.一种基于语义修补的合成孔径成像方法，其特征在于步骤如下：
步骤1：生成聚焦到遮挡平面的合成孔径图像
用由N个相机水平组成的相机阵列拍摄目标所在的场景，Fi表示由N个相机组成的相机阵列所采集的各个位于不同视角的相机图像，通过平均不同视角Fi经过仿射变换投影到参考视角r、深度l的遮挡平面图像，得到聚焦到遮挡平面的合成孔径图像S；其中i＝1，2，…，N；
步骤2：标记位于遮挡区域的像素
采用图像分割方法标记参考视角中属于遮挡物的像素，将聚焦到遮挡平面的合成孔径图像输入预先训练的基于Mask RCNN算法的图像分割模型，得到分割图像u；
步骤3：生成聚焦到目标平面的合成孔径图像
对步骤2得到的分割图像u进行形态学操作，得到参考视角下遮挡平面的二值标记图像ur，其中r∈[1，8]，用公式(1)得到不同视角下的遮挡标记图像ui：
Figure FDA0002445357850000011
式中，
Figure FDA0002445357850000012
为参考视角Fr投影到视角Fi的单应性矩阵，P-1为视差矩阵，
Figure FDA0002445357850000013
和P-1通过相机标定得出，用公式(2)得到标记为遮挡后的图像序列：
Figure FDA0002445357850000014
按照步骤1中的方法，用
Figure FDA0002445357850000015
代替Fi作为新的输入，在聚焦目标时去除被标记遮挡像素的影响，从而得到目标区域存在信息缺失的合成孔径图像Y；
步骤4：缺失区域的语义修补
对抗网络包括生成网络G和判别网络D的两个深度卷积神经网络，生成网络G为解码-编码网络，输入为缺失图像信息，通过编码-解码网络输出补全图像信息，从而得到类似真实数据的图像；判别网络D由局部判别网络和全局判别网络构成，局部判别网络识别局部一致性，全局判别网络将完整图像作为输入，通过卷积运算得到整体图像一致性分数，从而区分输入的图像来自于真实数据还是生成数据，直到无法判断输入数据的真假；在训练过程中，用公式(3)表示生成对抗网络的目标函数：
Figure FDA0002445357850000021
式中，I为输入图像，T为随机掩膜，指定缺失区域作为局部判别网络的输入，M为缺失区域掩膜，G(I，M)为生成网络的预测输出，D(G(I，M)，M)为判别网络针对输入为G(I，M)的输出，β为超参数，LG为均方损失函数，用公式(4)计算得出：
LG＝||M⊙(G(I，M)-I)||2 (4)
式中，⊙表示矩阵点乘，|| ||表示欧几里得距离；
使用训练后的生成网络G对信息缺失的图像Y进行语义修补，在语义修补过程中，用公式(5)计算图像Y缺失信息区域对应掩码：
Figure FDA0002445357850000022
式中，tH为阈值，ur(m)为二值标记图像ur中像素m对应的像素值，Y(m)为存在信息缺失的合成孔径图像Y中像素m对应的像素值，K(m)为掩码K中像素m对应的像素值；
将信息缺失的图像Y与缺失信息区域对应的掩码K输入到使用最优模型参数辅助的生成网络G，得到最终修补完整的合成图像A，用公式(6)表示
A＝G(Y，K) (6)。
2.根据权利要求1所述的一种基于语义修补的合成孔径成像方法，其特征在于步骤2具体如下：Mask RCNN首先利用ResNet-101-FPN深度残差网络作为特征提取网络对输入图像进行特征提取，然后利用候选区域网络计算原图中的某一区域是否包含特定物体：如果不包含物体则不进行分类，如果包含物体则使用感兴趣区域池化层进行特征提取并预测物体类别和物体边界框，通过对物体分类、边界框预测、物体分割三个分支的损失联合训练，优化模型参数，当模型的输出与真实标签的误差小于符合事务的阈值时，停止训练；记训练生成的分割模型为R，用公式(1)表示得到参考视角下遮挡平面的分割图像u：
u＝R(S)。
3.根据权利要求1所述的一种基于语义修补的合成孔径成像方法，其特征在于步骤3中所述的形态学操作包括膨胀与腐蚀。
CN202010277511.3A 2020-04-10 2020-04-10 基于语义修补的合成孔径成像方法 Active CN111523411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010277511.3A CN111523411B (zh) 2020-04-10 2020-04-10 基于语义修补的合成孔径成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010277511.3A CN111523411B (zh) 2020-04-10 2020-04-10 基于语义修补的合成孔径成像方法

Publications (2)

Publication Number Publication Date
CN111523411A CN111523411A (zh) 2020-08-11
CN111523411B true CN111523411B (zh) 2023-02-28

Family

ID=71902570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010277511.3A Active CN111523411B (zh) 2020-04-10 2020-04-10 基于语义修补的合成孔径成像方法

Country Status (1)

Country Link
CN (1) CN111523411B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686813A (zh) * 2020-12-10 2021-04-20 广州广电运通金融电子股份有限公司 基于部分卷积和掩膜更新的指静脉图像修复方法
CN114972129B (zh) * 2022-08-01 2022-11-08 电子科技大学 一种基于深度信息的图像修复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917175A (zh) * 2012-09-13 2013-02-06 西北工业大学 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法
CN108364345A (zh) * 2018-02-11 2018-08-03 陕西师范大学 基于像素标记和合成孔径成像的遮挡目标三维重建方法
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917175A (zh) * 2012-09-13 2013-02-06 西北工业大学 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法
CN108364345A (zh) * 2018-02-11 2018-08-03 陕西师范大学 基于像素标记和合成孔径成像的遮挡目标三维重建方法
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光场成像技术及其在计算机视觉中的应用;张驰等;《中国图象图形学报》;20160316(第03期);全文 *

Also Published As

Publication number Publication date
CN111523411A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
JP7300438B2 (ja) Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN111784747B (zh) 一种基于关键点检测和校正的车辆多目标跟踪系统及方法
CN114677502B (zh) 一种任意倾斜角度的车牌检测方法
Wu et al. Ridcp: Revitalizing real image dehazing via high-quality codebook priors
CN111523411B (zh) 基于语义修补的合成孔径成像方法
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
CN111480183A (zh) 用于产生透视效果的光场图像渲染方法和系统
CN107886471B (zh) 一种基于超像素投票模型的照片多余物体去除方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN113689331B (zh) 一种复杂背景下的全景图像拼接方法
Chelani et al. How privacy-preserving are line clouds? recovering scene details from 3d lines
CN110544202A (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
Zhao et al. Mvpsnet: Fast generalizable multi-view photometric stereo
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
Du et al. Perceptually optimized generative adversarial network for single image dehazing
CN117132503A (zh) 一种图像局部高亮区域修复方法、系统、设备及存储介质
He et al. Haze removal using aggregated resolution convolution network
CN112489064B (zh) 一种基于边缘放缩修正的全景分割方法
CN107392936B (zh) 一种基于meanshift的目标跟踪方法
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant