CN111178501A - 双循环对抗网络架构的优化方法、系统、电子设备及装置 - Google Patents

双循环对抗网络架构的优化方法、系统、电子设备及装置 Download PDF

Info

Publication number
CN111178501A
CN111178501A CN201911276155.7A CN201911276155A CN111178501A CN 111178501 A CN111178501 A CN 111178501A CN 201911276155 A CN201911276155 A CN 201911276155A CN 111178501 A CN111178501 A CN 111178501A
Authority
CN
China
Prior art keywords
image sequence
dual
network architecture
countermeasure network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911276155.7A
Other languages
English (en)
Other versions
CN111178501B (zh
Inventor
贾富仓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911276155.7A priority Critical patent/CN111178501B/zh
Publication of CN111178501A publication Critical patent/CN111178501A/zh
Application granted granted Critical
Publication of CN111178501B publication Critical patent/CN111178501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种双循环对抗网络架构的优化方法、系统、电子设备及装置，该方法包括以下步骤：构建双循环对抗网络架构；藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。通过上述方式，旨在解决现有技术中腹腔镜器官表面三维重建难以满足手术实际需求的技术问题。

Description

双循环对抗网络架构的优化方法、系统、电子设备及装置
技术领域
本申请涉及医学图像处理技术领域，特别是涉及双循环对抗网络架构的优化方法、系统、电子设备及装置。
背景技术
在腹部微创手术中，腹腔镜手术导航系统可以起到重要作用，通过重建术中器官表面，实现术前三维模型和术中3D腹腔镜手术视频融合显示，通过在3D腹腔镜上实时显示术前重建的肿瘤、血管等模型，使手术视野透明化，有助于提高手术成功率和降低手术风险。
本申请的发明人在长期的研发过程中，发现常规的三维重建方法对于低纹理、高光反射等和有烟雾的手术场景中肝脏表面重建效果不理想。而大多数基于深度学习的深度估计方法都需要高标准视差图像进行训练，这些数据很难在腹腔镜手术中获得。
发明内容
本申请在于提供一种双循环对抗网络架构的优化方法、系统、电子设备及装置，旨在解决现有技术中腹腔镜器官表面三维重建难以满足手术实际需求的技术问题。
一方面，本申请提供一种双循环对抗网络架构的优化方法，方法包括以下步骤：构建双循环对抗网络架构；藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。
其中，双循环对抗网络架构包括：第一生成器、第二生成器、第一判别器以及第二判别器；藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构的步骤包括：藉由第一生成器生成右图像序列的一次合成图像，藉由第二生成器生成左图像序列的一次合成图像；藉由第一判别器判别右图像序列的一次合成图像以得到第一评分结果，藉由第二判别器判别左图像序列的一次合成图像以得到第二评分结果；根据右图像序列的一次合成图像生成右图像序列的二次合成图像，根据左图像序列的一次合成图像生成左图像序列的二次合成图像；藉由第一判别器判别右图像序列的二次合成图像以得到第三评分结果，藉由第二判别器判别左图像序列的二次合成图像以得到第四评分结果；将第一评分结果和第三评分结果反馈到第一生成器，将第二评分结果和第四评分结果反馈到第二生成器，进行下一轮迭代，直至生成评分结果不再提高。
其中，藉由第一生成器生成右图像序列的一次合成图像，藉由第二生成器生成左图像序列的一次合成图像的步骤包括：藉由第一生成器对右图像序列和左图像序列进行处理，以生成右图像序列对应的右视差图像；对右视差图像和左图像序列进行一次合成处理，以得到右图像序列的一次合成图像；藉由第二生成器对右图像序列的一次合成图像和左图像序列进行处理，以生成左图像序列对应的左视差图像；对左视差图像进行一次合成处理，以得到左图像序列的一次合成图像。
其中，根据右图像序列的一次合成图像生成右图像序列的二次合成图像，根据左图像序列的一次合成图像生成左图像序列的二次合成图像的步骤包括：对右图像序列的一次合成图像和左视差图像进行二次合成处理，以得到右图像序列的二次合成图像；对左图像序列的一次合成图像和右视差图像进行二次合成处理，以得到左图像序列的二次合成图像。
其中，第一生成器、第二生成器、第一判别器以及第二判别器均采用编码器-解码器架构；编码器与解码器的对应层之间采用跳跃链接，其中，编码器为ResNet-50卷积神经网络；解码器为包括5层反卷积层的神经网络，每间隔2层反卷积层对特征图像进行双线性采样。
其中，每个反卷积层的配置均为卷积核大小为3×3，步长为1，填充为1；每个反卷积层均使用ReLU激活函数，ReLU激活函数定义为ReLU(x)＝max(0,x)。
其中，藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构的步骤之前，方法还包括：根据相机标定参数对右图像序列和左图像序列进行极线校正，以使右图像序列和左图像序列中对应的匹配像素点均处于同一水平线上；右图像序列和左图像序列中对应的匹配像素点在相机坐标空间下的深度值表述为：
Figure BDA0002315601700000031
其中，f表示相机的焦距，通过相机标定可以获取该值；XL和XR分别表示右图像序列和左图像序列中对应的匹配像素点在成像平面上的投影点；d表示XL和XR之间的差值。
其中，该方法还包括：基于整体优化目标函数对第一生成器和第二生成器进行优化。整体优化目标函数表述为：
Figure BDA0002315601700000032
其中，
Figure BDA0002315601700000033
表示第一损失函数值，
Figure BDA0002315601700000034
表示第二损失函数值，
Figure BDA0002315601700000035
表示对抗目标损失函数值，
Figure BDA0002315601700000036
表示左右一致性损失函数值，其中γi＝1，i＝1,2,3,4；
其中，第一损失函数值
Figure BDA0002315601700000037
表述为：
Figure BDA0002315601700000038
第二损失函数值
Figure BDA0002315601700000039
表述为：
Figure BDA00023156017000000310
另一方面，本申请提供一种双循环对抗网络架构的优化系统，系统包括：构建单元，用于构建双循环对抗网络架构；优化训练单元，用于藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构，优化后的双循环对抗网络架构为如前述的方法优化后的双循环对抗网络架构。
又一方面，本申请提供一种三维重建系统，包括：获取单元，用于获取待重建的右图像序列和左图像序列图像；输入单元，用于将待重建的右图像序列和左图像序列图像输入优化后的双循环对抗网络架构，以得到待重建的右图像序列和左图像序列图像的三维重建图像，优化后的双循环对抗网络架构为如前述的方法优化后的双循环对抗网络架构。
再一方面，本申请提供一种电子设备，电子设备包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行如前述的方法。
再一方面，本申请提供一种具有存储功能的装置，装置上存储有计算机可读指令，当计算机可读指令被计算机的处理器执行时，使计算机执行如前述的方法。
本申请的有益效果是：区别于现有技术的情况，本申请双循环对抗网络架构后，藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。该对抗优化训练可以使双循环对抗网络架构得到强化学习，对比于普通的生成对抗网络更稳定，可以满足手术的实际需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本申请实施例中双循环对抗网络架构的优化方法的流程示意图；
图2为图1中步骤S20的流程示意图；
图3为图2中步骤S21的流程示意图；
图4为图2中步骤S23的流程示意图；
图5为对右图像序列和左图像序列进行极线校正的示意图；
图6为本申请实施例中双循环对抗网络架构的优化系统的结构示意图；
图7为本申请实施例中三维重建系统的结构示意图；
图8为本申请实施例中电子设备的结构示意图；
图9为本申请实施例中具有存储功能的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例中双循环对抗网络架构的优化方法的流程示意图，上述方法包括以下步骤：
S10：构建双循环对抗网络架构。
S20：藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。
其中，当训练视频由单目相机拍摄时，按照训练视频的拍摄时间顺序，将训练视频中的奇数帧图像确定为左图像序列，偶数帧图像确定为右图像序列，当训练视频由双目相机拍摄时，将双目相机的左摄像头拍摄的图像确定为左图像序列，将双目相机的右摄像头拍摄的图像确定为右图像序列。
区别于现有技术的情况，本申请双循环对抗网络架构后，藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。该对抗优化训练可以使双循环对抗网络架构得到强化学习，对比于普通的生成对抗网络更稳定，可以满足手术的实际需求。
进一步的，本申请实施例中双循环对抗网络架构包括：第一生成器、第二生成器、第一判别器以及第二判别器。参照图2，图2为图1中步骤S20的流程示意图，步骤S20包括以下步骤：
S21：藉由第一生成器生成右图像序列的一次合成图像，藉由第二生成器生成左图像序列的一次合成图像。
S22：藉由第一判别器判别右图像序列的一次合成图像以得到第一评分结果，藉由第二判别器判别左图像序列的一次合成图像以得到第二评分结果。
S23：根据右图像序列的一次合成图像生成右图像序列的二次合成图像，根据左图像序列的一次合成图像生成左图像序列的二次合成图像。
S24：藉由第一判别器判别右图像序列的二次合成图像以得到第三评分结果，藉由第二判别器判别左图像序列的二次合成图像以得到第四评分结果。
S25：将第一评分结果和第三评分结果反馈到第一生成器，将第二评分结果和第四评分结果反馈到第二生成器，进行下一轮迭代，直至生成评分结果不再提高。
进一步的，参照图3，图3为图2中步骤S21的流程示意图，步骤S21包括以下步骤：
S211：藉由第一生成器对右图像序列和左图像序列进行处理，以生成右图像序列对应的右视差图像。
S212：对右视差图像和左图像序列进行一次合成处理，以得到右图像序列的一次合成图像。
S213：藉由第二生成器对右图像序列的一次合成图像和左图像序列进行处理，以生成左图像序列对应的左视差图像。
S214：对左视差图像进行一次合成处理，以得到左图像序列的一次合成图像。
进一步的，参照图4，图4为图2中步骤S23的流程示意图，步骤S23包括以下步骤：
S231：对右图像序列的一次合成图像和左视差图像进行二次合成处理，以得到右图像序列的二次合成图像。
S232：对左图像序列的一次合成图像和右视差图像进行二次合成处理，以得到左图像序列的二次合成图像。
进一步的，上述第一生成器、第二生成器、第一判别器以及第二判别器均采用编码器-解码器架构。
其中，编码器为ResNet-50卷积神经网络。ResNet-50卷积神经网络模型包括1个卷积层、16个网络(building block)结构及1个全连接层；卷积层和网络(building block)结构用来自动提取器官属性特征；全连接层用于组合属性特征，并将输出值输入给softmax分类，且全连接层输出的节点数对应器官属性的类别。
作为优选的方案，ResNet-50卷积神经网络模型结构比较复杂，包含1个卷积层、16个网络(building block)结构，每一个网络(building block)结构为3层，所以有48层，最后有一个全连接层，所以一共有50层。
解码器为包括5层反卷积层的神经网络，每间隔2层反卷积层对特征图像进行双线性采样。其中，每个反卷积层的配置均为卷积核大小为3×3，步长为1，填充为1。
进一步的，上述每个反卷积层均使用ReLU激活函数，ReLU激活函数定义为ReLU(x)＝max(0,x)。
本申请实施例中，在传统的编码器-解码器架构的基础上，编码器与解码器的对应层(具有同样大小的特征图的层)之间采用跳跃链接，因此对应的特征图能够按通道连接起来，能够保留不同分辨率下像素级的细节信息。
进一步的，上述步骤S10之前，该方法还包括：根据相机标定参数对右图像序列和左图像序列进行极线校正，以使右图像序列和左图像序列中对应的匹配像素点均处于同一水平线上。右图像序列和左图像序列中对应的匹配像素点在相机坐标空间下的深度值表述为：
Figure BDA0002315601700000071
其中，f表示相机的焦距，通过相机标定可以获取该值。XL和XR分别表示右图像序列和左图像序列中对应的匹配像素点PL和PR在成像平面上的投影点。d表示XL和XR之间的差值。
具体地，从左右腹腔镜视频中提取左右相机的图像，根据相机标定参数对手术场景的左右图像进行校正，使处理后的左右图像的特征点处于同一水平线上(如图5所示)，并将校正后的左右图像左右神经网络的输入。图5中，B表示左右相机光心OL和OR之间的距离，通过相机标定可以获取该值。
进一步的，该方法还包括：基于整体优化目标函数对第一生成器和第二生成器进行优化，以加强第一生成器和第二生成器之间的约束，解决第一判别器和第二判别器迅速收敛为0的问题。
具体地，调用预置的随机梯度下降算法，基于左图像序列，计算左图像序列对应的左视差图的第一损失函数值；以及基于右图像序列，计算右图像序列对应的右视差图的第二损失函数值。
具体的，上述步骤包括：
计算左视差图与右视差图的左右一致性损失函数值。
利用以下公式计算左视差图与右视差图的左右一致性损失
Figure BDA0002315601700000081
表示左右一致性损失函数值
Figure BDA0002315601700000082
其中，N表示左视差图像与右视差图像中像素的个数，Dl(i，j)表示左视差图中像素点(i，j)的视差值，DR(i，j)表示右视差图中像素点(i，j)的视差值。
计算出第一损失函数值与第二损失函数值。
其中，第一损失函数值
Figure BDA0002315601700000083
表述为：
Figure BDA0002315601700000084
第二损失函数值
Figure BDA0002315601700000085
表述为：
Figure BDA0002315601700000086
其中，Ir表示右图像序列；Il表示左图像序列；d′r表示右视差图像；d′l表示左视差图像；
Figure BDA0002315601700000091
表示左图像序列的一次合成图像；
Figure BDA0002315601700000092
表示右图像序列的一次合成图像；fw函数表示对图像进行双线性采样的扭曲操作。
上述整体优化目标函数表述为：
Figure BDA0002315601700000093
其中，
Figure BDA0002315601700000094
表示第一损失函数值，
Figure BDA0002315601700000095
表示第二损失函数值，
Figure BDA0002315601700000096
表示对抗目标损失函数值，
Figure BDA0002315601700000097
表示左右一致性损失函数值，其中γi＝1，i＝1,2,3,4。
在对双循环对抗网络架构进行对抗优化训练时，整体优化目标函数用来表征模型的预测值与真实的输出值之间的损失，而对抗优化训练就是要通过样本将整体优化目标函数的值最小化，整体优化目标函数的函数值越小，说明模型预测与真实值越接近。
本申请的双循环对抗网络架构的优化方法具有如下优点：
(1)不需要获取高标准就可完成腹腔镜下器官表面的三维重建；
(2)采用二次重建的循环生成双循环对抗网络架构，对比于普通的生成对抗网络更稳定，可以做到肝脏手术实际应用过程的实时性，且精度较高。
请参阅图6，图6为本申请实施例中双循环对抗网络架构的优化系统的结构示意图，该双循环对抗网络架构的优化系统10包括：构建单元11和优化训练单元12。
构建单元11，用于构建双循环对抗网络架构。
优化训练单元12，用于藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构，优化后的双循环对抗网络架构为如上述实施例优化后的双循环对抗网络架构。
优化训练单元12，用于藉由第一生成器生成右图像序列的一次合成图像，藉由第二生成器生成左图像序列的一次合成图像；藉由第一判别器判别右图像序列的一次合成图像以得到第一评分结果，藉由第二判别器判别左图像序列的一次合成图像以得到第二评分结果；根据右图像序列的一次合成图像生成右图像序列的二次合成图像，根据左图像序列的一次合成图像生成左图像序列的二次合成图像；藉由第一判别器判别右图像序列的二次合成图像以得到第三评分结果，藉由第二判别器判别左图像序列的二次合成图像以得到第四评分结果；将第一评分结果和第三评分结果反馈到第一生成器，将第二评分结果和第四评分结果反馈到第二生成器，进行下一轮迭代，直至生成评分结果不再提高。
优化训练单元12，用于藉由第一生成器对右图像序列和左图像序列进行处理，以生成右图像序列对应的右视差图像；对右视差图像和左图像序列进行一次合成处理，以得到右图像序列的一次合成图像；藉由第二生成器对右图像序列的一次合成图像和左图像序列进行处理，以生成左图像序列对应的左视差图像；对左视差图像进行一次合成处理，以得到左图像序列的一次合成图像。
优化训练单元12，用于对右图像序列的一次合成图像和左视差图像进行二次合成处理，以得到右图像序列的二次合成图像对左图像序列的一次合成图像和右视差图像进行二次合成处理，以得到左图像序列的二次合成图像。
优化训练单元12，用于根据相机标定参数对右图像序列和左图像序列进行极线校正，以使右图像序列和左图像序列中对应的匹配像素点均处于同一水平线上；右图像序列和左图像序列中对应的匹配像素点在相机坐标空间下的深度值表述为：
Figure BDA0002315601700000101
其中，f表示相机的焦距，通过相机标定可以获取该值；XL和XR分别表示右图像序列和左图像序列中对应的匹配像素点在成像平面上的投影点；d表示XL和XR之间的差值。
优化训练单元12，用于基于整体优化目标函数对第一生成器和第二生成器进行优化。整体优化目标函数表述为：
Figure BDA0002315601700000102
其中，
Figure BDA0002315601700000103
表示第一损失函数值，
Figure BDA0002315601700000104
表示第二损失函数值，
Figure BDA0002315601700000105
表示对抗目标损失函数值，
Figure BDA0002315601700000106
表示左右一致性损失函数值，其中γi＝1，i＝1,2,3,4；
其中，第一损失函数值
Figure BDA0002315601700000111
表述为：
Figure BDA0002315601700000112
第二损失函数值
Figure BDA0002315601700000113
表述为：
Figure BDA0002315601700000114
请参阅图7，图7为本申请实施例中三维重建系统的结构示意图，三维重建系统20包括：
获取单元21，用于获取待重建的右图像序列和左图像序列图像。
输入单元22，用于将待重建的右图像序列和左图像序列图像输入优化后的双循环对抗网络架构，以得到待重建的右图像序列和左图像序列图像的三维重建图像，优化后的双循环对抗网络架构为上述实施例优化后的双循环对抗网络架构。
请参阅图8，图8为本申请实施例中电子设备的结构示意图，电子设备30包括处理器31、存储器32，处理器31耦接存储器32。
其中，当运行电子设备时，处理器31用于构建双循环对抗网络架构。
处理器31用于藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构，优化后的双循环对抗网络架构为如上述实施例优化后的双循环对抗网络架构。
处理器31用于藉由第一生成器生成右图像序列的一次合成图像，藉由第二生成器生成左图像序列的一次合成图像；藉由第一判别器判别右图像序列的一次合成图像以得到第一评分结果，藉由第二判别器判别左图像序列的一次合成图像以得到第二评分结果；根据右图像序列的一次合成图像生成右图像序列的二次合成图像，根据左图像序列的一次合成图像生成左图像序列的二次合成图像；藉由第一判别器判别右图像序列的二次合成图像以得到第三评分结果，藉由第二判别器判别左图像序列的二次合成图像以得到第四评分结果；将第一评分结果和第三评分结果反馈到第一生成器，将第二评分结果和第四评分结果反馈到第二生成器，进行下一轮迭代，直至生成评分结果不再提高。
处理器31用于藉由第一生成器对右图像序列和左图像序列进行处理，以生成右图像序列对应的右视差图像；对右视差图像和左图像序列进行一次合成处理，以得到右图像序列的一次合成图像；藉由第二生成器对右图像序列的一次合成图像和左图像序列进行处理，以生成左图像序列对应的左视差图像；对左视差图像进行一次合成处理，以得到左图像序列的一次合成图像。
处理器31用于对右图像序列的一次合成图像和左视差图像进行二次合成处理，以得到右图像序列的二次合成图像对左图像序列的一次合成图像和右视差图像进行二次合成处理，以得到左图像序列的二次合成图像。
处理器31用于根据相机标定参数对右图像序列和左图像序列进行极线校正，以使右图像序列和左图像序列中对应的匹配像素点均处于同一水平线上；右图像序列和左图像序列中对应的匹配像素点在相机坐标空间下的深度值表述为：
Figure BDA0002315601700000121
其中，f表示相机的焦距，通过相机标定可以获取该值；XL和XR分别表示右图像序列和左图像序列中对应的匹配像素点在成像平面上的投影点；d表示XL和XR之间的差值。
处理器31用于基于整体优化目标函数对第一生成器和第二生成器进行优化。整体优化目标函数表述为：
Figure BDA0002315601700000122
其中，
Figure BDA0002315601700000123
表示第一损失函数值，
Figure BDA0002315601700000124
表示第二损失函数值，
Figure BDA0002315601700000125
表示对抗目标损失函数值，
Figure BDA0002315601700000126
表示左右一致性损失函数值，其中γi＝1，i＝1,2,3,4；
其中，第一损失函数值
Figure BDA0002315601700000127
表述为：
Figure BDA0002315601700000128
第二损失函数值
Figure BDA0002315601700000129
表述为：
Figure BDA0002315601700000131
存储器32用于存储上述右图像序列、左图像序列、右视差图像、左视差图像、左图像序列的一次合成图像、右图像序列的一次合成图像。
存储器32用于存储整体优化目标函数、第一损失函数值、第二损失函数值、对抗目标损失函数值、左右一致性损失函数值。
上述电子设备可包括但不仅限于处理器31、存储器32。本领域技术人员可以理解，图8仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器31、数字信号处理器31(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器31可以是微处理器31或者该处理器31也可以是任何常规的处理器31等。
存储器32可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器32也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器32还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及电子设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
参阅图9，图9为本申请实施例中具有存储功能的装置的结构示意图，具有存储功能的装置90存储有程序数据901，程序数据901能够被执行以实现上述任一项实施方式中双循环对抗网络架构的优化方法中的步骤。
其中，具有存储功能的装置90可以是便携式存储介质，如U盘、光盘，也可以是终端、服务器等。详细的双循环对抗网络架构的优化方法可参见上述实施例，在此不再赘述。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种双循环对抗网络架构的优化方法，其特征在于，所述方法包括以下步骤：
构建双循环对抗网络架构；
藉由右图像序列和左图像序列对所述双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。
2.根据权利要求1所述的方法，其特征在于，所述双循环对抗网络架构包括：第一生成器、第二生成器、第一判别器以及第二判别器；所述藉由右图像序列和左图像序列对所述双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构的步骤包括：
藉由所述第一生成器生成所述右图像序列的一次合成图像，藉由所述第二生成器生成所述左图像序列的一次合成图像；
藉由所述第一判别器判别所述右图像序列的一次合成图像以得到第一评分结果，藉由所述第二判别器判别所述左图像序列的一次合成图像以得到第二评分结果；
根据所述右图像序列的一次合成图像生成所述右图像序列的二次合成图像，根据所述左图像序列的一次合成图像生成所述左图像序列的二次合成图像；
藉由所述第一判别器判别所述右图像序列的二次合成图像以得到第三评分结果，藉由所述第二判别器判别所述左图像序列的二次合成图像以得到第四评分结果；
将所述第一评分结果和所述第三评分结果反馈到所述第一生成器，将所述第二评分结果和所述第四评分结果反馈到所述第二生成器，进行下一轮迭代，直至生成评分结果不再提高。
3.根据权利要求2所述的方法，其特征在于，所述藉由所述第一生成器生成所述右图像序列的一次合成图像，藉由所述第二生成器生成所述左图像序列的一次合成图像的步骤包括：
藉由所述第一生成器对所述右图像序列和所述左图像序列进行处理，以生成所述右图像序列对应的右视差图像；
对所述右视差图像和所述左图像序列进行一次合成处理，以得到所述右图像序列的一次合成图像；
藉由所述第二生成器对所述右图像序列的一次合成图像和所述左图像序列进行处理，以生成所述左图像序列对应的左视差图像；
对所述左视差图像进行一次合成处理，以得到所述左图像序列的一次合成图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述右图像序列的一次合成图像生成所述右图像序列的二次合成图像，根据所述左图像序列的一次合成图像生成所述左图像序列的二次合成图像的步骤包括：
对所述右图像序列的一次合成图像和所述左视差图像进行二次合成处理，以得到所述右图像序列的二次合成图像；
对所述左图像序列的一次合成图像和所述右视差图像进行二次合成处理，以得到所述左图像序列的二次合成图像。
5.根据权利要求3所述的方法，其特征在于，所述第一生成器、所述第二生成器、第一判别器以及第二判别器均采用编码器-解码器架构；
其中，所述编码器与所述解码器的对应层之间采用跳跃链接；
所述编码器为ResNet-50卷积神经网络；
所述解码器为包括5层反卷积层的神经网络，每间隔2层所述反卷积层对特征图像进行双线性采样。
6.根据权利要求5所述的方法，其特征在于，
每个所述反卷积层的配置均为卷积核大小为3×3，步长为1，填充为1；
每个所述反卷积层均使用ReLU激活函数，所述ReLU激活函数定义为ReLU(x)＝max(0,x)。
7.根据权利要求1所述的方法，其特征在于，所述藉由右图像序列和左图像序列对所述双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构的步骤之前，所述方法还包括：
根据相机标定参数对所述右图像序列和所述左图像序列进行极线校正，以使所述右图像序列和所述左图像序列中对应的匹配像素点均处于同一水平线上；所述右图像序列和所述左图像序列中对应的匹配像素点在相机坐标空间下的深度值表述为：
Figure FDA0002315601690000031
其中，f表示相机的焦距，通过相机标定可以获取该值；XL和XR分别表示所述右图像序列和所述左图像序列中对应的匹配像素点在成像平面上的投影点；d表示XL和XR之间的差值。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
基于整体优化目标函数对所述第一生成器和所述第二生成器进行优化，所述整体优化目标函数表述为：
Figure FDA0002315601690000032
其中，
Figure FDA0002315601690000033
表示第一损失函数值，
Figure FDA0002315601690000034
表示第二损失函数值，
Figure FDA0002315601690000035
表示对抗目标损失函数值，
Figure FDA0002315601690000036
表示左右一致性损失函数值，其中γi＝1，i＝1,2,3,4；
其中，第一损失函数值
Figure FDA0002315601690000037
表述为：
Figure FDA0002315601690000038
第二损失函数值
Figure FDA0002315601690000039
表述为：
Figure FDA00023156016900000310
9.一种双循环对抗网络架构的优化系统，其特征在于，所述系统包括：
构建单元，用于构建双循环对抗网络架构；
优化训练单元，用于藉由右图像序列和左图像序列对所述双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构，所述优化后的双循环对抗网络架构为如权利要求1-8任一项所述的方法优化后的双循环对抗网络架构。
10.一种三维重建系统，其特征在于，包括：
获取单元，用于获取待重建的右图像序列和左图像序列图像；
输入单元，用于将所述待重建的右图像序列和左图像序列图像输入优化后的双循环对抗网络架构，以得到所述待重建的右图像序列和左图像序列图像的三维重建图像，所述优化后的双循环对抗网络架构为如权利要求1-8任一项所述的方法优化后的双循环对抗网络架构。
11.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有计算机可读指令；
处理器，读取存储器存储的计算机可读指令，以执行如权利要求1-8任一项所述的方法。
12.一种具有存储功能的装置，其特征在于，所述装置上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如权利要求1-8任一项所述的方法。
CN201911276155.7A 2019-12-12 2019-12-12 双循环对抗网络架构的优化方法、系统、电子设备及装置 Active CN111178501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911276155.7A CN111178501B (zh) 2019-12-12 2019-12-12 双循环对抗网络架构的优化方法、系统、电子设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911276155.7A CN111178501B (zh) 2019-12-12 2019-12-12 双循环对抗网络架构的优化方法、系统、电子设备及装置

Publications (2)

Publication Number Publication Date
CN111178501A true CN111178501A (zh) 2020-05-19
CN111178501B CN111178501B (zh) 2023-08-18

Family

ID=70656452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911276155.7A Active CN111178501B (zh) 2019-12-12 2019-12-12 双循环对抗网络架构的优化方法、系统、电子设备及装置

Country Status (1)

Country Link
CN (1) CN111178501B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516585A (zh) * 2021-04-12 2021-10-19 中国科学院西安光学精密机械研究所 基于非成对的光学遥感图像质量提升方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712228A (zh) * 2018-11-19 2019-05-03 中国科学院深圳先进技术研究院 建立三维重建模型的方法、装置、电子设备及存储介质
CN110443843A (zh) * 2019-07-29 2019-11-12 东北大学 一种基于生成对抗网络的无监督单目深度估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712228A (zh) * 2018-11-19 2019-05-03 中国科学院深圳先进技术研究院 建立三维重建模型的方法、装置、电子设备及存储介质
CN110443843A (zh) * 2019-07-29 2019-11-12 东北大学 一种基于生成对抗网络的无监督单目深度估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREA PILZER ET AL: ""Unsupervised Adversarial Depth Estimation using Cycled Generative Networks"" *
KE XU ET AL: "\"Unsupervised binocular depth prediction network for laparoscopic surgery\"" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516585A (zh) * 2021-04-12 2021-10-19 中国科学院西安光学精密机械研究所 基于非成对的光学遥感图像质量提升方法

Also Published As

Publication number Publication date
CN111178501B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
US20210232924A1 (en) Method for training smpl parameter prediction model, computer device, and storage medium
US10546415B2 (en) Point cloud proxy for physically-based volume rendering
JP4679033B2 (ja) 深度マップのメジアン値融合のためのシステムおよび方法
US10893262B2 (en) Lightfield rendering based on depths from physically-based volume rendering
CN109087346B (zh) 单目深度模型的训练方法、训练装置和电子设备
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
KR102221937B1 (ko) 임의의 뷰 생성
US20130083966A1 (en) Match, Expand, and Filter Technique for Multi-View Stereopsis
CN108805979A (zh) 一种动态模型三维重建方法、装置、设备和存储介质
CN109712228B (zh) 建立三维重建模型的方法、装置、电子设备及存储介质
CN116310076A (zh) 基于神经辐射场的三维重建方法、装置、设备及存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
WO2023202283A1 (zh) 图像生成模型的训练方法、图像生成方法、装置及设备
KR20220149717A (ko) 단안 카메라로부터 전체 골격 3d 포즈 복구
CN111178501B (zh) 双循环对抗网络架构的优化方法、系统、电子设备及装置
Zhou et al. Synthesis of stereoscopic views from monocular endoscopic videos
JP2008067915A (ja) 医用画像表示装置
Zampokas et al. Real‐time stereo reconstruction of intraoperative scene and registration to preoperative 3D models for augmenting surgeons' view during RAMIS
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
Chen et al. MoCo‐Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras
JP7131080B2 (ja) ボリュームレンダリング装置
Peng et al. Projective reconstruction with occlusions
Weld et al. Regularising disparity estimation via multi task learning with structured light reconstruction
Engels et al. Global uncertainty in epipolar geometry via fully and partially data-driven sampling
CN117422809B (zh) 一种光场图像渲染的数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Jia Fucang

Inventor after: Li Xiaohong

Inventor before: Jia Fucang

GR01 Patent grant
GR01 Patent grant