CN114742950B - 船舶外形3d数字重构方法、装置、存储介质及电子设备 - Google Patents

船舶外形3d数字重构方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114742950B
CN114742950B CN202210410589.7A CN202210410589A CN114742950B CN 114742950 B CN114742950 B CN 114742950B CN 202210410589 A CN202210410589 A CN 202210410589A CN 114742950 B CN114742950 B CN 114742950B
Authority
CN
China
Prior art keywords
ship
model
image
parameters
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210410589.7A
Other languages
English (en)
Other versions
CN114742950A (zh
Inventor
王胜正
邱思源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202210410589.7A priority Critical patent/CN114742950B/zh
Publication of CN114742950A publication Critical patent/CN114742950A/zh
Application granted granted Critical
Publication of CN114742950B publication Critical patent/CN114742950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种船舶外形3D数字重构方法、装置、存储介质及电子设备，从包含船舶的影像中提取出目标船舶图像，采用特征融合与网络框架提取图像特征图，反演船舶外形3D数字模型的参数并确定3D形状先验模型的位置，对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本；利用多视图生成器生成n个船舶多视图样本；基于n个船舶多视图样本对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型；在未达到目标优化次数的情况下循环优化，直至达到目标优化次数输出船舶外形3D数字重构模型。本发明能够有效且实时地根据海上监控捕捉到的船舶图像或视频实现船舶外形3D数字重构。

Description

船舶外形3D数字重构方法、装置、存储介质及电子设备
技术领域
本发明涉及智能船舶数字孪生技术领域，具体涉及一种船舶外形3D数字重构方法、装置、存储介质及电子设备。
背景技术
现如今，随着智能船舶技术在面向数字化与自动化的道路上不断发展，各类智能船舶感知技术和船舶仿真测试技术不断提升，智能船舶数字孪生技术越来成为未来智能船舶发展的关键技术。
目前针对船舶外形的3D数字重构都是基于统一的数字模型，尽管可以在三维平台进行数字化设计和VR建造模拟，但无法解决实体船舶与虚拟船舶的实时信息交互与真实映射问题。
现有的虚拟仿真系统与平台，往往采用特定的船舶种类，在仿真的过程无法体验真实航行过程中海上交通的复杂性、多样性、不确定性等特征，尤其在面对船舶自主避碰、自主靠离泊等问题上，交通参与者类型与真实性往往对结果尤为重要。
因此，如何利用现有海上监控设备，在实时捕捉船舶图像或视频的前提下，快速、高效、精准地完成船舶外形数字3D重构，实现真实船舶与虚拟船舶的实时交互是当前需要解决的一大技术问题。
有鉴于此，需要一种新的技术方案来解决上述存在的问题。
发明内容
本发明的目的在于提供一种基于图像或视频的船舶外形3D数字重构的方法，能够有效且实时地根据海上监控捕捉到的船舶图像或视频实现船舶外形3D数字重构，为解决真实与虚拟船舶的实时交互提供技术支持。
为实现上述目的，本发明采用以下技术方案：
第一方面，本发明实施例提供一种船舶外形3D数字重构方法，包括：
步骤S100、从包含船舶的影像中提取出目标船舶图像；
步骤S200、利用预先构建的船舶图像3D特征提取器提取船舶外形3D数字模型的参数，并确定3D形状先验模型的位置，将所述3D形状先验模型作为初始的船舶外形3D数字模型；
步骤S300、对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本；
步骤S400、利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
步骤S500、基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型；
步骤S600、判断是否达到目标优化次数，在未达到目标优化次数的情况下执行步骤S300～步骤S500，在达到目标优化次数的情况下将当前的船舶外形3D数字模型作为船舶外形3D数字重构模型输出。
一些实现方式中，所述从包含船舶的影像中提取出目标船舶图像，包括：
将所述目标船舶图像的分辨率调整为第一分辨率；
利用卷积神经网络提取所述目标船舶图像的第一特征图；
将所述第一特征图通过池化操作分别缩小N个不同倍数，生成N个第二特征图；
将分辨率相对低的N-1个第二特征图进行特征提取，得到相应的N-1个第三特征图；
将N-1个所述第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图；
将N个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像；
基于所述分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像。
一些实现方式中，所述船舶图像3D特征提取器包括视点模型、光照模型、船宽模型和反射率模型；所述船舶外形3D数字模型的参数包括视点参数、光照参数、船宽参数和反射率参数；所述3D形状先验模型为3D胶囊体模型；
所述确定3D形状先验模型的位置，包括：
基于所述目标船舶图像中船舶的像素点分布，确定3D胶囊体模型的半径长度与中心线段位置，计算各像素点到所述中心线段的距离，确定距离不超过所述半径长度的像素点集合，所述像素点集合为所述3D胶囊体模型在二维平面的投影，再基于船宽参数确定所述3D胶囊体模型在Z轴方向上的深度信息，完成所述3D胶囊体模型的位置确定，且所述3D胶囊体模型位置与船舶位置对齐。
一些实现方式中，所述视点模型和所述光照模型采用编码器结构，所述船宽模型和所述反射率模型采用编解码器结构。
一些实现方式中，所述对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本，包括：
采用梯度下降法优化反射率参数，生成渲染船舶图像；
对视点参数、光照参数添加随机噪声，基于优化后的反射率参数和当前的船舶外形3D数字模型分别生成n个视点及对应的n个光照参数；
利用可微渲染器生成n个船舶多视图渲染样本。
一些实现方式中，所述采用梯度下降法优化反射率参数，生成渲染船舶图像，包括：
采用预设的第一重建代价函数，确定所述目标船舶图像和渲染船舶图像之间差距最小时的反射率参数：
其中，θA表示反射率参数，表示第一重建代价函数，I表示目标船舶图像，/>表示渲染船舶图像，φk表示为基于卷积神经网络处理后的第k层网络特征图，Ck、Hk、Wk分别表示第k层网络特征图的通道数、长、宽。
一些实现方式中，所述基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型，包括：
采用预设的第二重建代价函数，确定重建代价最小船宽参数、反射率参数、视点参数、光照参数：
其中，θD表示船宽参数，θA表示反射率参数，θV表示视点参数，θL表示光照参数，表示第二重建代价函数，/>表示第i个船舶多视图样本，Φ表示可微渲染过程，D(I)表示目标船舶图像的船宽参数，A(I)表示目标船舶图像的反射率参数，/>表示第i个船舶多视图样本的视点参数，/>表示第i个船舶多视图样本的光照参数。
第二方面，本发明实施例提供一种船舶外形3D数字重构装置，包括：
船舶提取模块，用于从包含船舶的影像中提取出目标船舶图像；
位置确定模块，用于利用预先构建的船舶图像3D特征提取器提取船舶外形3D数字模型的参数，并确定3D形状先验模型的位置，将所述3D形状先验模型作为初始的船舶外形3D数字模型；
第一生成模块，用于对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本；
第二生成模块，用于利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
参数优化模块，用于基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型；
结果输出模块，用于判断是否达到目标优化次数，在未达到目标优化次数的情况下调用所述第一生成模块、所述第二生成模块、所述参数优化模块，在达到目标优化次数的情况下将当前的船舶外形3D数字模型作为船舶外形3D数字重构模型输出。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的船舶外形3D数字重构方法。
第四方面，本发明实施例提供一种电子设备，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述计算机程序被所述一个或多个处理器执行时实现第一方面所述的船舶外形3D数字重构方法。
相比现有的船舶外形3D数字重构技术，本发明至少具有以下有益效果：
本发明能够针对海上捕捉到的船舶图像或视频，分割船舶与背景，缓解了船舶外形3D数字重构中背景干扰，增强了智能船舶智能感知能力。针对船舶外形特性，利用船舶3D特征提取器无监督地提取船舶特征信息，有效地解决了船舶数字化建造中人工成本较高问题，进一步提升了虚拟船舶生成地效率，采用特征融合与网络框架提取图像特征图，反演船舶外形3D数字模型的参数并确定3D形状先验模型的位置。在海上监控捕捉单一或极少图像情况下，利用多视图生成器实时地实现高质量的目标船舶多角度视图，有效地提升了船舶外形3D数字重构质量，有利于促进智能船舶虚拟现实技术地发展。本发明实现的3D数字重构不需要任何深度摄像机与船舶模型先验，能够有效且实时地根据海上监控捕捉到的船舶图像或视频实现船舶外形3D数字重构，为解决真实与虚拟船舶的实时交互提供技术支持，对实现真实船舶与虚拟船舶的实时交互具有重要意义。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种船舶外形3D数字重构方法流程图；
图2为本发明实施例提供的一种特征融合提取网络框架示意图；
图3为本发明实施例提供的船舶图像3D特征提取器的视点编码器和光照编码器组成示意图；
图4为本发明实施例提供的船舶图像3D特征提取器的船宽编解器和反射率编解器组成示意图；
图5为本发明实施例提供的多视图生成器的编码器E的示意图；
图6为本发明实施例提供的一种船舶外形3D数字重构装置框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1示出了一种船舶外形3D数字重构方法流程图，如图1所示，本实施例的船舶外形3D数字重构方法，包括步骤S100～步骤S600：
步骤S100、从包含船舶的影像中提取出目标船舶图像。
在实际应用中，通过海上监控设备实时捕捉包含船舶的影像(图像或视频)，针对捕捉的视频按帧提取相应的图像，由于各帧图像中目标船舶与背景融合，因此需要进行船舶与背景分割，本实施例通过提取多尺度特征图来分割目标船舶与背景，以获取目标船舶图像。
本实施例中，采用的特征融合与提取网络框架包含利用空洞卷积策略作为上采样进行特征融合以及利用成熟的特征提取网络提取特征(特征提取网络包括卷积神经网络，例如可以是ResNet101)框架示意图如图2所示。
在一些实现方式中，步骤S100进一步包括：
步骤S101、将目标船舶图像的分辨率调整为第一分辨率。
一些情形下，第一分辨率为M×M，M可以为但不限于512。
步骤S102、利用卷积神经网络提取目标船舶图像的第一特征图。
利用卷积神经网络(例如ResNet101)提取第一特征图(图2中的特征图1)，相应地，输出通道数变为C1，C1可以是但不限于2048，图像的分辨率变为F1×F1，F1可以是但不限于64。
步骤S103、将第一特征图通过池化操作分别缩小N个不同倍数，生成N个第二特征图。
以N＝4为例，将图2中的特征图1分别池化操作缩小S1、S2、S3、S4倍，S1、S2、S3、S4可以是但不限于64、32、16、8倍，进而产生分辨率分别F2×F2、F3×F3、F4×F4、F5×F5，通道数分别为C2、C3、C4、C5的四个第二特征图，F2、F3、F4、F5可以是但不限于1、2、4、8，C2、C3、C4、C5可以是但不限于64、128、256、512。
步骤S104、将分辨率相对低的N-1个第二特征图进行特征提取，得到相应的N-1个第三特征图。
仍以N＝4为例，F2×F2、F3×F3、F4×F4这三个分辨率相对低，将对应的第二特征图直接进行特征提取，得到对应的第三特征图，即：图2中的特征图2、特征图3、特征图4。
步骤S105、将N-1个第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图。
继续前面的例子，将分辨率分别为F2×F2、F3×F3、F4×F4的三个第二特征图，由分辨率从低到高进行拼接来特征融合，并且每次特征融合后进行一次特征提取再进行下一拼接，直至拼接后特征融合生成分辨率相对高的第二特征图对应的第三特征图，即图2中的特征图5。
步骤S106、将N个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像。
将前面的例子中的四个第三特征图—特征图2、特征图3、特征图4、特征图5进行拼接再通过空洞卷积策略进行上采样，恢复出分辨率为M×M的分类标签图像。
步骤S107、基于分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像。
在实际应用中，基于分类标签图像中从预先存储的船舶标签中进行匹配，选取与分类标签图像对应的船舶标签，以确定船舶类型，进而提取出船舶图像，并将其分辨率恢复至初始分辨率，生成分割后的船舶图像，即目标船舶图像I。
步骤S200、利用预先构建的船舶图像3D特征提取器提取船舶外形3D数字模型的参数，并确定3D形状先验模型的位置，将3D形状先验模型作为初始的船舶外形3D数字模型。
一些实现方式中，本实施例的船舶图像3D特征提取器包括视点模型、光照模型、船宽模型和反射率模型；相应地，船舶外形3D数字模型的参数包括视点参数、光照参数、船宽参数和反射率参数。
如图3所示，船舶图像3D特征提取器的视点模型V、光照模型L采用编码器结构，编码器包括N个二维卷积层(Conv)，N可以是但不限于6，其中前N-1个卷积层的卷积核为4×4，步幅(stride)为2，最后一个卷积层的卷积核为1×1，步幅(stride)为1，前N-1个卷积层后面设置一个ReLU激活函数，最后一个卷积层后设置一个Tanh激活函数，最终视点模型V和光照模型L的输出分别为6维和4维的特征向量。
如图4所示，船舶图像3D特征提取器船宽模型D、反射率模型A采用编解码器结构，其编码器包括N个二维卷积层(Conv)，N通常但不限于6，其中前N-1个卷积层的卷积核为4×4，步幅(stride)为2，最后一个卷积层的卷积核为4×4，步幅(stride)为1，前N-1个卷积层后设置一个批量归一层BN和一个LReLU激活函数，最后一个卷积层后面设置一个ReLU激活函数。解码器包括N个反卷积层(Deconv)，N通常但不限于6，第一个反卷积层(Deconv)的卷积核为4×4，步幅(stride)为1，后N-1个反卷积层(Deconv)的卷积核为4×4，步幅(stride)为2，并且每个反卷积层后设置一个批量归一层BN和一个ReLU激活函数实现上采样，最终船宽模型D和反射率模型A的输出分别为1维和3维的分辨率为F4×F4的特征向量，F4可以是但不限于128。
一些实现方式中，本实施例的船舶图像3D形状先验模型为3D胶囊体模型，现有的3D形状先验模型一般采用椭球体模型，由于船舶模型的特殊性，存在收敛较慢，生成3D船舶模型精度较低问题，本实施例中采用更加符合船舶模型构造的3D形状先验模型，即3D胶囊体模型。进而，步骤S200中确定3D形状先验模型的位置，包括：
基于目标船舶图像I中船舶的像素点分布，确定3D胶囊体模型的半径长度与中心线段位置，计算各像素点到中心线段的距离，确定距离不超过该半径长度的像素点集合，该像素点集合为3D胶囊体模型在二维平面的投影，再基于船宽参数确定3D胶囊体模型在Z轴方向上的深度信息，从而完成3D胶囊体模型的位置确定，且3D胶囊体模型位置与船舶位置对齐。
步骤S300、对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本。
由于单视图或视图较少情况下3D船舶生成存在形状歧义性问题，需要基于目标船舶图像I和初始的船舶图像3D形状先验模型，利用可微渲染器先进行渲染采样。
整个3D船舶模型初步优化与渲染采样的过程可以简化为以下公式：
其中，表示渲染后的船舶图像；Φ表示可微渲染过程；D、A、V、L分别表示船宽模型、反射率模型、视点模型、光照模型；Π表示变换视点模型V参数并进行可微渲染；Λ表示使用船宽D、反射率A、光照L下的颜色。
基于可微渲染器的渲染过程本质上是利用一个透视摄像机对3D船舶模型进行由三维空间向二维空间坐标变换的过程，即渲染，渲染坐标变换函数如下：
其中，P＝(Px,Py,Pz)表示3D船舶模型像素在相机中的参数；p＝(i,j,1)表示渲染后的船舶图像的像素在相机中的参数；θFOV表示透视摄像机的视野范围，可以取10°；w与h分别表示渲染后的船舶图像/>的宽与高；透视摄像机距离模型的距离为1米。
一些实现方式中，步骤S300可以进一步包括：
步骤S301、采用梯度下降法优化反射率参数，生成渲染船舶图像。
基于可微渲染器以及先前所得的目标船舶图像I和船舶图像3D形状先验模型，本实施例采用梯度下降法优化反射率参数，生成渲染船舶图像梯度下降法是沿着代价函数最小平方误差的方向对网络权重进行调整，其中的代价函数采用重建代价函数，用于比较图像与图像之间的相似度，在一些情况下，步骤S301又进一步包括：
步骤S301a、采用预设的第一重建代价函数，确定目标船舶图像和渲染船舶图像之间差距最小时的反射率参数：
其中，θA表示反射率参数，表示第一重建代价函数，I表示目标船舶图像，/>表示渲染船舶图像，φk表示为基于卷积神经网络(例如VGG-16)处理后的第k层网络特征图，Ck、Hk、Wk分别表示第k层网络特征图的通道数、长、宽。
上述第一重建代价函数中，前者计算的是渲染船舶图像与目标船舶图像I的欧式距离(平方加标准化)来衡量重建差距，后者是提供L1范数正则化函数来实现生成图像更加真实。
步骤S302、对视点参数、光照参数添加随机噪声，基于优化后的反射率参数和当前的船舶外形3D数字模型分别生成n个视点{Vi|i＝1,2,...,n}及对应的n个光照参数{Li|i＝1,2,...,n}；其中，随机噪声的添加服从多变量正态分布。
步骤S303、利用可微渲染器生成n个船舶多视图渲染样本
步骤S400、利用预先训练的多视图生成器，基于n个船舶多视图渲染样本生成n个船舶多视图样本。
由于步骤S300生成的n个船舶多视图渲染样本存在不同程度的扭曲变形和阴影，并不能用于船舶3D模型各项参数的优化。因此，本实施例利用多视图生成器生成n个船舶多视图样本实现由单一船舶图像生成360°视角下的目标船舶图像。
本实施例中，可以通过预先搜集各类船舶图像训练所得船舶生成对抗网络(Boat-GAN)，作为多视图生成器。其中，船舶图像类型包括但不限于：渔船、快艇、集装箱船、引航船、散货船、油船、拖轮、巡逻船。该对抗网络可用于计算机自动生成与输入船舶图像类似的图像，Boat-GAN网络权重包括生成器g、判别器d以及隐藏空间
基于船舶生成对抗网络(Boat-GAN)，将目标船舶图像I作为输入，通过对Boat-GAN网络权重中的隐藏空间引入噪声Z，利用生成器g生成船舶图像Ig，迭代优化噪声Z，迭代次数可以是但不限于1000次，最终确定目标船舶图像I所对应的隐藏空间/>迭代优化过程选取的代价函数依然是重建代价函数，即比较I与Ig之间的相似性。
基于船舶生成对抗网络(Boat-GAN)的各项权重，多视图生成器采用编解器结构，其中解码器利用Boat-GAN网络权重的生成器g。
如图5为多视图生成器的编码器E的示意图。如图5所示，多视图生成器的编码器E包括3个二维卷积层(Conv)和K个残缺块(ResBlock)，K通常但不限于4，编码器的架构顺序为一个卷积核为4×4，步幅(stride)为2的卷积层并后面设置ReLU激活函数；K个残缺块；一个卷积核为4×4，步幅(stride)为1的卷积层并后面设置ReLU激活函数；最后为一个卷积核为1×1，步幅(stride)为1的卷积层，最终编码器的输出为512维的特征向量。
基于多视图渲染样本利用多视图生成器生成n个船舶多视图样本/>采用梯度下降法优化多视图生成器的编码器E的网络权重，其代价函数如下定义：
其中，前者采用多视图渲染样本与生成的多视图样本在判别器d特征空间的L1范数；后者是L2正则化函数，用于防止编码器E网络权重过拟合；θE表示编码器E的网络权重；λ是超参数。
最终形成的船舶多视图样本中包含了目标船舶360°视角下的图像。
步骤S500、基于n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型。
一些实现方式中，步骤S500中采用预设的第二重建代价函数，确定重建代价最小船宽参数、反射率参数、视点参数、光照参数：
其中，θD表示船宽参数，θA表示反射率参数，θV表示视点参数，θL表示光照参数，表示第二重建代价函数，/>表示第i个船舶多视图样本，Φ表示可微渲染过程，D(I)表示目标船舶图像的船宽参数，A(I)表示目标船舶图像的反射率参数，/>表示第i个船舶多视图样本的视点参数，/>表示第i个船舶多视图样本的光照参数。
表达式(5)只有正确预测每一张船舶多视图样本的光照参数与视点参数，以及正确预测目标船舶图像I的船宽参数与反射率参数，整个代价函数才能减少。根据此次优化的船宽参数可以调整3D形状先验模型深度信息获得船舶外形3D数字模型M1。
步骤S600、判断是否达到目标优化次数，在未达到目标优化次数的情况下执行步骤S300～步骤S500，在达到目标优化次数的情况下将当前的船舶外形3D数字模型作为船舶外形3D数字重构模型输出。
在未达到目标优化次数的情况下，基于前步获得的船舶外形3D数字模型M1替代3D形状先验模型，循环步骤S300至步骤S500综合优化的过程n次，n可以是但不限于12，并且每次循环输出的船舶外形3D数字模型均作为下一次循环的船舶外形3D数字模型的输入，最终会输出n个3D船舶模型{Mi|i＝1,2,...,n}，最后将输出的船舶外形3D数字模型Mn作为船舶外形3D数字重构模型。
本实施例的方法，能够针对海上捕捉到的船舶图像或视频，分割船舶与背景，缓解了船舶外形3D数字重构中背景干扰，增强了智能船舶智能感知能力。针对船舶外形特性，利用船舶3D特征提取器无监督地提取船舶特征信息，有效地解决了船舶数字化建造中人工成本较高问题，进一步提升了虚拟船舶生成地效率。在海上监控捕捉单一或极少图像情况下，利用多视图生成器实时地实现高质量的目标船舶多角度视图，有效地提升了船舶外形3D数字重构质量，有利于促进智能船舶虚拟现实技术地发展。本发明实现的3D数字重构不需要任何深度摄像机与船舶模型先验，能够有效且实时地根据海上监控捕捉到的船舶图像或视频实现船舶外形3D数字重构，为解决真实与虚拟船舶的实时交互提供技术支持，对实现真实船舶与虚拟船舶的实时交互具有重要意义。
实施例二
图6示出了一种船舶外形3D数字重构装置框图，如图6所示，本实施例的船舶外形3D数字重构装置，包括：
船舶提取模块610，用于从包含船舶的影像中提取出目标船舶图像；
位置确定模块620，用于利用预先构建的船舶图像3D特征提取器提取船舶外形3D数字模型的参数，并确定3D形状先验模型的位置，将所述3D形状先验模型作为初始的船舶外形3D数字模型；
第一生成模块630，用于对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本；
第二生成模块640，用于利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
参数优化模块650，用于基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型；
结果输出模块660，用于判断是否达到目标优化次数，在未达到目标优化次数的情况下调用所述第一生成模块、所述第二生成模块、所述参数优化模块，在达到目标优化次数的情况下将当前的船舶外形3D数字模型作为船舶外形3D数字重构模型输出。
在一些实现方式中，船舶提取模块610从包含船舶的影像中提取出目标船舶图像时，包括：
将目标船舶图像的分辨率调整为第一分辨率；利用卷积神经网络提取目标船舶图像的第一特征图；将第一特征图通过池化操作分别缩小N个不同倍数，生成N个第二特征图；将分辨率相对低的N-1个第二特征图进行特征提取，得到相应的N-1个第三特征图；将N-1个第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图；将N个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像；基于分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像。
一些实现方式中，本实施例的船舶图像3D特征提取器包括视点模型、光照模型、船宽模型和反射率模型；相应地，船舶外形3D数字模型的参数包括视点参数、光照参数、船宽参数和反射率参数。
一些实现方式中，本实施例的船舶图像3D形状先验模型为3D胶囊体模型，进而确定3D形状先验模型的位置，包括：
基于目标船舶图像I中船舶的像素点分布，确定3D胶囊体模型的半径长度与中心线段位置，计算各像素点到中心线段的距离，确定距离不超过该半径长度的像素点集合，该像素点集合为3D胶囊体模型在二维平面的投影，再基于船宽参数确定3D胶囊体模型在Z轴方向上的深度信息，从而完成3D胶囊体模型的位置确定，且3D胶囊体模型位置与船舶位置对齐。
一些实现方式中，第一生成模块630对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本，可以进一步包括：采用梯度下降法优化反射率参数，生成渲染船舶图像；对视点参数、光照参数添加随机噪声，基于优化后的反射率参数和当前的船舶外形3D数字模型分别生成n个视点{Vi|i＝1,2,...,n}及对应的n个光照参数{Li|i＝1,2,...,n}；其中，随机噪声的添加服从多变量正态分布；以及利用可微渲染器生成n个船舶多视图渲染样本
一些实现方式中，参数优化模块650中，基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型，包括：采用预设的第二重建代价函数，确定重建代价最小船宽参数、反射率参数、视点参数、光照参数：
其中，θD表示船宽参数，θA表示反射率参数，θV表示视点参数，θL表示光照参数，表示第二重建代价函数，/>表示第i个船舶多视图样本，Φ表示可微渲染过程，D(I)表示目标船舶图像的船宽参数，A(I)表示目标船舶图像的反射率参数，/>表示第i个船舶多视图样本的视点参数，/>表示第i个船舶多视图样本的光照参数。
应当理解的是，本实施例的装置具备方法实施例的全部有益效果。
本领域的技术人员应当明白，上述各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何限定的硬件和软件结合。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被一个或多个处理器执行时，实现实施例一的船舶外形3D数字重构方法。
本实施例中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。方法的内容详见实施例一，此次不再赘述。
实施例四
本实施例提供一种电子设备，包括存储器和一个或多个处理器，存储器上存储有计算机程序，计算机程序被所述一个或多个处理器执行时实现实施例一的船舶外形3D数字重构方法。
本实施例中，处理器可以是专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。在处理器上运行的计算机程序被执行时所实现的方法可参照本发明前述实施例提供的方法的具体实施例，此处不再赘述。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种船舶外形3D数字重构方法，其特征在于，包括：
步骤S100、从包含船舶的影像中提取出目标船舶图像，包括：
将所述目标船舶图像的分辨率调整为第一分辨率；
利用卷积神经网络提取所述目标船舶图像的第一特征图；
将所述第一特征图通过池化操作分别缩小N个不同倍数，生成N个第二特征图；
将分辨率相对低的N-1个第二特征图进行特征提取，得到相应的N-1个第三特征图；
将N-1个所述第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图；
将N个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像；
基于所述分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像；
步骤S200、利用预先构建的船舶图像3D特征提取器提取船舶外形3D数字模型的参数，并确定3D形状先验模型的位置，将所述3D形状先验模型作为初始的船舶外形3D数字模型；
步骤S300、对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本，包括：
采用梯度下降法优化反射率参数，生成渲染船舶图像，包括：
采用预设的第一重建代价函数，确定所述目标船舶图像和渲染船舶图像之间差距最小时的反射率参数：
其中，θA表示反射率参数，表示第一重建代价函数，I表示目标船舶图像，/>表示渲染船舶图像，φk表示为基于卷积神经网络处理后的第k层网络特征图，Ck、Hk、Wk分别表示第k层网络特征图的通道数、长、宽；
对视点参数、光照参数添加随机噪声，基于优化后的反射率参数和当前的船舶外形3D数字模型分别生成n个视点及对应的n个光照参数；
利用可微渲染器生成n个船舶多视图渲染样本；
步骤S400、利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
步骤S500、基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型；
步骤S600、判断是否达到目标优化次数，在未达到目标优化次数的情况下执行步骤S300～步骤S500，在达到目标优化次数的情况下将当前的船舶外形3D数字模型作为船舶外形3D数字重构模型输出。
2.根据权利要求1所述的船舶外形3D数字重构方法，其特征在于，所述船舶图像3D特征提取器包括视点模型、光照模型、船宽模型和反射率模型；所述船舶外形3D数字模型的参数包括视点参数、光照参数、船宽参数和反射率参数；所述3D形状先验模型为3D胶囊体模型；
所述确定3D形状先验模型的位置，包括：
基于所述目标船舶图像中船舶的像素点分布，确定3D胶囊体模型的半径长度与中心线段位置，计算各像素点到所述中心线段的距离，确定距离不超过所述半径长度的像素点集合，所述像素点集合为所述3D胶囊体模型在二维平面的投影，再基于船宽参数确定所述3D胶囊体模型在Z轴方向上的深度信息，完成所述3D胶囊体模型的位置确定，且所述3D胶囊体模型位置与船舶位置对齐。
3.根据权利要求2所述的船舶外形3D数字重构方法，其特征在于，所述视点模型和所述光照模型采用编码器结构，所述船宽模型和所述反射率模型采用编解码器结构。
4.根据权利要求1所述的船舶外形3D数字重构方法，其特征在于，所述基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型，包括：
采用预设的第二重建代价函数，确定重建代价最小船宽参数、反射率参数、视点参数、光照参数：
其中，θD表示船宽参数，θA表示反射率参数，θV表示视点参数，θL表示光照参数，表示第二重建代价函数，/>表示第i个船舶多视图样本，Φ表示可微渲染过程，D(I)表示目标船舶图像的船宽参数，A(I)表示目标船舶图像的反射率参数，/>表示第i个船舶多视图样本的视点参数，/>表示第i个船舶多视图样本的光照参数。
5.一种船舶外形3D数字重构装置，其特征在于，包括：
船舶提取模块，用于从包含船舶的影像中提取出目标船舶图像，包括：
将目标船舶图像的分辨率调整为第一分辨率；利用卷积神经网络提取目标船舶图像的第一特征图；将第一特征图通过池化操作分别缩小N个不同倍数，生成N个第二特征图；将分辨率相对低的N-1个第二特征图进行特征提取，得到相应的N-1个第三特征图；将N-1个第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图；将N个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像；基于分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像；
位置确定模块，用于利用预先构建的船舶图像3D特征提取器提取船舶外形3D数字模型的参数，并确定3D形状先验模型的位置，将所述3D形状先验模型作为初始的船舶外形3D数字模型；
第一生成模块，用于对当前的船舶外形3D数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本，包括：
采用梯度下降法优化反射率参数，生成渲染船舶图像，包括：
采用预设的第一重建代价函数，确定所述目标船舶图像和渲染船舶图像之间差距最小时的反射率参数；
对视点参数、光照参数添加随机噪声，基于优化后的反射率参数和当前的船舶外形3D数字模型分别生成n个视点及对应的n个光照参数；其中，随机噪声的添加服从多变量正态分布；以及利用可微渲染器生成n个船舶多视图渲染样本；
第二生成模块，用于利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
参数优化模块，用于基于所述n个船舶多视图样本，对当前的船舶外形3D数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3D数字模型；
结果输出模块，用于判断是否达到目标优化次数，在未达到目标优化次数的情况下调用所述第一生成模块、所述第二生成模块、所述参数优化模块，在达到目标优化次数的情况下将当前的船舶外形3D数字模型作为船舶外形3D数字重构模型输出。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至4中任一项所述的船舶外形3D数字重构方法。
7.一种电子设备，其特征在于，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述计算机程序被所述一个或多个处理器执行时实现如权利要求1至4中任一项所述的船舶外形3D数字重构方法。
CN202210410589.7A 2022-04-19 2022-04-19 船舶外形3d数字重构方法、装置、存储介质及电子设备 Active CN114742950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210410589.7A CN114742950B (zh) 2022-04-19 2022-04-19 船舶外形3d数字重构方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210410589.7A CN114742950B (zh) 2022-04-19 2022-04-19 船舶外形3d数字重构方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114742950A CN114742950A (zh) 2022-07-12
CN114742950B true CN114742950B (zh) 2024-02-02

Family

ID=82282074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210410589.7A Active CN114742950B (zh) 2022-04-19 2022-04-19 船舶外形3d数字重构方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114742950B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116755453B (zh) * 2023-08-22 2023-12-01 中国船级社 一种目标对象的伴航控制方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299303A (zh) * 2021-12-07 2022-04-08 集美大学 一种船舶目标检测方法、终端设备及存储介质
CN114332186A (zh) * 2021-12-31 2022-04-12 上海海事大学 一种无监督单视图船舶深度估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818326B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
JP2021510943A (ja) * 2018-12-17 2021-04-30 エルジー エレクトロニクス インコーポレイティド 高周波ゼロイングに基づいて変換係数スキャン順序を決定する方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299303A (zh) * 2021-12-07 2022-04-08 集美大学 一种船舶目标检测方法、终端设备及存储介质
CN114332186A (zh) * 2021-12-31 2022-04-12 上海海事大学 一种无监督单视图船舶深度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进卷积神经网络的船舶目标检测;王新立;江福才;宁方鑫;马全党;张帆;邹红兵;;中国航海(02);全文 *

Also Published As

Publication number Publication date
CN114742950A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN113706714B (zh) 基于深度图像和神经辐射场的新视角合成方法
CN111325794B (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
Wang et al. Shape inpainting using 3d generative adversarial network and recurrent convolutional networks
CN112767468B (zh) 基于协同分割与数据增强的自监督三维重建方法及系统
CN113436258B (zh) 基于视觉与激光雷达融合的海上浮码头检测方法及系统
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN111340867A (zh) 图像帧的深度估计方法、装置、电子设备及存储介质
CN109145747A (zh) 一种水面全景图像语义分割方法
CN113313828B (zh) 基于单图片本征图像分解的三维重建方法与系统
CN112396645A (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN111950477A (zh) 一种基于视频监督的单图像三维人脸重建方法
CN115409931A (zh) 一种基于图像与点云数据融合的三维重建方法
CN114742950B (zh) 船舶外形3d数字重构方法、装置、存储介质及电子设备
CN114581571A (zh) 基于imu和前向变形场的单目人体重建方法及装置
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
US20220319055A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
Rosu et al. Neuralmvs: Bridging multi-view stereo and novel view synthesis
WO2022208440A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
Stier et al. Finerecon: Depth-aware feed-forward network for detailed 3d reconstruction
Dong et al. ShipGAN: Generative Adversarial Network based simulation-to-real image translation for ships
CN116912675A (zh) 一种基于特征迁移的水下目标检测方法及系统
CN113971760B (zh) 基于深度学习的高质量准稠密互补特征提取方法
JP2022189901A (ja) 学習方法、学習装置、プログラムおよび記録媒体
Gracias et al. Application challenges of underwater vision
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant