CN113781500A - 舱段图像实例分割的方法、装置、电子设备及存储介质 - Google Patents

舱段图像实例分割的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113781500A
CN113781500A CN202111063523.7A CN202111063523A CN113781500A CN 113781500 A CN113781500 A CN 113781500A CN 202111063523 A CN202111063523 A CN 202111063523A CN 113781500 A CN113781500 A CN 113781500A
Authority
CN
China
Prior art keywords
image
cabin
images
assembled
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111063523.7A
Other languages
English (en)
Other versions
CN113781500B (zh
Inventor
景奉水
付一宸
范俊峰
刘兆阳
侯骏
邢时雨
谭民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111063523.7A priority Critical patent/CN113781500B/zh
Publication of CN113781500A publication Critical patent/CN113781500A/zh
Application granted granted Critical
Publication of CN113781500B publication Critical patent/CN113781500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了舱段图像实例分割的方法、装置、电子设备及存储介质，包括：获取待装配舱段图像，待装配舱段图像包括第一RGB图像以及第一深度图像，将待装配舱段图像输入至训练好的图像实例分割模型，得到待装配舱段图像中不同舱段对应区域的提取结果；其中，训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。本发明通过图像实例分割模型极大地提高了图像中舱段对应区域识别鲁棒性，以及舱段在高亮、高暗等复杂干扰环境下舱段的识别精度，实现舱段外轮廓粗定位，提高了舱段位姿测量自动化水平。

Description

舱段图像实例分割的方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及舱段图像实例分割的方法、装置、电子设备及存储介质。
背景技术
大型舰船、飞机、火箭和导弹等国之重器的生产能力反映了国家高端装备制造业的综合实力，同时也是综合国力的重要体现。这些大型装备一般情况下会将整体分解成多个舱段以便进行模块化生产，并最终经过对接组装而成。大型舱段的装配技术在很大程度上决定了这些系统的制造成本、生产周期和最终质量。基于多机器人协调的大型舱段对接技术已经逐步应用到船舶制造业、航空航天及兵器制造业等大型舱段的装配中，极大的提升了大型舱段的装配效率。
在大型舱段装配场景中，待对接舱段位姿信息的精确测量是实现大型舱段装配的前提与关键环节。现有的舱段位姿测量方案研究主要集中在室内GPS(Indoor GPS，IGPS)和激光跟踪仪等的运用上，上述设备的使用均为有接触式测量方法，此类方法虽较为成熟且应用广泛，但需要人工安装、拆卸标志物，增加了舱段对接时间，自动化程度受限。无接触式舱段位姿信息测量是基于对接端面外轮廓圆上标志点的位置信息获取，而单纯的结构光视觉测量的静态范围有限，故采用全局视觉和局部结构光视觉相结合的方法测量舱段位姿是更为优异的选择。其中全局视觉作为引导结构光参与精准三维定位的前序任务，能够精确提取图像中舱段对应位置及外轮廓至关重要。然而基于传统视觉传感器生成的RGB图像的视觉识别系统易受到目标背景变化、光照变化等无关因素的影响，导致识别精准度不高。
综上，目前亟需一种舱段图像实例分割的方法，用于解决上述现有技术存在的问题。
发明内容
由于现有方法存在上述问题，本发明提出舱段图像实例分割的方法、装置、电子设备及存储介质。
第一方面，本发明提供了一种舱段图像实例分割的方法，包括：
获取待装配舱段图像；所述待装配舱段图像包括第一RGB图像以及第一深度图像；所述第一RGB图像与所述第一深度图像一一对应；
将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果；
其中，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
进一步地，在将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果之前，还包括：
获取舱段训练图像以及真实掩膜图像；所述舱段训练图像包括第二RGB图像以及第二深度图像；
采用残差网络对所述舱段训练图像进行图像特征提取，得到特征图；
采用区域建议网络生成所述特征图的建议区域；
采用感兴趣区域对齐网络将所述建议区域映射至所述特征图中；
对所述特征图的建议区域进行分类，得到第一损失；
对所述建议区域进行边界框回归，得到第二损失；
根据所述建议区域生成预测掩膜图像；
根据所述真实掩膜图像以及所述预测掩膜图像确定第三损失；
根据所述第一损失、所述第二损失、所述第三损失确定损失函数；
根据所述损失函数更新所述图像实例分割模型的参数，得到训练好的图像实例分割模型。
进一步地，所述获取真实掩膜图像，包括：
提取所述舱段训练图像中各舱段外轮廓，得到图像标注信息；
根据所述图像标注信息确定所述真实掩膜图像。
进一步地，在所述采用残差网络对所述舱段训练图像进行图像特征提取之前，还包括：
获取所述舱段训练图像对应的标签信息；
对所述第二深度图像进行格式转换；
对所述舱段训练图像进行扩充，得到扩充后的舱段训练图像；
根据所述舱段训练图像对应的标签信息生成所述扩充后的舱段训练图像的标签信息。
进一步地，在所述采用区域建议网络生成所述特征图的建议区域之前，还包括：
对所述特征图构造特征金字塔，得到新的特征图。
进一步地，所述对所述特征图的建议区域进行分类得到第一损失，包括：
获取所述舱段训练图像对应的标签信息；
对所述特征图的建议区域进行分类得到预测值；
根据所述舱段训练图像对应的标签信息、所述预测值确定第一损失。
第二方面，本发明提供了一种舱段图像实例分割的装置，包括：
获取模块，用于获取待装配舱段图像；所述待装配舱段图像包括第一RGB图像以及第一深度图像；所述第一RGB图像与所述第一深度图像一一对应；
处理模块，用于将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果；其中，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
进一步地，所述处理模块还用于：
在将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果之前，获取舱段训练图像以及真实掩膜图像；所述舱段训练图像包括第二RGB图像以及第二深度图像；
采用残差网络对所述舱段训练图像进行图像特征提取，得到特征图；
采用区域建议网络生成所述特征图的建议区域；
采用感兴趣区域对齐网络将所述建议区域映射至所述特征图中；
对所述特征图的建议区域进行分类，得到第一损失；
对所述建议区域进行边界框回归，得到第二损失；
根据所述建议区域生成预测掩膜图像；
根据所述真实掩膜图像以及所述预测掩膜图像确定第三损失；
根据所述第一损失、所述第二损失、所述第三损失确定损失函数；
根据所述损失函数更新所述图像实例分割模型的参数，得到训练好的图像实例分割模型。
进一步地，所述处理模块具体用于：
提取所述舱段训练图像中各舱段外轮廓，得到图像标注信息；
根据所述图像标注信息确定所述真实掩膜图像。
进一步地，所述处理模块还用于：
在所述采用残差网络对所述舱段训练图像进行图像特征提取之前，获取所述舱段训练图像对应的标签信息；
对所述第二深度图像进行格式转换；
对所述舱段训练图像进行扩充，得到扩充后的舱段训练图像；
根据所述舱段训练图像对应的标签信息生成所述扩充后的舱段训练图像的标签信息。
进一步地，所述处理模块还用于：
在所述采用区域建议网络生成所述特征图的建议区域之前，对所述特征图构造特征金字塔，得到新的特征图。
进一步地，所述处理模块具体用于：
获取所述舱段训练图像对应的标签信息；
对所述特征图的建议区域进行分类得到预测值；
根据所述舱段训练图像对应的标签信息、所述预测值确定第一损失。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的舱段图像实例分割的方法。
第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的舱段图像实例分割的方法。
由上述技术方案可知，本发明提供的舱段图像实例分割的方法、装置、电子设备及存储介质，通过图像实例分割模型极大地提高了图像中舱段对应区域识别鲁棒性，以及舱段在高亮、高暗等复杂干扰环境下舱段的识别精度，实现舱段外轮廓粗定位，提高了舱段位姿测量自动化水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明提供的舱段图像实例分割的方法的系统框架；
图2为本发明提供的舱段图像实例分割的方法的流程示意图；
图3为本发明提供的传感器的示意图；
图4为本发明提供的红外激光散斑生成原理示意图；
图5为本发明提供的激光散斑深度测量原理示意图；
图6为本发明提供的舱段图像实例分割的方法的流程示意图；
图7为本发明提供的残差网络示意图；
图8为本发明提供的区域建议网络结构示意图；
图9为本发明提供的锚框示意图；
图10为本发明提供的双线性插值示意图；
图11为本发明提供的特征金字塔网络示意图；
图12为本发明提供的基于RGB-D四通道图像输入的模型与基于RGB三通道图像输入的模型输出结果的对比图；
图13为本发明提供的舱段图像实例分割的装置的示意图；
图14为本发明提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明实施例提供的舱段图像实例分割的方法，可以适用于如图1所示的系统架构中，该系统架构包括RGB-D传感器100、图像实例分割模型200。
具体的，RGB-D传感器100用于获取待装配舱段图像。
图像实例分割模型200用于在输入待装配舱段图像后，得到待装配舱段图像中不同舱段对应区域的提取结果。
需要说明的是，其中，图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
需要说明的是，图1仅是本发明实施例系统架构的一种示例，本发明对此不做具体限定。
基于上述所示意的系统架构，图2为本发明实施例提供的一种舱段图像实例分割的方法所对应的流程示意图，如图2所示，该方法包括：
步骤201，获取待装配舱段图像。
需要说明的是，待装配舱段图像包括第一RGB图像以及第一深度图像，第一RGB图像与第一深度图像一一对应。
在一种可能的实施方式中，使用带有图像存储功能的RGB-D传感器采集待装配舱段图像。
具体的，如图3所示，RGB-D传感器主要包括红外激光发射器、散射光栅、RGB相机、红外相机等主要结构，RGB图像由RGB相机获取，视野范围内各点的深度信息主要通过散斑测距原理、三角测距原理获取，将采集到的RGB图像及深度图像进行一一对应存储。
需要说明的是，深度定义为空间中物体某个点到垂直于传感器左红外摄像头光轴并通过镜头光心平面的垂直距离，深度图像是红外相机捕捉到的所有点的深度数据构成的矩阵。
本发明实施例中，为获取视野范围内各点的深度信息即D通道数据，传感器通过发射激光散斑，照射至空间中舱段及环境物体表面并产生反射，由红外相机接收反射散斑图像，并与相机内部标定的散斑位置进行数据对比，运用激光散斑斑点相对平移与空间深度关系的光学原理、三角测距原理进行计算，得到像素值与测量距离成比例的灰度图像。
进一步地，图4为红外激光散斑生成原理示意图，图5为激光散斑深度测量原理示意图。
如图4所示，当激光源发射的激光束经过散斑光栅后，由不同位置透过的激光束会产生相位差，从而在散斑光栅后方产生光束间干涉现象，继而在平面生成亮暗斑点即散斑；散斑在物体表面的反射图案在摄像机上成像，由此便记录了某物体表面的深度信息。
视野范围内各点的深度数据信息主要通过激光散斑深度测量原理获取，由相关光学原理，不同深度的两幅图之间的散斑会产生一个横向偏移和一个较小的纵向偏移，故基于三角测距原理的散斑图案深度测量如图5所示，其中F处为待测目标，点F的深度信息Dis已转化为偏移量AB，且参考平面距离L已提前标定集成于传感器，相机焦距为f，可以计算得F处深度信息为：
Figure BDA0003257495130000081
本发明实施例中，使用RGB-D相机在舱段处于不同位姿的场景下，从不同角度进行图像采集，获得多张RGB图像及其对应的深度图像。
在一种可能的实施方式中，采用室内装配场景，即舱段装配对接过程在室内生产线上完成。
上述方案，通过RGB-D传感器采集到的深度图像具有较强的抗干扰特性。
步骤202，将待装配舱段图像输入至训练好的图像实例分割模型，得到待装配舱段图像中不同舱段对应区域的提取结果。
需要说明的是，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
上述方案，通过图像实例分割模型极大地提高了图像中舱段对应区域识别鲁棒性，以及舱段在高亮、高暗等复杂干扰环境下舱段的识别精度，实现舱段外轮廓粗定位，提高了舱段位姿测量自动化水平。
本发明实施例在步骤202之前，步骤流程如图6所示，具体如下：
步骤601，获取舱段训练图像以及真实掩膜图像。
需要说明的是，舱段训练图像包括第二RGB图像以及第二深度图像。
本发明实施例中，舱段训练图像包含舱段处于不同位姿、不同拍摄角度的场景下舱段的RGB-D四通道图像及其RGB增强图像。
进一步地，获取舱段训练图像对应的标签信息；
对第二深度图像进行格式转换；
对舱段训练图像进行扩充，得到扩充后的舱段训练图像；
根据舱段训练图像对应的标签信息生成扩充后的舱段训练图像的标签信息。
本发明实施例中，采用Photoshop宏命令批处理RGB-D图像及真实掩膜图像，将两者对应进行边缘裁剪，完成无信息区域的剔除。
上述方案，解决了传感器所采集图像RGB通道及D通道视场角不匹配而导致的D通道图像部分区域无信息问题。
进一步地，将采集到的16位格式D通道图像均转换为8位以适应于模型的输入。
在一种可能的实施方式中，使用Python结合OpenCV完成深度图像16位至8位转换，格式转换所采用像素值变换公式如下：
Figure BDA0003257495130000091
其中，image(16bit)image(8bit)表示转换前、后图像中某点的像素值。
上述方案，将采集到的图像进行预处理，从而适应模型输入接口，加速了模型训练过程，减小硬件负载。
在一种可能的实施方式中，通过图像翻转、中心对称、亮度增强、亮度减弱对舱段训练图像进行扩充。
具体的，将采集到的RGB图像使用180°翻转、亮度增强、亮度减弱、中心对称。
上述方案，对舱段训练图像进行扩充增加了数据集规模，提高了模型训练后的泛化能力，且降低了图像采集成本。
进一步地，通过脚本自动处理、生成所扩充图像的标注信息。
具体的，利用图像扩充前标注信息，使用Python脚本自动生成图像扩充后每张图像对应的标签信息以及真实掩膜图像。
进一步地，将扩充后的图像划分为训练集、验证集、测试集。
在一种可能的实施方式中，划分比例定为6.4:1:1。
步骤602，采用残差网络对舱段训练图像进行图像特征提取，得到特征图。
需要说明的是，残差网络第一卷积层中每个卷积核的层为4层。
本发明实施例中，残差网络(Residual Network，ResNet)可以根据深度不同划分为ResNet50及ResNet101，如图7所示。
需要说明的是，更深的特征提取网络具有更好的图像特征提取性能。
举例来说，以ResNet50为例，舱段训练图像首先经过一个具有(7×7，64)大小卷积核的卷积层，卷积核步数为2，然后经过一个步数为2的3×3最大池化层进一步集中特征，接着是3个相同的残差块，残差块由卷积核形式为(1×1，64)、(3×3，64)、(1×1，256)三层卷积组成，每个残差块之间都包含有跳跃连接，可以直接将信息传递到神经网络的更深层。后续包含三种类别的残差块，卷积层所包含的卷积核形式分别为{(1×1，128)，(3×3，128)，(1×1，512)}、{(1×1，256)，(3×3，256)，(1×1，1024)}、{(1×1，512)，(3×3，512)，(1×1，2048)}。三种类别残差块数目分别为4个、6个、3个。
需要说明的是，残差块可以在网络深度很大时仍高效的进行规律的学习。
步骤603，采用区域建议网络生成特征图的建议区域。
本发明实施例中，区域建议网络(Region Proposal Networks，RPN)主要用于生成建议区域。
具体的，如图8所示。区域建议网络拥有两个支路，特征图分别进入支路1、2。在输入卷积层前，特征图每个像素点上会生成9个大小比例相异的锚框。
在一种可能的实施方式中，如图9所示，锚框的缩放比例即长宽比分别为0.5、1、2。
具体的，特征图进入支路1，锚框在经过裁剪后输入Softmax分类层，判断各框内内容属于前景或者后景，即判断锚框内是否有目标，而不对目标具体种类进行识别，为二分类操作。举例来说，判断锚框内是否有舱段，而不判断舱段是固定舱段还是移动舱段。
具体的，特征图进入支路2，此支路含有36组卷积核形式为(1×1，512)的神经网络。
进一步地，将上述两条支路相结合得到特征图的建议区域。
步骤604，采用感兴趣区域对齐网络将建议区域映射至特征图中。
需要说明的是，在感兴趣区域池化层ROI Pooling中，建议区域被量化成7*7大小的特征图。
例如，20*20大小的建议区域被划分成2边长的小区域，在每个2*2的小区域里做Max Pooling，最后向后续网络层输出7*7大小的特征图。经过ROI Pooling后，原本在特征图上映射的20*20大小的建议区域偏差成7*7大小，虽然很好的提取了感兴趣区域的特征，但是由于量化操作会产生像素偏差，对后层的回归定位造成影响。
本发明实施例采用感兴趣区域对齐网络ROI Align层，取消了特征图量化过程中的取整操作，使用双线性插值的方式模拟出正常意义下像素位置之间的像素点值，解决了像素偏差引起的回归准确度下降问题。
具体的，双线性插值方法就是在垂直两个方向上分别作线性插值，如图10所示，若已知Q11、Q12、Q21、Q22坐标对应值，则在x轴方向上对Q11、Q21及Q12、Q22线性插值，得到点R1、R2；然后在y轴方向对R1、R2线性插值，可得点P值。具体的计算公式如下：
Figure BDA0003257495130000121
Figure BDA0003257495130000122
Figure BDA0003257495130000123
上述方案，在将建议区域映射至特征图上时，不会进行像素位置取整操作，而是固定特征图与建议区域相对位置，在映射过程中对错位的像素值进行线性插值，得到浮点数位置像素，解决了像素偏差引起的回归准确度下降问题。
步骤605，针对建议区域对特征图进行分类，得到第一损失。
本发明实施例中，在针对建议区域对特征图进行分类之前，将建议区域输入全连接层进行打平操作。
在一种可能的实施方式中，建议区域的分类使用Softmax分类器。
需要说明的是，还可以采用支持向量机(Support Vector Machines,SVM)进行分类，本发明实施例对此不做具体限定。
具体的，获取舱段训练图像对应的标签信息；
对特征图的建议区域进行分类得到预测值；
根据标签信息、预测值确定第一损失。
以Softmax分类器为例，若输入Softmax分类器为向量，则经过Softmax分类器会首先进行exp(z)计算，然后将结果进行归一化处理，每个类别的得分被映射到[0，1]空间，即可得到某类的概率预测值
Figure BDA0003257495130000124
具体的计算公式如下：
Figure BDA0003257495130000125
本发明实施例中，在训练Softmax分类器时，代价函数表示为：
Figure BDA0003257495130000131
Figure BDA0003257495130000132
其中，m为样本数，n为样本类别数，y(i)为样本标签值。
上述方案，采用Softmax分类器高精度地分类出建议区域属于固定舱段类、移动舱段类或背景类。
进一步地，分类产生的第一损失为Lcls，具体的计算公式如下：
Figure BDA0003257495130000133
其中，n、m分别为样本总数与类别数，yij和
Figure BDA0003257495130000134
分别为标签值与预测值。
步骤606，对建议区域进行边界框回归，得到第二损失；
本发明实施例中，为了进一步微调建议区域边界框的位置，提高目标识别定位的精准度，对建议区域进行边界框线性回归。
在一种可能的实施方式中，对边界框进行平移加缩放。
具体的，设建议区域中心为P，真实物体框中心为G，在建议区域回归过程中的中心为G′；建议区域用中心点及长宽表示为：
P＝(Px，Py，Pw，Ph)
进一步地，真值区域表示为：
G＝(Gx，Gy，Gw，Gh)
本发明实施例中，边界框回归的主要目标就是找到映射，使：
f(Px，Py，Pw，Ph)＝(G′x，G′y，G′w，G′h)
(G′x,G′y,G′w,G′h)≈(Gs,Gy,Gw,Gh)
进一步地，构造平移映射和缩放映射如下：
Figure BDA0003257495130000135
Figure BDA0003257495130000141
本发明实施例中，回归任务产生的第二损失为Lloc，具体如下：
Figure BDA0003257495130000142
需要说明的是，tu为边界框预测坐标，v为边界框真实坐标，其中：
Figure BDA0003257495130000143
上述方案，对建议区域边界框进行微调操作，提高了目标识别定位的精准度。
步骤607，根据建议区域生成预测掩膜图像。
具体的，在感兴趣区域对齐网络后连接多个卷积层，即全卷积网络。
需要说明的是，全卷积网络的网络形式、层数由残差网络确定。
本发明实施例中，由于全卷积网络可以实现语义分割，所以结合上述建议区域分类可以达到建议区域实例分割的效果，即分出图像中不同舱段类并以掩膜进行覆盖，掩膜以建议区域边界框为生成边界。
需要说明的是，预测掩膜图像有个通道，为图像目标类别数。每个通道掩膜图中只包含像素二元信息，用于表示感兴趣区域某点像素是某类的前景或背景。
步骤608，根据真实掩膜图像以及预测掩膜图像确定第三损失。
具体的，第三损失的具体计算公式如下：
Figure BDA0003257495130000144
其中，yi为真实像素点信息，
Figure BDA0003257495130000145
为预测像素点信息，npixel为图像中像素点的个数。
步骤609，根据第一损失、第二损失、第三损失确定损失函数。
具体的，损失函数的具体计算公式如下：
Loss＝Lcls+Lloc+Lmask
其中，Lcls为第一损失，Lloc为第二损失，Lmask为第三损失。
步骤610，根据损失函数更新图像实例分割模型的参数，得到训练好的图像实例分割模型。
本发明实施例中，对模型进行多轮次的反向传播计算，以更新网络参数。图像实例分割模型的训练可以实现端到端的训练方式。
上述方案，图像实例分割模型适应RGB-D四通道图像输入，采用残差网络作为模型骨干，并引入特征金字塔完成多尺度特征融合，提升了模型识别性能，利用感兴趣区域对齐网络以提高舱段识别边界框回归精度，能够适应强、弱光照和舱段背景具有干扰的情况。
进一步地，本发明实施例在步骤601中，提取舱段训练图像中各舱段外轮廓，得到图像标注信息；
根据图像标注信息确定真实掩膜图像。
具体的，使用标注工具手工对RGB图像中固定、移动舱段区域进行像素级别的标注。
举例来说，使用图像标注工具LabelMe对RGB图像中固定、移动舱段分别进行手工像素级别的标注，并在标注过程中输入各舱段对应标签信息。
本发明实施例在步骤603之前，对特征图构造特征金字塔，得到新的特征图。
具体的，在残差网络提取出特征图后，特征图会进入特征金字塔网络。
如图11所示，构造过程是多次对特征图进行2倍下采样，生成图像1、2、3，然后对图像4、5分别进行2倍上采样，并结合图像1、2，对1、2进行1×1卷积操作后与上采样结果相加，分别生成5、6。在本发明实施例中，输入后续网络参与计算的是特征图P2至P6。
上述方案，特征金字塔用于多尺度检测的算法，通过改变网络层间连接方式，提升了物体的检测性能。
进一步地，本发明实施例分别将待装配舱段图像输入基于RGB图像实例分割模型和RGB-D图像实例分割模型中，可以得到输出结果如图12所示，从图中可以看出，实线与虚线分别对应不同舱段，在图像亮度值偏高条件下，RGB图像实例分割模型在识别左侧固定舱段时，舱段右上高亮度部分识别效果较RGB-D图像实例分割模型更差；在识别环境中有机械臂干扰时，RGB图像实例分割模型则将部分机械臂识别为舱段；RGB图像实例分割模型将部分高亮桌角识别为舱段。故经过两者在具有干扰因素环境下输出图像的对比可知，RGB-D图像实例分割模型对复杂环境条件下舱段的识别上鲁棒性优于RGB图像实例分割模型。
上述方案，采用四通道图像实现了鲁棒性较强的舱段实例分割，且掩膜分割精细，识别准确率高，实现了不同工况条件下舱段对应区域提取和舱段外轮廓粗定位。
基于同一发明构思，图13示例性的示出了本发明实施例提供的一种舱段图像实例分割的装置，该装置可以为一种舱段图像实例分割的方法的流程。
所述装置，包括：
获取模块1301，用于获取待装配舱段图像；所述待装配舱段图像包括第一RGB图像以及第一深度图像；所述第一RGB图像与所述第一深度图像一一对应；
处理模块1302，用于将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果；其中，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
进一步地，所述处理模块1302还用于：
在将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果之前，获取舱段训练图像以及真实掩膜图像；所述舱段训练图像包括第二RGB图像以及第二深度图像；
采用残差网络对所述舱段训练图像进行图像特征提取，得到特征图；
采用区域建议网络生成所述特征图的建议区域；
采用感兴趣区域对齐网络将所述建议区域映射至所述特征图中；
对所述特征图的建议区域进行分类，得到第一损失；
对所述建议区域进行边界框回归，得到第二损失；
根据所述建议区域生成预测掩膜图像；
根据所述真实掩膜图像以及所述预测掩膜图像确定第三损失；
根据所述第一损失、所述第二损失、所述第三损失确定损失函数；
根据所述损失函数更新所述图像实例分割模型的参数，得到训练好的图像实例分割模型。
进一步地，所述处理模块1302具体用于：
提取所述舱段训练图像中各舱段外轮廓，得到图像标注信息；
根据所述图像标注信息确定所述真实掩膜图像。
进一步地，所述处理模块1302还用于：
在所述采用残差网络对所述舱段训练图像进行图像特征提取之前，获取所述舱段训练图像对应的标签信息；
对所述第二深度图像进行格式转换；
对所述舱段训练图像进行扩充，得到扩充后的舱段训练图像；
根据所述舱段训练图像对应的标签信息生成所述扩充后的舱段训练图像的标签信息。
进一步地，所述处理模块1302还用于：
在所述采用区域建议网络生成所述特征图的建议区域之前，对所述特征图构造特征金字塔，得到新的特征图。
进一步地，所述处理模块1302具体用于：
获取所述舱段训练图像对应的标签信息；
对所述特征图的建议区域进行分类得到预测值；
根据所述舱段训练图像对应的标签信息、所述预测值确定第一损失。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图14，所述电子设备具体包括如下内容：处理器1401、存储器1402、通信接口1403和通信总线1404；
其中，所述处理器1401、存储器1402、通信接口1403通过所述通信总线1404完成相互间的通信；所述通信接口1403用于实现各设备之间的信息传输；
所述处理器1401用于调用所述存储器1402中的计算机程序，所述处理器执行所述计算机程序时实现上述舱段图像实例分割的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取待装配舱段图像；所述待装配舱段图像包括第一RGB图像以及第一深度图像；所述第一RGB图像与所述第一深度图像一一对应；将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果；其中，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像实例分割的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取待装配舱段图像；所述待装配舱段图像包括第一RGB图像以及第一深度图像；所述第一RGB图像与所述第一深度图像一一对应；将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果；其中，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，图像实例分割的装置，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，图像实例分割的装置，或者网络设备等)执行各个实施例或者实施例的某些部分所述的图像实例分割的方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种舱段图像实例分割的方法，其特征在于，包括：
获取待装配舱段图像；所述待装配舱段图像包括第一RGB图像以及第一深度图像；所述第一RGB图像与所述第一深度图像一一对应；
将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果；
其中，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
2.根据权利要求1所述的舱段图像实例分割的方法，其特征在于，在将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果之前，还包括：
获取舱段训练图像以及真实掩膜图像；所述舱段训练图像包括第二RGB图像以及第二深度图像；
采用残差网络对所述舱段训练图像进行图像特征提取，得到特征图；
采用区域建议网络生成所述特征图的建议区域；
采用感兴趣区域对齐网络将所述建议区域映射至所述特征图中；
对所述特征图的建议区域进行分类，得到第一损失；
对所述建议区域进行边界框回归，得到第二损失；
根据所述建议区域生成预测掩膜图像；
根据所述真实掩膜图像以及所述预测掩膜图像确定第三损失；
根据所述第一损失、所述第二损失、所述第三损失确定损失函数；
根据所述损失函数更新所述图像实例分割模型的参数，得到训练好的图像实例分割模型。
3.根据权利要求2所述的舱段图像实例分割的方法，其特征在于，所述获取真实掩膜图像，包括：
提取所述舱段训练图像中各舱段外轮廓，得到图像标注信息；
根据所述图像标注信息确定所述真实掩膜图像。
4.根据权利要求2所述的舱段图像实例分割的方法，其特征在于，在所述采用残差网络对所述舱段训练图像进行图像特征提取之前，还包括：
获取所述舱段训练图像对应的标签信息；
对所述第二深度图像进行格式转换；
对所述舱段训练图像进行扩充，得到扩充后的舱段训练图像；
根据所述舱段训练图像对应的标签信息生成所述扩充后的舱段训练图像的标签信息。
5.根据权利要求2所述的舱段图像实例分割的方法，其特征在于，在所述采用区域建议网络生成所述特征图的建议区域之前，还包括：
对所述特征图构造特征金字塔，得到新的特征图。
6.根据权利要求2所述的舱段图像实例分割的方法，其特征在于，对所述特征图的建议区域进行分类得到第一损失，包括：
获取所述舱段训练图像对应的标签信息；
对所述特征图的建议区域进行分类得到预测值；
根据所述舱段训练图像对应的标签信息、所述预测值确定第一损失。
7.一种舱段图像实例分割的装置，其特征在于，包括：
获取模块，用于获取待装配舱段图像；所述待装配舱段图像包括第一RGB图像以及第一深度图像；所述第一RGB图像与所述第一深度图像一一对应；
处理模块，用于将所述待装配舱段图像输入至训练好的图像实例分割模型，得到所述待装配舱段图像中不同舱段对应区域的提取结果；其中，所述训练好的图像实例分割模型为利用不同舱段图像以及不同舱段图像对应的真实掩膜图像进行训练后得到。
8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202111063523.7A 2021-09-10 2021-09-10 舱段图像实例分割的方法、装置、电子设备及存储介质 Active CN113781500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111063523.7A CN113781500B (zh) 2021-09-10 2021-09-10 舱段图像实例分割的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111063523.7A CN113781500B (zh) 2021-09-10 2021-09-10 舱段图像实例分割的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113781500A true CN113781500A (zh) 2021-12-10
CN113781500B CN113781500B (zh) 2024-04-05

Family

ID=78842771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111063523.7A Active CN113781500B (zh) 2021-09-10 2021-09-10 舱段图像实例分割的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113781500B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963926A (zh) * 2009-07-23 2011-02-02 佳能株式会社 信息处理装置及信息处理装置的控制方法
CN103002306A (zh) * 2012-11-27 2013-03-27 宁波大学 一种深度图像编码方法
CN103049340A (zh) * 2012-10-26 2013-04-17 中山大学 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法
CN105354563A (zh) * 2015-12-14 2016-02-24 南京理工大学 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
WO2017181332A1 (zh) * 2016-04-19 2017-10-26 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN107563303A (zh) * 2017-08-09 2018-01-09 中国科学院大学 一种基于深度学习的鲁棒性舰船目标检测方法
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110047081A (zh) * 2019-03-26 2019-07-23 清华大学 胸部x光图像的实例分割方法、装置、设备及介质
CN110733617A (zh) * 2019-09-11 2020-01-31 中国科学院自动化研究所 一种舱段装配平台及舱段装配方法
CN111753882A (zh) * 2020-06-01 2020-10-09 Oppo广东移动通信有限公司 图像识别网络的训练方法和装置、电子设备
CN111798456A (zh) * 2020-05-26 2020-10-20 苏宁云计算有限公司 一种实例分割模型的训练方法、装置、实例分割方法
CN112053367A (zh) * 2019-06-06 2020-12-08 阿里巴巴集团控股有限公司 图像处理方法、设备及存储介质
CN112258528A (zh) * 2020-11-02 2021-01-22 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备
JP2021122559A (ja) * 2020-02-06 2021-08-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN113327246A (zh) * 2021-07-01 2021-08-31 北京航空航天大学 一种基于条纹投射和图像纹理约束的铆钉成形质量三维视觉检测技术

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963926A (zh) * 2009-07-23 2011-02-02 佳能株式会社 信息处理装置及信息处理装置的控制方法
CN103049340A (zh) * 2012-10-26 2013-04-17 中山大学 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法
CN103002306A (zh) * 2012-11-27 2013-03-27 宁波大学 一种深度图像编码方法
CN105354563A (zh) * 2015-12-14 2016-02-24 南京理工大学 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
WO2017181332A1 (zh) * 2016-04-19 2017-10-26 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN107563303A (zh) * 2017-08-09 2018-01-09 中国科学院大学 一种基于深度学习的鲁棒性舰船目标检测方法
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110047081A (zh) * 2019-03-26 2019-07-23 清华大学 胸部x光图像的实例分割方法、装置、设备及介质
CN112053367A (zh) * 2019-06-06 2020-12-08 阿里巴巴集团控股有限公司 图像处理方法、设备及存储介质
CN110733617A (zh) * 2019-09-11 2020-01-31 中国科学院自动化研究所 一种舱段装配平台及舱段装配方法
JP2021122559A (ja) * 2020-02-06 2021-08-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN111798456A (zh) * 2020-05-26 2020-10-20 苏宁云计算有限公司 一种实例分割模型的训练方法、装置、实例分割方法
CN111753882A (zh) * 2020-06-01 2020-10-09 Oppo广东移动通信有限公司 图像识别网络的训练方法和装置、电子设备
CN112258528A (zh) * 2020-11-02 2021-01-22 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备
CN113327246A (zh) * 2021-07-01 2021-08-31 北京航空航天大学 一种基于条纹投射和图像纹理约束的铆钉成形质量三维视觉检测技术

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
YICHEN FU: "Image Segmentation of Cabin Assembly Scene Based on Improved RGB-D Mask R-CNN", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT ( VOLUME: 71)》 *
ZHE WANG: "Pose Measurement of Large Cabin Based on Point Cloud in Multi-robot Assembly", 《2020 CHINESE AUTOMATION CONGRESS (CAC)》 *
ZHIANG CHEN: "Geomorphological Analysis Using Unpiloted Aircraft Systems, Structure from Motion, and Deep Learning", 《2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
徐康力: "相机测量技术在舱段自动对接中的应用研究", 《中国优秀硕士论文全文数据库》 *
景奉水: "基于多机器人协调的船体分段对接系统的运动学及对接精度研究", 《机器人》 *
詹琦梁;陈胜勇;胡海根;李小薪;周乾伟;: "一种结合多种图像分割算法的实例分割方案", 小型微型计算机系统, no. 04 *

Also Published As

Publication number Publication date
CN113781500B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN112258618B (zh) 基于先验激光点云与深度图融合的语义建图与定位方法
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN113378686B (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
CN115147723B (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
CN113706480B (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
KR102681992B1 (ko) 자율 주행을 위한 단일 계층 3차원 다중 객체 검출 장치 및 방법
CN112347895A (zh) 一种基于边界优化神经网络的舰船遥感目标检测方法
CN108805201A (zh) 目标图像数据集生成方法及其装置
Lin et al. Maritime environment perception based on deep learning
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
CN116503803A (zh) 障碍物检测方法、装置、电子设备以及存储介质
Thompson Maritime object detection, tracking, and classification using lidar and vision-based sensor fusion
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
CN116977806A (zh) 一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统
CN116740575A (zh) 一种无人船多传感器态势感知及避碰决策方法
CN116702459A (zh) 基于仿真红外成像导航模型的对抗仿真导航方法及系统
CN115239899B (zh) 位姿图生成方法、高精地图生成方法和装置
CN113781500A (zh) 舱段图像实例分割的方法、装置、电子设备及存储介质
CN115482277A (zh) 一种社交距离风险预警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant