CN117315263B - 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质 - Google Patents

一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117315263B
CN117315263B CN202311597216.6A CN202311597216A CN117315263B CN 117315263 B CN117315263 B CN 117315263B CN 202311597216 A CN202311597216 A CN 202311597216A CN 117315263 B CN117315263 B CN 117315263B
Authority
CN
China
Prior art keywords
positioning
segmentation
target
mask
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311597216.6A
Other languages
English (en)
Other versions
CN117315263A (zh
Inventor
吴海腾
李徐军
玉正英
邹治银
杨子赫
毛泽庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shenhao Technology Co Ltd
Original Assignee
Hangzhou Shenhao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shenhao Technology Co Ltd filed Critical Hangzhou Shenhao Technology Co Ltd
Priority to CN202311597216.6A priority Critical patent/CN117315263B/zh
Publication of CN117315263A publication Critical patent/CN117315263A/zh
Application granted granted Critical
Publication of CN117315263B publication Critical patent/CN117315263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标轮廓分割装置、训练方法、分割方法、电子设备,所述目标轮廓分割装置包括:定位分支,用于对检测图像中的目标进行定位;分割分支,用于对所述检测图像中的所述目标的轮廓进行分割;融合层,用于将所述定位分支与所述分割分支的输出数据相互融合,得到融合结果;解码器,用于对所述融合结果进行解码,得到预测目标掩模。

Description

一种目标轮廓装置、训练方法、分割方法、电子设备及存储 介质
技术领域
本申请涉及图像处理领域,尤其涉及一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质。
背景技术
传统的目标轮廓检测模型,通常采取先定位再分割的方法来提取目标轮廓,该先后次序极大程度限制了检测模型的鲁棒性,当定位过程出现偏差时,传统的目标轮廓检测模型无法利用轮廓信息来对定位误差进行修正,并导致后续分割过程效果极差。
发明内容
为了降低传统目标轮廓分割的误差,本申请实施例提出一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质。
第一方面,本申请实施例提供一种目标轮廓分割装置,所述目标轮廓分割装置包括:定位分支,用于对检测图像中的目标进行定位;分割分支,用于对所述检测图像中的所述目标的轮廓进行分割;融合层,用于将所述定位分支与所述分割分支的输出数据相互融合,得到融合结果;解码器,用于对所述融合结果进行解码,得到预测目标掩模。
在上述实现过程中,通过创新目标轮廓分割装置的结构,将定位分支与分割分支并行处理并融合,可以大大降低目标分割过程中的误差,提高了预测结果的鲁棒性。
可选地,所述定位分支包括:定位骨干神经网络,用于从所述检测图像中提取所述目标的低维特征;定位模型,用于根据所述低维特征,确定所述目标的定位得分图;位置编码器,用于根据所述定位得分图,计算所述目标定位的向量映射。
在上述实现过程中,由于骨干神经网络的网络深度和网络宽度较于一般的神经网络更深和更宽,采用骨干神经网络提取低维特征,能够得到更加准确和更加丰富的低维特征,从而使得定位模型能够输出更加准确的定位得分图。
可选地,所述目标轮廓分割装置还包括:定位更新模块,用于在线更新所述定位模型。
在上述实现过程中,通过加入定位更新模块,使得定位模型能够在使用过程中在线更新,从而使得目标轮廓分割装置能够适应变化较大的检测图像。
可选地,所述定位更新模块,包括:第二定位骨干神经网络,用于从所述检测图像中提取所述目标的低维特征;定位优化器,用于学习所述低维特征及定位得分真值图,以更新所述定位模型。
在上述实现过程中,通过采用网络深度和网络宽度都更深和更宽的第二定位骨干神经网络提取低维特征,使得提取的低维特征更加准确和丰富,通过定位优化器不断学习低维特征及所述定位得分图,能够使得定位模型的参数更加准确。
可选地,所述定位优化器的损失函数为:
其中,为所述定位得分真值图,/>为所述低维特征,/>为训练样本数据库,为所述定位模型处理所述低维特征输出的预测定位得分图,/>为可学习的正则化参数,/>为所述定位模型/>中的可学参数,/>为空间权重,/>为训练样本预先得到的掩模真值,/>是指利用所述掩膜真值提取出目标区域,是指背景区域与0比较取较大值,Ll为定位损失值。
在上述实现过程中,由于定位优化器损失函数将综合考虑了目标区域损失值与背景区域损失值,并将背景区域损失值控制在合理范围内,因此,根据定位优化器的损失函数进行定位模型的更新,能够得到目标定位效果更加准确的定位模型。
可选地,所述定位更新模块,用于在满足所述预测目标掩模与检测图像对应的目标掩模真值的交并比大于预设阈值的情况下,更新所述定位模型。
在上述实现过程中,通过满足预测目标掩模与检测图像对应的目标掩模真值的交并比大于预设阈值,能够确保目标轮廓分割装置的准确率达到期望值,此时,更新定位模型,能够使得定位模型的参数更加准确。
可选地,所述分割分支包括:分割骨干神经网络,用于从所述检测图像中提取所述目标的高维特征;分割模型,用于根据所述高维特征,确定所述目标分割的向量映射。
在上述实现过程中,由于骨干神经网络的网络深度和网络宽度较于一般的神经网络更深和更宽,采用骨干神经网络提取高维特征,能够得到更加准确和更加丰富的高维特征,从而使得分割模型能够输出更加准确的目标分割的向量映射。
可选地,所述目标轮廓分割装置还包括:分割更新模块,用于在线更新所述分割模型。
在上述实现过程中,通过加入分割更新模块,使得分割模型能够在使用过程中在线更新,从而使得目标轮廓分割装置能够适应变化较大的检测图像。
可选地,所述分割更新模块,包括:第二分割骨干神经网络,用于从所述检测图像中提取所述目标的第二高维特征;分割优化器,用于学习所述第二高维特征及所述预测目标掩模,以更新所述分割模型。
在上述实现过程中,通过采用网络深度和网络宽度都更深和更宽的第二分割骨干神经网络提取第二高维特征,使得提取的第二高维特征更加准确和丰富,通过分割优化器不断学习第二高维特征及所述预测目标掩模,能够使得分割模型的参数更加准确。
可选地,所述分割优化器的损失函数为,其中,/>为训练样本预先标注的掩模真值,/>为所述第二高维特征,/>为训练样本数据库,/>为所述分割模型处理所述第二高维特征输出的预测掩模,/>是指对所述掩模真值与预测掩模差值的平方,/>为可学习的正则化参数,/>为所述分割模型/>中的可学参数,/>为分割损失。
在上述实现过程中,根据分割优化器的损失函数对分割模型进行更新,能够得到分割效果更加精准的分割模型。
可选地,所述分割更新模块,用于在满足所述预测目标掩模与检测图像对应的目标掩模真值的交并比大于预设阈值的情况下,更新所述分割模型。
在上述实现过程中,通过满足预测目标掩模与检测图像对应的目标掩模真值的交并比大于预设阈值,能够确保目标轮廓分割装置的准确率达到期望值,此时,更新分割模型,能够使得分割模型的参数更加准确。
第二方面,本申请实施例提供一种训练方法,用于训练如第一方面任一项所述的目标轮廓分割装置,所述训练方法包括:获取训练样本数据;所述训练样本数据包括检测图像及已标记的目标掩模真值、定位得分真值图;将所述训练样本数据中的检测图像输入所述目标轮廓分割装置,得到预测目标掩模和预测定位得分图;根据所述预测目标掩模与所述目标掩模真值确定分割损失值;根据所述预测定位得分图和所述定位得分真值图确定定位损失值;根据所述分割损失值和定位损失值确定所述目标轮廓分割装置的分割定位损失值;根据所述分割定位损失值对所述目标轮廓分割装置的参数进行调整,直至所述分割定位损失值达到预设范围。
在上述实现过程中,由于在考虑损失值时同时考虑了定位损失与分割损失,因此,很大程度提升了检测模型的鲁棒性。
可选地,所述根据所述预测目标掩模与所述目标掩模真值确定分割损失值,包括:根据分割损失函数确定所述分割损失值;所述分割损失函数为:
其中,为第t个高维特征,/>为第t个低维特征,/>为经过t-1次训练的分割模型,/>为经过t-1次训练的定位模型,/>是指经过第t次训练得到的定位得分图,/>是指经过t次训练得到的分割相关的向量映射,/>是指对所述经过第t次训练得到的定位得分图进行位置编码,/>是指对/>融合得到的目标特征进行解码操作,得到训练出的目标掩模;/>是指将训练出的目标掩模与第t张检测图像对应的掩模真值/>作差;n为检测图像样本的数量,/>
由于分割损失函数中目标分割向量映射融合了定位分支的输出数据目标定位向量映射,因此,根据分割损失函数能够得到更加精确的目标掩模。
可选地,所述根据所述预测定位得分图和所述定位得分真值图确定定位损失值,包括:
根据定位损失函数确定所述定位损失值,其中,所述定位损失函数为
其中,为第t个低维特征,/>为经过t-1次更新得到的定位模型,为将第t个低维特征输入到定位模型中得到的预测定位得分图,/>第t张定位得分真值图,/>为第t张掩模真值/>是指利用掩模真值提取出目标区域,/>是指背景区域与0比较取较大值;/>为权重值,n为检测图像的数量,/>
由于定位损失函数将目标区域和背景区域分开计算损失值,并尽量降低背景区域损失值的权重,因此,在综合考虑了背景区域损失与目标区域损失的基础上,能够使得定位分支得到更加准确的定位得分图。
第三方面,本申请实施例提供一种目标轮廓的分割方法,所述分割方法包括:获取待检测图像;将所述待检测图像输入到如第一方面任一项所述的目标轮廓分割装置中,得到预测目标掩模;对所述预测目标掩模进行阈值化处理,得到目标轮廓。
在上述实现过程中,通过使用如第一方面任一项所述的目标轮廓分割装置,能够更准确地检测到目标轮廓,降低了检测误差,提高了检测过程的鲁棒性。
第四方面,本申请提供一种电子设备,包括:处理器及存储器;所述处理器用于执行所述存储器中存储的程序,以实现如第二方面或第三方面任一项所述的方法。
第五方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以使用如第二方面或第三方面任一项所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例一提供的一种目标轮廓分割装置的结构示意图;
图2为本申请实施例二提供的一种目标轮廓分割装置的训练方法流程示意图;
图3为本申请实施例三提供的一种目标轮廓的分割方法流程示意图;
图4为本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为了更好的理解本申请提供的目标轮廓分割装置,先对相关技术做一简要介绍。
相关技术中,关于目标轮廓分割的方法,一般是先进行定位再进行分割,但是这样会使得定位误差和分割误差相互叠加,而进一步放大误差。因此,本申请在相关技术的基础上,提出了一种目标轮廓分割装置,该装置包括定位分支与分割分支,定位分支与分割分支的输出数据相互融合,融合结果经过解码器解码,得到预测目标掩模。通过采用本申请实施例提供的目标轮廓分割装置得到的预测目标掩模,能够降低目标轮廓分割的误差,提高了检测过程的鲁棒性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
实施例一
为了降低目标轮廓分割的误差,提高目标轮廓检测过程的鲁棒性,本申请实施例提供一种目标轮廓分割装置100,如图1所示,装置100包括:
定位分支101,用于对检测图像中的目标进行定位。
分割分支102,用于对检测图像中的目标的轮廓进行分割。
融合层103,用于将定位分支与分割分支的输出数据相互融合,得到融合结果。
解码器104,用于对融合结果进行解码,得到预测目标掩模。
可选地,定位分支101包括定位骨干神经网络1011、定位模型1012、位置编码器1013,定位骨干神经网络1011用于从检测图像中提取目标的低维特征;定位模型1012,用于根据低维特征,确定目标的定位得分图;位置编码器1013,用于根据定位得分图,计算目标定位的向量映射。
其中,定位骨干神经网络1011不做限制,示例性地,可以是AlexNet、VGG、GoogleNet、ResNet网络等。定位模型1012的结构不做限制,示例性地,可以是ResNet网络,ResNet网络由至少一个卷积层构成。低维特征是指定位相关的一些比较粗糙的特征。示例性地,可以为角点等。
具体地,定位模型1012对低维特征继续做多次卷积操作,然后通过一个转置卷积对特征进行升维,得到定位得分图。位置编码器1013将定位得分图进行全连接操作,得到目标定位的向量映射。
可选地,目标轮廓分割装置100还包括定位更新模块105,用于在线更新定位模型1012。
可选地,定位更新模块105包括第二定位骨干神经网络1051及定位优化器1052,第二定位骨干神经网络1051用于从检测图像中提取目标的低维特征;定位优化器1052,用于学习低维特征及定位得分图,以更新定位模型。
其中,第二定位骨干神经网络1051的结构与定位骨干神经网络1011结构类似或相同。其结构不做具体限定。低维特征为第二定位骨干网络1051提取的定位相关的较为粗糙的特征,比如角点等。
具体地,将检测图像输入到第二定位骨干神经网络1051中,提取低维特征,采用Knn算法计算低维特征与对应的定位得分真值图之间的距离,然后将结果输入到定位模型1022中,经过多次卷积操作,变换维度,然后通过一个转置卷积,进行升维,得到低维特征对应的定位得分图。根据检测图像对应的目标掩模真值将定位得分图中的目标区域与背景区域区分开来,与检测图像的定位得分真值图做差值,并尽量减小背景区域损失值对总的定位损失值的影响,不断更新模型参数直至总的定位损失值达到预设数值范围内。所述预设数值范围不做限定,可以为大于0的任意数值。
可选地,定位更新模块105,用于在满足预测目标掩模与检测图像对应的目标掩模真值的交并比大于预设阈值的情况下,更新定位模型1012。
其中,预设阈值不做限定,取值范围为0-1之间。目标掩模真值为预先标注的,可以人工标注,也可以用自动化工具进行标注。交并比是指两个集合交集与并集的比值。这里是指预测目标掩模与目标掩模真值之间交集与并集的比值。
具体地,当预测目标掩模与目标掩模真值的交并比达到预设阈值时,说明目标轮廓分割装置的预测准确度达到了期望值,此时,预测定位得分图可以作为定位得分真值图被更新到定位更新模块105的输入数据中。
可选地,定位更新模块105的损失函数为:
其中,为掩模真值,/>定位得分真值图,/>是指利用掩模真值提取出目标区域损失值,/>是指使背景区域损失值维持在0到一个较小的正值范围内。/>为权重值,然后将所有训练样本的定位损失值求和,得到总的定位损失。通过反向更新/>,及参数/>和/>使得定位损失/>最小。
可选地,分割分支102,包括分割骨干神经网络1021及分割模型1022,分割骨干神经网络1021,用于从检测图像中提取目标的高维特征;分割模型1022,用于根据高维特征,确定目标分割的向量映射。
其中,分割骨干神经网络不做限定,示例性地,可以是AlexNet、VGG、GoogleNet、ResNet网络等。分割模型1022的结构不做限制,示例性地,可以由至少一个卷积层与激活层构成,可选地,还可以包括归一化层和随机失活层。高维特征是指分割相关的一些比较精细的特征。
具体地,将高维特征输入分割模型1022,依次经过至少一个卷积层的处理并进行激活,实现对高维特征的维度变换,得到目标分割的向量映射。
可选地,目标轮廓分割装置100,还包括分割更新模块106,用于在线更新分割模型。
可选地,分割更新模块106,包括第二分割骨干神经网络1061及分割优化器1062,第二分割骨干神经网1061,用于从检测图像中提取目标的第二高维特征;分割优化器1062,用于学习第二高维特征及预测目标掩模,以更新分割模型1022。
其中,第二分割骨干神经网络1061不做限定,示例性地,可以是AlexNet、VGG、GoogleNet、ResNet网络等。第二高维特征是指分割相关的更加精细的特征。
具体地,将检测图像输入到第二分割骨干神经网络1061中,提取第二高维特征,采用Knn算法计算第二高维特征与预测目标掩模的距离,将该距离输入到分割模型1012中,,进行至少一次的卷积操作,生成对应的目标掩模。将生成的目标掩模与目标掩模对应检测图像的掩模真值做差值,不断更新模型参数直至分割损失值达到预设数值范围内。所述预设数值范围不做限定,可以为大于0的任意数值。
可选地,分割更新模块106,用于在满足预测目标掩模与检测图像对应的目标掩模真值的交并比大于预设阈值的情况下,更新分割模型1022。
具体地,当预测目标掩模与目标掩模真值的交并比达到预设阈值时,说明目标轮廓分割装置的预测准确度达到了期望值,此时,预测目标掩模可以作为目标掩模真值被更新到分割更新模块106的输入数据中。
可选地,分割优化器的损失函数为:
其中,为训练样本预先标注的掩模真值,/>为第二高维特征,/>为训练样本数据库,/>为分割模型处理所述第二高维特征输出的预测掩模,是指对掩模真值与预测掩模差值的平方,/>为可学习的正则化参数,/>为分割模型/>中的可学参数,/>为分割损失。
在上述实现过程中,通过创新目标轮廓分割装置的结构,将定位分支与分割分支并行处理并融合,可以大大降低目标分割过程中的误差,提高了预测结果的鲁棒性。
实施例二
为了使用目标轮廓分割装置得到更好的分割效果,本申请实施例提供一种训练方法,用于训练得到实施例一中提到的任一种目标轮廓分割装置100,如图2所示,该方法包括:
S201:获取训练样本数据。训练样本数据包括检测图像及已标记的目标掩模真值、定位得分真值图。
具体地,初始训练样本数据可以只有一张检测图像,可以利用该检测图像中的目标轮廓信息得到目标掩模真值和定位得分真值图。可以通过对该检测图像进行样本增强得到多张训练样本数据。样本增强的方式不做限定,可以是翻转、放大、缩小、随机平移、模糊等操作。
S202:将训练样本数据中的检测图像输入目标轮廓分割装置100,得到预测目标掩模和预测定位得分图。
具体地,将上述训练样本数据中的检测图像分别输入到定位分支101和分割分支102的骨干神经网络中,分别提取定位相关的低维特征和目标分割相关的高维特征,将低维特征和高维特征分别输入到定位模型1022及分割模型1012中,分别输出预测定位得分图及分割相关的向量映射,其中,预测定位得分图经过位置编码器1023得到目标定位相关的向量映射。将分割相关的向量映射和定位相关的向量映射进行叠加,构成一个新的目标特征,将该目标特征输入到解码器中,得到检测目标的预测目标掩模。
S203:根据预测目标掩模与目标掩模真值确定分割损失值;根据预测定位得分图和定位得分真值图确定定位损失值。
具体地,将预测目标掩模和目标掩模真值进行对比,求两者差值,将该差值作为分割损失值,其中,该差值不做具体限定,可以是方差,也可以是欧式距离等。将预测定位得分图和定位得分真值图进行对比,求两者差值,将该差值作为定位损失。该差值也不做具体限定,可以为方差或欧式距离。
为了得到更精确的定位分割效果,可以按照下述损失函数确定分割损失和定位损失。
分割损失函数可以表达为:
其中,为第t个高维特征,/>为第t个低维特征,/>为经过t-1次训练的分割模型,/>为经过t-1次训练的定位模型,/>是指经过第t次训练得到的定位得分图,/>是指经过t次训练得到的分割相关的向量映射,/>是指对所述经过第t次训练得到的定位得分图进行位置编码,/>是指对/>融合得到的目标特征进行解码操作,得到训练出的目标掩模;/>是指将训练出的目标掩模与第t张检测图像对应的掩模真值/>作差;n为检测图像样本的数量,/>
定位损失函数可以表达为:
(2)
其中,为第t个低维特征,/>为经过t-1次更新得到的定位模型,为将第t个低维特征输入到定位模型中得到的预测定位得分图,/>第t张定位得分真值图,/>为第t张掩模真值/>是指利用掩模真值提取出目标区域,/>是指背景区域与0比较取较大值;/>为权重值,n为检测图像的数量,/>
本申请实施例为了对目标定位的更加准确,在目标定位时考虑了背景区域,但是为了让背景区域的损失对定位模型1022的影响尽可能的小,在设置损失函数时,将目标区域和背景区域的损失值分开计算,并将背景区域的损失值维持在一个合理范围内,使得在适当考虑背景区域损失的前提下目标区域的损失占据更高的权重,这样能够使得定位模型1022定位效果更加准确。
S204:根据分割损失值和定位损失值确定目标轮廓分割装置的分割定位损失值。
具体地,由于目标轮廓分割装置是将定位分支和分割分支进行融合得到的,因此,在确定分割定位损失值时,需要同时考虑分割损失和定位损失,可以对分割损失和定位损失分配不同的权重,使得总的损失值在考虑了分割损失的基础上同时考虑定位损失。
为了得到更精确的目标分割效果,分割定位损失值可以使用下面的损失函数计算,损失函数可以表达为:
其中,为公式1中的分割损失函数,/>为公式2中的定位损失函数,/>为定位损失的权重。
S205:根据分割定位损失值对目标轮廓分割装置的参数进行调整,直至分割定位损失值达到预设范围。
可选地,根据上述分割定位损失函数确定分割定位损失值,通过反复训练使得目标轮廓分割装置的损失值开始收敛,达到预设范围内,其中,预设范围不做限定,可以是大于0的值,具体损失值根据训练情况确定。
在训练目标轮廓分割装置之前,也可以单独对定位模型及分割模型进行训练。下面说明定位模型及分割模型的训练过程,在实际运用中,可以是只对定位模型进行单独训练,也可以是只对分割模型进行训练,也可以是对定位模型和分割模型均进行训练。
需要说明的是,分割模型的训练样本包括多张检测图像及对应的目标掩模真值,定位模型的训练样本包括与分割模型相同的多张检测图像及对应的定位得分真值图。训练样本的定位得分真值图与目标掩模真值可以是人工标注的,也可以是采用其他自动化标注方法标注得到的。分割模型是通过分割更新模块进行训练的,定位模型是通过定位更新模块进行训练的。
具体地,将分割模型的训练样本的多个检测图像输入到分割更新模块的第二分割骨干神经网络中,提取出多个分割相关的高维特征,将上述特征输入到分割模型中,得到训练后的目标分割掩模,将该目标分割掩模与训练样本中对应检测图像的掩模真值进行比较,根据分割优化器的损失函数求出分割优化器损失,反复训练,使得分割优化器损失达到最小值。
可选地,为了达到更好的目标分割效果,分割优化器的损失函数可以表达为:
其中,为训练样本预先标注的目标掩模真值,/>为第二高维特征,/>为训练样本数据库,/>为所述分割模型处理所述第二高维特征输出的预测掩模,是指对目标掩模真值与预测目标掩模差值的平方,/>为可学习的正则化参数,/>为所述分割模型/>中的可学参数,将训练样本数据库中的所有训练样本的损失值求和,得到总的分割损失,通过反向更新/>及参数/>和/>使得分割损失/>最小。
具体地,将定位模型的训练样本的多个检测图像输入到定位更新模块的第二定位骨干神经网络中,提取出多个定位相关的低维特征,将上述特征输入到定位模型中,得到训练后的定位得分图,根据目标掩模真值将该定位得分图的目标区域与背景区域区分开来,分别计算目标区域损失与背景区域损失,并将背景区域损失控制在合理范围内,根据定位优化器的损失函数求出定位优化器损失,反复训练,使得定位优化器损失达到最小值。
可选地,为了达到更好的目标定位效果,定位优化器的损失函数可以表达为:
其中,为预先标注的目标掩模真值,/>定位得分真值图,/>是指利用掩模真值提取出目标区域损失值,/>是指使背景区域损失值维持在0到一个较小的正值范围内。/>为权重值,然后将所有训练样本的定位损失值求和,得到总的定位损失。通过反向更新/>,及参数/>和/>使得定位损失/>最小。
通过采用分割更新模块对分割模型进行更新,能够得到更加准确的分割模型参数,通过采用定位更新模块对定位模型进行更新,能够得到更加准确的定位模型参数,从而使得定位模型与分割模型输出的定位得分图与目标掩模更加准确,进而降低预测误差。
在上述实现过程中,由于在考虑损失值时同时考虑了定位损失与分割损失,因此,很大程度提升了检测模型的鲁棒性。
实施例三
在前述介绍了目标轮廓分割装置及其训练方法之后,本申请实施例还提供一种使用该目标轮廓分割装置100进行目标轮廓的分割方法,如图3所示,该分割方法包括:
S301:获取待检测图像。
可选的,该待检测图像可以是红外图像,也可以是可见光图像。
S302:将待检测图像输入到如实施例一所述的目标轮廓分割装置100中,得到预测目标掩模。
具体地,将上述待检测数据输入到如实施例一的目标轮廓分割装置100中,经过分割/定位骨干神经网络输出分割相关的高维特征与定位相关的低维特征,将高维特征与低维特征分别输入到分割模型1012及定位模型1022中,分别输出分割向量映射与定位得分图,将定位得分图输入位置编码器1023中,得到定位向量映射,将定位向量映射与分割向量映射进行融合,需要说明的是,这里所说的融合是指将两个向量映射相互叠加,得到一个新的目标特征的向量映射,将这个新的目标特征的向量映射输入到解码器104中,输出最终的预测目标掩模。
S303:对预测目标掩模进行阈值化处理,得到目标轮廓。
具体地,选取预设阈值,所述预设阈值可以是一个,也可以是多个,根据预设阈值对预测目标掩模进行二值化处理,得到目标轮廓。
本申请实施例提供的分割方法,能够在使用过程中对分割模型1012及定位模型1022进行动态更新,下面详细介绍分割模型1012及定位模型1022在目标轮廓分割装置100在使用过程中的动态更新方法。
在目标轮廓分割装置100的使用过程中,会输出预测目标掩模和预测定位得分图,当满足一定的预设条件后,将下一次使用时输出的预测目标掩模及预测定位得分图分别作为分割更新模块106和定位更新模块105的输入数据,对分割模型1012和定位模型1022进行更新。
其中,需要满足的预设条件为当预测目标掩模及其对应的检测图像对应的掩模真值的交并比大于预设阈值。公式可以表达为:
Jaccard(C(t-1),C ̅(t-1))>σ
其中,C(t-1)为预测目标掩模,C ̅(t-1)为掩模真值,Jaccard是指二者的交并比,σ代表预设阈值,σ的取值范围为大于0的值。
在上述实现过程中,当满足上述条件时,能够确保目标轮廓分割装置100的预测效果达到期望值,此时,将预测目标掩模与预测定位得分图作为分割更新模块与定位更新模块的输入数据,就能够得到更加准确的且能适应检测图像变化的分割模型与定位模型。
对定位模型1022及分割模型1012的更新方法与定位模型1022及分割模型1012的训练方法类似,仅是输入数据存在区别,区别在于定位模型1022更新方法的输入数据为满足预设条件的预测目标掩模及预测定位得分图,在此不再一一赘述。
在上述实现过程中,通过使用如第一方面任一项的目标轮廓分割装置,能够更准确地检测到目标轮廓,降低了检测误差,提高了检测过程的鲁棒性。
实施例四
本申请实施例提供一种电子设备400,如图4所示,电子设备400包括:处理器401及存储器402。处理器401用于执行存储器402中存储的程序,以实现如实施例二或实施例三任一实施方式中所述的方法。
可以理解,图4所示的结构仅为示意,电子设备400还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。
例如,处理器401和存储器402之间可以是通过通信总线的方式进行的连接。又例如,电子设备400还可包括诸如显示器、鼠标、键盘等部件。
在本申请实施例中,处理器401可以为中央处理器、微处理器、单片机等,但不作为限制。存储器402可以为随机存取存储器,只读存储器,可编程只读存储器,可擦除只读存储器,电可擦除只读存储器等,但不作为限制。
在本申请实施例中,电子设备400可以是,但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备,还可以是虚拟机等虚拟设备。另外,电子设备也不一定是单台设备,还可以是多台设备的组合,例如服务器集群,等等。
本申请实施例还提供一种计算机可读存储介质,如软盘、光盘、硬盘、闪存、U盘、SD(Secure Digital Memory Card,安全数码卡)卡、MMC(Multimedia Card,多媒体卡)卡等,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器401执行,以使用如实施例二或实施例三中任一实施方式中所述的方法。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
在本文中,多个是指两个或两个以上。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (13)

1.一种目标轮廓分割装置,其特征在于,所述目标轮廓分割装置包括:
定位分支,用于对检测图像中的目标进行定位;
分割分支,用于对所述检测图像中的所述目标的轮廓进行分割;
融合层,用于将所述定位分支与所述分割分支的输出数据相互融合,得到融合结果;
解码器,用于对所述融合结果进行解码,得到预测目标掩模;
其中,所述定位分支包括:定位骨干神经网络、定位模型、位置编码器;
所述定位骨干神经网络,用于从所述检测图像中提取所述目标的低维特征;
所述定位模型,用于根据所述低维特征,确定所述目标的定位得分图;
所述位置编码器,用于根据所述定位得分图,计算所述目标定位的向量映射;
所述目标轮廓分割装置还包括:定位更新模块,用于在线更新所述定位模型;
所述定位更新模块,包括:第二定位骨干神经网络、定位优化器;
所述第二定位骨干神经网络,用于从所述检测图像中提取所述目标的低维特征;
所述定位优化器,用于学习所述低维特征及定位得分真值图,以更新所述定位模型;所述定位优化器的损失函数为:
其中,为所述定位得分真值图,/>为所述低维特征,/>为训练样本数据库,为所述定位模型处理所述低维特征输出的预测定位得分图,/>为可学习的正则化参数,/>为所述定位模型/>中的可学参数,/>为空间权重,/>为训练样本预先得到的掩模真值,/>是指利用所述掩膜真值提取出目标区域,是指背景区域与0比较取较大值,Ll为定位损失值。
2.根据权利要求1所述的目标轮廓分割装置,其特征在于,所述定位更新模块,用于在满足所述预测目标掩模与所述检测图像对应的掩模真值的交并比大于预设阈值的情况下,更新所述定位模型。
3.根据权利要求1所述的目标轮廓分割装置,其特征在于,所述分割分支包括:
分割骨干神经网络,用于从所述检测图像中提取所述目标的高维特征;
分割模型,用于根据所述高维特征,确定所述目标分割的向量映射。
4.根据权利要求3所述的目标轮廓分割装置,其特征在于,所述目标轮廓分割装置还包括:
分割更新模块,用于在线更新所述分割模型。
5.根据权利要求4所述的目标轮廓分割装置,其特征在于,所述分割更新模块,包括:
第二分割骨干神经网络,用于从所述检测图像中提取所述目标的第二高维特征;
分割优化器,用于学习所述第二高维特征及掩模真值,以更新所述分割模型。
6.根据权利要求5所述的目标轮廓分割装置,其特征在于,所述分割优化器的损失函数为:,其中,/>为训练样本预先标注的掩模真值,/>为所述第二高维特征,/>为训练样本数据库,/>为所述分割模型处理所述第二高维特征输出的预测掩模,/>是指对所述掩模真值与预测掩模差值的平方,/>为可学习的正则化参数,/>为所述分割模型/>中的可学参数,/>为分割损失。
7.根据权利要求4-6所述的目标轮廓分割装置,其特征在于,所述分割更新模块,用于在满足所述预测目标掩模与所述检测图像对应的掩模真值的交并比大于预设阈值的情况下,更新所述分割模型。
8.一种训练方法,其特征在于,用于训练如权利要求1-7任一项所述的目标轮廓分割装置,所述训练方法包括:
获取训练样本数据;所述训练样本数据包括检测图像及已标记的掩模真值、定位得分真值图;
将所述训练样本数据中的检测图像输入所述目标轮廓分割装置,得到预测目标掩模和预测定位得分图;
根据所述预测目标掩模与所述掩模真值确定分割损失值;根据所述预测定位得分图和所述定位得分真值图确定定位损失值;
根据所述分割损失值和定位损失值确定所述目标轮廓分割装置的分割定位损失值;
根据所述分割定位损失值对所述目标轮廓分割装置的参数进行调整,直至所述分割定位损失值达到预设范围。
9.根据权利要求8所述的训练方法,其特征在于,所述根据所述预测目标掩模与所述掩模真值确定分割损失值,包括:
根据分割损失函数确定所述分割损失值;所述分割损失函数为:
;其中,/>为第t个高维特征,/>为第t个低维特征,/>为经过t-1次训练的分割模型,/>为经过t-1次训练的定位模型,/>是指经过第t次训练得到的定位得分图,/>是指经过t次训练得到的分割相关的向量映射,/>是指对所述经过第t次训练得到的定位得分图进行位置编码,/>是指对/>融合得到的目标特征进行解码操作,得到训练出的目标掩模;/>是指将训练出的目标掩模与第t张检测图像对应的掩模真值/>作差;n为检测图像样本的数量,/>
10. 根据权利要求8所述的训练方法,其特征在于,所述根据所述预测定位得分图和所述定位得分真值图确定定位损失值,包括:
根据定位损失函数确定所述定位损失值,其中,所述定位损失函数为
其中,为第t个低维特征,/>为经过t-1次更新得到的定位模型,/>为将第t个低维特征输入到定位模型中得到的预测定位得分图,/>第t张定位得分真值图,为第t张掩模真值/>是指利用掩模真值提取出目标区域,是指背景区域与0比较取较大值;/>为权重值,n为检测图像的数量,/>
11.一种目标轮廓的分割方法,其特征在于,所述分割方法包括:
获取待检测图像;
将所述待检测图像输入到如权利要求1-7任一项所述的目标轮廓分割装置中,得到预测目标掩模;
对所述预测目标掩模进行阈值化处理,得到目标轮廓。
12.一种电子设备,其特征在于,包括:处理器及存储器;所述处理器用于执行所述存储器中存储的程序,以实现如权利要求8至11任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以使用如权利要求8至11中任一项所述的方法。
CN202311597216.6A 2023-11-28 2023-11-28 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质 Active CN117315263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311597216.6A CN117315263B (zh) 2023-11-28 2023-11-28 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311597216.6A CN117315263B (zh) 2023-11-28 2023-11-28 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117315263A CN117315263A (zh) 2023-12-29
CN117315263B true CN117315263B (zh) 2024-03-22

Family

ID=89297585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311597216.6A Active CN117315263B (zh) 2023-11-28 2023-11-28 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117315263B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893838A (zh) * 2024-03-14 2024-04-16 厦门大学 应用扩散检测模型的目标检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258558A (zh) * 2020-10-23 2021-01-22 复旦大学 基于多尺度孪生网络的目标追踪方法、电子设备及介质
CN112508975A (zh) * 2020-12-21 2021-03-16 上海眼控科技股份有限公司 一种图像识别方法、装置、设备及存储介质
WO2021057848A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN112884753A (zh) * 2021-03-10 2021-06-01 杭州申昊科技股份有限公司 一种基于卷积神经网络的轨道扣件检测及分类方法
WO2022077917A1 (zh) * 2020-10-14 2022-04-21 平安科技(深圳)有限公司 实例分割模型样本筛选方法、装置、计算机设备及介质
CN114581668A (zh) * 2022-03-08 2022-06-03 乐普(北京)医疗器械股份有限公司 一种分割模型构建和轮廓识别方法、装置及计算机设备
CN115578616A (zh) * 2022-09-28 2023-01-06 深圳市华汉伟业科技有限公司 多尺度物体实例分割模型的训练方法、分割方法和装置
CN116934807A (zh) * 2023-07-20 2023-10-24 中国地质大学(武汉) 一种孪生网络单目标跟踪方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057848A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
WO2022077917A1 (zh) * 2020-10-14 2022-04-21 平安科技(深圳)有限公司 实例分割模型样本筛选方法、装置、计算机设备及介质
CN112258558A (zh) * 2020-10-23 2021-01-22 复旦大学 基于多尺度孪生网络的目标追踪方法、电子设备及介质
CN112508975A (zh) * 2020-12-21 2021-03-16 上海眼控科技股份有限公司 一种图像识别方法、装置、设备及存储介质
CN112884753A (zh) * 2021-03-10 2021-06-01 杭州申昊科技股份有限公司 一种基于卷积神经网络的轨道扣件检测及分类方法
CN114581668A (zh) * 2022-03-08 2022-06-03 乐普(北京)医疗器械股份有限公司 一种分割模型构建和轮廓识别方法、装置及计算机设备
CN115578616A (zh) * 2022-09-28 2023-01-06 深圳市华汉伟业科技有限公司 多尺度物体实例分割模型的训练方法、分割方法和装置
CN116934807A (zh) * 2023-07-20 2023-10-24 中国地质大学(武汉) 一种孪生网络单目标跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Linwei Ye等.Evaluation on fusion of saliency and objectness for salient object segmentation.《ICIMCS'15》.2015,全文. *
一种基于掩膜组合的多类弹载图像目标分割算法;袁汉钦等;《舰船电子工程》(第06期);全文 *
基于深度特征融合的图像语义分割;周鹏程等;《计算机科学》(第02期);全文 *

Also Published As

Publication number Publication date
CN117315263A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
WO2022105125A1 (zh) 图像分割方法、装置、计算机设备及存储介质
CN114066902A (zh) 一种基于卷积和transformer融合的医学图像分割方法、系统、装置
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN117315263B (zh) 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质
CN112036514B (zh) 一种图像分类方法、装置、服务器及计算机可读存储介质
Yang et al. Active matting
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN114445640A (zh) 基于描述子一致性约束的异源遥感图像块匹配方法及系统
CN107688822B (zh) 基于深度学习的新增类别识别方法
CN114511523B (zh) 基于自监督学习的胃癌分子亚型分类方法及装置
Bergler et al. FIN-PRINT a fully-automated multi-stage deep-learning-based framework for the individual recognition of killer whales
CN116266259A (zh) 图像文字结构化输出方法、装置、电子设备和存储介质
CN116824677B (zh) 表情识别方法、装置、电子设备及存储介质
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
CN112597997A (zh) 感兴趣区域确定方法、图像内容识别方法及装置
CN112395407A (zh) 企业实体关系的抽取方法、装置及存储介质
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN113837015A (zh) 一种基于特征金字塔的人脸检测方法及系统
CN113920311A (zh) 一种基于边缘辅助信息的遥感图像分割方法及系统
CN114067277A (zh) 行人图像识别方法、装置、电子设备及存储介质
CN112926585A (zh) 一种基于再生核希尔伯特空间的跨域语义分割方法
CN116824306B (zh) 基于多模态元数据的笔石化石图像识别模型的训练方法
Tan et al. BSIRNet: A road extraction network with bidirectional spatial information reasoning
Gao et al. Rapid human finding with motion segmentation for mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant