CN111209915A - 一种基于深度学习的三维图像同步识别和分割方法 - Google Patents
一种基于深度学习的三维图像同步识别和分割方法 Download PDFInfo
- Publication number
- CN111209915A CN111209915A CN201911351800.7A CN201911351800A CN111209915A CN 111209915 A CN111209915 A CN 111209915A CN 201911351800 A CN201911351800 A CN 201911351800A CN 111209915 A CN111209915 A CN 111209915A
- Authority
- CN
- China
- Prior art keywords
- target
- segmentation
- layer
- semantic
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000011176 pooling Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000012512 characterization method Methods 0.000 abstract description 5
- 230000008447 perception Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的三维图像同步识别和分割方法,采用Faster RCNN网络实现对空间非结构复杂环境的三维图像的目标分类和目标检测,采用U‑Net网络实现对空间非结构复杂环境的场景的语义分割和实例分割,最终获得空间目标或部组件实体,基于目标分类、目标检测、语义分割和实例分割结果实现目标的智能识别和场景理解。本发明基于深度学习实现空间非结构复杂环境目标识别、目标检测、语义分割和实例分割等智能感知,完成空间非结构复杂环境场景解析与表征,解决了目标识别和场景理解存在的识别鲁棒性差、泛化性差以及难以获得更深层次语义信息的问题,为在轨抓捕和精细操作奠定基础。
Description
技术领域
本发明涉及一种基于深度学习的三维图像同步识别和分割方法。
背景技术
实现失效目标的在轨操作任务的前提是解决目标识别和场景理解问题,传统方法大多采用Faster R-CNN算法进行目标分类和目标检测,借助SegNet、ENet等实施语义分割,采用Mask R-CNN方法进行实例分割,会存在以下弊端:1)仅能对2D图像操作,并在2D空间输出结果,而空间可以提供完备的场景深度信息,由于没有很好地利用空间3D信息,无法获得更好的性能;2)已有方法都是孤立地去处理目标识别、目标检测、实例分割和语义分割等任务,没有很好地利用任务之间的关联,充分挖掘内在的关联信息,无法获得大幅度的性能提升。
发明内容
本发明提供一种基于深度学习的三维图像同步识别和分割方法,基于深度学习实现空间非结构复杂环境目标识别、目标检测、语义分割和实例分割等智能感知,完成空间非结构复杂环境场景解析与表征,解决了目标识别和场景理解存在的识别鲁棒性差、泛化性差以及难以获得更深层次语义信息的问题,为在轨抓捕和精细操作奠定基础。
为了达到上述目的,本发明提供一种基于深度学习的三维图像同步识别和分割方法,包含以下步骤:
采用Faster RCNN网络实现对空间非结构复杂环境的三维图像的目标分类和目标检测,采用U-Net网络实现对空间非结构复杂环境的场景的语义分割和实例分割,最终获得空间目标或部组件实体;
基于目标分类、目标检测、语义分割和实例分割结果,提取各目标与部组件实体,利用视觉系统中深度相机输出的三维点云信息,抽取不同目标或部组件实体之间的几何关系,并将其映射至各目标或部组件实体对应的节点之间的空间关系、时序关系以及语义关系,生成描述空间非结构复杂环境的知识图谱,完成目标尺寸、位置、角度、速度和角速度的语义描述,实现目标的智能识别和场景理解。
所述的采用Faster RCNN网络实现目标分类和目标检测的方法包含:
通过多层的卷积层和池化层来提取三维图像的特征图;
区域提议网络根据倒数第二层的卷积层和池化层的输出结果生成候选区域;
候选区域匹配综合倒数第二层的卷积层和池化层的输出结果,以及区域提议网络输出的候选区域,提取候选区域的特征图送入最后一层的卷积层和池化层;
全连接层根据最后一层的卷积层和池化层输出的候选区域的特征图判定目标类别,实现目标分类,全连接层使用检测框回归方法获得检测框的精确位置,实现目标检测。
所述的区域提议网络通过softmax函数判断图像区域属于正类或者负类,再利用检测框回归方法进行修正以获得精确的候选区域,损失函数是分类误差和回归误差的联合损失:
其中,(Gx,Gy,Gz,Gw,Gh,Gd)表示真实目标的中心坐标和边框宽、高和深度,(Px,Py,Pz,Pw,Ph,Pd)表示候选区域的中心坐标和区域的宽、高和深度;
对于边框回归层定义的损失为:
所述的采用U-Net网络实现语义分割和实例分割的方法包含:在语义分割分支中,所述的U-Net网络对Faster RCNN网络中卷积运算的各个维度的卷积池化计算结果进行复制和裁剪,把各个维度归一化后的结果进行卷积和池化,并对后一层的卷积池化结果不断进行上采样,将上采样层的输出结果与每一步卷积过程中得到的特征图进行融合,以还原特征在原图上的位置信息,实现语义分割;在实例分割分支中,所述的U-Net网络在目标检测的基础上,对Faster RCNN网络的最后一层的卷积层和池化层的输出进行卷积来实现检测对象的分割。
所述的基于目标分类、目标检测、语义分割和实例分割结果,实现目标的智能识别和场景理解的方法包含:
基于目标分类、目标检测、语义分割和实例分割结果,将场景中的每个空间目标或部组件实体对应为知识图谱中的一个节点,建立知识图谱;
对知识谱图中各节点之间的关系进行知识抽取,将节点名称映射为其对应的语义分割标签,利用视觉系统中深度相机输出的三维点云信息,抽取不同节点间的几何关系,将其映射至知识图谱中各节点的关系与属性,实现对知识图谱中各节点之间的关系的抽取和建立;
利用空间目标先验知识库中已有的安装关系、主备份关系、关键属性等先验知识,对已建立的知识图谱进行知识合并、实体消岐修正,最终形成修正后的知识图谱,形成场景内关键目标的语义关系描述。
本发明为了提高目标识别和分割的性能,借鉴多任务学习思想,提出基于三维图像的同步识别与分割方法,设计同步识别与分割的基础网络架构来挖掘不同任务间的联系,分别采用基于三维数据的Faster RCNN网络实现目标识别和检测,以及采用U-Net网络实现场景语义分割和实例分割,所设计的同步识别与分割的基础网络架构只经过一次训练过程,就能够同时处理目标检测识别和实例分割等多种任务,大大提升各任务精度,并有效降低了训练时间。通过空间非结构复杂环境场景解析与表征技术,完成目标尺寸、位置、角度、速度和角速度的语义获取,实现目标的智能识别和场景理解,为失效目标的在轨模块更换、帆板辅助展开等操作任务提供了技术支撑。
附图说明
图1是本发明提供的一种基于深度学习的三维图像同步识别和分割方法的流程图。
图2是同步识别与分割的基础网络架构的示意图。
图3是知识图谱场景解析关系构建过程图。
具体实施方式
以下根据图1~图3,具体说明本发明的较佳实施例。
针对失效目标抓捕和操作任务需求,为了解决失效目标加注口、对接环、帆板等特定部位的识别和分割问题,如图1所示,本发明提供一种基于深度学习的三维图像同步识别和分割方法,包含以下步骤:
步骤S1、建立同步识别与分割的基础网络架构,采用Faster RCNN网络实现对空间非结构复杂环境的三维图像的目标分类和目标检测,采用U-Net网络实现对空间非结构复杂环境的场景的语义分割和实例分割;
所述的识别包含目标分类和目标检测:目标分类是确定图像中目标的类别;目标检测是确定图像中目标的长、宽和高等具体位置;
所述的分割包含语义分割和实例分割:语义分割是对图像进行逐像素分类;实例分割是对图像中的目标进行检测,并对检测到的目标进行分割。
步骤S2、基于目标分类、目标检测、语义分割和实例分割结果,提取各目标与部组件实体,利用视觉系统中深度相机输出的三维点云信息,抽取不同目标/部组件实体之间的几何关系(包括但不限于方向关系、拓扑关系、距离关系等),并将其映射至各实体对应的节点之间的空间关系、时序关系以及语义关系,生成描述空间非结构复杂环境的知识图谱,完成目标尺寸、位置、角度、速度和角速度的语义描述,实现目标的智能识别和场景理解。
在本发明的一个实施例中,如图2所示,所述的同步识别与分割的基础网络架构中,包含Faster RCNN网络和U-Net网络。
所述的基于三维数据的快速目标检测Faster RCNN算法,不仅可以识别出物体属于哪个分类,还可以得到物体在图片中的具体位置,克服视角变化、光照变化、形变、遮挡、背景干扰等问题,它将特征抽取、候选区域提取、检测框回归、目标分类等功能模块整合在一个网络中,较大提高了综合性能,在检测速度方面的提升尤为明显。
如图2所示,在本发明的一个实施例中,所述的Faster RCNN网络包含:卷积层和池化层、区域提议网络、候选区域匹配、全连接层,可实现目标分类和目标检测。使用一组基础网络来提取三维图像的特征图,所述的基础网络包含卷积层和池化层,所述的基础网络可用于区域提议网络(Region Proposal Networks,RPN)、候选区域匹配、全连接网络、U-Net网络;
所述的区域提议网络(RPN)用于生成候选区域,通过softmax函数判断图像区域属于正类或者负类,再利用检测框回归方法进行修正以获得精确的候选区域,该训练过程是端到端的,损失函数是分类误差和回归误差的联合损失:
其中,(Gx,Gy,Gz,Gw,Gh,Gd)表示真实目标的中心坐标和边框宽、高和深度,(Px,Py,Pz,Pw,Ph,Pd)表示候选区域的中心坐标和区域的宽、高和深度。
对于边框回归层定义的损失为:
在训练时,正样本为与任意真实边框的交并比大于0.7的候选区,负样本为与所有的真实边框的交并比小于0.3的候选区,而不属于以上两种情况的目标候选区不在训练中使用。
所述的目标分类与目标检测分支中,基于候选区域匹配方法收集输入的特征图和候选区域,综合这些信息后提取候选区域的特征图,送入后续的全连接层判定目标类别,同时使用检测框回归方法获得检测框的精确位置,实现目标检测。
如图2所示,在语义分割分支中,选择具有高分割精度、高实时性的U-Net网络结构,所述的U-Net网络对Faster RCNN网络中卷积运算的各个维度的卷积池化计算结果进行复制和裁剪,把各个维度归一化后的结果进行卷积和池化,并对后一层的卷积池化结果不断进行上采样,将上采样层的输出结果与每一步卷积过程中得到的特征图进行融合,以还原特征在原图上的位置信息,实现语义分割。在实例分割分支中,在目标检测的基础上,对卷积层5和池化层5进行卷积来实现检测对象的分割。
在同步识别和分割网络训练时,通过输入大量图像样本的真值,并借助反向传播的训练机制,可以让学习到的网络参数同步实现目标分类、目标检测、语义分割和实例分割等功能。
在本发明的一个实施例中,所述的步骤S2具体包含以下步骤:
步骤S2.1、基于同步识别与分割的基础网络架构获得的目标识别和目标检测结果与语义分割和实例分割结果,将场景中的每个构成要素(即每个被检测并分割出的空间目标或部组件,包括但不限于卫星本体、太阳能帆板、星敏感器、天线等)对应为知识图谱中的一个节点,建立知识图谱;
其中,每个节点的属性信息由各测量单机的输出数据融合处理得出,如宽、高、深度、形状、体积、质心、姿态、角度信息等;
步骤S2.2、对知识谱图中各节点之间的关系进行知识抽取,将节点名称映射为其对应的语义分割标签,利用视觉系统中深度相机输出的三维点云信息,抽取不同节点间的几何关系(包括但不限于方向关系、拓扑关系、距离关系等),将其映射至知识图谱中各节点的关系与属性,实现对知识图谱中各节点之间的关系的抽取和建立;
步骤S2.3、利用空间目标先验知识库中已有的安装关系、主备份关系、关键属性等先验知识,对已建立的知识图谱进行知识合并、实体消岐修正,最终形成修正后的知识图谱,形成场景内关键目标的语义关系描述。
本发明为了提高目标识别和分割的性能,借鉴多任务学习思想,提出基于三维图像的同步识别与分割方法,设计同步识别与分割的基础网络架构来挖掘不同任务间的联系,分别采用基于三维数据的Faster RCNN网络实现目标识别和检测,以及采用U-Net网络实现场景语义分割和实例分割,所设计的同步识别与分割的基础网络架构只经过一次训练过程,就能够同时处理目标检测识别和实例分割等多种任务,大大提升各任务精度,并有效降低了训练时间。通过空间非结构复杂环境场景解析与表征技术,完成目标尺寸、位置、角度、速度和角速度的语义获取,实现目标的智能识别和场景理解,为失效目标的在轨模块更换、帆板辅助展开等操作任务提供了技术支撑。本发明基于深度学习实现空间非结构复杂环境目标识别、目标检测、语义分割和实例分割等智能感知,完成空间非结构复杂环境场景解析与表征,解决了目标识别和场景理解存在的识别鲁棒性差、泛化性差以及难以获得更深层次语义信息的问题,为在轨抓捕和精细操作奠定基础。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。
Claims (5)
1.一种基于深度学习的三维图像同步识别和分割方法,其特征在于,包含以下步骤:
采用Faster RCNN网络实现对空间非结构复杂环境的三维图像的目标分类和目标检测,采用U-Net网络实现对空间非结构复杂环境的场景的语义分割和实例分割,最终获得空间目标或部组件实体;
基于目标分类、目标检测、语义分割和实例分割结果,提取各目标与部组件实体,利用视觉系统中深度相机输出的三维点云信息,抽取不同目标或部组件实体之间的几何关系,并将其映射至各目标或部组件实体对应的节点之间的空间关系、时序关系以及语义关系,生成描述空间非结构复杂环境的知识图谱,完成目标尺寸、位置、角度、速度和角速度的语义描述,实现目标的智能识别和场景理解。
2.如权利要求1所述的基于深度学习的三维图像同步识别和分割方法,其特征在于,所述的采用Faster RCNN网络实现目标分类和目标检测的方法包含:
通过多层的卷积层和池化层来提取三维图像的特征图;
区域提议网络根据倒数第二层的卷积层和池化层的输出结果生成候选区域;
候选区域匹配综合倒数第二层的卷积层和池化层的输出结果,以及区域提议网络输出的候选区域,提取候选区域的特征图送入最后一层的卷积层和池化层;
全连接层根据最后一层的卷积层和池化层输出的候选区域的特征图判定目标类别,实现目标分类,全连接层使用检测框回归方法获得检测框的精确位置,实现目标检测。
3.如权利要求2所述的基于深度学习的三维图像同步识别和分割方法,其特征在于,所述的区域提议网络通过softmax函数判断图像区域属于正类或者负类,再利用检测框回归方法进行修正以获得精确的候选区域,损失函数是分类误差和回归误差的联合损失:
其中,(Gx,Gy,Gz,Gw,Gh,Gd)表示真实目标的中心坐标和边框宽、高和深度,(Px,Py,Pz,Pw,Ph,Pd)表示候选区域的中心坐标和区域的宽、高和深度;
对于边框回归层定义的损失为:
4.如权利要求3所述的基于深度学习的三维图像同步识别和分割方法,其特征在于,所述的采用U-Net网络实现语义分割和实例分割的方法包含:在语义分割分支中,所述的U-Net网络对Faster RCNN网络中卷积运算的各个维度的卷积池化计算结果进行复制和裁剪,把各个维度归一化后的结果进行卷积和池化,并对后一层的卷积池化结果不断进行上采样,将上采样层的输出结果与每一步卷积过程中得到的特征图进行融合,以还原特征在原图上的位置信息,实现语义分割;在实例分割分支中,所述的U-Net网络在目标检测的基础上,对Faster RCNN网络的最后一层的卷积层和池化层的输出进行卷积来实现检测对象的分割。
5.如权利要求4所述的基于深度学习的三维图像同步识别和分割方法,其特征在于,所述的基于目标分类、目标检测、语义分割和实例分割结果,实现目标的智能识别和场景理解的方法包含:
基于目标分类、目标检测、语义分割和实例分割结果,将场景中的每个空间目标或部组件实体对应为知识图谱中的一个节点,建立知识图谱;
对知识谱图中各节点之间的关系进行知识抽取,将节点名称映射为其对应的语义分割标签,利用视觉系统中深度相机输出的三维点云信息,抽取不同节点间的几何关系,将其映射至知识图谱中各节点的关系与属性,实现对知识图谱中各节点之间的关系的抽取和建立;
利用空间目标先验知识库中已有的安装关系、主备份关系、关键属性等先验知识,对已建立的知识图谱进行知识合并、实体消岐修正,最终形成修正后的知识图谱,形成场景内关键目标的语义关系描述。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911351800.7A CN111209915B (zh) | 2019-12-25 | 2019-12-25 | 一种基于深度学习的三维图像同步识别和分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911351800.7A CN111209915B (zh) | 2019-12-25 | 2019-12-25 | 一种基于深度学习的三维图像同步识别和分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111209915A true CN111209915A (zh) | 2020-05-29 |
CN111209915B CN111209915B (zh) | 2023-09-15 |
Family
ID=70784307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911351800.7A Active CN111209915B (zh) | 2019-12-25 | 2019-12-25 | 一种基于深度学习的三维图像同步识别和分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111209915B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111914622A (zh) * | 2020-06-16 | 2020-11-10 | 北京工业大学 | 一种基于深度学习的人物交互检测方法 |
CN111968121A (zh) * | 2020-08-03 | 2020-11-20 | 电子科技大学 | 一种基于实例嵌入与语义融合的三维点云场景分割方法 |
CN112017188A (zh) * | 2020-09-09 | 2020-12-01 | 上海航天控制技术研究所 | 一种空间非合作目标语义识别与重构方法 |
CN112183264A (zh) * | 2020-09-17 | 2021-01-05 | 国网天津静海供电有限公司 | 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法 |
CN112417961A (zh) * | 2020-10-20 | 2021-02-26 | 上海大学 | 一种基于场景先验知识的海面目标检测方法 |
CN112489060A (zh) * | 2020-12-07 | 2021-03-12 | 北京医准智能科技有限公司 | 一种用于肺炎病灶分割的系统及方法 |
CN112541912A (zh) * | 2020-12-23 | 2021-03-23 | 中国矿业大学 | 矿井突发灾害场景中显著性目标的快速检测方法及装置 |
CN112560637A (zh) * | 2020-12-10 | 2021-03-26 | 长沙理工大学 | 一种基于深度学习的服饰解析方法、设备及存储介质 |
CN112862776A (zh) * | 2021-02-02 | 2021-05-28 | 中电鸿信信息科技有限公司 | 基于ar和多重语义分割的智能测量方法 |
CN113610047A (zh) * | 2021-08-24 | 2021-11-05 | 上海发网供应链管理有限公司 | 产线物品基于目标检测的识别方法及系统 |
CN113935368A (zh) * | 2021-10-13 | 2022-01-14 | 福州大学 | 针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法 |
CN115100643A (zh) * | 2022-08-26 | 2022-09-23 | 潍坊现代农业与生态环境研究院 | 融合三维场景语义的单目视觉定位增强方法和设备 |
US11580328B1 (en) * | 2017-07-21 | 2023-02-14 | Apple Inc. | Semantic labeling of point clouds using images |
CN116091845A (zh) * | 2023-03-06 | 2023-05-09 | 北京数慧时空信息技术有限公司 | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 |
EP4206903A1 (en) * | 2021-12-31 | 2023-07-05 | Accenture Global Solutions Limited | Intelligent automation of ui interactions |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
WO2018039269A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
US20190164290A1 (en) * | 2016-08-25 | 2019-05-30 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
CN109886357A (zh) * | 2019-03-13 | 2019-06-14 | 哈尔滨工程大学 | 一种基于特征融合的自适应权重深度学习目标分类方法 |
CN110148111A (zh) * | 2019-04-01 | 2019-08-20 | 江西比格威医疗科技有限公司 | 一种视网膜oct图像中多种视网膜病灶的自动检测方法 |
US10426442B1 (en) * | 2019-06-14 | 2019-10-01 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
-
2019
- 2019-12-25 CN CN201911351800.7A patent/CN111209915B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018039269A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
US20190164290A1 (en) * | 2016-08-25 | 2019-05-30 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
CN109886357A (zh) * | 2019-03-13 | 2019-06-14 | 哈尔滨工程大学 | 一种基于特征融合的自适应权重深度学习目标分类方法 |
CN110148111A (zh) * | 2019-04-01 | 2019-08-20 | 江西比格威医疗科技有限公司 | 一种视网膜oct图像中多种视网膜病灶的自动检测方法 |
US10426442B1 (en) * | 2019-06-14 | 2019-10-01 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
Non-Patent Citations (3)
Title |
---|
宁霄;赵鹏;: "基于U-Net卷积神经网络的年轮图像分割算法" * |
徐江川;金国强;朱天奕;余芬芬;郭杰;金一;竺长安;: "基于深度学习U-Net模型的石块图像分割算法" * |
谢奇芳;姚国清;张猛;: "基于Faster R-CNN的高分辨率图像目标检测技术" * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11580328B1 (en) * | 2017-07-21 | 2023-02-14 | Apple Inc. | Semantic labeling of point clouds using images |
CN111914622A (zh) * | 2020-06-16 | 2020-11-10 | 北京工业大学 | 一种基于深度学习的人物交互检测方法 |
CN111914622B (zh) * | 2020-06-16 | 2024-03-26 | 北京工业大学 | 一种基于深度学习的人物交互检测方法 |
CN111968121B (zh) * | 2020-08-03 | 2021-12-03 | 电子科技大学 | 一种基于实例嵌入与语义融合的三维点云场景分割方法 |
CN111968121A (zh) * | 2020-08-03 | 2020-11-20 | 电子科技大学 | 一种基于实例嵌入与语义融合的三维点云场景分割方法 |
CN112017188A (zh) * | 2020-09-09 | 2020-12-01 | 上海航天控制技术研究所 | 一种空间非合作目标语义识别与重构方法 |
CN112017188B (zh) * | 2020-09-09 | 2024-04-09 | 上海航天控制技术研究所 | 一种空间非合作目标语义识别与重构方法 |
CN112183264B (zh) * | 2020-09-17 | 2023-04-21 | 国网天津静海供电有限公司 | 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法 |
CN112183264A (zh) * | 2020-09-17 | 2021-01-05 | 国网天津静海供电有限公司 | 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法 |
CN112417961A (zh) * | 2020-10-20 | 2021-02-26 | 上海大学 | 一种基于场景先验知识的海面目标检测方法 |
CN112417961B (zh) * | 2020-10-20 | 2023-02-10 | 上海大学 | 一种基于场景先验知识的海面目标检测方法 |
CN112489060A (zh) * | 2020-12-07 | 2021-03-12 | 北京医准智能科技有限公司 | 一种用于肺炎病灶分割的系统及方法 |
CN112560637A (zh) * | 2020-12-10 | 2021-03-26 | 长沙理工大学 | 一种基于深度学习的服饰解析方法、设备及存储介质 |
CN112560637B (zh) * | 2020-12-10 | 2024-03-15 | 长沙理工大学 | 一种基于深度学习的服饰解析方法、设备及存储介质 |
CN112541912A (zh) * | 2020-12-23 | 2021-03-23 | 中国矿业大学 | 矿井突发灾害场景中显著性目标的快速检测方法及装置 |
CN112541912B (zh) * | 2020-12-23 | 2024-03-12 | 中国矿业大学 | 矿井突发灾害场景中显著性目标的快速检测方法及装置 |
CN112862776A (zh) * | 2021-02-02 | 2021-05-28 | 中电鸿信信息科技有限公司 | 基于ar和多重语义分割的智能测量方法 |
CN113610047A (zh) * | 2021-08-24 | 2021-11-05 | 上海发网供应链管理有限公司 | 产线物品基于目标检测的识别方法及系统 |
CN113935368B (zh) * | 2021-10-13 | 2024-06-07 | 福州大学 | 针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法 |
CN113935368A (zh) * | 2021-10-13 | 2022-01-14 | 福州大学 | 针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法 |
EP4206903A1 (en) * | 2021-12-31 | 2023-07-05 | Accenture Global Solutions Limited | Intelligent automation of ui interactions |
US11803396B2 (en) | 2021-12-31 | 2023-10-31 | Accenture Global Solutions Limited | Intelligent automation of UI interactions |
CN115100643B (zh) * | 2022-08-26 | 2022-11-11 | 潍坊现代农业与生态环境研究院 | 融合三维场景语义的单目视觉定位增强方法和设备 |
CN115100643A (zh) * | 2022-08-26 | 2022-09-23 | 潍坊现代农业与生态环境研究院 | 融合三维场景语义的单目视觉定位增强方法和设备 |
CN116091845B (zh) * | 2023-03-06 | 2023-10-27 | 北京数慧时空信息技术有限公司 | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 |
CN116091845A (zh) * | 2023-03-06 | 2023-05-09 | 北京数慧时空信息技术有限公司 | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111209915B (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209915B (zh) | 一种基于深度学习的三维图像同步识别和分割方法 | |
CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
CN113516664B (zh) | 一种基于语义分割动态点的视觉slam方法 | |
WO2018214195A1 (zh) | 一种基于卷积神经网络的遥感图像桥梁检测方法 | |
CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
CN110738673A (zh) | 基于实例分割的视觉slam方法 | |
CN109509230A (zh) | 一种应用于多镜头组合式全景相机的slam方法 | |
CN108648240A (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
CN110033489A (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
Ma et al. | Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes | |
CN113506342B (zh) | 一种基于多相机全景视觉的slam全向回环校正方法 | |
CN112163588A (zh) | 基于智能进化的异源图像目标检测方法、存储介质及设备 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN103871072A (zh) | 基于投影数字高程模型的正射影像镶嵌线自动提取方法 | |
CN116778288A (zh) | 一种多模态融合目标检测系统及方法 | |
CN112595322A (zh) | 一种融合orb闭环检测的激光slam方法 | |
CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接系统 | |
CN110516527B (zh) | 一种基于实例分割的视觉slam回环检测改进方法 | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
CN109784297A (zh) | 一种基于深度学习的三维目标识别与最优抓取方法 | |
CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |