CN111325766A - 三维边缘检测方法、装置、存储介质和计算机设备 - Google Patents

三维边缘检测方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN111325766A
CN111325766A CN202010104850.1A CN202010104850A CN111325766A CN 111325766 A CN111325766 A CN 111325766A CN 202010104850 A CN202010104850 A CN 202010104850A CN 111325766 A CN111325766 A CN 111325766A
Authority
CN
China
Prior art keywords
dimensional
detection result
result
object detection
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010104850.1A
Other languages
English (en)
Other versions
CN111325766B (zh
Inventor
柳露艳
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010104850.1A priority Critical patent/CN111325766B/zh
Publication of CN111325766A publication Critical patent/CN111325766A/zh
Priority to PCT/CN2020/121120 priority patent/WO2021164280A1/zh
Priority to EP20920101.1A priority patent/EP4016454A4/en
Priority to JP2022522367A priority patent/JP7337268B2/ja
Priority to US17/703,829 priority patent/US20220215558A1/en
Application granted granted Critical
Publication of CN111325766B publication Critical patent/CN111325766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种三维边缘检测方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果；将各所述二维物体检测结果堆叠为三维物体检测结果，并将各所述二维边缘检测结果堆叠为三维边缘检测结果；根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行编码，得到编码结果；根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行解码，得到所述三维图像的优化的三维边缘检测结果。本申请提供的方案实现三维的边缘检测。

Description

三维边缘检测方法、装置、存储介质和计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种三维边缘检测方法、装置、存储介质和计算机设备。
背景技术
随着计算机技术的发展，图像处理越来越普遍。边缘检测是图像处理和计算机视觉中的基本问题，可以为其他的计算机视觉任务如语义分割、实例分割以及物体跟踪等提供重要的信息。然而，目前的边缘检测大多为二维图像的边缘检测，很少有技术来解决三维图像的边缘检测问题，且少有的三维图像的边缘检测的准确性也较低，针对这一问题目前尚未提出有效的解决方案。
发明内容
基于此，有必要针对目前三维图像的边缘检测的准确性较低的技术问题，提供一种三维边缘检测方法、装置、存储介质和计算机设备。
一种三维边缘检测方法，包括：
获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果；
将各所述二维物体检测结果堆叠为三维物体检测结果，并将各所述二维边缘检测结果堆叠为三维边缘检测结果；
根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行编码，得到编码结果；
根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行解码，得到所述三维图像的优化的三维边缘检测结果。
一种三维边缘检测装置，包括：
获取模块，用于获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果；将各所述二维物体检测结果堆叠为三维物体检测结果，并将各所述二维边缘检测结果堆叠为三维边缘检测结果；
编码模块，用于根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行编码，得到编码结果；
解码模块，用于根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行解码，得到所述三维图像的优化的三维边缘检测结果。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述三维边缘检测方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述三维边缘检测方法的步骤。
上述三维边缘检测方法、装置、存储介质和计算机设备，在获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果后，堆叠出三维物体检测结果和三维边缘检测结果，然后根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行编码，再结合三维物体检测结果和三维边缘检测结果进行解码，得到三维图像的优化的三维边缘检测结果。这样在对三维图像进行三维的边缘检测时，将三维图像各二维分片的二维的检测结果用到三维边缘检测中去，可以巧妙地将二维检测结果的特征和三维数据的空间结构连续性进行相互补充，进而提高三维边缘检测的准确性；而且二维的检测结果包括物体检测和边缘检测两种检测结果，这两种检测结果之间也可相互学习相互促进，继而进一步提高了三维边缘检测的准确性。
附图说明
图1为一个实施例中三维边缘检测方法的应用环境图；
图2为一个实施例中三维边缘精细检测网络的结构示意图；
图3为另一个实施例中三维边缘精细检测网络的结构示意图；
图4为一个实施例中三维边缘检测方法所应用的网络结构示意图；
图5为一个实施例中物体检测模型的结构示意图；
图6为一个实施例中边缘检测模型的结构示意图；
图7为一个实施例中多种边缘检测方法的检测结果对比图；
图8为一个实施例中两种边缘检测方法检测结果在连续性上的对比图；
图9为一个实施例中三维边缘检测装置的结构框图；
图10为另一个实施例中三维边缘检测装置的结构框图；
图11为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，计算机视觉(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉、机器学习/深度学习等技术，具体通过如下实施例进行说明。
本申请实施例中涉及的三维边缘检测是图像处理和计算机视觉中的基础，通过对三维图像进行三维的边缘检测，得到三维边缘检测结果可以为其他的计算机视觉如语义分割、物体检测、实例分割或者物体跟踪等提供重要的信息，是非常基础但是也非常重要的计算机视觉任务。在实际应用中，三维边缘检测结果可以为大量的医学图像分割或者检测等任务助力。
如图1所示，在一个实施例中，提供了一种三维边缘检测方法。本实施例主要以该方法应用于计算机设备来举例说明。该计算机设备具体可以是终端或者服务器等。参照图1，该三维边缘检测方法具体包括如下步骤：
S102，获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果。
其中，三维图像是在三个维度上存在信息的图像。将三维图像在其中一个维度上进行划分，即可得到三维图像的各个二维分片。通常情况下，三维图像的三维可以认为是高度、宽度和深度这三个维度；三维图像的二维分片即是在深度维度上对三维图像进行划分，不同的二维分片对应不同的深度位置。当然，在其他实施例中，也可以对三维图像在其他维度上进行划分，在此不做限定。
具体地，计算机设备可采用对二维图像进行物体检测的方式，对三维图像各二维分片进行处理，得到三维图像各二维分片的二维物体检测结果；并采用对二维图像进行边缘检测的算法，对三维图像各二维分片进行处理，得到三维图像各二维分片的二维边缘检测结果。这里具体进行物体检测的方式和进行边缘检测的方式可参考后续实施例的详细描述。
其中，物体检测的目的是识别出图像中物体所在的像素点区域，边缘检测的目的是识别出图像中像素灰度显著变化的像素点。边缘通常存在于物体和背景之间。物体检测和边缘检测均可以是像素级别的检测，即根据检测任务确定各像素点所述的类别。在本申请实施例中，物体检测可以检测出物体即可，不需要对物体进行分类，即区分不同的物体，可以不必确定是什么物体。
S104，将各二维物体检测结果堆叠为三维物体检测结果，并将各二维边缘检测结果堆叠为三维边缘检测结果。
具体地，三维图像在其中一个维度上划分为多于一帧的二维分片，这些二维分片之间存在一定的顺序关系，即每帧二维分片对应该划分维度上的一个位置(比如深度值)，将这些二维分片的二维物体检测结果按照相应二维分片之间的顺序关系堆叠，即可得到三维物体检测结果；将这些二维分片的二维边缘检测结果按照相应二维分片之间的顺序关系堆叠，即可得到三维边缘检测结果。
S106，根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行编码，得到编码结果。
其中，特征图用于反映图像的特征，是图像的特征的一种存在形式。特征图如图像原始的RGB三通道图或者对图像进行卷积操作输出的Feature Map等。
需要说明的是，在对图像进行编码时，常用的做法是直接对图像的特征图进行编码。而本申请实施例中，则是根据特征图、三维物体检测结果和三维边缘检测结果这三种不同的数据进行编码。进一步地，还可以是在对这三种数据进行一定的运算后，对运算结果进行编码。这样可以在编码的过程中，参考三维物体检测结果和三维边缘检测结果，得到更多更有用的信息。
具体地，计算机设备可采用编码器根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行编码，得到编码结果。进一步地，计算机设备可将三维图像的颜色特征图与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加，再采用编码器对前述运算的运算结果进行编码，得到编码结果。
在一个实施例中，S106包括：根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行多于一次编码；每次编码的输入为三维物体检测结果和三维边缘检测结果对前次编码的输出进行运算的运算结果；各次编码的输出各不相同且均为三维图像的特征图；获取末次编码输出的特征图得到编码结果。
具体地，计算机设备可采用编码器进行编码，该编码器可以包括多于一个编码阶段，从而可以根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行多于一次的编码操作。这样对编码器的输入经过多于一个层次的编码操作，所得到的编码结果对特征的表示会更加精确。其中，编码器的每个编码阶段的输入，均为三维物体检测结果和三维边缘检测结果对前一个编码阶段的输出进行运算后的运算结果。这样，在每个编码阶段时都可以参考三维物体检测结果和三维边缘检测结果，可以提高编码有效性。编码器的每个编码阶段输出的均为三维图像的特征图，且编码器的每个编码阶段输出的特征图各不相同。计算机设备可将最后一个编码阶段输出的特征图作为编码结果。
在一个具体的实施例中，计算机设备可通过三维边缘精细检测网络(Joint EdgeRefinement Network)实现编码过程。参考图2，三维边缘精细检测网络包括编码器，该编码器可包括四个编码阶段，每个编码阶段可包括两个卷积模块，每个卷积模块可包括卷积层、激活函数层和归一化层。其中，激活函数具体可以是ReLU函数等，归一化可以是组归一化(Group Normalization)等。
需要说明的是，图2所示的模型结构仅为举例说明，并不对三维边缘精细检测网络的结构造成限定，实际的三维边缘精细检测网络可以包括比图2所示更多或者更少的组成部分，且图2所包括的结构的参数也可以不同。
在一个实施例中，根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行多于一次编码包括：将三维图像的颜色特征图与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行当次编码；将当次编码的输出与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行下次编码，直至末次编码。
可以理解，物体检测是识别出图像中物体所在的区域，边缘检测是识别出图像中像素灰度显著变化的像素点。由于边缘通常存在于物体和背景之间，那么可以认为物体检测与边缘检测存在一定的相似性。假设令物体检测的结果为Dobj，边缘检测的结果为Dedg，那么这两种结果之间存在如下逻辑关联：
Dobj＝Dobj∪Dedg Dedg＝Dobj∩Dedg (1)
那么可以有F(g(I)·Dobj+Dedg)＝D′edg，其中，F(·)，g(·)为不同的边缘检测算子，I为输入的图像特征，D′edg是比Dedg更准确的边缘检测的结果。可以通俗地理解为：物体检测与边缘检测的交集(即点乘操作)就是边缘检测，而两者的并集(即相加操作)就是物体检测。那么g(I)·Dobj+Dedg得到边缘检测结果，对该边缘检测结果再使用边缘检测算子，便可得到更加精准的边缘检测结果。
具体地，计算机设备可将三维图像的颜色特征图与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果作为首个编码阶段输入；继而将该编码阶段输出的特征图与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果作为下一个编码阶段输入，直至最后一个编码阶段输出编码结果。
可以理解，根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行第一次编码时，还未有编码输出，则三维图像的特征图可以是三维图像原始的RGB颜色通道特征图；在后续编码时，则可利用前次编码输出的特征图。
在一个具体的实施例中，参考图3，计算机设备可通过相互学习模块(Mutual，M)实现三维图像的特征图与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加的运算。即，相互学习模块(M)的输入为三维图像的特征图(F)、三维物体检测结果(O)和三维边缘检测结果(E)；输出为新的三维图像的特征图(F)。具体地，相互学习模块(M)对三维图像的特征图(F)与三维物体检测结果(O)进行点乘操作
Figure BDA0002388199550000071
然后与三维边缘检测结果(E)相加
Figure BDA0002388199550000072
输出新的三维图像的特征图(F)。其中，对于第一个相互学习模块(M)，三维图像的特征图(F)为三维图像的颜色特征图，后续的相互学习模块(M)，三维图像的特征图(F)为编码输出的特征图。
继续参考图3，计算机设备可将三维图像的颜色特征图、三维物体检测结果和三维边缘检测结果输入相互学习模块(M)，相互学习模块(M)输出至编码器的第一编码阶段；第一编码阶段进行编码的输出与三维物体检测结果和三维边缘检测结果共同输入相互学习模块(M)，相互学习模块(M)输出至编码器的第二编码阶段；第二编码阶段进行编码的输出与三维物体检测结果和三维边缘检测结果共同输入相互学习模块(M)，相互学习模块(M)输出至编码器的第三编码阶段；第三编码阶段进行编码的输出与三维物体检测结果和三维边缘检测结果共同输入相互学习模块(M)，相互学习模块(M)输出至编码器的第四编码阶段；第四编码阶段进行编码的输出为编码结果。需要说明的是，图3所示的模型结构仅为举例说明，并不对三维边缘精细检测网络的结构造成限定，实际的三维边缘精细检测网络可以包括比图3所示更多或者更少的组成部分，且图3所包括的结构的参数也可以不同。
可以理解，对于第一编码阶段前的相互学习模块(M)，由于还未进行编码，所以g(I)·Dobj+Dedg中g(I)为图像原始的颜色特征图，编码可以看作是一个边缘检测算子，那么第一编码阶段的操作可以看作是进行F(g(I)·Dobj+Dedg)的运算。对于后面的编码阶段前的相互学习模块(M)，由于已经经过了编码，那么g(I)·Dobj+Dedg中I为输入前一个编码阶段的图像特征，编码可以看作是一个边缘检测算子，g(I)则为前一个编码阶段输出的图像特征。
在本实施例中，在每次编码时，将三维图像的特征图与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后再进行编码，这使得编码时重点关注在感兴趣的物体所在区域，并且已有的潜在的边缘检测结果也在输入特征图中得到了加强和强化，这样可以提高编码输出对特征的表示更加准确。
上述实施例中，在数据进行多于一次的编码，即经过多于一个层次的编码操作，这样所得到的编码输出对特征的表示会更加精确。
S108，根据编码结果、三维物体检测结果和三维边缘检测结果进行解码，得到三维图像的优化的三维边缘检测结果。
需要说明的是，S104中通过堆叠二维的边缘检测结果所得到的三维的边缘检测结果，是相对准确的检测结果。优化的三维边缘检测结果，比堆叠二维的边缘检测结果所得到的三维的边缘检测结果的精确度更高，更贴合物体真实的边缘。优化的三维边缘检测结果，不限定是采用优化算法对堆叠二维的边缘检测结果所得到的三维的边缘检测结果进行优化所得到的结果，也可以是将堆叠二维的边缘检测结果所得到的三维的边缘检测结果，应用到对三维图像进行边缘检测的具体过程中，所得到的三维边缘检测结果。
另外，还需要说明的是，在对编码结果进行解码时，常用的做法是直接对编码结果进行解码。而本申请实施例中，则是根据编码结果、三维物体检测结果和三维边缘检测结果这三种不同的数据进行解码。进一步地，还可以是在对这三种数据进行一定的运算后，对运算结果进行解码。这样可以在解码的过程中，参考三维物体检测结果和三维边缘检测结果，得到更多更有用的信息。
具体地，计算机设备可采用解码器根据编码结果、三维物体检测结果和三维边缘检测结果进行解码，得到解码结果，即得到三维图像的优化的三维边缘检测结果。进一步地，计算机设备可将编码结果与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加，再采用解码器对前述运算的运算结果进行解码，得到解码结果，即得到三维图像的优化的三维边缘检测结果。
在一个具体的实施例中，三维图像的优化的三维边缘检测结果可以是包括两种像素值的三维图像。其中，一种像素值表示相应的像素点为边缘上的像素点，另一种像素值表示相应的像素点为非边缘的像素点。
在一个具体的实施例中，三维图像的优化的三维边缘检测结果可以是三维概率矩阵。其中，每个矩阵位置的概率值，三维图像相应像素点属于边缘上的像素点的概率，当概率大于预设阈值时，则认为是边缘上的像素点。
在一个实施例中，S108包括：根据编码结果、三维物体检测结果和三维边缘检测结果进行多于一次解码；每次解码的输入包括三维物体检测结果和三维边缘检测结果对前次解码的输出进行运算的运算结果；获取末次解码输出，得到三维图像的优化的三维边缘检测结果。
具体地，计算机设备可采用解码器进行解码，该解码器可以包括多于一个解码阶段，从而可以根据编码结果、三维物体检测结果和三维边缘检测结果进行多于一次的解码操作。由于对解码器的输入经过多层次的解码操作，可以准确地将编码提取到的特征映射到输出空间。其中，解码器的每个解码阶段的输入，均包括三维物体检测结果和三维边缘检测结果对前一个解码阶段的输出进行运算后的运算结果。这样，在每个解码阶段时都可以参考三维物体检测结果和三维边缘检测结果进行解码，以提高解码有效性。解码器的每个解码阶段输出的均为三维图像的特征图，且解码器的每个解码阶段输出的特征图各不相同。输出空间可以是是否为三维边界的检测结果。
可以理解，最后一个解码阶段输出的特征图，可以是三维图像的优化的三维边缘检测结果。该优化的三维边缘检测结果具体可以是三维图像各像素点的分类图。该分类图上像素点的像素值表示三维图像相应像素点所属的类别。这里的类别包括两种，一种为属于边缘的类别，另一种为不属于边缘的类别。比如，分类图上像素点的像素值包括两种(0和1)，0表示三维图像相应像素点不是边缘像素点，1表示三维图像相应像素点是边缘像素点。也就是说，三维图形进行编码和解码两个过程即对三维图像进行三维边缘检测的过程，确定三维图像中的每个像素点是否为三维边缘的像素点。
在另外的实施例中，该优化的三维边缘检测结果具体可以是三维图像各像素点为边缘像素点的概率分布图。该概率分布图上像素点的像素值表示三维图像相应像素点为边缘像素点的概率。
在一个具体的实施例中，继续参考图2，三维边缘精细检测网络可包括解码器，该解码器可包括三个解码阶段，每个解码阶段可包括两个卷积模块，每个卷积模块可包括卷积层、激活函数层和归一化层。其中，激活函数具体可以是ReLU函数等，归一化可以是组归一化(Group Normalization)等。
在另外的实施例中，每次解码的输入还可以包括与当前解码阶段跳跃连接(SkipConnection)的编码阶段的输出。这样可以在解码时还能结合在前的编码所提取的图像特征，从而进一步提高解码准确性。举例说明，假设编码器包括四个阶段，解码器包括三个阶段；那么可以将第一个编码阶段与第三个解码阶段跳跃连接，将第二个编码阶段与第二个解码阶段跳跃连接，将第三个编码阶段与第一个解码阶段跳跃连接。
在另外实施例中，对数据进行多于一次的解码，即经过多于一个层次的解码操作，这样所得到的解码输出对像素点的分类结果会更加精确。
在一个实施例中，根据编码结果、三维物体检测结果和三维边缘检测结果进行多于一次解码包括：将编码结果与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行当次解码；将当次解码的输出与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行下次解码，直至末次解码。
具体地，计算机设备可将编码结果与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果作为首个解码阶段的输入；继而将该解码阶段输出的特征图与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果作为下一个解码阶段的输入，直至最后一个解码阶段输出三维图像的优化的三维边缘检测结果。
在另外的实施例中，计算机设备可将编码结果与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果和与首个解码阶段跳跃连接的编码阶段的输出共同作为首个解码阶段的输入；继而将该解码阶段输出的特征图与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果和与当前解码阶段跳跃连接的编码阶段的输出共同作为下一个解码阶段的输入，直至最后一个解码阶段输出。
上述实施例中，在每次解码时，将三维图像的特征图与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后再进行解码，这使得解码时重点关注在感兴趣的物体所在区域，并且已有的潜在的边缘检测结果也在输入特征图中得到了加强和强化，这样可以提高解码准确性。
在一个实施例中，该三维边缘检测方法还包括：通过多于一个采样率相异的空洞卷积对编码结果进行处理，得到多于一个特征图；多于一个特征图的尺寸各不相同；将多于一个特征图连接后进行卷积操作，得到多尺度学习结果。根据编码结果、三维物体检测结果和三维边缘检测结果进行多于一次解码，包括：根据多尺度学习结果、三维物体检测结果和三维边缘检测结果进行多于一次解码。
其中，空洞卷积(Atrous Convolutions)又名扩张卷积(Dilated Convolutions)，是在标准的卷积层引入了一个称为“扩张率(Dilation Rate)”的参数，该参数定义了卷积核处理数据时各值的间距。空洞卷积的目的是在不用池化(pooling)(pooling层会导致信息损失)且计算量相当的情况下，提供更大的感受野。
具体地，计算机设备可通过多于一个采样率相异的空洞卷积对编码结果进行处理，得到多于一个特征图。由于不同的采样率可以是不同的卷积核大小和/或不同的扩张率，这样得到的多于一个特征图的尺寸各不相同。计算机设备再将多于一个特征图连接后进行卷积操作，得到多尺度学习结果。该多尺度学习结果也可以是三维图像的特征图。
在一个具体的实施例中，计算机设备可通过多尺度学习模块实现“通过多于一个采样率相异的空洞卷积对编码结果进行处理，得到多于一个特征图；多于一个特征图的尺寸各不相同；将多于一个特征图连接后进行卷积操作，得到多尺度学习结果”，该多尺度学习模块具体可以是空间金字塔结构(Atrous Spatial Pyramid Pooling，ASPP)。继续参考图2，三维边缘精细检测网络还包括位于编码器和解码器之间的ASPP模块。ASPP模块的输入为第四编码阶段输出的编码结果，ASPP模块对输入进行多于一个尺度的特征提取后，输出多尺度学习结果。
上述实施例中，通过多尺度的空洞卷积对编码结果进行操作，这样可以提取到更加丰富的多尺度多视角的图像特征，有助于后续的解码操作。
在一个实施例中，根据多尺度学习结果、三维物体检测结果和三维边缘检测结果进行多于一次解码，包括：将多尺度学习结果与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行当次解码；将当次解码的输出与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行下次解码，直至末次解码。
在一个实施例中，根据多尺度学习结果、三维物体检测结果和三维边缘检测结果进行多于一次解码，包括：将多尺度学习结果与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后，与中间次编码的输出共同进行当次解码；将当次解码的输出与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后，与中间次编码的前次编码的输出共同进行下次编码，直至末次解码。
具体地，计算机设备可将多尺度学习结果与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果和与首个解码阶段跳跃连接的编码阶段的输出共同作为首个解码阶段的输入；继而将该解码阶段输出的特征图与三维物体检测结果进行点乘操作，然后与三维边缘检测结果相加，再将运算结果和与当前解码阶段跳跃连接的编码阶段的输出共同作为下一个解码阶段的输入，直至最后一个解码阶段输出。
继续参考图3，计算机设备可将多尺度学习结果、三维物体检测结果和三维边缘检测结果输入相互学习模块(M)，相互学习模块(M)的输出和第三编码阶段的输出共同输入至解码器的第一解码阶段；第一解码阶段进行解码的输出与三维物体检测结果和三维边缘检测结果共同输入相互学习模块(M)，相互学习模块(M)的输出和第二编码阶段的输出共同输入至解码器的第二解码阶段；第二解码阶段进行解码的输出与三维物体检测结果和三维边缘检测结果共同输入相互学习模块(M)，相互学习模块(M)的输出和第一编码阶段的输出共同输入至解码器的第三解码阶段；第三解码阶段进行解码的输出为三维图像的优化的三维边缘检测结果(Subtle 3D Edge)。
上述实施例中，通过进行解码操作时，将跳跃连接的编码阶段输出的特征图共同进行解码，使得后续解码的输入即明确了图像特征，又能结合在前的编码所提取的图像特征，从而进一步提高解码准确性。
这样，在基于堆叠二维检测结果得到的三维检测结果，对三维图像的特征图进行编码和解码后，即可得到优化的三维边缘检测结果，从而得到精细的三维边缘(Subtle 3DEdge)。该精细的三维边缘可以为各个医学图像任务如分割、检测或者追踪等提供更多、更丰富的特征和其他视角的辅助结果，为更加精准的医学图像辅助诊断落地的实现助力。
上述三维边缘检测方法，在获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果后，堆叠出三维物体检测结果和三维边缘检测结果，然后根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行编码，再结合三维物体检测结果和三维边缘检测结果进行解码，得到三维图像的优化的三维边缘检测结果。这样在对三维图像进行三维的边缘检测时，将三维图像各二维分片的二维的检测结果用到三维边缘检测中去，可以巧妙地将二维检测结果的特征和三维数据的空间结构连续性进行相互补充，进而提高三维边缘检测的准确性；而且二维的检测结果包括物体检测和边缘检测两种检测结果，这两种检测结果之间也可相互学习相互促进，继而进一步提高了三维边缘检测的准确性。
在一个实施例中，上述实施例中S106和S108可通过三维边缘精细检测网络(JointEdge Refinement Network)实现。该三维边缘精细检测网络可包括编码器和解码器。该编码器可包括多个编码阶段，该解码器可包括多个解码阶段。
其中，首个编码阶段的输入可以是三维图形的颜色特征图、三维物体检测结果和三维边缘检测结果进行运算的运算结果，非首个编码阶段的输入可以是前一个编码阶段的输出、三维物体检测结果和三维边缘检测结果进行运算的运算结果。首个解码阶段的输入可以包括编码结果、三维物体检测结果和三维边缘检测结果进行运算的运算结果，非首个解码阶段的输入可以包括前一个解码阶段的输出、三维物体检测结果和三维边缘检测结果进行运算的运算结果。
在另外的实施例中，编码(解码)阶段的输入所包括的三种数据的运算结果，可通过相互学习模块实现这三种数据之间的运算。
在另外的实施例中，每个解码阶段的输入还可以包括与当前解码阶段跳跃连接的编码阶段的输出。
在另外的实施例中，该三维边缘精细检测网络还可以包括位于编码器和解码器之间的多尺度学习模块(如ASPP)。多尺度学习模块的输入为最后一个编码阶段的输出。此时，首个解码阶段的输入可以是多尺度学习模块的输出、三维物体检测结果和三维边缘检测结果进行运算的运算结果。
以上实施例仅表达了本申请三维边缘精细检测网络的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请三维边缘精细检测网络的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请三维边缘精细检测网络构思的前提下，还可以做出若干变形和改进，这些都属于本申请要保护的三维边缘精细检测网络。
以上实施例所提供的三维边缘精细检测网络，可通过有训练标签的训练样本进行深度监督(Deep Supervision)学习得到。继续参考图2，该网络中包括的各结构均可以通过深度监督(Deep Supervision)学习得到。
具体地，输入三维边缘精细检测网络的训练样本为三维图像样本、三维图像样本各二维分片的二维物体检测结果所堆叠成的三维物体检测结果、及三维图像样本各二维分片的二维边缘检测结果所堆叠成的三维边缘检测结果。训练样本的训练标签为三维图像样本的三维边缘标签。计算机设备可根据训练样本和训练标签，并构建损失函数，有监督地训练三维边缘精细检测网络。
在一个具体的实施例中，上述有监督训练的损失函数可以是Dice Loss损失函数，该损失函数具体如下式所示：
Figure BDA0002388199550000151
其中，N为三维图像中像素点的数量，pi为第i个像素点为边缘像素点的概率，yi为第i个像素点的训练标签。
在一个实施例中，获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果，包括：获取三维图像各二维分片的二维初始物体检测结果和二维初始边缘检测结果；对于三维图像各二维分片，将二维分片的颜色特征图与二维分片的二维初始边缘检测结果进行点乘操作，再与二维分片的二维初始物体检测结果相加后进行物体检测，得到二维分片的二维目标物体检测结果；对于三维图像各二维分片进行卷积操作，根据卷积操作的输出和相应二维分片的二维物体检测结果，得到各二维分片的二维目标边缘检测结果。
需要说明的是，计算机设备可采用不同的网络来独立进行物体检测和边缘检测。如，采用物体检测模型(Object Detection Module)进行物体检测，采用边缘检测模型(Edge Detection Module)进行边缘检测。但是由于物体检测和边缘检测中有很多特征是可以相互学习、相互影响和相互促进的，那么可以将物体检测和边缘检测中提取的特征在网络训练和网络使用的过程中相互输送。
结合前述实施例中描述的式(1)，以及相关的逻辑原理描述，计算机设备可通过相互学习模块来实现物体检测和边缘检测中提取的特征的相互输送。相互学习模块具体可以是进行如下运算g(I)·Dobj+Dedg，即图像特征与物体检测结果进行点乘操作，再与边缘检测结果相加。
具体地，计算机设备可分别有监督地预训练物体检测模型和边缘检测模型。在预训练后，然后通过相互学习模块联系这两个模型，得到物体和边缘联合检测网络(MutualObject and Edge Detection Network)，再进一步训练物体和边缘联合检测网络。举例说明，参考图4，物体和边缘联合检测网络可以是在物体检测模型前增加相互学习模块和/或在边缘检测模型后增加相互学习模块。
其中，预训练得到的物体检测模型和边缘检测模型，用于根据二维图像得到该二维图像的初始的二维检测结果。进一步训练得到的物体和边缘联合检测网络，用于根据二维图像得到该二维图像的目标的二维检测结果。该目标的二维检测结果用于堆叠成三维检测结果，用于如S106和S108的步骤中。
这样，计算机设备可将三维图像各二维分片分别输入预训练得到的物体检测模型，得到各二维分片的二维初始物体检测结果；并将三维图像各二维分片分别输入预训练得到的边缘检测模型，得到各二维分片的二维初始边缘检测结果。此后，计算机设备再将三维图像各二维分片输入物体和边缘联合检测网络，物体和边缘联合检测网络中在物体检测模型前的相互学习模块，将二维分片的颜色特征图与二维分片的二维初始边缘检测结果进行点乘操作，再与二维分片的二维初始物体检测结果相加后输入物体和边缘联合检测网络中的物体检测模型，输出二维分片的二维目标物体检测结果。物体和边缘联合检测网络中的边缘检测模型对二维分片进行卷积操作，物体和边缘联合检测网络中在边缘检测模型后的相互学习模块，将卷积操作的输出和二维物体检测结果进行点乘操作，再与卷积操作的输出相加后，得到二维分片的二维目标边缘检测结果。
上述实施例中，物体检测与边缘检测相互学习相互促进，使得得到的二维的检测结果更加准确，从而可以使得后续的三维检测时的参考数据更加准确。
在一个实施例中，对于三维图像各二维分片，将二维分片的颜色特征图与二维分片的二维初始物体检测结果进行点乘操作，再与二维分片的二维初始物体检测结果相加后进行物体检测，得到二维分片的二维目标物体检测结果，包括：对于三维图像的每帧二维分片分别执行以下步骤：将二维分片的颜色特征图与二维分片的二维初始物体检测结果进行点乘操作，再与二维分片的二维初始物体检测结果相加作为待处理数据；对待处理数据进行多于一次编码以及多于一次解码，得到末次解码所输出的二维分片的二维目标物体检测结果。
具体地，计算机设备可采用编码器进行编码、解码器进行解码；该编码器可以包括多于一个编码阶段；该解码器可以包括多于一个解码阶段。这样，计算机设备可将二维分片的颜色特征图与二维分片的二维初始物体检测结果进行点乘操作，然后与二维分片的二维初始物体检测结果相加作为待处理数据，再将待处理数据作为首个编码阶段的输入；继而将该编码阶段输出的特征图作为下一个编码阶段的输入，直至最后一个编码阶段输出编码结果。然后将该编码结果作为首个解码阶段的输入；继而将该解码阶段输出的特征图作为下一个解码阶段的输入，直至最后一个解码阶段输出二维目标物体检测结果。
需要说明的是，本实施例中的编码器与S106中的编码器是不同的编码器，他们结构不同，所编码的数据的维度也不同。本实施例中的解码器与S108中的解码器是不同的解码器，他们结构不同，所解码的数据的维度也不同。
在另外的实施例中，编码阶段还可以与解码阶段跳跃连接。此时，解码器的首个解码阶段的输入可以是：最后一个编码阶段的输出和跳跃连接的编码阶段的输出，后续的解码阶段的输入可以是：前一个解码阶段的输出和跳跃连接的编码阶段的输出。
上述实施例中，在对二维图像进行编码时，与初始的检测结果进行运算后再作为编码对象，可以在编码时参考初始的检测结果，关注特定的区域提取更有用的信息；而且多于一次的编码可以使得特征的表示更加准确，多于一次的解码可以使所得到的解码输出对像素点的分类结果更加精确。
在一个实施例中，对待处理数据进行多于一次编码以及多于一次解码，得到末次解码所输出的二维分片的二维目标物体检测结果，包括：对待处理数据进行多于一次编码，得到末次编码所输出的物体检测编码结果；通过多于一个采样率相异的空洞卷积对物体检测编码结果进行处理，得到多于一个特征图；多于一个特征图的尺寸各不相同；将多于一个特征图连接后进行卷积操作，得到多尺度学习结果；对多尺度学习结果进行多于一次解码，得到末次解码所输出的二维分片的二维目标物体检测结果。
具体地，计算机设备可采用编码器进行编码、解码器进行解码；该编码器可以包括多于一个编码阶段；该解码器可以包括多于一个解码阶段。这样，计算机设备可将二维分片的颜色特征图与二维分片的二维初始物体检测结果进行点乘操作，然后与二维分片的二维初始物体检测结果相加作为待处理数据，再将待处理数据作为首个编码阶段的输入；继而将该编码阶段输出的特征图作为下一个编码阶段的输入，直至最后一个编码阶段输出编码结果。
然后，通过多于一个采样率相异的空洞卷积对物体检测编码结果进行处理，得到多于一个特征图；多于一个特征图的尺寸各不相同；将多于一个特征图连接后进行卷积操作，得到多尺度学习结果。该过程具体可通过多尺度学习模块实现。多尺度学习模块具体如ASPP结构。
此后，再将该多尺度学习结果作为首个解码阶段的输入；继而将该解码阶段输出的特征图作为下一个解码阶段的输入，直至最后一个解码阶段输出二维目标物体检测结果。当然，在另外的实施例中，编码阶段还可以与解码阶段跳跃连接。此时，解码器的首个解码阶段的输入可以是：多尺度学习模块的输出和跳跃连接的编码阶段的输出，后续的解码阶段的输入可以是：前一个解码阶段的输出和跳跃连接的编码阶段的输出。
上述实施例中，通过多尺度的空洞卷积对编码结果进行操作，这样可以提取到更加丰富的多尺度多视角的图像特征，有助于后续的解码操作。
在一个具体的实施例中，参考图5，物体检测模型的输入(Input)为三维图像的二维分片，输出(Output)为二维分片的物体检测结果。物体检测模型包括编码器、解码器和位于编码器和解码器之间的ASPP模块。编码器包括一个输入层和四个编码阶段。输入层包括一个残差模块，四个编码阶段分别包括4、6、6、4个残差模块。每个编码阶段的输入和输出由相加操作连接，每个编码阶段之后均连接着一个卷积操作(核大小如3×3)和平均池化操作(核大小如2×2)，将特征图降采样(如降采样到一半大小)。解码器包括四个解码阶段和一个输出卷积层。每个解码阶段包括两个残差模块，在每个解码阶段前有一个上采样(如二倍上采样)和卷积操作(核大小如1×1)。编码阶段和解码阶段可以跳跃连接，输入层和输出层也可以跳跃连接。其中，每个残差模块包括两个卷积模块，每个卷积模块包括卷积层、归一化层和激活函数层。归一化可以是批归一化(Batch Normalization)。激活函数可以是ReLU函数。在训练物体检测模型时，可将损失函数记为Lseg进行有监督训练。
需要说明的是，图5所示的模型结构仅为举例说明，并不对物体检测模型的结构造成限定，实际的物体检测模型可以包括比图5所示更多或者更少的组成部分，且图5所包括的结构的参数也可以不同。
具体地，计算机设备可根据训练样本(二维图像)和训练样本的训练标签(物体检测标签)，并构建损失函数，有监督地训练物体检测模型。
在一个具体的实施例中，上述有监督训练的损失函数可以是二分类的交叉墒损失函数，该损失函数具体如下式所示：
Figure BDA0002388199550000191
其中，y为图像像素级标签，p为模型预测的标签为1的像素属于该类别的概率值。标签为1具体可以表示像素点为物体的像素点。
在一个实施例中，对于三维图像各二维分片进行卷积操作，根据卷积操作的输出和相应二维分片的二维物体检测结果，得到各二维分片的二维目标边缘检测结果，包括：对于三维图像的每帧二维分片分别执行以下步骤：对二维分片进行多于一个阶段的卷积操作；将各阶段的输出与二维分片的二维初始物体检测结果进行点乘操作，再与当前阶段的输出相加得到阶段检测结果；联合各阶段检测结果，得到二维分片的二维目标边缘检测结果。
具体地，计算机设备可对每帧二维分片进行多于一个阶段的卷积操作，然后将各阶段的输出与二维分片的二维初始物体检测结果进行点乘操作，再与当前阶段的输出相加得到阶段检测结果；联合各阶段检测结果，得到二维分片的二维目标边缘检测结果。
其中，每个阶段包括多于一层卷积层。每个阶段检测结果也可以作为二维分片的二维目标边缘检测结果。联合各阶段检测结果可以是将各阶段检测结果按位相加(Element-wise Addition)。
在另外的实施例中，各阶段的输出可以是该阶段包括的各卷积层的输出按位相加的结果。各卷积层的输出可先经过卷积操作后再按位相加。各阶段的输出与二维分片的二维初始物体检测结果进行点乘操作之前，可经过下采样操作、卷积操作以及上采样操作。
上述实施例中，对数据进行多于一个阶段的卷积操作，在每个阶段将输出与物体检测结果进行运算之后得到该阶段的边缘检测结果，可以结合物体检测结果，提高边缘检测的准确率；而且联合各阶段检测结果，得到二维分片的二维目标边缘检测结果，可以将各个阶段提取的信息综合起来，提高边缘检测的准确率。
在一个具体的实施例中，边缘检测模型的输入(Input)为三维图像的二维分片，输出(Output)为二维分片的边缘检测结果。边缘检测模型包括多于一个卷积层，这些卷积层被划分为多于一个阶段。比如，参考图6，边缘检测模型包括16个核大小为3×3卷积层，这些卷积层被划分为5个阶段，第一个阶段包括2个卷积层，第二、三个阶段包括3个卷积层，第四、五个阶段包括4个卷积层。每个阶段中的每个卷积层都在连接了一个核大小为1×1的卷积操作之后相加起来得到每个阶段的特征图，该特征图经过1×1的卷积操作和二倍上采样之后，与物体检测结果一起输入到前文所提的相互学习模块M，得到的五个输出连接起来得到二维分片的边缘检测结果。其中，每个阶段得到该阶段的特征图后可以有一个池化操作对特征图进行二倍降采样。需要说明的是，图6所示的模型结构仅为举例说明，并不对物体检测模型的结构造成限定，实际的物体检测模型可以包括比图6所示更多或者更少的组成部分，且图6所包括的结构的参数也可以不同。
其中，相互学习模块M(g(I)·Dobj+Dedg)中各变量的取值具体为：g(I)和Dedg均为当前阶段输出的特征图经过卷积操作和上采样之后的结果，Dobj为预训练的物体检测模型输出的物体检测结果。在训练物体检测模型时，可将损失函数记为Ledge进行有监督训练；且在构建损失函数时，可对每个阶段均构建一个损失函数，该每个阶段的损失函数用于训练更新当前阶段及当前阶段之前各阶段的模型参数，也可仅训练更新当前阶段的模型参数。
具体地，计算机设备可根据训练样本(二维图像)和训练样本的训练标签(边缘检测标签)，并构建监督训练损失函数，有监督地训练物体检测模型。
在一个具体的实施例中，上述有监督训练的损失函数可以是Focal loss损失函数，该损失函数具体如下式所示：
FL(p)＝-α(1-p)γlog(p) (4)
其中，p为模型预测的标签为1的像素属于该类别的概率值，α为标签为1的权重因子，γ是可调控的聚焦因子来调节调控因子(1-p)γ。标签为1具体可以表示像素点为边缘的像素点。每个阶段经过M后的输出与在前阶段的输出、以及所有阶段的输出按位相加的一共6个输出进行Ledge的计算反传和梯度更新。
举例说明，如图6所示，这6个输出包括：第一个相互学习模块的输出，第一、二个相互学习模块的输出的按位相加(Element-wise Addition)的结果，第一、二、三个相互学习模块的输出的按位相加结果，第一、二、三、四个相互学习模块的输出的按位相加结果，第一、二、三、四、五个相互学习模块的输出的按位相加结果，以及第一、二、三、四、五个相互学习模块的输出连接(Concatention)的结果。
其中，预训练的边缘检测模型可以不包括相互学习模块。即，每个阶段的特征图经过卷积操作和上采样之后按位相加，得到二维图像的边缘检测结果。
在一个具体的实施例中，继续参考图4，物体和边缘联合检测网络的输入(Input)为三维图像的二维分片。二维分片在输入物体和边缘联合检测网络中的物体检测模型之前，先经过相互学习模块的处理。相互学习模块包括三个输入，分别为三维图像的二维分片、二维分片的二维初始物体检测结果和二维分片的二维初始边缘检测结果。二维分片的二维初始物体检测结果通过预训练得到的物体检测模型得到，二维分片的二维初始边缘检测结果通过预训练得到的边缘检测模型得到。其中，相互学习模块包括的三个输入，也可以分别为三维图像的二维分片、二维分片的二维初始物体检测结果，以及物体和边缘联合检测网络中边缘检测模型的输出。物体和边缘联合检测网络中物体检测模型的输出为二维分片的二维目标物体检测结果。
另外，二维分片在输入物体和边缘联合检测网络中的边缘检测模型后，边缘检测模型各阶段的输出在经过相互学习模块的处理后叠加起来，即得到二维分片的二维目标物体检测结果。每个阶段后连接的相互学习模块包括两个输入，分别为该阶段的输出和二维分片的二维初始物体检测结果。这里，相互学习模块g(I)·Dobj+Dedg中g(I)和Dedg均为该阶段的输出，故只有两个输入。
需要说明的是，预训练得到的物体检测模型，与物体和边缘联合检测网络中的物体检测模型的模型结构相同，但模型参数不同；物体和边缘联合检测网络中的物体检测模型，是在预训练得到的物体检测模型的基础上进一步训练得到。预训练得到的边缘检测模型，与物体和边缘联合检测网络中的边缘检测模型的模型结构相同，但模型参数不同；物体和边缘联合检测网络中的边缘检测模型，是在预训练得到的边缘检测模型的基础上进一步训练得到。物体检测模型的模型结构可参考图5所示的模型结构，边缘检测模型的模型结构可参考图6所示的模型结构。
其中，预训练得到的物体检测模型和边缘检测模型在通过相互学习模块关联后进一步训练时，物体检测模型连接的相互学习模块的输入可以是三维图像的二维分片、预训练的物体检测模型的输出和预训练的边缘检测模型的输出；或者，三维图像的二维分片、预训练的物体检测模型的输出，以及当前边缘检测模型实时的输出。也就是说，g(I)·Dobj+Dedg中的Dobj是与旋律得到的模型的固定的输出；g(I)·Dobj+Dedg中的Dedg可以是正在训练的模型实时的输出，也可以预训练得到的模型固定的输出。边缘检测模型各阶段连接的相互学习模块的输入可以是各阶段实时的输出和当前物体检测模型实时的输出；或者，各阶段实时的输出和预训练的物体检测模型的输出。也就是说，g(I)·Dobj+Dedg中的g(I)和Dedg都是边缘检测模型各阶段实时的输出；g(I)·Dobj+Dedg中的Dobj可以是正在训练的模型实时的输出，也可以预训练得到的模型固定的输出。
在得到三维图像各二维分片的二维目标物体检测结果和二维目标边缘检测结果之后，可将各二维目标物体检测结果堆叠为三维物体检测结果，并将各二维目标边缘检测结果堆叠为三维边缘检测结果。将三维图像、三维物体检测结果和三维边缘检测结果输入三维边缘精细检测网络，得到输出的优化的三维边缘检测结果，精细的三维边缘图。三维边缘精细检测网络的模型结构可参考图2所示的模型结构。
可以理解，二维的卷积神经网络可以从二维数据中学习到图像丰富的纹理、结构等特征，而三维的卷积神经网络可以从三维数据中学习到空间结构连续性相关信息，这两部分是可以相互补充的。此外，边缘检测任务和物体检测任务有一部分相似性，这两个任务也是可以相互学习、相互促进的。综合以上思考，本申请所提供的实施例实现联合学习二维和三维数据中的多层次、多尺度特征来精确检测三维物体边缘。本申请所提供的实施例涉及的网络结构包括两个阶段，第一阶段是物体和边缘联合检测网络，该阶段着重学习单张二维图像中物体丰富的结构、纹理、边缘以及语义等特征。第二阶段是三维边缘精细检测网络，该阶段则结合前一个阶段学到的物体和边缘检测结果，进一步学习连续且精细的三维物体边缘。这样本申请所提供的实施例可以精确的检测到贴合三维物体真实边缘的三维边缘。
另外，计算机设备还基于本申请实施例的三维边缘检测方法与现有的多个边缘检测算法进行了测试对比。现有的边缘检测算法如：Holistically-Nested Edge Detection，HED；Richer Convolutional Features for Edge Detection，RCF；以及Bi-DirectionalCascade Network for Perceptual Edge Detection，BDCN。
在一个具体的实施例中，如图7所示，该图为本申请实施例提供的三维边缘检测方法所得到的检测结果与其他边缘检测算法所得到的检测结果的对比图。其中包括三维图像其中一个二维分片(Original)、边界检测标签(Label)、第一种现有边缘检测算法(HED)的检测结果、第二种现有边缘检测算法(RCF)的检测结果、第三种现有边缘检测算法(BDCN)的检测结果以及本申请三维边缘检测方法(Proposed)的检测结果。由图7可见，本申请实施例提供的三维边缘检测方法的检测结果更加的精细，更贴近物体的真实边缘。现有的HED、RCF以及BDCN算法虽然均能在不同程度上面准确的检测到物体边缘，但是其边缘检测结果较为粗糙，不够贴合真实的边缘。
在一个具体的实施例中，如图8所示，该图为本申请实施例提供的三维边缘检测方法在边缘检测上连续5帧二维分片的边缘检测结果，与二维边缘检测算法RCF在同样5帧二维分片上的边缘检测结果的对比图。由图8可见，本申请实施例提供的三维边缘检测方法的检测结果具有较好的连续性。这是由于本申请实施例提供的三维边缘检测方法可以通过学习不同图像直接的空间连续性将二维边缘检测算法中容易漏掉的信息补全回来。
而且，计算机设备还基于本申请实施例的三维边缘检测方法与现有的边缘检测算法(HED和RCF)在边缘检测指标上进行了实验结果对比。
表1：
ODSR ODSP ODSF OISR OISP OISF
HED 0.5598 0.883 0.6852 0.567 0.8854 0.6913
RCF 0.7068 0.9941 0.8084 0.7115 0.9457 0.812
Proposed 0.7593 0.9549 0.846 0.7597 0.9553 0.8463
上述表1所示为本申请实施例提供的三维边缘检测方法与现有的二维边缘检测算法HED和RCF在边缘检测指标ODS(R\P\F)和OIS(R\P\F)上的实验结果对比。由表1可知，本申请实施例提供的三维边缘检测方法在各个边缘检测衡量指标上均优于现有的二维边缘检测算法。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示，在一个实施例中，提供了一种三维边缘检测装置900。参照图9，该三维边缘检测装置900包括：获取模块901、编码模块902和解码模块903。
获取模块901，用于获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果；将各二维物体检测结果堆叠为三维物体检测结果，并将各二维边缘检测结果堆叠为三维边缘检测结果。
编码模块902，用于根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行编码，得到编码结果。
解码模块903，用于根据编码结果、三维物体检测结果和三维边缘检测结果进行解码，得到三维图像的优化的三维边缘检测结果。
在一个实施例中，编码模块902还用于根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行多于一次编码；每次编码的输入为三维物体检测结果和三维边缘检测结果对前次编码的输出进行运算的运算结果；各次编码的输出各不相同且均为三维图像的特征图；获取末次编码输出的特征图得到编码结果。
在一个实施例中，编码模块902还用于将三维图像的颜色特征图与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行当次编码；将当次编码的输出与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后进行下次编码，直至末次编码。
在一个实施例中，解码模块903还用于根据编码结果、三维物体检测结果和三维边缘检测结果进行多于一次解码；每次解码的输入包括三维物体检测结果和三维边缘检测结果对前次解码的输出进行运算的运算结果；获取末次解码输出，得到三维图像的优化的三维边缘检测结果。
如图10所示，在一个实施例中，三维边缘检测装置900还包括多尺度处理模块904，用于通过多于一个采样率相异的空洞卷积对编码结果进行处理，得到多于一个特征图；多于一个特征图的尺寸各不相同；将多于一个特征图连接后进行卷积操作，得到多尺度学习结果。解码模块903还用于根据多尺度学习结果、三维物体检测结果和三维边缘检测结果进行多于一次解码。
在一个实施例中，解码模块903还用于将多尺度学习结果与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后，与中间次编码的输出共同进行当次解码；将当次解码的输出与三维物体检测结果进行点乘操作，再与三维边缘检测结果相加后，与中间次编码的前次编码的输出共同进行下次编码，直至末次解码。
在一个实施例中，获取模块901还用于获取三维图像各二维分片的二维初始物体检测结果和二维初始边缘检测结果；对于三维图像各二维分片，将二维分片的颜色特征图与二维分片的二维初始物体检测结果进行点乘操作，再与二维分片的二维初始物体检测结果相加后进行物体检测，得到二维分片的二维目标物体检测结果；对于三维图像各二维分片进行卷积操作，根据卷积操作的输出和相应二维分片的二维物体检测结果，得到各二维分片的二维目标边缘检测结果。
在一个实施例中，获取模块901还用于对于三维图像的每帧二维分片分别执行以下步骤：将二维分片的颜色特征图与二维分片的二维初始物体检测结果进行点乘操作，再与二维分片的二维初始物体检测结果相加作为待处理数据；对待处理数据进行多于一次编码以及多于一次解码，得到末次解码所输出的二维分片的二维目标物体检测结果。
在一个实施例中，获取模块901还用于对待处理数据进行多于一次编码，得到末次编码所输出的物体检测编码结果；通过多于一个采样率相异的空洞卷积对物体检测编码结果进行处理，得到多于一个特征图；多于一个特征图的尺寸各不相同；将多于一个特征图连接后进行卷积操作，得到多尺度学习结果；对多尺度学习结果进行多于一次解码，得到末次解码所输出的二维分片的二维目标物体检测结果。
在一个实施例中，获取模块901还用于对于三维图像的每帧二维分片分别执行以下步骤：对二维分片进行多于一个阶段的卷积操作；将各阶段的输出与二维分片的二维初始物体检测结果进行点乘操作，再与当前阶段的输出相加得到阶段检测结果；联合各阶段检测结果，得到二维分片的二维目标边缘检测结果。
上述三维边缘检测装置，在获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果后，堆叠出三维物体检测结果和三维边缘检测结果，然后根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行编码，再结合三维物体检测结果和三维边缘检测结果进行解码，得到三维图像的优化的三维边缘检测结果。这样在对三维图像进行三维的边缘检测时，将三维图像各二维分片的二维的检测结果用到三维边缘检测中去，可以巧妙地将二维检测结果的特征和三维数据的空间结构连续性进行相互补充，进而提高三维边缘检测的准确性；而且二维的检测结果包括物体检测和边缘检测两种检测结果，这两种检测结果之间也可相互学习相互促进，继而进一步提高了三维边缘检测的准确性。
图11示出了一个实施例中计算机设备的内部结构图。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现三维边缘检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行三维边缘检测方法。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的三维边缘检测装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该三维边缘检测装置的各个程序模块，比如，图9所示的获取模块901、编码模块902和解码模块903。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的三维边缘检测方法中的步骤。
例如，图11所示的计算机设备可以通过如图9所示的三维边缘检测装置中的获取模块901执行获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果；将各二维物体检测结果堆叠为三维物体检测结果，并将各二维边缘检测结果堆叠为三维边缘检测结果的步骤。通过编码模块902执行根据三维图像的特征图、三维物体检测结果和三维边缘检测结果进行编码，得到编码结果的步骤。通过解码模块903执行根据编码结果、三维物体检测结果和三维边缘检测结果进行解码，得到三维图像的优化的三维边缘检测结果的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述三维边缘检测方法的步骤。此处三维边缘检测方法的步骤可以是上述各个实施例的三维边缘检测方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述三维边缘检测方法的步骤。此处三维边缘检测方法的步骤可以是上述各个实施例的三维边缘检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种三维边缘检测方法，包括：
获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果；
将各所述二维物体检测结果堆叠为三维物体检测结果，并将各所述二维边缘检测结果堆叠为三维边缘检测结果；
根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行编码，得到编码结果；
根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行解码，得到所述三维图像的优化的三维边缘检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行编码，得到编码结果，包括：
根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行多于一次编码；每次编码的输入为所述三维物体检测结果和所述三维边缘检测结果对前次编码的输出进行运算的运算结果；各次编码的输出各不相同且均为所述三维图像的特征图；
获取末次编码输出的特征图得到编码结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行多于一次编码包括：
将所述三维图像的颜色特征图与所述三维物体检测结果进行点乘操作，再与所述三维边缘检测结果相加后进行当次编码；
将当次编码的输出与所述三维物体检测结果进行点乘操作，再与所述三维边缘检测结果相加后进行下次编码，直至末次编码。
4.根据权利要求1所述的方法，其特征在于，所述根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行解码，得到所述三维图像的优化的三维边缘检测结果，包括：
根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行多于一次解码；每次解码的输入包括所述三维物体检测结果和所述三维边缘检测结果对前次解码的输出进行运算的运算结果；
获取末次解码输出，得到所述三维图像的优化的三维边缘检测结果。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过多于一个采样率相异的空洞卷积对所述编码结果进行处理，得到多于一个特征图；所述多于一个特征图的尺寸各不相同；
将所述多于一个特征图连接后进行卷积操作，得到多尺度学习结果；
所述根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行多于一次解码，包括：
根据所述多尺度学习结果、所述三维物体检测结果和所述三维边缘检测结果进行多于一次解码。
6.根据权利要求5所述的方法，其特征在于，所述根据所述多尺度学习结果、所述三维物体检测结果和所述三维边缘检测结果进行多于一次解码，包括：
将所述多尺度学习结果与所述三维物体检测结果进行点乘操作，再与所述三维边缘检测结果相加后，与中间次编码的输出共同进行当次解码；
将当次解码的输出与所述三维物体检测结果进行点乘操作，再与所述三维边缘检测结果相加后，与所述中间次编码的前次编码的输出共同进行下次编码，直至末次解码。
7.根据权利要求1所述的方法，其特征在于，所述获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果，包括：
获取三维图像各二维分片的二维初始物体检测结果和二维初始边缘检测结果；
对于所述三维图像各二维分片，将所述二维分片的颜色特征图与所述二维分片的二维初始物体检测结果进行点乘操作，再与所述二维分片的二维初始物体检测结果相加后进行物体检测，得到所述二维分片的二维目标物体检测结果；
对于所述三维图像各二维分片进行卷积操作，根据卷积操作的输出和相应二维分片的二维物体检测结果，得到各二维分片的二维目标边缘检测结果。
8.根据权利要求7所述的方法，其特征在于，所述对于所述三维图像各二维分片，将所述二维分片的颜色特征图与所述二维分片的二维初始物体检测结果进行点乘操作，再与所述二维分片的二维初始物体检测结果相加后进行物体检测，得到所述二维分片的二维目标物体检测结果，包括：
对于所述三维图像的每帧二维分片分别执行以下步骤：
将所述二维分片的颜色特征图与所述二维分片的二维初始物体检测结果进行点乘操作，再与所述二维分片的二维初始物体检测结果相加作为待处理数据；
对所述待处理数据进行多于一次编码以及多于一次解码，得到末次解码所输出的所述二维分片的二维目标物体检测结果。
9.根据权利要求8所述的方法，其特征在于，所述对所述待处理数据进行多于一次编码以及多于一次解码，得到末次解码所输出的所述二维分片的二维目标物体检测结果，包括：
对所述待处理数据进行多于一次编码，得到末次编码所输出的物体检测编码结果；
通过多于一个采样率相异的空洞卷积对所述物体检测编码结果进行处理，得到多于一个特征图；所述多于一个特征图的尺寸各不相同；
将所述多于一个特征图连接后进行卷积操作，得到多尺度学习结果；
对所述多尺度学习结果进行多于一次解码，得到末次解码所输出的所述二维分片的二维目标物体检测结果。
10.根据权利要求7所述的方法，其特征在于，所述对于所述三维图像各二维分片进行卷积操作，根据卷积操作的输出和相应二维分片的二维物体检测结果，得到各二维分片的二维目标边缘检测结果，包括：
对于所述三维图像的每帧二维分片分别执行以下步骤：
对所述二维分片进行多于一个阶段的卷积操作；
将各阶段的输出与所述二维分片的二维初始物体检测结果进行点乘操作，再与当前阶段的输出相加得到阶段检测结果；
联合各所述阶段检测结果，得到所述二维分片的二维目标边缘检测结果。
11.一种三维边缘检测装置，包括：
获取模块，用于获取三维图像各二维分片的二维物体检测结果和二维边缘检测结果；将各所述二维物体检测结果堆叠为三维物体检测结果，并将各所述二维边缘检测结果堆叠为三维边缘检测结果；
编码模块，用于根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行编码，得到编码结果；
解码模块，用于根据所述编码结果、所述三维物体检测结果和所述三维边缘检测结果进行解码，得到所述三维图像的优化的三维边缘检测结果。
12.根据权利要求11所述的装置，其特征在于，所述编码模块还用于根据所述三维图像的特征图、所述三维物体检测结果和所述三维边缘检测结果进行多于一次编码；每次编码的输入为所述三维物体检测结果和所述三维边缘检测结果对前次编码的输出进行运算的运算结果；各次编码的输出各不相同且均为所述三维图像的特征图；获取末次编码输出的特征图得到编码结果。
13.根据权利要求11所述的装置，其特征在于，所述获取模块还用于获取三维图像各二维分片的二维初始物体检测结果和二维初始边缘检测结果；对于所述三维图像各二维分片，将所述二维分片的颜色特征图与所述二维分片的二维初始物体检测结果进行点乘操作，再与所述二维分片的二维初始物体检测结果相加后进行物体检测，得到所述二维分片的二维目标物体检测结果；对于所述三维图像各二维分片进行卷积操作，根据卷积操作的输出和相应二维分片的二维物体检测结果，得到各二维分片的二维目标边缘检测结果。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
CN202010104850.1A 2020-02-20 2020-02-20 三维边缘检测方法、装置、存储介质和计算机设备 Active CN111325766B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010104850.1A CN111325766B (zh) 2020-02-20 2020-02-20 三维边缘检测方法、装置、存储介质和计算机设备
PCT/CN2020/121120 WO2021164280A1 (zh) 2020-02-20 2020-10-15 三维边缘检测方法、装置、存储介质和计算机设备
EP20920101.1A EP4016454A4 (en) 2020-02-20 2020-10-15 METHOD AND DEVICE FOR THREE-DIMENSIONAL EDGE DETECTION, STORAGE MEDIUM AND COMPUTER DEVICE
JP2022522367A JP7337268B2 (ja) 2020-02-20 2020-10-15 三次元エッジ検出方法、装置、コンピュータプログラム及びコンピュータ機器
US17/703,829 US20220215558A1 (en) 2020-02-20 2022-03-24 Method and apparatus for three-dimensional edge detection, storage medium, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010104850.1A CN111325766B (zh) 2020-02-20 2020-02-20 三维边缘检测方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN111325766A true CN111325766A (zh) 2020-06-23
CN111325766B CN111325766B (zh) 2023-08-25

Family

ID=71172782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010104850.1A Active CN111325766B (zh) 2020-02-20 2020-02-20 三维边缘检测方法、装置、存储介质和计算机设备

Country Status (5)

Country Link
US (1) US20220215558A1 (zh)
EP (1) EP4016454A4 (zh)
JP (1) JP7337268B2 (zh)
CN (1) CN111325766B (zh)
WO (1) WO2021164280A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991465A (zh) * 2021-03-26 2021-06-18 禾多科技（北京）有限公司 相机标定方法、装置、电子设备和计算机可读介质
WO2021164280A1 (zh) * 2020-02-20 2021-08-26 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN115841625A (zh) * 2023-02-23 2023-03-24 杭州电子科技大学 一种基于改进U-Net模型的遥感建筑物影像提取方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222745B (zh) * 2022-09-21 2022-12-13 南通未来文化科技有限公司 基于光学信息的古筝面板材料检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213093A1 (en) * 2016-01-27 2017-07-27 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting vehicle contour based on point cloud data
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
EP3468182A1 (en) * 2017-10-06 2019-04-10 InterDigital VC Holdings, Inc. A method and apparatus for encoding a point cloud representing three-dimensional objects
CN110276408A (zh) * 2019-06-27 2019-09-24 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005211671A (ja) * 2005-01-31 2005-08-11 Toshiba Corp 放射線治療計画装置
DE102005030646B4 (de) * 2005-06-30 2008-02-07 Siemens Ag Verfahren zur Kontur-Visualisierung von zumindest einer interessierenden Region in 2D-Durchleuchtungsbildern
JP4394127B2 (ja) * 2007-01-16 2010-01-06 ザイオソフト株式会社 領域修正方法
AU2016228027B2 (en) * 2015-03-04 2018-11-22 Institute of Mineral Resources, Chinese Academy of Geological Sciences Method for automatically extracting tectonic framework of potential field
CA3053487A1 (en) * 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
US11399790B2 (en) * 2017-03-30 2022-08-02 Hologic, Inc. System and method for hierarchical multi-level feature image synthesis and representation
CN109410185B (zh) * 2018-10-10 2019-10-25 腾讯科技（深圳）有限公司 一种图像分割方法、装置和存储介质
CN109872325B (zh) * 2019-01-17 2022-11-15 东北大学 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN111325766B (zh) * 2020-02-20 2023-08-25 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213093A1 (en) * 2016-01-27 2017-07-27 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting vehicle contour based on point cloud data
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
EP3468182A1 (en) * 2017-10-06 2019-04-10 InterDigital VC Holdings, Inc. A method and apparatus for encoding a point cloud representing three-dimensional objects
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN110276408A (zh) * 2019-06-27 2019-09-24 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RF RACHMADI等: "Road edge detection on 3D point cloud data using Encoder-Decoder Convolutional Network", IEEE *
上官伟: "医学超声图像处理研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 12 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164280A1 (zh) * 2020-02-20 2021-08-26 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN112991465A (zh) * 2021-03-26 2021-06-18 禾多科技（北京）有限公司 相机标定方法、装置、电子设备和计算机可读介质
CN115841625A (zh) * 2023-02-23 2023-03-24 杭州电子科技大学 一种基于改进U-Net模型的遥感建筑物影像提取方法

Also Published As

Publication number Publication date
EP4016454A1 (en) 2022-06-22
JP2022552663A (ja) 2022-12-19
US20220215558A1 (en) 2022-07-07
CN111325766B (zh) 2023-08-25
JP7337268B2 (ja) 2023-09-01
WO2021164280A1 (zh) 2021-08-26
EP4016454A4 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN111444881B (zh) 伪造人脸视频检测方法和装置
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111325766B (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN110222718B (zh) 图像处理的方法及装置
CN114663670A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN109492610B (zh) 一种行人重识别方法、装置及可读存储介质
CN114418030A (zh) 图像分类方法、图像分类模型的训练方法及装置
CN116912257B (zh) 基于深度学习的混凝土路面裂缝识别方法及存储介质
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN115222750A (zh) 基于多尺度融合注意力的遥感图像分割方法及系统
CN115131634A (zh) 图像识别方法、装置、设备、存储介质及计算机程序产品
CN114677349A (zh) 编解码端边缘信息增强和注意引导的图像分割方法及系统
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN111951220A (zh) 一种基于多层面领域自适应技术的无监督脑出血分割方法
CN116977714A (zh) 图像分类方法、装置、设备、存储介质和程序产品
CN116109649A (zh) 一种基于语义错误修正的3d点云实例分割方法
CN113255646A (zh) 一种实时场景文本检测方法
Li et al. A semi-supervised learning model based on convolutional autoencoder and convolutional neural network for image classification
CN114936327B (zh) 元素识别模型的获取方法、装置、计算机设备和存储介质
CN112966569B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114694039B (zh) 一种遥感高光谱与激光雷达图像融合分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024353

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant