CN114881930A - 基于降维定位的3d目标检测方法、装置、设备和存储介质 - Google Patents

基于降维定位的3d目标检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114881930A
CN114881930A CN202210364679.7A CN202210364679A CN114881930A CN 114881930 A CN114881930 A CN 114881930A CN 202210364679 A CN202210364679 A CN 202210364679A CN 114881930 A CN114881930 A CN 114881930A
Authority
CN
China
Prior art keywords
depth
feature
position information
depth feature
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210364679.7A
Other languages
English (en)
Other versions
CN114881930B (zh
Inventor
吴政阳
李勇明
夏桂锋
李长青
郑文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Bosscan Technology Co ltd
Chongqing University
Original Assignee
Chongqing Bosscan Technology Co ltd
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Bosscan Technology Co ltd, Chongqing University filed Critical Chongqing Bosscan Technology Co ltd
Priority to CN202210364679.7A priority Critical patent/CN114881930B/zh
Publication of CN114881930A publication Critical patent/CN114881930A/zh
Application granted granted Critical
Publication of CN114881930B publication Critical patent/CN114881930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于降维定位的3D目标检测方法、装置、计算机设备和存储介质。方法包括：获取腰椎图像数据，对腰椎图像数据进行卷积处理，获取腰椎图像数据的深度特征；根据预设的残差函数对深度特征进行处理，获取第一深度特征、第二深度特征、第三深度特征；将第一深度特征、第二深度特征、第三深度特征进行尺寸变换和拼接，获取深度融合特征；将深度融合特征输入至预设的深度模型，获取待检测目标在腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，可解决因数据量过大，目前提取的特征可能存在采样密度低、独立性差等情况，导致3D目标检测精度较差等问题。

Description

基于降维定位的3D目标检测方法、装置、设备和存储介质
技术领域
本发明涉及医疗图像检测技术领域，特别是涉及基于降维定位的3D目标检测方法、装置、设备和存储介质。
背景技术
腰椎间盘突出症、腰椎管狭窄症等腰椎疾病是常见的骨科疾病之一，可导致下肢感觉运动障碍、排尿功能异常，对人体健康构成极大威胁。因此，腰椎疾病的计算机辅助诊断(Computer Aided Diagnosis，CAD)和计算机辅助手术(Computer Aided Surgery，CAS)是近年来的研究热点。其中，快速、准确的三维(3-Dimension，3D)椎体空间定位技术作为腰椎疾病相关CAD和CAS的有效保障，是亟待解决的重要科学问题之一。
目前，可以采用基于深度学习的椎体检测定位方法对电子计算机断层扫描(Computed Tomography，CT)、核磁共振成像(Magnetic Resonance Imaging，MRI)图像进行计算后定位椎体，例如，可以将脊柱解剖的三维信息投影到二维的矢状面和冠状面视图中，然后用特征提取网络提取该视图的特征，再将该特征输入至目标检测模型以此对3D目标进行检测。然而，随着数据量的增大，目前的特征提取网络提取的特征可能存在采样密度低、独立性差等问题，导致3D目标检测精度较差。
发明内容
基于此，有必要针对上述技术问题，提供基于降维定位的3D目标检测方法、装置、设备和存储介质，改善3D目标检测性能不佳的问题。
一方面，提供一种基于降维定位的3D目标检测方法，所述基于降维定位的3D目标检测方法包括：
获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
在其中一个实施例中，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征的步骤包括：
对所述腰椎图像数据进行卷积处理，获取第一中间图像；
对所述第一中间图像进行归一化处理，获取第二中间图像；
对所述第二中间图像进行激活处理，获取所述深度特征。
在其中一个实施例中，根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征的步骤包括：
通过所述残差函数将所述深度特征进行残差处理与卷积处理，获取所述第一深度特征；
通过所述残差函数将所述第一深度特征进行残差处理与卷积处理，获取所述第二深度特征；
通过所述残差函数将所述第二深度特征进行残差处理与卷积处理，获取所述第三深度特征。
在其中一个实施例中，将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征的步骤包括：
通过预设的上采样函数对所述第三深度特征进行插值处理，获取第一中间特征；
将所述第一中间特征的通道数量进行删减，并与所述第二深度特征进行相加，获取第二中间特征；
通过所述上采样函数对所述第二中间特征进行插值处理，获取第三中间特征；
将所述第三中间特征的通道数量进行删减，并与所述第一深度特征进行相加，获取所述深度融合特征。
在其中一个实施例中，所述插值处理的方式至少包括以下之一：线性插值、最近邻插值。
在其中一个实施例中，所述损失函数包括：将所述第一位置信息与所述第二位置信息进行相减。
在其中一个实施例中，获取所述待检测目标的3D位置信息的步骤包括：
将所述第一位置信息、所述第二位置信息输入至所述损失函数；
对所述损失函数的数值进行最小化处理，获取所述第一位置信息与所述第二位置信息之间的匹配关系，其中，所述损失函数P的数学表达为：
Figure BDA0003585376910000031
其中，i，j分别代表所述待检测目标在所述第一位置信息、所述第二位置信息的索引，mi，j代表亲和矩阵系数，b代表所述待检测目标的顶点位置，
Figure BDA0003585376910000032
代表第一位置信息在Z坐标轴上的顶点位置b的坐标数值，
Figure BDA0003585376910000033
代表第二位置信息在Z坐标轴上的顶点位置b的坐标数值，∑(·)代表求和函数，||·||代表范数；
根据所述匹配关系，将所述第一位置信息与所述第二位置信息进行融合，获取所述3D位置信息。
另一方面，提供了一种基于降维定位的3D目标检测装置，所述基于降维定位的3D目标检测装置包括：
特征获取模块，用于获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
特征融合模块，用于根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
目标检测模块，用于将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
上述一种基于降维定位的3D目标检测方法、装置、计算机设备和存储介质，通过对腰椎图像数据进行卷积处理，获取腰椎图像数据的深度特征；然后根据预设的残差函数对深度特征进行处理，获取第一深度特征、第二深度特征、第三深度特征；并将第一深度特征、第二深度特征、第三深度特征进行尺寸变换和拼接，获取深度融合特征；再将深度融合特征输入至预设的深度模型，获取待检测目标在腰椎图像数据的第一位置信息、第二位置信息；最后根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，可解决因数据量过大，目前提取的特征可能存在采样密度低、独立性差等情况，导致3D目标检测精度较差等问题。
附图说明
图1为一个实施例中一种基于降维定位的3D目标检测方法的应用环境图；
图2为一个实施例中一种基于降维定位的3D目标检测方法的流程示意图；
图3为一个实施例中获取腰椎图像数据的深度特征的流程示意图；
图4为一个实施例中获取第一深度特征、第二深度特征、第三深度特征的流程示意图；
图5为一个实施例中获取深度融合特征的流程示意图；
图6为一个实施例中获取插值处理的方式的流程示意图；
图7为一个实施例中损失函数的流程示意图；
图8为一个实施例中获取待检测目标的3D位置信息的流程示意图；
图9为另一个实施例中基于降维定位的3D目标检测装置的结构框图；
图10为一个实施例中计算机设备的内部结构图；
图11为一个实施例中芯片的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种基于降维定位的3D目标检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。例如，本申请提供的一种基于降维定位的3D目标检测方法可应用于对腰椎影像图像进行识别和定位的场景中。腰椎间盘突出症、腰椎管狭窄症等腰椎疾病是常见的骨科疾病之一，可导致下肢感觉运动障碍、排尿功能异常，对人体健康构成极大威胁。因此，腰椎疾病的计算机辅助诊断CAD和计算机辅助手术CAS是近年来的研究热点。其中，快速、准确的3D椎体空间定位技术作为腰椎疾病相关CAD和CAS的有效保障，是亟待解决的重要科学问题之一。目前，可以采用基于深度学习的椎体检测定位方法对CT/MRI图像进行计算后定位椎体，例如，可以将脊柱解剖的三维信息投影到二维的矢状面和冠状面视图中，然后用特征提取网络提取该视图的特征，再将该特征输入至目标检测模型以此对3D目标进行检测。然而，随着数据量的增大，目前的特征提取网络提取的特征可能存在采样密度低、独立性差等问题，导致3D目标检测精度较差，因此本方法通过对腰椎图像数据进行卷积处理，获取腰椎图像数据的深度特征；然后根据预设的残差函数对深度特征进行处理，获取第一深度特征、第二深度特征、第三深度特征；并将第一深度特征、第二深度特征、第三深度特征进行尺寸变换和拼接，获取深度融合特征；再将深度融合特征输入至预设的深度模型，获取待检测目标在腰椎图像数据的第一位置信息、第二位置信息；最后根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，可提升特征的采样密度、独立性。在实施过程中，可以在终端102采集腰椎的影像图像，然后传输至服务器104进行处理，并接收来自于服务器104的处理信息，也可以在终端102执行采集和处理的整个过程。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备或者子服务器，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云计算平台来实现。
在一些实施例中，腰椎图像数据可以是经过预处理后的图像数据，预处理后的图像数据可以是指对原始腰椎影像图像进行预处理后得到医学影像，并对医学影像图像进行投影处理后的数据。但是本申请实施例并不具体限定预处理的具体实现方式，预处理可以是指灰度归一化、去噪处理或图像增强处理等，而投影处理可以包括最大值投影、均值投影等。
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i+1个神经网络层的输入相连，第i+1个神经网络层的输出与第i+2个神经网络层的输入相连，以此类推。训练样本输入具有分支结构的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
而深度学习通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
在一个实施例中，如图2所示，提供了一种基于降维定位的3D目标检测方法，包括以下步骤：
S1：获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
S2：根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
S3：将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
通过上述步骤，可改善特征的采样密度低、独立性差等问题。
为了提取腰椎图像数据的特征，在步骤S1中，示例性地说明，获取腰椎图像数据，对腰椎图像数据进行卷积处理，获取腰椎图像数据的深度特征，例如，将多组腰椎图像数据作为包络样本，通过预设的卷积单元对包络样本进行卷积处理，卷积操作指的是使用一个卷积核对图像中的每个像素进行一系列操作，而卷积核(算子)是用来做图像处理时的矩阵，图像处理时也称为掩膜，是与原图像做运算的参数，卷积核通常是一个四方形的网格结构(例如3*3的矩阵或像素区域)，该区域上每个方格都有一个权重值。使用卷积进行计算时，需要将卷积核的中心放置在要计算的像素上，一次计算核中每个元素和其覆盖的图像像素值的乘积并求和，得到的结构就是该位置的新像素值，卷积是一种积分运算，用来求两个曲线重叠区域面积，可以看作加权求和，可以用来消除噪声、特征增强，把一个点的像素值用它周围的点的像素值的加权平均代替，在一些实施过程中，可以采用低通滤波器来计算模糊后的效果，也可以采用高斯滤波器计算高斯模糊后的效果。通过该方式，可以通过对原始的包络样本进行卷积处理，对包络样本进行降维，获取深度特征。
在获取了深度特征以后，需要对该深度特征进行进一步处理，在步骤S2中，示例性地说明，根据预设的残差函数对深度特征进行处理，获取第一深度特征、第二深度特征、第三深度特征；将第一深度特征、第二深度特征、第三深度特征进行尺寸变换和拼接，获取深度融合特征，例如，采用预设的残差函数在网络层对深度特征进行处理，这是因为随着网络层数的增加，网络发生了退化的现象：随着网络层数的增多，训练集Loss(损失函数的数值)逐渐下降，然后趋于饱和，若继续增加网络深度，训练集的Loss反而会增大。当网络退化时，浅层网络能够达到比深层网络更好的训练效果，这时如果把低层的特征传到高层，那么效果不会比浅层的网络效果差，或者说如果一个VGG(Visual Geometry Group Network，视觉几何组网络)-100网络在第98层使用的是和VGG-16第14层一模一样的特征，那么VGG-100的效果会和VGG-16的效果相同或近似。所以，可以在VGG-100的98层和14层之间添加一条直接映射(Identity Mapping)来达到此效果。因此，在本实施例中，通过对包络样本进行处理，获取第一深度特征、第二深度特征、第三深度特征，并将第一深度特征、第二深度特征、第三深度特征的尺寸进行删减/增添和融合，获取深度融合特征。
在获取深度融合特征后，在步骤S3中，示例性地说明，将深度融合特征输入至预设的深度模型，获取待检测目标在腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，例如，可以将深度融合特征输入至预设的深度模型获取第一位置信息和第二位置信息，其中，第一位置信息代表在执行本方法之前，对原始3D腰椎图像进行矢状面投影而获取的经过处理的图像数据，第二位置信息代表在执行本方法之前，对原始3D腰椎图像进行冠状面投影而获取的经过处理的图像数据。根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，该损失函数用于计算将第一位置信息中的多个坐标数值与第二位置信息中的多个坐标数值进行一一对应匹配时的坐标轴数值之差，若损失函数的数值越小，则代表第一位置信息中的坐标数值与第二位置信息中的坐标数值越匹配，通过该方式，则可以将二维形式下的第一位置信息与第二位置信息进行匹配，获取腰椎在3D空间的位置信息。
为了对腰椎图像数据进行卷积处理，在一些实施例中，如图3所示，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征的步骤包括：
S11：对所述腰椎图像数据进行卷积处理，获取第一中间图像；
S12：对所述第一中间图像进行归一化处理，获取第二中间图像；
S13：对所述第二中间图像进行激活处理，获取所述深度特征。
如图3所示，在步骤S11至步骤S13中，示例性地说明，通过对腰椎图像数据进行卷积、归一化和激活处理，获取深度特征，例如，其数学表达可以为：
Figure BDA0003585376910000101
H′＝fgbw(H)
＝g(b(w(X,W)))
其中g(·)表示relu激活算子，b(·)表示归一化算子，w(·)表示卷积算子，fgbw(·)表示卷积模块函数，H′表示输出特征矩阵，X，H表示作为输入数据的腰椎图像数据，c，r0，r1，r2表示序列参数，C表示，M表示，W表示权重，f_gbw表示将卷积算子、归一化算子和激活算子构成的卷积模块函数。
通过该方式，将卷积算子、归一化算子和激活算子构成卷积模块函数，对作为输入的包络样本进行卷积处理，获取输出特征矩阵，也即本实施例中所述的深度特征。优选地，可以将w(X，W)作为卷积处理过程，获取第一中间图像Pic1，然后将b(Pic1)作为归一化处理过程，获取第二中间图像Pic2，将g(Pic2)作为激活处理过程，获取深度特征。通过该方式，可以将获取的腰椎图像数据进行降维处理，通过卷积处理单元的功能，把一个点的像素值用它周围的点的像素值的加权平均代替，获取处于降维状态的特征。
如图4所示，在一些实施例中，根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征的步骤包括：
S21：通过所述残差函数将所述深度特征进行残差处理与卷积处理，获取所述第一深度特征；
S22：通过所述残差函数将所述第一深度特征进行残差处理与卷积处理，获取所述第二深度特征；
S23：通过所述残差函数将所述第二深度特征进行残差处理与卷积处理，获取所述第三深度特征。
如图4所示，在步骤S21至步骤S23中，示例性地说明，通过残差函数将深度特征进行残差处理与卷积处理，获取第一深度特征；通过残差函数将第一深度特征进行残差处理与卷积处理，获取第二深度特征；通过残差函数将第二深度特征进行残差处理与卷积处理，获取第三深度特征，例如，可以选取残差单元的个数，然后把作为输入特征的深度特征输入至残差函数，获取输出特征，其数学表达可以为；
Figure BDA0003585376910000121
其中Xl表述输入特征矩阵，XL表示输出特征矩阵，F(·,·)表示残差算子，fres(Xl,n)表示n个残差单元连接的残差模块函数，w(·)表示卷积算子，n表示残差单元的个数，l表示输入特征的尺寸，L表示输出特征的尺寸。
优选地，根据残差函数与卷积模块函数，将作为输入特征的深度特征输入至卷积、残差处理函数，其数学表达为：
Figure BDA0003585376910000122
通过该方式，通过残差函数将作为输入特征的深度特征进行残差处理与卷积处理，获取第一深度特征；通过残差函数将第一深度特征进行残差处理与卷积处理，获取第二深度特征；通过残差函数将第二深度特征进行残差处理与卷积处理，获取第三深度特征，避免了随着网络层数的增加导致网络发生退化的现象，把低层的特征传到高层，获取更好的网络效果，得到
Figure BDA0003585376910000123
和
Figure BDA0003585376910000124
三个深度特征尺寸的包络特征，也即，第一深度特征，第二深度特征，第三深度特征，提升特征的采样密度和独立性。
在获取了第一深度特征、第二深度特征、第三深度特征以后，如图5所示，将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征的步骤包括：
S31：通过预设的上采样函数对所述第三深度特征进行插值处理，获取第一中间特征；
S32：将所述第一中间特征的通道数量进行删减，并与所述第二深度特征进行相加，获取第二中间特征；
S33：通过所述上采样函数对所述第二中间特征进行插值处理，获取第三中间特征；
S34：将所述第三中间特征的通道数量进行删减，并与所述第一深度特征进行相加，获取所述深度融合特征。
如图5所示，在步骤S31至步骤S34中，示例性地说明，通过预设的上采样函数对第三深度特征进行插值处理，获取第一中间特征；将第一中间特征的通道数量进行删减，并与第二深度特征进行相加，获取第二中间特征；通过上采样函数对第二中间特征进行插值处理，获取第三中间特征；将第三中间特征的通道数量进行删减，并与第一深度特征进行相加，获取深度融合特征，例如，将第一深度特征、第二深度特征、第三深度特征进行递归融合，其数学表达可以为：
Figure BDA0003585376910000131
其中，
Figure BDA0003585376910000132
表示第k个特征尺寸的深度包络特征(第一深度特征、第二深度特征、第三深度特征)；
Figure BDA0003585376910000133
表示第k个特征尺寸的深度融合包络特征；
Figure BDA0003585376910000134
表示将深度融合包络特征
Figure BDA0003585376910000135
进行上采样，即通过插值函数(不限于线性插值、最近邻插值等)将特征图像尺寸增加一倍。
Figure BDA0003585376910000136
表示将上采样后的深度融合包络特征
Figure BDA0003585376910000137
进行卷积降维，其深度特征的通道数降低一半。
在一些实施过程中，选取卷积降维的方式将第一中间特征\第三中间特征的通道数量进行删减，例如，输入的特征是28×28×192，1×1的卷积通道为64，3×3的卷积通道为128，5×5的卷积通道为32，因此卷积核参数为：192×(1×1×64)+192×(3×3×128)+192×(5×5×32)＝387072，而对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层，这样卷积核参数就变成了:192×(1×1×64)+(192×1×1×96+96×3×3×128)+(192×1×1×16+16×5×5×32)＝157184。
通过该方式，则可以通过预设的上采样函数对第三深度特征进行插值处理，获取第一中间特征；将第一中间特征的通道数量进行删减，并与第二深度特征进行相加，获取第二中间特征；通过上采样函数对第二中间特征进行插值处理，获取第三中间特征；将第三中间特征的通道数量进行删减，并与第一深度特征进行相加，获取深度融合特征。
在一些实施例中，如图6所示，获取插值处理方式的步骤包括：
S41：所述插值处理的方式至少包括以下之一：线性插值、最近邻插值。
如图6所示，在步骤S41中，可以从线性插值、最近邻插值中选取一种插值处理的方式对第三深度特征、第一中间特征和第二中间特征进行插值处理。插值是根据抽样函数或信号估计连续位置的数值，或者是根据一系列离散采样点重构出原始的连续函数。在图像几何变换中，经过几何变换后的图像像素可能在原始图像中并没有对应的像素点，那么，在目标图像中这些没有对应点的像素灰度值则是通过图像的插值进行获取。图像插值对于目标图像像素点的任何连续位置，都可以获得一个较为精确的插值。而插值函数需要尽可能的保留图像的细节，并且尽可能的少引入人为噪声。在一些实施过程中，还可以采用三次多项式插值的方式对图像的尺寸进行放大。
如图7所示，所述损失函数的内容包括：
S51：所述损失函数包括：将所述第一位置信息与所述第二位置信息进行相减。
如图7所示，在步骤S51中，损失函数包括：将所述第一位置信息与所述第二位置信息进行相减，例如，第一位置信息包括了X轴与Z轴的坐标数据，第二位置信息包括了Y轴与Z轴的数据，因此可以建立一个损失函数，用于计算第一位置信息中Z轴数据与第二位置信息中Z轴数据进行相减，该方法的目的在于：第一位置信息、第二位置信息分别为从矢状面(第一方向)/冠状面(第二方向)进行投影处理后的2D图像信息，而由于两个方向获取的图像的存储顺序并不一定严格按照时间先后顺序或者空间先后顺序进行存储，并且可能因为图像模糊、精度低等问题导致第一位置信息与第二位置信息无法匹配，因此将第一位置信息中的Z轴数据与第二位置信息中的Z轴数据进行相减并构造一个损失函数，则可以根据第一位置信息中的Z轴数据与第二位置信息中的Z轴数据之间的差值判断第一位置信息与第二位置信息之间的匹配关系。
为了获取待检测目标的3D位置信息，如图8所示，获取所述待检测目标的3D位置信息的步骤包括：
将所述第一位置信息、所述第二位置信息输入至所述损失函数；
对所述损失函数的数值进行最小化处理，获取所述第一位置信息与所述第二位置信息之间的匹配关系，其中，所述损失函数P的数学表达为：
Figure BDA0003585376910000151
其中，i，j分别代表所述待检测目标在所述第一位置信息、所述第二位置信息的索引，mi,j代表亲和矩阵系数，b代表所述待检测目标的顶点位置，
Figure BDA0003585376910000152
代表第一位置信息在Z坐标轴上的顶点位置b的坐标数值，
Figure BDA0003585376910000153
代表第二位置信息在Z坐标轴上的顶点位置b的坐标数值，∑(·)代表求和函数，||·||代表范数；
根据所述匹配关系，将所述第一位置信息与所述第二位置信息进行融合，获取所述3D位置信息。
如图8所示，在步骤S61至步骤S63中，示例性地说明，获取第一位置信息与第二位置信息中属于同一个坐标轴的坐标数值，并将两者的坐标数值进行相减，以此对各坐标数值进行对应地匹配操作，例如，对于处于二维形式的第一位置信息与第二位置信息而言，第一位置信息包含了X轴与Z轴的坐标数值，第二位置信息包含了Y轴与Z轴的坐标数值，因此可以通过第一位置信息与第二位置信息中共同的Z轴坐标数值作为进行匹配的依据，然而对第一方向和第二方向进行投影时，可能存在数据不一致的问题，还可能存在数据存储时并未按照严格的预设顺序进行存储的问题，因此可以从第一方向图像和第二方向图像上各椎骨目标的边界点的位置信息进行提取，例如，对于第一方向图像和第二方向图像中的各个椎骨，可以选取各椎骨的左上方顶点位置信息
Figure BDA0003585376910000161
和
Figure BDA0003585376910000162
与右下方顶点位置信息
Figure BDA0003585376910000163
和
Figure BDA0003585376910000164
也可以选取各椎骨的左下方顶点位置信息
Figure BDA0003585376910000165
和
Figure BDA0003585376910000166
与右上方顶点位置信息
Figure BDA0003585376910000167
和
Figure BDA0003585376910000168
作为一组相互对应的位置信息，然后输入至损失函数P中，然后对亲和矩阵系数mi，j的数值进行约束，数学表达为：
Figure BDA0003585376910000169
其中，nf代表第一方向投影中椎骨目标的数量，nl代表第二方向投影中椎骨目标的数量，并且mi，j的数值等于0或者1。
通过上述约束可以达到以下目的：一个正位片(第一方向)的任意椎骨目标最多能与侧位片(第二方向)的一个椎骨目标形成对应；反之，一个侧投影(第二方向)的任意椎骨目标最多能与正位片(第一方向)的一个椎骨目标形成对应，mi，j＝1表示正投影(第一方向)的第i个椎骨和侧投影(第二方向)的第j个椎骨形成对应，进而能够确定是3D椎骨目标；mi，j＝0表示正投影(第一方向)的第i个椎骨和侧投影(第二方向)的第j个椎骨不是对应椎骨，因此不能形成构成3D椎骨目标。
进一步地，构成3D椎骨目标位置信息posi，j的数学表达可以为：
Figure BDA00035853769100001610
其中，i，j表示第i，j个目标椎骨，
Figure BDA00035853769100001611
代表3D椎骨目标的顶点位置b＝1时在X轴上的坐标数值，
Figure BDA00035853769100001612
代表3D椎骨目标的顶点位置b＝1时在Y轴上的坐标数值，
Figure BDA00035853769100001613
代表3D椎骨目标的第一方向在顶点位置b＝1时在Z轴上的坐标数值，
Figure BDA00035853769100001614
代表3D椎骨目标的第二方向在顶点位置b＝1时在Z轴上的坐标数值，
Figure BDA00035853769100001615
代表3D椎骨目标的顶点位置b＝2时在X轴上的坐标数值，
Figure BDA00035853769100001616
代表3D椎骨目标的顶点位置b＝2时在Y轴上的坐标数值，
Figure BDA00035853769100001617
代表3D椎骨目标的第一方向在顶点位置b＝2时在Z轴上的坐标数值，
Figure BDA00035853769100001618
代表3D椎骨目标的第二方向在顶点位置b＝2时在Z轴上的坐标数值。
通过该方式，则可以获取3D空间中待检测目标(各腰椎骨)的3D位置信息。在一些实施过程中，可以将本方法的深度特征提取和递归融合过程以及获取腰椎骨在3D空间中的位置信息应用于CAD、CAS等过程中，考虑了腰椎中可能存在骨折和变形的情况从而导致腰椎图像数据量大、维度大，传统的特征提取网络提取的特征存在独立性差、采样密度低的问题，而本方法的深度特征提取方法与递归融合方法可以解决该问题并且进行特征降维处理后对腰椎进行精度较高地识别和定位。
在另一些实施过程中，还可以将本方法应用于其他动物的多个器官之中，即，针对不同的器官获取不同的样本数据，并将本方法中涉及到使用神经网络过程中各参数的设定和更新方式进行调整。
在另一些实施过程中，可以对腰椎影像图像样本中各节椎骨的位置进行标注，获取3D空间中每个椎骨的标签数据，然后获取腰椎影像图像样本的2D投影数据，并采用本方法对腰椎图像数据进行卷积处理，获取腰椎图像数据的深度融合特征，建立深度网络模型，并对网络模型进行训练，得到训练好的深度模型；还可以将无标签的腰椎图像样本输入至训练好的模型，获取第一位置信息和第二位置信息，并将第一位置信息和第二位置输入至预设的损失函数，并对该损失函数进行求解，获取第一位置信息与第二位置信息之间的匹配关系，获取3D目标的空间定位信息，对3D目标(例如腰椎)进行检测和定位。
在一个实施例中，如图9所示，提供了一种基于降维定位的3D目标检测装置，所述基于降维定位的3D目标检测装置包括：
特征获取模块，用于获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
特征融合模块，用于根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
目标检测模块，用于将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
在特征获取模块中，示例性地说明，获取腰椎图像数据，对腰椎图像数据进行卷积处理，获取腰椎图像数据的深度特征，例如，将多组腰椎图像数据作为包络样本，通过预设的卷积单元对包络样本进行卷积处理，卷积操作指的是使用一个卷积核对图像中的每个像素进行一系列操作，而卷积核(算子)是用来做图像处理时的矩阵，图像处理时也称为掩膜，是与原图像做运算的参数，卷积核通常是一个四方形的网格结构(例如3*3的矩阵或像素区域)，该区域上每个方格都有一个权重值。使用卷积进行计算时，需要将卷积核的中心放置在要计算的像素上，一次计算核中每个元素和其覆盖的图像像素值的乘积并求和，得到的结构就是该位置的新像素值，卷积是一种积分运算，用来求两个曲线重叠区域面积，可以看作加权求和，可以用来消除噪声、特征增强，把一个点的像素值用它周围的点的像素值的加权平均代替，在一些实施过程中，可以采用低通滤波器来计算模糊后的效果，也可以采用高斯滤波器计算高斯模糊后的效果。通过该方式，可以通过对原始的包络样本进行卷积处理，对包络样本进行降维，获取深度特征。
在特征融合模块中，示例性地说明，根据预设的残差函数对深度特征进行处理，获取第一深度特征、第二深度特征、第三深度特征；将第一深度特征、第二深度特征、第三深度特征进行尺寸变换和拼接，获取深度融合特征，例如，采用预设的残差函数在网络层对深度特征进行处理，这是因为随着网络层数的增加，网络发生了退化的现象：随着网络层数的增多，训练集Loss逐渐下降，然后趋于饱和，若继续增加网络深度，训练集的Loss反而会增大。当网络退化时，浅层网络能够达到比深层网络更好的训练效果，这时如果把低层的特征传到高层，那么效果不会比浅层的网络效果差，或者说如果一个VGG-100网络在第98层使用的是和VGG-16第14层一模一样的特征，那么VGG-100的效果会和VGG-16的效果相同或近似。所以，可以在VGG-100的98层和14层之间添加一条直接映射(Identity Mapping)来达到此效果。因此，在本实施例中，通过对包络样本进行处理，获取第一深度特征、第二深度特征、第三深度特征，并将第一深度特征、第二深度特征、第三深度特征的尺寸进行删减/增添和融合，获取深度融合特征。
在目标检测模块中，示例性地说明，将深度融合特征输入至预设的深度模型，获取待检测目标在腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，例如，可以将深度融合特征输入至预设的深度模型获取第一位置信息和第二位置信息，其中，第一位置信息代表在执行本方法之前，对原始3D腰椎图像进行矢状面投影而获取的经过处理的图像数据，第二位置信息代表在执行本方法之前，对原始3D腰椎图像进行冠状面投影而获取的经过处理的图像数据。根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，该损失函数用于计算将第一位置信息中的多个坐标数值与第二位置信息中的多个坐标数值进行一一对应匹配时的坐标轴数值之差，若损失函数的数值越小，则代表第一位置信息中的坐标数值与第二位置信息中的坐标数值越匹配，通过该方式，则可以将二维形式下的第一位置信息与第二位置信息进行匹配，获取腰椎在3D空间的位置信息。
上述装置可应用于对腰椎影像图像进行识别和定位的场景中，通过特征提取模块对腰椎图像数据进行卷积处理，获取腰椎图像数据的深度特征；然后在特征融合模块中根据预设的残差函数对深度特征进行处理，获取第一深度特征、第二深度特征、第三深度特征；并将第一深度特征、第二深度特征、第三深度特征进行尺寸变换和拼接，获取深度融合特征；最后在目标检测模块中将深度融合特征输入至预设的深度模型，获取待检测目标在腰椎图像数据的第一位置信息、第二位置信息，并最后根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，可提升特征的采样密度和独立性。
关于基于降维定位的3D目标检测装置的具体限定可以参见上文中对于基于降维定位的3D目标检测方法的限定，在此不再赘述。上述基于降维定位的3D目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于降维定位的3D目标检测的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于降维定位的3D目标检测方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
本申请实施例提供的基于降维定位的3D目标检测存储介质具体还可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(RandomAccess Memory，RAM)等。
具体的，请参阅图11，图11为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU(Neural-Network Processing Unit，神经网络处理器)20，NPU20作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路203，通过控制器204控制运算电路203提取存储器中的矩阵数据并进行乘法运算。
在一些实施过程中，运算电路203内部包括多个处理单元(Process Engine，PE)。在实施过程中，运算电路203是二维脉动阵列。运算电路203还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在实施过程中，运算电路203是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器202中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器201中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(Accumulator)208中。
统一存储器206用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)205，DMAC被搬运到权重存储器202中。输入数据也通过DMAC被搬运到统一存储器206中。BIU为Bus Interface Unit，即总线接口单元210，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)209的交互。总线接口单元210(Bus Interface Unit，简称BIU)，用于取指存储器209从外部存储器获取指令，还用于存储单元访问控制器205从外部存储器获取输入矩阵A或者权重矩阵B的原数据。DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器206或将权重数据搬运到权重存储器202中或将输入数据数据搬运到输入存储器201中。向量计算单元207包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实施过程中，向量计算单元207能将经处理的输出的向量存储到统一存储器206。例如，向量计算单元207可以将线性函数和/或非线性函数应用到运算电路203的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元207生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路203的激活输入，例如用于在神经网络中的后续层中的使用。
控制器204连接的取指存储器(Instruction Fetch Buffer)209，用于存储控制器204使用的指令；统一存储器206，输入存储器201，权重存储器202以及取指存储器209均为On-Chip存储器。外部存储器私有于NPU20硬件架构。
其中，上述各个实施例示出的目标模型中各层的运算可以由运算电路203或向量计算单元207执行。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
应该理解的是，虽然图1至图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图11的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程RO M(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.基于降维定位的3D目标检测方法，其特征在于，包括：
获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
2.根据权利要求1所述的基于降维定位的3D目标检测方法，其特征在于，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征的步骤包括：
对所述腰椎图像数据进行卷积处理，获取第一中间图像；
对所述第一中间图像进行归一化处理，获取第二中间图像；
对所述第二中间图像进行激活处理，获取所述深度特征。
3.根据权利要求1或2所述的基于降维定位的3D目标检测方法，其特征在于，根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征的步骤包括：
通过所述残差函数将所述深度特征进行残差处理与卷积处理，获取所述第一深度特征；
通过所述残差函数将所述第一深度特征进行残差处理与卷积处理，获取所述第二深度特征；
通过所述残差函数将所述第二深度特征进行残差处理与卷积处理，获取所述第三深度特征。
4.根据权利要求1所述的基于降维定位的3D目标检测方法，其特征在于，将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征的步骤包括：
通过预设的上采样函数对所述第三深度特征进行插值处理，获取第一中间特征；
将所述第一中间特征的通道数量进行删减，并与所述第二深度特征进行相加，获取第二中间特征；
通过所述上采样函数对所述第二中间特征进行插值处理，获取第三中间特征；
将所述第三中间特征的通道数量进行删减，并与所述第一深度特征进行相加，获取所述深度融合特征。
5.根据权利要求4所述的基于降维定位的3D目标检测方法，其特征在于，所述插值处理的方式至少包括以下之一：线性插值、最近邻插值。
6.根据权利要求1所述的基于降维定位的3D目标检测方法，其特征在于，所述损失函数包括：将所述第一位置信息与所述第二位置信息进行相减。
7.根据权利要求6所述的基于降维定位的3D目标检测方法，其特征在于，获取所述待检测目标的3D位置信息的步骤包括：
将所述第一位置信息、所述第二位置信息输入至所述损失函数；
对所述损失函数的数值进行最小化处理，获取所述第一位置信息与所述第二位置信息之间的匹配关系，其中，所述损失函数P的数学表达为：
Figure FDA0003585376900000021
其中，i，j分别代表所述待检测目标在所述第一位置信息、所述第二位置信息的索引，mi，j代表亲和矩阵系数，b代表所述待检测目标的顶点位置，
Figure FDA0003585376900000022
代表第一位置信息在Z坐标轴上的顶点位置b的坐标数值，
Figure FDA0003585376900000023
代表第二位置信息在Z坐标轴上的顶点位置b的坐标数值，∑(·)代表求和函数，||·||代表范数；
根据所述匹配关系，将所述第一位置信息与所述第二位置信息进行融合，获取所述3D位置信息。
8.一种基于降维定位的3D目标检测装置，其特征在于，包括：
特征获取模块，用于获取腰椎图像数据，对所述腰椎图像数据进行卷积处理，获取所述腰椎图像数据的深度特征；
特征融合模块，用于根据预设的残差函数对所述深度特征的尺寸进行调整，获取第一深度特征、第二深度特征、第三深度特征；将所述第一深度特征、所述第二深度特征、所述第三深度特征进行尺寸变换和拼接，获取深度融合特征；
目标检测模块，用于将所述深度融合特征输入至预设的深度模型，获取待检测目标在所述腰椎图像数据的第一位置信息、第二位置信息；根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述基于降维定位的3D目标检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于降维定位的3D目标检测方法的步骤。
CN202210364679.7A 2022-04-07 2022-04-07 基于降维定位的3d目标检测方法、装置、设备和存储介质 Active CN114881930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210364679.7A CN114881930B (zh) 2022-04-07 2022-04-07 基于降维定位的3d目标检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210364679.7A CN114881930B (zh) 2022-04-07 2022-04-07 基于降维定位的3d目标检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114881930A true CN114881930A (zh) 2022-08-09
CN114881930B CN114881930B (zh) 2023-08-18

Family

ID=82670113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210364679.7A Active CN114881930B (zh) 2022-04-07 2022-04-07 基于降维定位的3d目标检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114881930B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439453A (zh) * 2022-09-13 2022-12-06 北京医准智能科技有限公司 一种脊椎椎体定位方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846830A (zh) * 2018-05-25 2018-11-20 妙智科技（深圳）有限公司 对ct中腰椎自动定位的方法、装置以及存储介质
CN111161217A (zh) * 2019-12-10 2020-05-15 中国民航大学 基于Conv-LSTM多尺度特征融合的模糊检测方法
CN113496150A (zh) * 2020-03-20 2021-10-12 长沙智能驾驶研究院有限公司 密集目标检测方法、装置、存储介质及计算机设备
WO2022037548A1 (zh) * 2020-08-17 2022-02-24 浙江大学 一种基于深度学习的脊椎mri影像关键点检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846830A (zh) * 2018-05-25 2018-11-20 妙智科技（深圳）有限公司 对ct中腰椎自动定位的方法、装置以及存储介质
CN111161217A (zh) * 2019-12-10 2020-05-15 中国民航大学 基于Conv-LSTM多尺度特征融合的模糊检测方法
CN113496150A (zh) * 2020-03-20 2021-10-12 长沙智能驾驶研究院有限公司 密集目标检测方法、装置、存储介质及计算机设备
WO2022037548A1 (zh) * 2020-08-17 2022-02-24 浙江大学 一种基于深度学习的脊椎mri影像关键点检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟云: "基于卷积神经网络的腰椎骨质增生检测", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, no. 9, pages 066 - 373 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439453A (zh) * 2022-09-13 2022-12-06 北京医准智能科技有限公司 一种脊椎椎体定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114881930B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Al Arif et al. Fully automatic cervical vertebrae segmentation framework for X-ray images
CN109166130B (zh) 一种图像处理方法及图像处理装置
US9561004B2 (en) Automated 3-D orthopedic assessments
Al Arif et al. Shape-aware deep convolutional neural network for vertebrae segmentation
JP7221421B2 (ja) Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体
JP2021535482A (ja) 深層学習ベースのコレジストレーション
KR102458324B1 (ko) 학습 모델을 이용한 데이터 처리 방법
KR20210115010A (ko) 이미지 처리 방법 및 장치, 전자 기기
WO2023202265A1 (zh) 用于伪影去除的图像处理方法、装置、设备、产品和介质
CN111275703B (zh) 图像检测方法、装置、计算机设备和存储介质
CN114881930B (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
CN114140369A (zh) 器官的分割方法、装置、计算机设备和存储介质
Bukas et al. Patient-specific virtual spine straightening and vertebra inpainting: an automatic framework for osteoplasty planning
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN116934859A (zh) 基于矢状位图的关键点识别方法及相关装置
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
KR102545906B1 (ko) 학습 모델을 이용한 데이터 처리 방법
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
Zhang et al. A Spine Segmentation Method under an Arbitrary Field of View Based on 3D Swin Transformer
CN115829947A (zh) 模型处理设备及方法
CN114782624B (zh) 一种3d图像投影融合方法、装置、计算机设备和存储介质
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
WO2022229816A1 (en) 3d reconstruction of anatomical images
US20100098305A1 (en) Multi-image correlation
CN112308764A (zh) 图像配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant