CN114782624B - 一种3d图像投影融合方法、装置、计算机设备和存储介质 - Google Patents

一种3d图像投影融合方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114782624B
CN114782624B CN202210363277.5A CN202210363277A CN114782624B CN 114782624 B CN114782624 B CN 114782624B CN 202210363277 A CN202210363277 A CN 202210363277A CN 114782624 B CN114782624 B CN 114782624B
Authority
CN
China
Prior art keywords
image
residual
projection
position information
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210363277.5A
Other languages
English (en)
Other versions
CN114782624A (zh
Inventor
吴政阳
李勇明
夏桂锋
李长青
郑文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Bosscan Technology Co ltd
Chongqing University
Original Assignee
Chongqing Bosscan Technology Co ltd
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Bosscan Technology Co ltd, Chongqing University filed Critical Chongqing Bosscan Technology Co ltd
Priority to CN202210363277.5A priority Critical patent/CN114782624B/zh
Publication of CN114782624A publication Critical patent/CN114782624A/zh
Application granted granted Critical
Publication of CN114782624B publication Critical patent/CN114782624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种3D图像投影融合方法、装置、计算机设备和存储介质。方法包括：根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取腰椎影像图像的第一方向图像、第二方向图像；对第一方向图像、第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将第一方向图像与第一调整图像进行拼接，获取第一残差图像；将第二方向图像与第二调整图像进行拼接，获取第二残差图像；将一个第一残差图像与另一个第一残差图像进行融合，获取第一融合图像；将一个第二残差图像与另一个第二残差图像进行融合，获取第二融合图像，可解决通过矢状面图像和冠状面图像融合的3D图像精度较差等问题。

Description

一种3D图像投影融合方法、装置、计算机设备和存储介质
技术领域
本发明涉及医疗图像检测技术领域，特别是涉及一种3D图像投影融合方法、装置、计算机设备和存储介质。
背景技术
腰椎间盘突出症、腰椎管狭窄症等腰椎疾病是常见的骨科疾病之一，可导致下肢感觉运动障碍、排尿功能异常，对人体健康构成极大威胁。因此，腰椎疾病的计算机辅助诊断(Computer Aided Diagnosis，CAD)和计算机辅助手术(Computer Aided Surgery，CAS)是近年来的研究热点。其中，快速、准确的三维(3-Dimension，3D)椎体空间定位技术作为腰椎疾病相关CAD和CAS的有效保障，是亟待解决的重要科学问题之一。
目前，可以采用基于深度学习的椎体检测定位方法将待检测3D图像的三维信息投影到二维矢状面和冠状面视图中，并使用这些视图作为其二维卷积神经网络(Convolutional Neural Networks,CNN)的输入，用于脊柱识别和定位。然而，原始的待检测3D图像可能存在骨折、变形等问题，单一的矢状面和冠状面投影图像都不足以充分描述图像结构信息，从而导致通过矢状面图像和冠状面图像融合的3D图像精度较差。
发明内容
基于此，有必要针对上述技术问题，提供一种3D图像投影融合方法、装置、计算机设备和存储介质，改善3D图像融合性能不佳的问题。
一方面，提供一种3D图像投影融合方法，所述3D图像投影融合方法包括：
根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
在其中一个实施例中，所述投影处理的方式至少包括以下之二：最大值投影、均值投影、标准差投影、求和投影。
在其中一个实施例中，对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像的步骤包括：
根据预设的高斯核矩阵对所述第一方向图像、所述第二方向图像进行卷积处理，获取第一滤波图像、第二滤波图像；
根据预设的下采样函数对所述第一滤波图像、所述第二滤波图像的像素进行删减，获取所述第一调整图像、所述第二调整图像。
在其中一个实施例中，将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像的步骤包括：
根据预设的上采样函数对所述第一调整图像、所述第二调整图像的像素进行插值，获取第一插值图像、第二插值图像；
将所述第一方向图像的像素数值减去所述第一插值图像的像素数值，获取所述第一残差图像；
将所述第二方向图像的像素数值减去所述第二插值图像的像素数值，获取所述第二残差图像。
在其中一个实施例中，将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像的步骤包括：
判断一个所述第一残差图像的尺寸是否与另一个所述第一残差图像的尺寸相同；
若是，则将一个所述第一残差图像的像素与另一个所述第一残差图像的像素进行相加，获取所述第一融合图像；
若否，则对尺寸小的对应的一个所述第一残差图像的像素进行插值处理后与另一个所述第一残差图像的像素进行相加，获取所述第一融合图像；
判断一个所述第二残差图像的尺寸是否与另一个所述第二残差图像的尺寸相同；
若是，则将一个所述第二残差图像的像素与另一个所述第二残差图像的像素进行相加，获取所述第二融合图像；
若否，则对尺寸小的对应的一个所述第二残差图像的像素进行插值处理后与另一个所述第二残差图像的像素进行相加，获取所述第二融合图像。
在其中一个实施例中，获取第一融合图像与第二融合图像之后的的步骤还包括：
获取待检测目标在所述第一融合图像、所述第二融合图像的第一位置信息、第二位置信息；
根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
在其中一个实施例中，根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息包括：
将所述第一位置信息、所述第二位置信息输入至所述损失函数；
对所述损失函数的数值进行最小化处理，获取所述第一位置信息与所述第二位置信息之间的匹配关系，其中，所述损失函数P的数学表达为：
其中，i，j分别代表所述待检测目标在所述第一位置信息、所述第二位置信息的索引，mi,j代表亲和矩阵系数，b代表所述待检测目标的顶点位置，代表第一位置信息在Z坐标轴上的顶点位置b的坐标数值，/>代表第二位置信息在Z坐标轴上的顶点位置b的坐标数值，∑(·)代表求和函数，||·||代表范数；
根据所述匹配关系，将所述第一位置信息与所述第二位置信息进行融合，获取所述3D位置信息。
另一方面，提供了一种3D图像投影融合装置，所述3D图像投影融合装置包括：
图像投影模块，用于根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
图像处理模块，用于对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
图像融合模块，用于将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
上述一种3D图像投影融合方法、装置、计算机设备和存储介质，从两个方向对原始的腰椎影像图像进行投影，获取第一方向图像、第二方向图像，然后将第一图像和第二图像的尺寸进行调整与拼接，获取第一残差图像与第二残差图像，最后将一个第一残差图像与另一个第一残差图像进行融合，将一个第二残差图像与另一个第二残差图像进行融合，实现3D图像的投影融合，以此解决计算机辅助诊断(Computer Aided Diagnosis，CAD)和计算机辅助手术(Computer Aided Surgery，CAS)过程中对腰椎进行识别和定位时，由于原始腰椎3D图像可能存在骨折、变形等情况，从而导致通过矢状面图像和冠状面图像进行融合时3D图像精度较差等问题。
附图说明
图1为一个实施例中一种3D图像投影融合方法的应用环境图；
图2为一个实施例中一种3D图像投影融合方法的流程示意图；
图3为一个实施例中投影处理方式的流程示意图；
图4为一个实施例中获取第一调整图像、第二调整图像的流程示意图；
图5为一个实施例中获取第一残差图像、第二残差图像的流程示意图；
图6为一个实施例中获取第一融合图像、第二融合图像的流程示意图；
图7为一个实施例中获取第一融合图像、第二融合图像之后的步骤的流程示意图；
图8为一个实施例中获取待检测目标的3D位置信息的流程示意图；
图9为另一个实施例中3D图像投影融合装置的结构框图；
图10为一个实施例中计算机设备的内部结构图；
图11为一个实施例中芯片的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种3D图像投影融合方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。例如，本申请提供的一种3D图像投影融合方法可应用于对腰椎影像图像进行识别和定位的场景中。腰椎间盘突出症、腰椎管狭窄症等腰椎疾病是常见的骨科疾病之一，可导致下肢感觉运动障碍、排尿和性功能异常，对人体健康构成极大威胁。因此，腰椎疾病的计算机辅助诊断(CAD)和计算机辅助手术(CAS)是近年来的研究热点。其中，快速、准确的3D椎体空间定位技术作为腰椎疾病相关CAD和CAS的有效保障，是亟待解决的重要科学问题之一。目前，可以采用基于深度学习的椎体检测定位方法将待检测3D图像的三维信息投影到二维矢状面和冠状面视图中，并使用这些视图作为其二维CNN的输入，用于脊柱识别和定位。然而，原始的待检测3D图像可能存在骨折、变形等问题，单一的矢状面和冠状面投影图像都不足以充分描述图像结构信息，从而导致通过矢状面图像和冠状面图像融合的3D图像精度较差，因此本方法从两个方向对原始的腰椎影像图像进行投影，获取第一方向图像、第二方向图像，然后将第一图像和第二图像的尺寸进行调整与拼接，获取第一残差图像与第二残差图像，最后将一个第一残差图像与另一个第一残差图像进行融合，将一个第二残差图像与另一个第二残差图像进行融合，实现3D图像的投影融合，提升融合后的3D图像的精度。在实施过程中，可以在终端102采集腰椎的影像图像，然后传输至服务器104进行处理，并接收来自于服务器104的处理信息，也可以在终端102执行采集和处理的整个过程。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备或者子服务器，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云计算平台来实现。
在一些实施例中，腰椎影像图像可以是指经过预处理后的图像，预处理后的图像可以是指对原始腰椎影像图像进行预处理后，得到的医学影像。但是本申请实施例并不具体限定预处理的具体实现方式，预处理可以是指灰度归一化、去噪处理或图像增强处理等。
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i+1个神经网络层的输入相连，第i+1个神经网络层的输出与第i+2个神经网络层的输入相连，以此类推。训练样本输入具有分支结构的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
而深度学习通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
在一个实施例中，如图2所示，提供了一种3D图像投影融合方法，包括以下步骤：
S1：根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
S2：对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
S3：将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
通过上述步骤，可改善通过矢状面图像和冠状面图像融合的3D图像精度较差的问题。
为了将原始3D的腰椎影像图像转换为2D图像，在步骤S1中，示例性地说明，从第一方向和第二方向对腰椎影像图像进行投影处理，例如，可以通过最大值投影、均值投影的方法对原始3D的CT(Computed Tomography，计算机断层扫描)/MRI(Magnetic ResonanceImaging，核磁共振成像)影像图像进行投影，在实施过程中，可以选取矢状面为第一方向，选取冠状面方向为第二方向，然后对多组腰椎影像图像依次进行识别，获取第一方向图像和第二方向图像，并分别将多组腰椎影像图像在第一方向和第二方向进行投影处理后获取的投影图像保存至不同的集合；优选地，当同时用两种投影方式对原始腰椎图像进行投影时，可以将多组腰椎影像图像的第一方向对应的经过多种投影方式处理后的多个第一方向图像进行存储，将多组腰椎影像图像的第二方向对应的经过多种投影方式处理后的多个第二方向图像进行存储，具体的存储方式与各组第一方向图像和第二方向图像的排列方式可以根据实施者具体的需求进行选择，在此给出一种示例性的集合表达方式：其中，/>和/>分别代表在第一方向上采用第一种投影方式和第二种投影方式获取的第一方向图像，/>和/>分别代表在第二方向上采用第一种投影方式和第二种投影方式获取的第二方向图像，以此将原始3D的腰椎影像图像进行降维，获取不同方向的多组2D图像。
在获取了第一方向图像和第二方向图像后，需要对第一方向图像和第二方向图像进行处理，在步骤S2中，示例性地说明，调整第一方向图像和第二方向图像的尺寸并进行拼接处理，获取第一残差图像和第二残差图像，例如，可以将第一方向图像和第二方向图像的尺寸进行缩小，具体地，可以将第一方向图像和第二方向图像的部分像素进行删减，以此降低第一方向图像和第二方向的分辨率，获取第一调整图像和第二调整图像，然后将第一调整图像和第二调整图像中缺失的像素位置进行补充，补充的方式可以通过插值函数进行实现，然后将第一方向图像的像素数值减去更新像素数值的第一调整图像的像素数值，获取第一残差图像，将第二方向图像的像素数值减去更新像素数值的第二调整图像的像素数值，获取第二残差图像。
在获取第一残差图像和第二残差图像后，在步骤S3中，示例性地说明，将一个第一残差图像与另一个第一残差图像进行融合，获取第一融合图像；将一个第二残差图像与另一个第二残差图像进行融合，获取第二融合图像，例如，从多个第一残差图像中的第一个第一残差图像开始，与另一个第一残差图像进行像素数值的叠加，经过像素数值叠加后的第一残差图像继续与其他的第一残差图像进行像素数值的叠加，获取第一融合图像；从多个第二残差图像中的第一个第二残差图像开始，与另一个第二残差图像进行像素数值的叠加，经过像素数值叠加后的第二残差图像继续与其他的第二残差图像进行像素数值的叠加，获取第二融合图像；其中，不同的第一残差图像、第二残差图像对应着通过不同的投影方式获取的图像，而第一融合图像则代表了第一方向/矢状面的融合图像，第二融合图像则代表了第二方向/冠状面的融合图像，通过该方式，可以更精细地考虑腰椎目标可能存在变形的问题，提升3D融合图像的精度。
为了进一步对可能存在骨折、变形等问题的腰椎目标识别，在一些实施例中，如图3所示，获取投影处理方式的步骤包括：
S11：所述投影处理的方式至少包括以下之二：最大值投影、均值投影、标准差投影、求和投影。
如图3所示，在步骤S11中，示例性地说明，选取两个及以上的投影方式对腰椎影像图像进行投影处理，例如，可以选取最大值投影、标准差投影两种方式分别从第一方向和第二方向对腰椎影像图像进行投影处理，获取第一方向图像和第二方向图像；还可以选取最大值投影、均值投影、标准差投影、求和投影四种投影方式依次、分别从第一方向和第二方向对腰椎影像图像进行投影处理。其中，不同的投影方式可以对原始的腰椎影像图像进行拉伸变换，以此关注不同的图像区域，进一步则可以考虑到腰椎目标可能存在骨折和变形等问题，因此本实施例并不对选取的具体投影方法或者图像变换方法进行限定，只要选取两个及以上的投影方法或者图像变换方法对腰椎影像图像进行多个方向投影则均为可以在一定程度上达到本方法技术效果的实施例之一。
如图4所示，在一些实施例中，对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像的步骤包括：
S21：根据预设的高斯核矩阵对所述第一方向图像、所述第二方向图像进行卷积处理，获取第一滤波图像、第二滤波图像；
S22：根据预设的下采样函数对所述第一滤波图像、所述第二滤波图像的像素进行删减，获取所述第一调整图像、所述第二调整图像。
如图4所示，在步骤S21至步骤S22中，示例性地说明，根据预设的高斯核矩阵对第一方向图像和第二方向图像进行卷积处理，获取第一滤波图像、第二滤波图像，例如，可以采用高斯金字塔对图像的多尺度进行表达，依次对多个第一方向图像和多个第二方向图像作高斯平滑处理，也即，采用高斯卷积核依次对多个第一方向图像和多个第二方向进行卷积操作，在一些实施过程中，可以在OpenCV中使用高斯核函数执行该操作，获取多个第一滤波图像和多个第二滤波图像；然后对多个第一滤波图像和多个第二滤波图像进行下采样，例如，将多个第一滤波图像和多个第二滤波图像的偶数行和偶数列的像素进行删减，缩小图像的尺寸/分辨率，获取多个第一调整图像、多个第二调整图像，在另一些实施过程中，还可将多个第一滤波图像和多个第二滤波图像的奇数行和奇数列的像素进行删减，缩小图像的尺寸/分辨率，获取多个第一调整图像、多个第二调整图像。然后对多个第一调整图像和多个第二调整图像的偶数行和偶数列或者奇数行和奇数列的像素进行删减，得到第二层级的多个第一调整图像和第二调整图像，并对第二层级的多个第一调整图像和第二调整图像进行上述重复步骤，依次缩小图像的尺寸/分辨率，获取更多层级的多个第一调整图像和多个第二调整图像，其数学表达可以为：
其中，k表示金字塔的层数，Fsub表示采用的下采样函数，Gσ表示采用的二维高斯核函数，Ii表示第i种投影方式的第一方向图像或者第二方向图像，表示第i种投影方式的第k层第一方向调整图像或者第二方向调整图像。
如图5所示，将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像的步骤包括：
S31：根据预设的上采样函数对所述第一调整图像、所述第二调整图像的像素进行插值，获取第一插值图像、第二插值图像；
S32：将所述第一方向图像的像素数值减去所述第一插值图像的像素数值，获取所述第一残差图像；
S33：将所述第二方向图像的像素数值减去所述第二插值图像的像素数值，获取所述第二残差图像。
如图5所示，在步骤S31至步骤S33中，示例性地说明，根据预设的上采样函数对第一调整图像、第二调整图像的像素进行插值，获取第一插值图像、第二插值图像，然后获取第一残差图像和第二残差图像，例如，可以采用拉普拉斯金字塔执行该步骤，采用包括但不限于线性插值、最近邻插值的函数对第一调整图像和第二调整图像进行插值处理，在一些实施过程中，对第一调整图像和第二调整图像的尺寸进行扩充，并在新增的行和列中的像素数值补零，然后进行适当放大倍数的高斯滤波，获取第一插值图像和第二插值图像，再将对应层级、对应尺寸大小的高斯金字塔图像减去拉普拉斯金字塔图像，即，用第一方向图像(高斯金字塔的第一层图像)的像素数值减去第一插值图像的像素数值，获取第一残差图像，对应地，将第一调整图像(高斯金字塔的其他层图像)减去上一层级的第一调整图像对应的第一插值图像，获取更新后的第一残差图像；对于第二方向图像，也采用上述相同的循环操作，获取第二残差图像。通过该方式，可以考虑图像中各像素之间的相关性，从纹理和灰度的层面对图像进行分析和处理，该过程的数学表达可以为：
其中，m表示金字塔的最大层数，k代表金字塔层数的位置/编号索引，Fup代表选用的上采样函数，代表第i种投影方式的第k层第一方向调整图像或者第二调整图像，/>代表第i种投影方式的第k层第一方向残差图像或者第二残差图像。
如图6所示，将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像的步骤包括：
S41：判断一个所述第一残差图像的尺寸是否与另一个所述第一残差图像的尺寸相同；
S42：若是，则将一个所述第一残差图像的像素与另一个所述第一残差图像的像素进行相加，获取所述第一融合图像；
S43：若否，则对尺寸小的对应的一个所述第一残差图像的像素进行插值处理后与另一个所述第一残差图像的像素进行相加，获取所述第一融合图像；
S44：判断一个所述第二残差图像的尺寸是否与另一个所述第二残差图像的尺寸相同；
S45：若是，则将一个所述第二残差图像的像素与另一个所述第二残差图像的像素进行相加，获取所述第二融合图像；
S46：若否，则对尺寸小的对应的一个所述第二残差图像的像素进行插值处理后与另一个所述第二残差图像的像素进行相加，获取所述第二融合图像。
如图6所示，在步骤S41至步骤S43中，示例性地说明，根据第一残差图像的尺寸大小，将多个第一残差图像进行融合，例如，当两个第一残差图像的尺寸一样(金字塔层级一样)时，直接将两个第一残差图像的像素数值对应相加，得到第一融合图像，而对于不同尺寸的第一残差图像(金字塔的层级不同)，则对尺寸小的一个第一残差图像进行上采样处理，以使该一个第一残差图像的尺寸与另一个第一残差图像的尺寸一致，并将两者的像素数值对应相加，获取第一融合图像，按照上述步骤对第一残差图像的每一层图像进行循环操作，直到金字塔的所有层图像都进行了融合处理。
如图6所示，在步骤S44至步骤S46中，示例性地说明，根据第二残差图像的尺寸大小，将多个第二残差图像进行融合，例如，当两个第二残差图像的尺寸一样(金字塔层级一样)时，直接将两个第二残差图像的像素数值对应相加，得到第二融合图像，而对于不同尺寸的第二残差图像(金字塔的层级不同)，则对尺寸小的一个第二残差图像进行上采样处理，以使该一个第二残差图像的尺寸与另一个第二残差图像的尺寸一致，并将两者的像素数值对应相加，获取第二融合图像，按照上述步骤对第二残差图像的每一层图像进行循环操作，直到金字塔的所有层图像都进行了融合处理。
在一些实施过程中，相同层级的金字塔图像融合过程的数学表达可以为：
其中，代表第一种投影模式下第k层的第一残差图像或者第二残差图像，/>代表第二种投影模式下第k层的第一残差图像或者第二残差图像，Lk则表示通过第一种投影模式和第二种投影模式获取的第k层的第一融合图像或者第二融合图像。
而对于不同层级的金字塔图像融合过程的数学表达可以为：
其中，m代表金字塔的最大层数，k代表金字塔层数的位置索引/编号，Fup代表选用的上采样函数，代表第k+1层的第一残差图像或者第二残差图像，Lk代表第k层的第一残差图像或者第二残差图像，/>代表第一融合图像或者第二融合图像。
通过上述步骤，可以进一步考虑腰椎可能存在的骨折、变形等问题，增强目标结构信息。
为了根据第一融合图像和第二融合图像对原始的腰椎目标进行3D空间定位，如图7所示，获取第一融合图像与第二融合图像之后的的步骤还包括：
S51：获取待检测目标在所述第一融合图像、所述第二融合图像的第一位置信息、第二位置信息；
S52：根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
通过上述步骤，可以根据第一融合图像和第二融合图像的信息，将考虑了腰椎可能存在骨折、变形等问题的融合图像进行特征提取，然后根据提取的特征对腰椎目标的3D空间位置信息进行定位，以此提升腰椎目标的识别精度。
如图7所示，在步骤S51中，示例性地说明，获取待检测目标在第一融合图像和第二融合图像的第一位置信息和第二位置信息，例如，可以采用包括但不限于ResNet(一种卷积神经网络结构)、VGG(Visual Geometry Group Network，视觉几何组网络)、AlexNet(一种卷积神经网络结构)等神经网络对第一融合图像和第二融合图像的特征进行提取，获取第一位置信息和第二位置信息，本实施例不对采取的具体的特征提取网络进行限定。如图7所示，在步骤S52中，示例性地说明，根据预设的损失函数将第一位置信息与第二位置信息进行匹配，获取待检测目标的3D位置信息，例如，由于腰椎目标可能存在形变、骨折等问题，而第一融合图像与第二融合图像也可能存在位置不对应的情况，因此第一位置信息和第二位置信息所包含的坐标轴信息也可能存在无法直接匹配的情况，因此，在本实施例中，可以设置一个损失函数，该损失函数用于计算将第一位置信息中的多个坐标数值与第二位置信息中的多个坐标数值进行一一对应匹配时的坐标轴数值之差，若损失函数的数值越小，则代表第一位置信息中的坐标数值与第二位置信息中的坐标数值越匹配，通过该方式，则可以将二维形式下的第一位置信息与第二位置信息进行匹配，获取腰椎在3D空间的位置信息。
为了合理地将腰椎的第一位置信息中的多个坐标数值与第二位置信息中的多个坐标数值进行匹配，如图8所示，根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息包括：
S61：将所述第一位置信息、所述第二位置信息输入至所述损失函数；
S62：对所述损失函数的数值进行最小化处理，获取所述第一位置信息与所述第二位置信息之间的匹配关系，其中，所述损失函数P的数学表达为：
其中，i，j分别代表所述待检测目标在所述第一位置信息、所述第二位置信息的索引，mi,j代表亲和矩阵系数，b代表所述待检测目标的顶点位置，b的数值可以取1或者2，代表第一位置信息在Z坐标轴上的顶点位置b的坐标数值，/>代表第二位置信息在Z坐标轴上的顶点位置b的坐标数值，∑(·)代表求和函数，||·||代表范数；
S63：根据所述匹配关系，将所述第一位置信息与所述第二位置信息进行融合，获取所述3D位置信息。
如图8所示，在步骤S61至步骤S63中，示例性地说明，获取第一位置信息与第二位置信息中属于同一个坐标轴的坐标数值，并将两者的坐标数值进行相减，以此对各坐标数值进行对应地匹配操作，例如，对于处于二维形式的第一位置信息与第二位置信息而言，第一位置信息包含了X轴与Z轴的坐标数值，第二位置信息包含了Y轴与Z轴的坐标数值，因此可以通过第一位置信息与第二位置信息中共同的Z轴坐标数值作为进行匹配的依据，然而对第一方向和第二方向进行投影时，可能存在数据不一致的问题，还可能存在数据存储时并未按照严格的预设顺序进行存储的问题，因此可以从第一方向图像和第二方向图像上各椎骨目标的边界点的位置信息进行提取，例如，对于第一方向图像和第二方向图像中的各个椎骨，可以选取各椎骨的左上方顶点位置信息和/>与右下方顶点位置信息/>和也可以选取各椎骨的左下方顶点位置信息/>和/>与右上方顶点位置信息/>和作为一组相互对应的位置信息，然后输入至损失函数P中，然后对亲和矩阵系数mi,j的数值进行约束，数学表达为：
其中，nf代表第一方向投影中椎骨目标的数量，nl代表第二方向投影中椎骨目标的数量，并且mi,j的数值等于0或者1。
通过上述约束可以达到以下目的：一个正位片(第一方向)的任意椎骨目标最多能与侧位片(第二方向)的一个椎骨目标形成对应；反之，一个侧投影(第二方向)的任意椎骨目标最多能与正位片(第一方向)的一个椎骨目标形成对应，mi,j＝1表示正投影(第一方向)的第i个椎骨和侧投影(第二方向)的第j个椎骨形成对应，进而能够确定是3D椎骨目标；mi,j＝0表示正投影(第一方向)的第i个椎骨和侧投影(第二方向)的第j个椎骨不是对应椎骨，因此不能形成构成3D椎骨目标。
进一步地，构成3D椎骨目标位置信息posi,j的数学表达可以为：
其中，i，j表示第i，j个目标椎骨，代表3D椎骨目标的顶点位置b＝1时在X轴上的坐标数值，/>代表3D椎骨目标的顶点位置b＝1时在Y轴上的坐标数值，/>代表3D椎骨目标的第一方向在顶点位置b＝1时在Z轴上的坐标数值，/>代表3D椎骨目标的第二方向在顶点位置b＝1时在Z轴上的坐标数值，/>代表3D椎骨目标的顶点位置b＝2时在X轴上的坐标数值，/>代表3D椎骨目标的顶点位置b＝2时在Y轴上的坐标数值，/>代表3D椎骨目标的第一方向在顶点位置b＝2时在Z轴上的坐标数值，/>代表3D椎骨目标的第二方向在顶点位置b＝2时在Z轴上的坐标数值。
通过该方式，则可以获取3D空间中待检测目标(各腰椎骨)的3D位置信息。在一些实施过程中，可以将本方法获取的投影融合图像以及根据投影融合图像获取的腰椎骨在3D空间中的位置信息，应用于CAD、CAS等过程中，考虑了腰椎中可能存在骨折和变形的情况，以此对腰椎进行精度较高地识别和定位。
在另一些实施过程中，还可以将本方法应用于其他动物的多个器官之中，即，针对不同的器官获取不同的样本数据，并将本方法中涉及到使用神经网络过程中各参数的设定和更新方式进行调整。
在一些实施过程中，可以对腰椎影像图像样本中的各节椎骨的位置进行标注，获取3D空间中每个椎骨的标签数据，然后获取腰椎影像图像样本的2D投影数据(第一方向图像和第二方向图像)以及融合图像，然后通过特征提取网络获取腰椎图像数据的特征，建立深度网络模型，并对网络模型进行训练，得到训练好的深度模型；还可以将无标签的腰椎图像样本输入至训练好的模型，获取第一位置信息和第二位置信息，并将第一位置信息和第二位置输入至预设的损失函数，并对该损失函数进行求解，获取第一位置信息与第二位置信息之间的匹配关系，获取3D目标的空间定位信息，对3D目标(例如腰椎)进行定位。
在一个实施例中，如图9所示，提供了一种3D图像投影融合装置，所述3D图像投影融合装置包括：
图像投影模块，用于根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
图像处理模块，用于对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
图像融合模块，用于将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
在图像投影模块中，示例性地说明，从第一方向和第二方向对腰椎影像图像进行投影处理，例如，可以通过最大值投影、均值投影、标准差投影的方法对原始3D的CT、MRI、X线摄影等影像图像进行投影，在实施过程中，可以选取矢状面和冠状面方向为第一方向和第二方向，然后对多组腰椎影像图像依次进行识别，获取第一方向图像和第二方向图像，并分别将多组腰椎影像图像在第一方向和第二方向进行投影处理后获取的投影图像保存至不同的集合；优选地，当同时用两种投影方式对原始腰椎图像进行投影时，可以将多组腰椎影像图像的第一方向对应的经过多种投影方式处理后的多个第一方向图像进行存储，将多组腰椎影像图像的第二方向对应的经过多种投影方式处理后的多个第二方向图像进行存储，具体的存储方式与各组第一方向图像和第二方向图像的排列方式可以根据实施者具体的需求进行选择，在此给出一种示例性的集合表达方式：其中，/>和/>分别代表在第一方向上采用第一种投影方式和第二种投影方式获取的第一方向图像，/>和/>分别代表在第二方向上采用第一种投影方式和第二种投影方式获取的第二方向图像，以此将原始3D的腰椎影像图像进行降维，获取不同方向的多组2D图像。
在图像处理模块中，示例性地说明，调整第一方向图像和第二方向图像的尺寸并进行拼接处理，获取第一残差图像和第二残差图像，例如，可以将第一方向图像和第二方向图像的尺寸进行缩小，具体地，可以将第一方向图像和第二方向图像的部分像素进行删减，以此降低第一方向图像和第二方向的分辨率，获取第一调整图像和第二调整图像，然后将第一调整图像和第二调整图像中缺失的像素位置进行补充，补充的方式可以通过插值函数进行实现，然后将第一方向图像的像素数值减去更新像素数值的第一调整图像的像素数值，获取第一残差图像，将第二方向图像的像素数值减去更新像素数值的第二调整图像的像素数值，获取第二残差图像。
在图像融合模块中，示例性地说明，将一个第一残差图像与另一个第一残差图像进行融合，获取第一融合图像；将一个第二残差图像与另一个第二残差图像进行融合，获取第二融合图像，例如，从多个第一残差图像中的第一个第一残差图像开始，与另一个第一残差图像进行像素数值的叠加，经过像素数值叠加后的第一残差图像继续与其他的第一残差图像进行像素数值的叠加，获取第一融合图像；从多个第二残差图像中的第一个第二残差图像开始，与另一个第二残差图像进行像素数值的叠加，经过像素数值叠加后的第二残差图像继续与其他的第二残差图像进行像素数值的叠加，获取第二融合图像；其中，不同的第一残差图像、第二残差图像对应着通过不同的投影方式获取的图像，而第一融合图像则代表了第一方向/矢状面的融合图像，第二融合图像则代表了第二方向/冠状面的融合图像，通过该方式，可以更精细地考虑腰椎目标可能存在变形的问题，提升3D融合图像的精度。
上述装置可应用于对腰椎影像图像进行识别和定位的场景中，通过图像投影模块获取第一方向图像、第二方向图像，然后通过图像处理模块将第一图像和第二图像的尺寸进行调整与拼接，获取第一残差图像与第二残差图像，最后通过图像融合模块将一个第一残差图像与另一个第一残差图像进行融合，将一个第二残差图像与另一个第二残差图像进行融合，实现3D图像的投影融合，提升融合后的3D图像的精度，可改善通过矢状面图像和冠状面图像融合的3D图像精度较差等问题。
关于3D图像投影融合装置的具体限定可以参见上文中对于3D图像投影融合方法的限定，在此不再赘述。上述3D图像投影融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储3D图像投影融合的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种3D图像投影融合方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像。
本申请实施例提供的3D图像投影融合存储介质具体还可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)等。
具体的，请参阅图11，图11为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU(Neural-Network Processing Unit，神经网络处理器)20，NPU20作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路203，通过控制器204控制运算电路203提取存储器中的矩阵数据并进行乘法运算。
在一些实施过程中，运算电路203内部包括多个处理单元(Process Engine，PE)。在实施过程中，运算电路203是二维脉动阵列。运算电路203还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在实施过程中，运算电路203是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器202中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器201中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(Accumulator)208中。
统一存储器206用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)205，DMAC被搬运到权重存储器202中。输入数据也通过DMAC被搬运到统一存储器206中。BIU为Bus Interface Unit，即总线接口单元210，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)209的交互。总线接口单元210(Bus Interface Unit，简称BIU)，用于取指存储器209从外部存储器获取指令，还用于存储单元访问控制器205从外部存储器获取输入矩阵A或者权重矩阵B的原数据。DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器206或将权重数据搬运到权重存储器202中或将输入数据数据搬运到输入存储器201中。向量计算单元207包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实施过程中，向量计算单元207能将经处理的输出的向量存储到统一存储器206。例如，向量计算单元207可以将线性函数和/或非线性函数应用到运算电路203的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元207生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路203的激活输入，例如用于在神经网络中的后续层中的使用。
控制器204连接的取指存储器(Instruction Fetch Buffer)209，用于存储控制器204使用的指令；统一存储器206，输入存储器201，权重存储器202以及取指存储器209均为On-Chip存储器。外部存储器私有于NPU20硬件架构。
其中，上述各个实施例示出的目标模型中各层的运算可以由运算电路203或向量计算单元207执行。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
应该理解的是，虽然图1至图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图11的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种3D图像投影融合方法，其特征在于，包括：
根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像；
在根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像的步骤中，选取两个及以上的投影方式对腰椎影像图像进行投影处理；
将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像的步骤包括：
根据预设的上采样函数对所述第一调整图像、所述第二调整图像的像素进行插值，获取第一插值图像、第二插值图像；
将所述第一方向图像的像素数值减去所述第一插值图像的像素数值，获取所述第一残差图像；
将所述第二方向图像的像素数值减去所述第二插值图像的像素数值，获取所述第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像的步骤包括：
从多个第一残差图像中的第一个第一残差图像开始，与另一个第一残差图像进行像素数值的叠加，经过像素数值叠加后的第一残差图像继续与其他的第一残差图像进行像素数值的叠加，获取第一融合图像；
从多个第二残差图像中的第一个第二残差图像开始，与另一个第二残差图像进行像素数值的叠加，经过像素数值叠加后的第二残差图像继续与其他的第二残差图像进行像素数值的叠加，获取第二融合图像；
其中，不同的第一残差图像、第二残差图像对应着通过不同的投影方式获取的图像。
2.根据权利要求1所述的3D图像投影融合方法，其特征在于，所述投影处理的方式至少包括以下之二：最大值投影、均值投影、标准差投影、求和投影。
3.根据权利要求1所述的3D图像投影融合方法，其特征在于，对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像的步骤包括：
根据预设的高斯核矩阵对所述第一方向图像、所述第二方向图像进行卷积处理，获取第一滤波图像、第二滤波图像；
根据预设的下采样函数对所述第一滤波图像、所述第二滤波图像的像素进行删减，获取所述第一调整图像、所述第二调整图像。
4.根据权利要求1所述的3D图像投影融合方法，其特征在于，将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像的步骤包括：
判断一个所述第一残差图像的尺寸是否与另一个所述第一残差图像的尺寸相同；
若是，则将一个所述第一残差图像的像素与另一个所述第一残差图像的像素进行相加，获取所述第一融合图像；
若否，则对尺寸小的对应的一个所述第一残差图像的像素进行插值处理后与另一个所述第一残差图像的像素进行相加，获取所述第一融合图像；
判断一个所述第二残差图像的尺寸是否与另一个所述第二残差图像的尺寸相同；
若是，则将一个所述第二残差图像的像素与另一个所述第二残差图像的像素进行相加，获取所述第二融合图像；
若否，则对尺寸小的对应的一个所述第二残差图像的像素进行插值处理后与另一个所述第二残差图像的像素进行相加，获取所述第二融合图像。
5.根据权利要求1所述的3D图像投影融合方法，其特征在于，获取第一融合图像与第二融合图像之后的的步骤还包括：
获取待检测目标在所述第一融合图像、所述第二融合图像的第一位置信息、第二位置信息；
根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息。
6.根据权利要求5所述的3D图像投影融合方法，其特征在于，根据预设的损失函数将所述第一位置信息与所述第二位置信息进行匹配，获取所述待检测目标的3D位置信息包括：
将所述第一位置信息、所述第二位置信息输入至所述损失函数；
对所述损失函数的数值进行最小化处理，获取所述第一位置信息与所述第二位置信息之间的匹配关系，其中，所述损失函数P的数学表达为：
其中，i，j分别代表所述待检测目标在所述第一位置信息、所述第二位置信息的索引，mi,j代表亲和矩阵系数，b代表所述待检测目标的顶点位置，代表第一位置信息在Z坐标轴上的顶点位置b的坐标数值，/>代表第二位置信息在Z坐标轴上的顶点位置b的坐标数值，∑(·)代表求和函数，||·||代表范数；
根据所述匹配关系，将所述第一位置信息与所述第二位置信息进行融合，获取所述3D位置信息。
7.一种3D图像投影融合装置，其特征在于，包括：
图像投影模块，用于根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像；
图像处理模块，用于对所述第一方向图像、所述第二方向图像的尺寸进行调整，获取第一调整图像、第二调整图像；将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像；
图像融合模块，用于将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像；
在根据预设的第一方向、第二方向对腰椎影像图像进行投影处理，获取所述腰椎影像图像的第一方向图像、第二方向图像的步骤中，选取两个及以上的投影方式对腰椎影像图像进行投影处理；
将所述第一方向图像与所述第一调整图像进行拼接，获取第一残差图像；将所述第二方向图像与所述第二调整图像进行拼接，获取第二残差图像的步骤包括：
根据预设的上采样函数对所述第一调整图像、所述第二调整图像的像素进行插值，获取第一插值图像、第二插值图像；
将所述第一方向图像的像素数值减去所述第一插值图像的像素数值，获取所述第一残差图像；
将所述第二方向图像的像素数值减去所述第二插值图像的像素数值，获取所述第二残差图像；
将一个所述第一残差图像与另一个所述第一残差图像进行融合，获取第一融合图像；将一个所述第二残差图像与另一个所述第二残差图像进行融合，获取第二融合图像的步骤包括：
从多个第一残差图像中的第一个第一残差图像开始，与另一个第一残差图像进行像素数值的叠加，经过像素数值叠加后的第一残差图像继续与其他的第一残差图像进行像素数值的叠加，获取第一融合图像；
从多个第二残差图像中的第一个第二残差图像开始，与另一个第二残差图像进行像素数值的叠加，经过像素数值叠加后的第二残差图像继续与其他的第二残差图像进行像素数值的叠加，获取第二融合图像；
其中，不同的第一残差图像、第二残差图像对应着通过不同的投影方式获取的图像。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述3D图像投影融合方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述3D图像投影融合方法的步骤。
CN202210363277.5A 2022-04-07 2022-04-07 一种3d图像投影融合方法、装置、计算机设备和存储介质 Active CN114782624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210363277.5A CN114782624B (zh) 2022-04-07 2022-04-07 一种3d图像投影融合方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210363277.5A CN114782624B (zh) 2022-04-07 2022-04-07 一种3d图像投影融合方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114782624A CN114782624A (zh) 2022-07-22
CN114782624B true CN114782624B (zh) 2023-08-25

Family

ID=82426856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210363277.5A Active CN114782624B (zh) 2022-04-07 2022-04-07 一种3d图像投影融合方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114782624B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104490413A (zh) * 2014-12-05 2015-04-08 杭州市肿瘤医院 一种体外定位标以及应用该定位标的定位配准方法
CN107945203A (zh) * 2017-11-24 2018-04-20 中国科学院高能物理研究所 Pet图像处理方法及装置、电子设备、存储介质
CN111476719A (zh) * 2020-05-06 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN111493918A (zh) * 2020-04-24 2020-08-07 杭州健培科技有限公司 用于腰椎ct影像的观测面自动定位方法，应用方法及设备
EP3839890A1 (en) * 2019-12-17 2021-06-23 Metamorphosis GmbH Determining relative 3d positions and orientations between objects in 2d medical images
CN113538372A (zh) * 2021-07-14 2021-10-22 重庆大学 三维目标检测方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104490413A (zh) * 2014-12-05 2015-04-08 杭州市肿瘤医院 一种体外定位标以及应用该定位标的定位配准方法
CN107945203A (zh) * 2017-11-24 2018-04-20 中国科学院高能物理研究所 Pet图像处理方法及装置、电子设备、存储介质
EP3839890A1 (en) * 2019-12-17 2021-06-23 Metamorphosis GmbH Determining relative 3d positions and orientations between objects in 2d medical images
CN111493918A (zh) * 2020-04-24 2020-08-07 杭州健培科技有限公司 用于腰椎ct影像的观测面自动定位方法，应用方法及设备
CN111476719A (zh) * 2020-05-06 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN113538372A (zh) * 2021-07-14 2021-10-22 重庆大学 三维目标检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adjuvant surgical decision-making system for lumbar intervertebral disc herniation after percutaneous endoscopic lumber discectomy: a retrospective nonlinear multiple logistic regression prediction model based on a large sample;Yueyang Li 等;《The Spine Journal》;全文 *

Also Published As

Publication number Publication date
CN114782624A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11393229B2 (en) Method and system for artificial intelligence based medical image segmentation
Liang et al. MCFNet: Multi-layer concatenation fusion network for medical images fusion
CN109166130B (zh) 一种图像处理方法及图像处理装置
Li et al. Deep learning based imaging data completion for improved brain disease diagnosis
CN109993707B (zh) 图像去噪方法和装置
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN112236779A (zh) 基于卷积神经网络的图像处理方法和图像处理装置
CN111932550B (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
JP2021535482A (ja) 深層学習ベースのコレジストレーション
CN109767461A (zh) 医学影像配准方法、装置、计算机设备和存储介质
CN110838139A (zh) 图像配准模型的训练方法、图像配准方法和计算机设备
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111275703B (zh) 图像检测方法、装置、计算机设备和存储介质
CN109903269B (zh) 确定脊柱横断面图像的异常类型的方法及计算设备
WO2020150077A1 (en) Camera self-calibration network
CN114881930B (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN116934859B (zh) 基于矢状位图的关键点识别方法及相关装置
CN114782624B (zh) 一种3d图像投影融合方法、装置、计算机设备和存储介质
CN111833363B (zh) 图像边缘和显著性检测方法及装置
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
du Bois d'Aische et al. An articulated registration method
CN112381922A (zh) 一种人体骨骼缺失部位的骨骼模型获取方法、系统及终端
Azawi et al. Ransac Based Motion Compensated Restoration for Colonoscopy Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant