CN111161153B - 宽景拼接方法、装置及存储介质 - Google Patents
宽景拼接方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111161153B CN111161153B CN201911415460.XA CN201911415460A CN111161153B CN 111161153 B CN111161153 B CN 111161153B CN 201911415460 A CN201911415460 A CN 201911415460A CN 111161153 B CN111161153 B CN 111161153B
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- transformation matrix
- acquiring
- motion data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 239000011159 matrix material Substances 0.000 claims abstract description 153
- 238000013528 artificial neural network Methods 0.000 claims abstract description 117
- 230000009466 transformation Effects 0.000 claims abstract description 115
- 239000000523 sample Substances 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 77
- 230000015654 memory Effects 0.000 claims description 28
- 230000000306 recurrent effect Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 239000012528 membrane Substances 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 8
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种宽景拼接方法、装置及存储介质。其中，变换矩阵获取方法包括：获取传感器检测到的运动数据，其中，传感器设置在用于采集图像的探头上，运动数据用于表示探头在采集图像过程中的运动趋势；将运动数据输入到预先训练得到的神经网络中，利用神经网络计算得到矩阵参数；利用矩阵参数计算得到变换矩阵，变换矩阵用于拼接探头采集到的图像以得到宽景图像。本发明无需利用图像本身的特征，即可计算出变换矩阵并进行图像拼接，不受图像亮度和特征等因素的影响，提高了变换矩阵计算的准确性，进而提升了图像拼接效果。
Description
技术领域
本发明涉及图像拼接技术领域，具体涉及一种宽景拼接方法、装置及存储介质。
背景技术
图像拼接技术是将数张有重叠部分的图像拼接成一幅无缝的宽景图或高分辨率图像的技术。在图像采集的过程中，由于时间不同、角度不同等因素导致在一幅图像中无法看到完整的关注区域的整体图像。例如，传统的超声探头发射的超声声波发散范围有限，而且探头的尺寸也是固定的，因此只能生成指定范围内的超声图像，而无法生成所关注区域的整体影像。在医疗领域的应用过程中，医生只能根据记忆，结合自己的经验，在大脑中形成该区域的整体图像，以便观察相邻组织的情况，因此在一定程度上影响了医疗诊断的快速性和准确性。
而针对上述这一问题，已经有相关研究通过相邻图像的常规配准技术，将超声探头移动的过程中所采集的图像拼接成一幅视野更大的图像，以便在同一幅图像中显示整个组织的结构，方便医生的诊断。
然而上述宽景拼接方法得到的宽景图像准确率较低，并且当超声探头中设置电磁定位系统时，上述实现宽景拼接的方法系统成本高，架构昂贵。
发明内容
本发明为了解决现有技术中宽景图像拼接的准确率低的技术问题，从而提供一种变换矩阵获取、宽景图像拼接、神经网络训练方法、装置、设备及存储介质。
本发明第一方面，提供了一种变换矩阵获取方法，包括如下步骤：获取传感器检测到的运动数据，其中，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势；将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到矩阵参数；利用所述矩阵参数计算得到变换矩阵，所述变换矩阵用于拼接所述探头采集到的图像以得到宽景图像。
可选地，所述神经网络包括：卷积神经网络、递归神经网络和全连接网络；其中，所述将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到变换矩阵的参数，包括：通过所述卷积神经网络对所述运动数据进行卷积计算，得到所述运动数据的数据特征，作为所述卷积神经网络的输出；通过所述递归神经网络对所述卷积神经网络输出的数据特征进行递归运算，得到递归计算结果，作为所述递归神经网络的输出；通过所述全连接网络对所述递归神经网络输出的递归计算结果回归计算，得到所述矩阵参数。
可选地，所述传感器为多个，所述卷积神经网络包括第一卷积神经网络和与多个所述传感器一一对应的多个第二卷积神经网络，其中，所述第一卷积神经网络的输入与多个所述第二卷积神经网络的输出连接。
可选地，所述传感器包括加速度计和陀螺仪。
可选地，所述通过所述卷积神经网络对所述运动数据进行卷积计算，得到所述运动数据的数据特征，包括：通过所述第二卷积神经网络对与所述第二卷积神经网络对应的传感器检测到的运动数据进行卷积处理；通过所述第一卷积神经网络对多个所述第二卷积神经网络的输出进行融合并进行卷积处理，得到所述数据特征。
可选地，所述通过所述第一卷积神经网络对多个所述第二卷积神经网络的输出进行融合并进行卷积处理，得到所述数据特征，包括：将每个所述第二卷积神经网络输出的数据平铺成一维数据；将所有所述第二卷积神经网络对应的一维数据叠加在一起，通过所述第一卷积神经网络进行深度卷积计算，得到所述数据特征。
可选地，所述获取传感器检测到的运动数据，包括：获取每个所述传感器检测到的待测时长的检测数据；对每个检测数据按照所述待测时长维度划分为等间隔的多段数据；对每个传感器对应的多段数据进行傅里叶变换，得到所述运动数据。
本发明第二方面，提供了一种宽景图像拼接方法，包括如下步骤：利用探头探测目标区域连续的多个图像；利用第一方面所述的变换矩阵获取方法获取所述多个图像中相邻图像之间的变换矩阵；基于获取到的变换矩阵拼接所述多个图像得到宽景图像。
本发明第三方面，提供了一种神经网络训练方法，包括如下步骤：获取训练样本数据，所述样本数据包括：传感器检测到的运动数据和与所述运动数据对应的矩阵参数，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势，所述矩阵参数为用于拼接宽景图像的变换矩阵中的参数；利用所述训练样本数据对预先建立的神经网络模型进行训练，得到用于获取所述变换矩阵的神经网络。
可选地，获取训练样本数据，包括：获取经过所述探头采集到的体膜图像；利用设置在相邻的体膜图像上的靶点坐标确定相邻两个体膜图像的变换矩阵；利用最小二乘法计算得到所述变换矩阵的矩阵参数；获取所述传感器检测到的所述运动数据，将所述矩阵参数和所述运动数据作为所述训练样本数据。
本发明第四方面，提供了一种变换矩阵获取装置，包括：运动数据获取模块，用于获取传感器检测到的运动数据，其中，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势；参数计算模块，用于将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到矩阵参数；矩阵计算模块，用于利用所述矩阵参数计算得到变换矩阵，所述变换矩阵用于拼接所述探头采集到的图像以得到宽景图像。
本发明第五方面，提供了一种宽景图像拼接装置，包括：探测模块，用于利用探头探测目标区域连续的多个图像；第四方面所述的变换矩阵获取装置，用于获取所述多个图像中相邻图像之间的变换矩阵；拼接模块，用于基于获取到的变换矩阵拼接所述多个图像得到宽景图像。
本发明第六方面，提供了一种神经网络训练装置，包括：样本获取模块，用于获取训练样本数据，所述样本数据包括：传感器检测到的运动数据和与所述运动数据对应的矩阵参数，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势，所述矩阵参数为用于拼接宽景图像的变换矩阵中的参数；训练模块，用于利用所述训练样本数据对预先建立的神经网络模型进行训练，得到用于获取所述变换矩阵的神经网络。
本发明第七方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种方法的步骤。
本发明第八方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述任意一种方法的步骤。
根据本发明实施例，通过获取探头采集图像的运动数据，利用预先训练得到的神经网络对该运动数据进行计算分析，得到探头的移动变化，进而计算出图像的变换矩阵，也即是间接地计算出图像的变化，无需利用图像本身的特征，即可计算出变换矩阵并进行图像拼接，不受图像亮度和特征等因素的影响，提高了变换矩阵计算的准确性，进而提升了图像拼接效果。同时，通过探头中的传感器来获取运动数据，而无需增加电磁定位系统，达到了在提高宽景拼接准确度的同时，降低了系统成本的效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中变换矩阵获取方法的一个具体示例的流程图；
图2为本发明实施例中神经网络架构的一个具体示例的示意图；
图3为本发明实施例中卷积神经网络的一个具体示例的示意图；
图4为本发明实施例中递归神经网络的一个具体示例的示意图；
图5为本发明实施例1中变换矩阵获取装置的一个具体示例的原理框图；
图6为本发明实施例2中宽景图像拼接方法的一个具体示例的流程图；
图7为本发明实施例中图像拼接的一个具体示例的示意图；
图8为本发明实施例2中宽景图像拼接装置的一个具体示例的原理框图；
图9为本发明实施例3中神经网络训练方法的一个具体示例的流程图；
图10为本发明实施例3中体膜图像的一个具体示例的示意图；
图11为本发明实施例3中神经网络训练装置的一个具体示例的原理框图；
图12为本发明实施例计算机设备的硬件结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例公开了一种变换矩阵获取方法，该方法主要用于获取图像拼接的变换矩阵，具体地，主要适用于通过设置有传感器的探头采集到的图像拼接技术，如图1所示，该方法包括如下步骤：
步骤S101,获取传感器检测到的运动数据，其中，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势。
传感器可以是加速度计和陀螺仪，其中，加速度计用于检测探头在移动采集图像过程中的加速度，陀螺仪则用于检测探头在移动采集图像过程中的三个方向的角度变化。具体地，加速度传感器反应了x，y，z三个方向的移动变化，陀螺仪可以计算角度的变化，这些量在一定程度上可以反应探头相对运动的趋势，可以对探头运动的位置和角度进行量化，从而可以计算出探头所扫描的图像之间的变化规律。
本发明实施例的探头可以是指设置有采集运动数据的传感器的图像采集装置，包括但不限于超声波探头其具体形式和结构不限。
步骤S102,将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到矩阵参数。
步骤S103,利用所述矩阵参数计算得到变换矩阵，所述变换矩阵用于拼接所述探头采集到的图像以得到宽景图像。
本发明实施例中，神经网络是利用包含有运动数据和对应的矩阵参数作为训练样本，预先练得到的神经网络。经过训练(本发明实施例中所述的神经网络的训练过程将在后面介绍)之后，该神经网络具备了识别运动数据与矩阵参数的关系的能力，因此，当获取到传感器采集到的运动数据之后，可以利用该神经网络计算并确定出与其对应的矩阵参数，从而利用矩阵参数组合计算得到变换矩阵。
例如，待求变换矩阵如下：
其中，所涉及到的矩阵参数包括：a、b、c、d、e、f。
将传感器采集到的运动数据输入到神经网络中进行学习和训练之后，可以利用该神经网络计算出上述参数a、b、c、d、e、f，从而得到变换矩阵，用于拼接得到宽景图像。
根据本发明实施例，通过获取探头采集图像的运动数据，利用预先训练得到的神经网络对该运动数据进行计算分析，得到探头的移动变化，进而计算出图像的变换矩阵，也即是间接地计算出图像的变化，无需利用图像本身的特征，即可计算出变换矩阵并进行图像拼接，不受图像亮度和特征等因素的影响，提高了变换矩阵计算的准确性，进而提升了图像拼接效果。进一步地，通过探头中的传感器来获取运动数据，准确地计算出变换矩阵，而无需增加电磁定位系统，达到了在提高宽景拼接准确度的同时，降低了系统成本的效果。
作为一种可选的实施方式，本发明实施例设计了一个相对统一集成的神经网络结构，从传感器采集到的数据输入到该神经网络当中计算出当前时刻图像的变换矩阵M。本发明实施例所述神经网络包括：卷积神经网络、递归神经网络和全连接网络，也即是将神经网络分为三个部分，第一部分是卷积神经网络(Convolutional Neural Networks,简称为CNN)，第二部分是递归神经网络(recursive neural network，简称为RNN)，第三部分是全连接网络(也即是回归网络)用以计算出最终的输出结果——变换矩阵M。如图2所示，卷积神经网络CNN的输出作为递归神经网络N4的输入，递归神经网络N4的输出作为全连接网络N5的输入，全连接网络N5计算得到最终的变换矩阵M。
进一步可选地，所述传感器为多个，所述传感器可以包括加速度计和陀螺仪。所述卷积神经网络包括第一卷积神经网络N3和与多个所述传感器一一对应的多个第二卷积神经网络(N1和N2)，其中，所述第一卷积神经网络的输入与多个所述第二卷积神经网络的输出连接。
上述可选的实施方式以及进一步可选的实施方式均是指本发明技术方案的一种可能的实施方式，本发明的技术方案可以采用上述实施方式来实现，也可以采用其他方式来实现，本发明对具体实现方式不做限定。
当然，本发明实施例中，传感器还可以包括其他可以检测探头运动的传感器，例如速度传感器等，其中，第二卷积神经网络与传感器的数量一一对应，第一卷积神经网络可以用于对多个第二卷积神经网络输出的数据融合处理后，做深度的学习和特征识别。本发明实施例中所述的第一卷积神经网络和第二卷积神经网络也可以称为卷积层通过设置多个层级的神经网络来训练学习和计算变换矩阵，尤其是采用卷积神经网络与传感器对应的方式，能够使得神经网络学习到更精确的特征信息，从而提高变换矩阵计算的准确性。
本发明实施例中，由于探头在移动过程中采集的数据是具有连续性的，例如T时长的检测数据，需要进行预处理，以使其能够满足神经网络进行处理和计算，本发明实施例中，所述获取传感器检测到的运动数据，包括：获取每个所述传感器检测到的待测时长的检测数据；对每个检测数据按照所述待测时长维度划分为等间隔的多段数据；对每个传感器对应的多段数据进行傅里叶变换，得到所述运动数据。
具体地，设传感器类别的数量为K，如果以加速度计和陀螺仪两种为例，K＝2，两种传感器产生的数据为X，两种传感器各自采集了T时间长的的检测数据(从1到T)，然后划分成n个等间隔的数据，其中第n批数据为对于/>其维度为D×U,这里D是传感器数据的维度，一般是三个维度，因此这里是D＝3；U是单个间隔的数据长度，譬如T时间内x方向采集了N个数据，划分成n个等间隔，因此U＝N/n。对于数据/>将对其每个维度的数据进行傅里叶变换，可以是进行快速傅里叶变换(fast Fourier transform，简称为FFT)，得到对应的频域数据/>该/>的维度为D*F,总共数据量为D*F*n，其中F＝2*f，f为当前数据的主要的f个频率，2表示需要其主要频率的系数，主要频率的系数包括正余弦分量对应的实数和虚数部分。如图2所示，采集的数据按照传感器类型和时间进行预处理后分别分组进入了相应的卷积神经网络，其中，k1表示第一个传感器，k2表示第二个传感器。
本发明实施例中，通过对传感器检测到的数据进行分割和傅里叶变换等处理，使其满足神经网络计算和识别的要求，能够对任意数据类型的传感器进行识别和计算，提高了神经网络的适用性，并提高了神经网络计算和识别的精度。
上述可选的实施方式以及进一步可选的实施方式均是指本发明技术方案的一种可能的实施方式，本发明的技术方案可以采用上述实施方式来实现，也可以采用其他方式来实现，本发明对具体实现方式不做限定。
进一步地，上述步骤S102，所述将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到变换矩阵的参数，包括：
S1021，通过所述卷积神经网络对所述运动数据进行卷积计算，得到所述运动数据的数据特征，作为所述卷积神经网络的输出。
卷积神经网络主要是对运动数据的特征进行学习和识别，通过卷积计算学习到传感器检测到的运动数据的数据特征，以及不同传感器之间的数据特征，然后输出到递归神经网络进行递归运算。
S1022，通过所述递归神经网络对所述卷积神经网络输出的数据特征进行递归运算，得到递归计算结果，作为所述递归神经网络的输出。
S1023，通过所述全连接网络对所述递归神经网络输出的递归计算结果回归计算，得到所述矩阵参数。
根据本发明实施例，卷积神经网络用于对运动数据进行训练和学习，以获得传感器检测到的数据的特征以及不同传感器之间数据的关系。然后，递归神经网络则是对卷积神经网络的输出结果按照时间顺序连接起来，然后做递归运算，最后由全连接网络回归出最终的变换矩阵的矩阵参数。
作为一种可选的实施方式，当采用多个神经网络层作为卷积神经网络时，所述通过所述卷积神经网络对所述运动数据进行卷积计算，得到所述运动数据的数据特征，包括：
S11，通过所述第二卷积神经网络对与所述第二卷积神经网络对应的传感器检测到的运动数据进行卷积处理。
本发明实施例中，第二卷积神经网络为多个，如图2和图3中的N1和N2。各个第二卷积神经网络之间相互独立。由于每个第二卷积神经网络对应一个传感器，因此，每个第二卷积神经网络只需要处理相应的传感器检测到的数据即可。
以传感器有两个为例，进行举例说明。其中，传感器分别为加速度计和陀螺仪，由于加速度计和陀螺仪是两种不同性质的传感器，在训练的时候使用两个独立权重的神经网络N1和N2，N1和N2是各自独立但是结构相同的神经网络，其中，N1用于训练和学习加速度计的传感器数据，N2用于训练和学习陀螺仪的传感器数据。具体地，在训练过程中，加速度计检测到的数据输入到卷积神经网络N1中进行卷积处理，陀螺仪检测到的数据输入到卷积神经网络N2中进行卷积处理。如图3所示，两个结构相同的第二卷积神经网络N1和N2，通过训练N1和N2会学习到不同传感器数据的数据特征，因为加速度计和陀螺仪是两种不同性质的传感器，因此需要使用两个独立权重的神经网络训练，相应的，在神经网络使用的过程中也同理。如上述实施例所述，输入到该第二卷积神经网络维度为D*F,该第二卷积神经网络对应的卷积层的第一层的卷积核为第二卷积神经网络(该神经网络包括多层卷积层)的后面几层都为1*3，其中/>等于D，本发明实施例中就是3，第一层卷积核用于学习单个传感器不同维度数据之间的联系，后续层用于学习更深层(深度)的数据之间的关系。
S12，通过所述第一卷积神经网络对多个所述第二卷积神经网络的输出进行融合并进行卷积处理，得到所述数据特征。
如图2和3所示，第一卷积神经网络N3用于将多个传感器的运动数据通过第二卷积神经网络N1和N2之后输出的数据进行融合，并做卷积计算处理，得到多个传感器检测的运动数据之间更深层次的数据特征，作为整个卷积神经网络的输出结果，供后续递归神经网络进行处理。
可选地，所述通过所述第一卷积神经网络对多个所述第二卷积神经网络的输出进行融合并进行卷积处理，得到所述数据特征，包括：将每个所述第二卷积神经网络输出的数据平铺成一维数据将所有所述第二卷积神经网络对应的一维数据叠加在一起，通过所述第一卷积神经网络进行深度卷积计算，得到所述数据特征。
上述可选的实施方式以及进一步可选的实施方式均是指本发明技术方案的一种可能的实施方式，本发明的技术方案可以采用上述实施方式来实现，也可以采用其他方式来实现，本发明对具体实现方式不做限定。
如图3所示，第一卷积神经网络N3用于将多个传感器数据通过卷积神经网络N1和N2之后形成的数据平铺成一维数据然后将其行叠加在一起，再进行深度学习和处理。第一卷积神经网络包括多层卷积层，其中第一层的卷积核大小为后续几层网络都为1*3，其中/>为K，等于传感器的个数2，卷积神经网络N3用于融合两个传感器的数据，并学习到它更深层次的特征。
本发明实施例中，第一卷积神经网络N3和第二卷积神经网络N1、N2都采用多卷积层构建而成，并设置有激活函数和归一化层，其中，激活函数可以采用relu线性整流激活函数，归一化层可以采用批量归一化层(batch normalization)，保证输入分布的均值与方差固定在一定范围内,提高训练精度。
需要说明的是，上述实施例中所述的传感器数量和神经网络的数据仅仅是为了更清楚地描述本申请技术方案，由上述描述的原理可知，采用3个传感器以及更多的传感器，只需要对方案进行些微调整，仍属于本发明的保护范围。
本发明实施例中，经过第一卷积神经网络之后，输出的数据也即是递归神经网络的输入就是传感器在一段时间中，按照时间顺序采集的数据并学习到的数据特征。在传统的对于传感器中，譬如根据加速度计的数据计算相对位移的方法，一般都是在一小段时间内，计算加速度的积分得到速度，然后计算速度的积分就能计算出位移，此过程的输入都是单位时间内采集到的数据，本发明实施例中的递归神经网络也是基于类似的原理，可以从更早层次学习到积分求和的特征，从而在另一个角度去计算最终的输出结果。
具体地，以上述内容为例，传感器检测到的运动数据是按照传感器类型和时间依次送入上述的卷积神经网络N1和N2当中的，其输出为其中t＝1…n，表示多个时间段内传感器输入通过上述神经网络N1、N2和N3的输出结果，将其按照时间顺序连接起来，作为递归神经网络N4的输入。本发明实施例中的递归神经网络可以采用层叠多层的LSTM网络层，具体可以是层叠了两层，一种可选的递归神经网络结构如图4所示。将递归神经网络层中的每个阶段的输出送入全连接网络N5中。全连接网络N5用于回归出最终的探头移动变换矩阵的矩阵参数，探头移动的变换矩阵形式为：
因此需要训练学习到的参数为探头旋转的角度θ，和探头偏移Δx和Δy，将计算出来的结果作为图像变换矩阵参数，用于最终的图像变换拼接当中。上述变换矩阵为根据运动图像的相对关系总结和推导得到的。
上述可选的实施方式以及进一步可选的实施方式均是指本发明技术方案的一种可能的实施方式，本发明的技术方案可以采用上述实施方式来实现，也可以采用其他方式来实现，本发明对具体实现方式不做限定。
另一方面，本发明实施例还提供了一种变换矩阵获取装置，该装置可以用于执行上述实施例的变换矩阵获取方法，如图5所示，该装置包括：
运动数据获取模块501，用于获取传感器检测到的运动数据，其中，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势；
参数计算模块502，用于将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到矩阵参数；
矩阵计算模块503，用于利用所述矩阵参数计算得到变换矩阵，所述变换矩阵用于拼接所述探头采集到的图像以得到宽景图像。
根据本发明实施例，通过获取探头采集图像的运动数据，利用预先训练得到的神经网络对该运动数据进行计算分析，得到探头的移动变化，进而计算出图像的变换矩阵，也即是间接地计算出图像的变化，无需利用图像本身的特征，即可计算出变换矩阵并进行图像拼接，不受图像亮度和特征等因素的影响，提高了变换矩阵计算的准确性，进而提升了图像拼接效果。
本发明实施例的变换矩阵获取装置与上述实施例的变换矩阵获取方法对应，具体描述参见上述实施例，这里不做赘述。
实施例2
本实施例提供一种宽景图像拼接方法，该方法主要用于对两个或者多个具有重叠的图像进行拼接，以形成宽景图像。如图6所示，该方法包括如下步骤：
步骤S601，利用探头探测目标区域连续的多个图像。
如实施例1中所述，探头上设置有用于检测探头运动数据的传感器，该探头在拍摄图像的过程中，需要进行移动以能够拍摄到目标区域的所有区域。连续的多个图像主要是由于探头在探测的过程中，图像是连续的，例如，视频图像。
步骤S602，利用变换矩阵获取方法获取所述多个图像中相邻图像之间的变换矩阵。
本发明实施例的变换矩阵获取方法也即是上述实施例1所述的变换矩阵获取方法，其具体工作原理和细节见上述实施例，这里不做赘述。
步骤S603，基于获取到的变换矩阵拼接所述多个图像得到宽景图像。
本发明实施例，通过利用上述变换矩阵获取方法基于传感器检测到的运动数据获取图像之间的变换矩阵，能够将探测的多个图像进行拼接，得到宽景图像。一种图像拼接的实例如图7所示，将图像A和图像B拼接在一起。由于变换矩阵的获取无需利用图像本身的特征，即可计算出变换矩阵并进行图像拼接，不受图像亮度和特征等因素的影响，提高了变换矩阵计算的准确性，进而提升了图像拼接效果。
另一方面，本发明实施例还提供了一种宽景图像拼接装置，该装置可以用于执行上述实施例的宽景图像拼接方法，如图8所示，该装置包括：
探测模块801，用于利用探头探测目标区域连续的多个图像；
变换矩阵获取装置802，用于获取所述多个图像中相邻图像之间的变换矩阵。
变换矩阵获取装置802即为上述实施例1中图5所示的装置，具体可以参见上面描述。
拼接模块803，用于基于获取到的变换矩阵拼接所述多个图像得到宽景图像。
本发明实施例，通过利用上述变换矩阵获取方法基于传感器检测到的运动数据获取图像之间的变换矩阵，能够将探测的多个图像进行拼接，得到宽景图像。由于变换矩阵的获取无需利用图像本身的特征，即可计算出变换矩阵并进行图像拼接，不受图像亮度和特征等因素的影响，提高了变换矩阵计算的准确性，进而提升了图像拼接效果。
本发明实施例的宽景图像拼接装置与上述实施例的宽景图像拼接方法对应，具体描述参见上述实施例，这里不做赘述。
实施例3
本发明实施例还提供了一种神经网络训练方法，该训练方法主要用于训练得到上述实施例1中所述的神经网络，如图9所示，该方法包括如下步骤：
步骤S901，获取训练样本数据，所述样本数据包括：传感器检测到的运动数据和与所述运动数据对应的矩阵参数，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势，所述矩阵参数为用于拼接宽景图像的变换矩阵中的参数。
本发明实施例中，利用运动数据和已经标注的矩阵参数作为训练样本数据，该训练样本数据可以分为训练集和测试集，数据主要包括运动数据和标注的对应的矩阵参数，用于供神经网络模型的训练。
本发明实施例中需要标注出准确地矩阵参数，也即是标注出准确的变换矩阵，这样训练的结果精度才能达到要求。由于变换矩阵无法通过两幅图像直接得到，本发明实施例采用了使用体膜图像用于训练，体膜图像特点在于，体膜内部可以设定固定的靶点，探头移动过程中，从体膜中扫描的图像，可以清楚的看到靶点，如图10所示，可以确定给出相同的靶点在两幅图像中的位置，以方面计算出变换矩阵，体膜图像的优点是图像清晰，计算出来的变换矩阵可靠正确。
也即是，获取训练样本数据包括：获取经过所述探头采集到的体膜图像；利用设置在相邻的体膜图像上的靶点坐标确定相邻两个体膜图像的变换矩阵；利用最小二乘法计算得到所述变换矩阵的矩阵参数；获取所述传感器检测到的所述运动数据，将所述矩阵参数和所述运动数据作为所述训练样本数据。
具体地，假设A图像靶点的坐标为Pa(x,y){1…n},则通过图像我们可以得到B图像中对应靶点的坐标Pb(x,y){1…n},则：
*表示矩阵乘法。
采用最小二乘法，通过最小化实际值和计算值得误差得到：
(xi,yi)和(x′i,y′i)分别是A和B两幅图像对应的靶点的坐标，最小化E值，通过计算对应的导数为0：
可以计算出最优的矩阵参数θ、Δx和Δy。从而得到相应的变换矩阵M。
步骤S902，利用所述训练样本数据对预先建立的神经网络模型进行训练，得到用于获取所述变换矩阵的神经网络。
在探头移动的过程中，采集固定时间间隔内的传感器的数据，计算当前间隔内图像移动变换的M，将数据送入上述神经网络中训练，迭代计算出最优的网络参数。
本发明实施例中，通过利用传感器检测到的运动数据和矩阵参数来训练神经网络模型，从而使得神经网络模型能够学习和识别出运动数据与矩阵参数之间的数据关系，得到神经网络，用于后面对其他运动数据识别出相应的变换矩阵，采用了神经网络的方式，通过分析探头的移动变化，间接的计算出图像的变化，从而提高了准确性。
本发明实施例的另一方面，还提供了一种神经网络训练装置，该装置可以用于执行上述的神经网络训练方法，如图11所示，该装置包括：
样本获取模块111，用于获取训练样本数据，所述样本数据包括：传感器检测到的运动数据和与所述运动数据对应的矩阵参数，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势，所述矩阵参数为用于拼接宽景图像的变换矩阵中的参数；
训练模块112，用于利用所述训练样本数据对预先建立的神经网络模型进行训练，得到用于获取所述变换矩阵的神经网络。
本发明实施例中，通过利用传感器检测到的运动数据和矩阵参数来训练神经网络模型，从而使得神经网络模型能够学习和识别出运动数据与矩阵参数之间的数据关系，得到神经网络，用于后面对其他运动数据识别出相应的变换矩阵，采用了神经网络的方式，通过分析探头的移动变化，间接的计算出图像的变化，从而提高了准确性。
本发明实施例的神经网络训练装置与上述实施例的神经网络训练方法对应，具体描述参见上述实施例，这里不做赘述。
实施例4
本实施例还提供一种计算机设备，如可以执行程序的台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备120至少包括但不限于：可通过系统总线相互通信连接的存储器121、处理器122，如图12所示。需要指出的是，图12仅示出了具有组件121-122的计算机设备120，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器121(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器121可以是计算机设备120的内部存储单元，例如该计算机设备120的硬盘或内存。在另一些实施例中，存储器121也可以是计算机设备120的外部存储设备，例如该计算机设备120上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器121还可以既包括计算机设备120的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备120的操作系统和各类应用软件，例如实施例所述的变换矩阵获取、宽景图像拼接、神经网络训练方法的程序代码等。此外，存储器121还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器122在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器122通常用于控制计算机设备120的总体操作。本实施例中，处理器122用于运行存储器121中存储的程序代码或者处理数据，例如实现实施例的变换矩阵获取、宽景图像拼接、神经网络训练方法。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储变换矩阵获取、宽景图像拼接、神经网络训练装置，被处理器执行时实现实施例的变换矩阵获取、宽景图像拼接、神经网络训练方法。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种变换矩阵获取方法，其特征在于，包括如下步骤：
获取传感器检测到的运动数据，其中，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势；
将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到矩阵参数；
利用所述矩阵参数计算得到变换矩阵，所述变换矩阵用于拼接所述探头采集到的图像以得到宽景图像；
所述神经网络包括：卷积神经网络、递归神经网络和全连接网络；其中，所述将所述运动数据输入到预先训练得到的神经网络中，利用所述神经网络计算得到变换矩阵的参数，包括：
通过所述卷积神经网络对所述运动数据进行卷积计算，得到所述运动数据的数据特征，作为所述卷积神经网络的输出；
通过所述递归神经网络对所述卷积神经网络输出的数据特征进行递归运算，得到递归计算结果，作为所述递归神经网络的输出；
通过所述全连接网络对所述递归神经网络输出的递归计算结果回归计算，得到所述矩阵参数。
2.根据权利要求1所述的变换矩阵获取方法，其特征在于，所述传感器为多个，所述卷积神经网络包括第一卷积神经网络和与多个所述传感器一一对应的多个第二卷积神经网络，其中，所述第一卷积神经网络的输入与多个所述第二卷积神经网络的输出连接。
3.根据权利要求2所述的变换矩阵获取方法，其特征在于，所述传感器包括加速度计和陀螺仪。
4.根据权利要求2或3所述的变换矩阵获取方法，其特征在于，所述通过所述卷积神经网络对所述运动数据进行卷积计算，得到所述运动数据的数据特征，包括：
通过所述第二卷积神经网络对与所述第二卷积神经网络对应的传感器检测到的运动数据进行卷积处理；
通过所述第一卷积神经网络对多个所述第二卷积神经网络的输出进行融合并进行卷积处理，得到所述数据特征。
5.根据权利要求4所述的变换矩阵获取方法，其特征在于，
所述通过所述第一卷积神经网络对多个所述第二卷积神经网络的输出进行融合并进行卷积处理，得到所述数据特征，包括：
将每个所述第二卷积神经网络输出的数据平铺成一维数据；
将所有所述第二卷积神经网络对应的一维数据叠加在一起，通过所述第一卷积神经网络进行深度卷积计算，得到所述数据特征。
6.根据权利要求4所述的变换矩阵获取方法，其特征在于，所述获取传感器检测到的运动数据，包括：
获取每个所述传感器检测到的待测时长的检测数据；
对每个检测数据按照所述待测时长维度划分为等间隔的多段数据；
对每个传感器对应的多段数据进行傅里叶变换，得到所述运动数据。
7.一种宽景图像拼接方法，其特征在于，包括如下步骤：
利用探头探测目标区域连续的多个图像；
利用权利要求1-6任一项所述的变换矩阵获取方法获取所述多个图像中相邻图像之间的变换矩阵；
基于获取到的变换矩阵拼接所述多个图像得到宽景图像。
8.一种神经网络训练方法，其特征在于，包括如下步骤：
获取训练样本数据，所述样本数据包括：传感器检测到的运动数据和与所述运动数据对应的矩阵参数，所述传感器设置在用于采集图像的探头上，所述运动数据用于表示所述探头在采集图像过程中的运动趋势，所述矩阵参数为用于拼接宽景图像的变换矩阵中的参数；
利用所述训练样本数据对预先建立的神经网络模型进行训练，得到用于获取所述变换矩阵的神经网络；
获取训练样本数据，包括：
获取经过所述探头采集到的体膜图像；
利用设置在相邻的体膜图像上的靶点坐标确定相邻两个体膜图像的变换矩阵；
利用最小二乘法计算得到所述变换矩阵的矩阵参数；
获取所述传感器检测到的所述运动数据，将所述矩阵参数和所述运动数据作为所述训练样本数据。
9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6、7、8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-6、7、8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415460.XA CN111161153B (zh) | 2019-12-31 | 2019-12-31 | 宽景拼接方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415460.XA CN111161153B (zh) | 2019-12-31 | 2019-12-31 | 宽景拼接方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111161153A CN111161153A (zh) | 2020-05-15 |
| CN111161153B true CN111161153B (zh) | 2024-04-12 |
Family
ID=70560137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911415460.XA Active CN111161153B (zh) | 2019-12-31 | 2019-12-31 | 宽景拼接方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161153B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898525A (zh) * | 2020-07-29 | 2020-11-06 | 广东智媒云图科技股份有限公司 | 烟雾识别模型的构建方法、进行烟雾检测的方法及装置 |
| CN113537238B (zh) * | 2021-07-05 | 2022-08-05 | 上海闪马智能科技有限公司 | 一种信息处理方法及图像识别装置 |
| CN114049260B (zh) * | 2022-01-12 | 2022-03-22 | 河北工业大学 | 一种图像拼接方法和装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104519340A (zh) * | 2014-12-30 | 2015-04-15 | 余俊池 | 基于多深度图像变换矩阵的全景视频拼接方法 |
| CN110070030A (zh) * | 2019-04-18 | 2019-07-30 | 北京迈格威科技有限公司 | 图像识别与神经网络模型的训练方法、装置和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105096304B (zh) * | 2014-05-22 | 2018-01-02 | 华为技术有限公司 | 一种图像特征的估计方法和设备 |
-
2019
- 2019-12-31 CN CN201911415460.XA patent/CN111161153B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104519340A (zh) * | 2014-12-30 | 2015-04-15 | 余俊池 | 基于多深度图像变换矩阵的全景视频拼接方法 |
| CN110070030A (zh) * | 2019-04-18 | 2019-07-30 | 北京迈格威科技有限公司 | 图像识别与神经网络模型的训练方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111161153A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161153B (zh) | 宽景拼接方法、装置及存储介质 | |
| DE102017116088B4 (de) | Vorrichtung und Verfahren zum Abschätzen einer Position eines Fahrzeugs | |
| DE112009001833B4 (de) | 3D-Flugzeit-Kamerasystem und zugehöriges Positions-/Orientierungs-Kalibrationsverfahren | |
| EP3355273B1 (en) | Coarse orientation detection in image data | |
| CN111275749B (zh) | 图像配准及其神经网络训练方法及装置 | |
| CN110334886A (zh) | 基于深度学习的设备诊断系统和方法 | |
| JP7038151B2 (ja) | 軌跡分類モデルのトレーニング方法及び装置、電子機器 | |
| WO2017198749A1 (en) | Image processing apparatus and method | |
| CN106441279B (zh) | 基于自主定位和边缘探索的机器人定位方法、系统 | |
| WO2021004261A1 (zh) | 深度数据的滤波方法、装置、电子设备和可读存储介质 | |
| CN110222641B (zh) | 用于识别图像的方法和装置 | |
| CN108846829B (zh) | 病变部位识别装置、计算机装置及可读存储介质 | |
| CN106530338A (zh) | 生物组织非线性形变前后mr影像特征点匹配方法及系统 | |
| KR20210038987A (ko) | 자동 종양 검출 및 분류를 위한 시스템 | |
| CN109102490A (zh) | 自动图像注册质量评估 | |
| EP3622481B1 (en) | Method and system for calibrating a velocimetry system | |
| CN112102294A (zh) | 生成对抗网络的训练方法及装置、图像配准方法及装置 | |
| KR20140114303A (ko) | 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템 | |
| WO2021134506A1 (zh) | 宽景拼接方法、装置及存储介质 | |
| CN104864821A (zh) | 计算设备和方法 | |
| CN110111382B (zh) | 不规则区域面积计算方法、装置、计算机设备和存储介质 | |
| CN106530280B (zh) | 一种图像中器官的定位方法及装置 | |
| Zhao et al. | Comparison of the existing tool localisation methods on two‐dimensional ultrasound images and their tracking results | |
| CN110517300A (zh) | 基于局部结构算子的弹性图像配准算法 | |
| CN110189372A (zh) | 深度图模型训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |