CN113160221A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113160221A CN113160221A CN202110526201.5A CN202110526201A CN113160221A CN 113160221 A CN113160221 A CN 113160221A CN 202110526201 A CN202110526201 A CN 202110526201A CN 113160221 A CN113160221 A CN 113160221A
- Authority
- CN
- China
- Prior art keywords
- image
- transformation matrix
- coordinate transformation
- ultrasonic
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 256
- 239000011159 matrix material Substances 0.000 claims abstract description 228
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 33
- 239000000523 sample Substances 0.000 claims abstract description 28
- 238000002604 ultrasonography Methods 0.000 claims description 93
- 238000004590 computer program Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取超声图像，以及与超声图像对应的待融合图像；获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应；根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息；获取待融合图像在空间坐标系中的第二位姿信息；根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。采用本方法能够达到良好图像处理效果。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，出现了超声图像处理技术，如超声图像融合技术与三维超声图像技术。其中，图像融合技术可应用于辅助诊断和手术导航中的将实时二维超声图像与手术前三维图像进行融合，为用户提供更多信息辅助诊断。三维超声图像技术将二维超声转换成三维，为诊断与手术引导提供了更多便利。
传统技术中，在将实时二维超声图像与手术前三维图像进行融合时，需要借助光学导航传感器或者电磁导航传感器等来追踪与实时二维超声图像对应的超声探头的位置，根据该超声探头的位置实现图像融合。
然而，传统方法中，若使用光学导航传感器，追踪时标记物必须在相机视野范围内，存在运动范围受限的问题，若使用电磁导航传感器，其易受到其他金属干扰物的影响，且也存在运动范围受限的问题，会导致图像融合时的图像处理效果差。并且，传统方法所使用的的光学导航传感器与电磁导航传感器的成本较为高昂，不利于该技术的推广。
发明内容
基于此，有必要针对上述技术问题，提供一种能够达到良好图像处理效果的图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，所述方法包括：
获取超声图像，以及与超声图像对应的待融合图像；
获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应；
根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息；
获取待融合图像在空间坐标系中的第二位姿信息；
根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；
根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。
在一个实施例中，根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵包括：
响应对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点；
根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵；
根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。
在一个实施例中，根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵包括：
根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像，确定超声图像与待融合图像之间的图像相似度；
对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵；
根据已调整坐标变换矩阵，得到目标坐标变换矩阵。
在一个实施例中，对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵包括：
对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵；
计算与已调整坐标变换矩阵对应的图像相似度；
根据图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。
在一个实施例中，根据已调整坐标变换矩阵，得到目标坐标变换矩阵包括：
获取惯性传感器的当前传感数据，根据当前传感数据得到待融合坐标变换矩阵；
对待融合坐标变换矩阵和已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵。
在一个实施例中，还包括：
获取多帧超声图像，以及多帧超声图像中每帧超声图像在空间坐标系的第三位姿信息；
根据第三位姿信息对多帧超声图像进行三维重建，得到重建三维图像；
对重建三维图像中超声图像进行连续性检测；
当连续性检测不通过时，确定不连续超声图像，获取不连续超声图像的待更新位姿信息；
根据待更新位姿信息，更新重建三维图像。
在一个实施例中，获取不连续超声图像的待更新位姿信息包括：
获取不连续超声图像在空间坐标系的第四位姿信息，以及重建三维图像在空间坐标系的第五位姿信息；
根据第四位姿信息和第五位姿信息进行空间坐标配准，得到不连续超声图像的待更新位姿信息。
一种图像处理装置，所述装置包括：
图像获取模块，用于获取超声图像，以及与超声图像对应的待融合图像；
第一位姿获取模块，用于获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应；
处理模块，用于根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息；
第二位姿获取模块，用于获取待融合图像在空间坐标系中的第二位姿信息；
配准模块，用于根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；
融合模块，用于根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。
上述图像处理方法、装置、计算机设备和存储介质，获取超声图像以及与超声图像对应的待融合图像，借助超声探头以及运动范围不受限的惯性传感器来追踪超声图像的位姿，能够得到超声图像在空间坐标系中的第一位姿信息，进而可以在获取待融合图像在空间坐标系中的第二位姿信息的基础上，实现根据第一位姿信息和第二位姿信息进行空间坐标配准，得到精准的目标坐标变换矩阵，利用精准的目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像，能够达到良好的图像处理效果。
附图说明
图1为一个实施例中图像融合方法的流程示意图；
图2为另一个实施例中图像融合方法的流程示意图；
图3为又一个实施例中图像融合方法的流程示意图；
图4为一个实施例中图像融合装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取超声图像，以及与超声图像对应的待融合图像。
其中，超声图像是指由超声设备产生的实时图像。比如，超声图像具体可以是指由超声设备上的超声探头所采集到的图像。与超声图像对应的待融合图像是指与超声图像对应同一位置区域的图像。比如，待融合图像具体可以是指与超声图像对应同一位置区域的三维图像，可通过计算机断层扫描和磁共振成像等技术得到。
具体的，在需要进行图像处理时，终端会获取超声图像，以及与超声图像对应的待融合图像，对超声图像以及待融合图像进行图像融合。其中，终端具体可以是指超声设备。
步骤104，获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应。
其中，空间位姿是指采集超声图像的超声探头在空间坐标系中的位姿，空间坐标系与空间位姿对应。比如，空间坐标系具体可以是指世界坐标系。惯性传感器使用加速度计、磁力计、陀螺仪或其他运动传感器来测量物体的加速度和角速度。在给定了初始条件后不需要外部参照就可连续估算运动物体的位置、姿态和速度。通常的，三轴加速度计、三轴磁力计与三轴陀螺仪会被集成在一起并合称九轴加速度计，多个安装在不同位置的三轴加速度计可以提供角加速度。其优势在于，惯性传感器的成本相对于医疗级别的光学导航传感器或者电磁导航传感器极低，且使用场景更加灵活，体积更为小巧，抗干扰性更强。
具体的，惯性传感器可连续估算运动物体的位置、姿态和速度，终端根据预设设置的与超声探头相连接的惯性传感器，就可以确定超声探头在预设的空间坐标系下的空间位姿。
步骤106，根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息。
其中，第一位姿信息是指超声图像在空间坐标系中的位姿。
具体的，在得到与超声图像对应的空间位姿后，终端会根据空间位姿以及与超声探头对应的超声坐标系，确定超声图像在空间坐标系中的第一位姿信息。因为空间位姿是与超声探头对应的，且根据与超声探头对应的超声坐标系可以确定超声图像在超声坐标系中的位姿，根据空间位姿以及超声图像在超声坐标系中的位姿，就可以进行位姿转换，得到超声图像在空间坐标系中的第一位姿信息。
步骤108，获取待融合图像在空间坐标系中的第二位姿信息。
其中，第二位姿信息是指待融合图像在空间坐标系中的位姿。
具体的，待融合图像可以通过利用计算机断层扫描和磁共振成像等技术的图像采集设备得到，根据图像采集设备在空间坐标系中的位姿，以及图像采集设备所对应的图像坐标系，终端就可以对图像采集设备所采集到的待融合图像进行位姿转换，得到待融合图像在空间坐标系中的第二位姿信息。
步骤110，根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵。
其中，进行空间坐标配准是指利用第一位姿信息和第二位姿信息对超声图像和待融合图像进行配准对其，以得到超声图像和待融合图像之间的目标坐标变换矩阵。目标坐标变换矩阵用于表征超声图像中特征点到待融合图像中特征点的映射关系。特征点具体可以是指超声图像和待融合图像中任意表征相同位置区域的点。比如，特征点具体可以是指像素点。
具体的，进行空间坐标配准包括两个步骤，第一步是根据第一位姿信息、第二位姿信息以及选取的标记进行手动配准，得到初步坐标变换矩阵，第二步是根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。比如，选取的标记具体可以是指配准点。又比如，选取的标记具体可以是指配准线。再比如，选取的标记具体可以是指配准面。其中，进行手动配准的方式为，终端响应对超声图像和待融合图像的配准点选取操作，根据被选取的配准点、第一位姿信息以及第二位姿信息，得到初步坐标变换矩阵。进行基于图像的配准的方式为，终端根据初步坐标变换矩阵，计算超声图像与待融合图像之间的图像相似度，对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵，获取与超声探头对应的惯性传感器的当前传感数据，根据当前传感数据和已调整坐标变换矩阵，得到目标坐标变换矩阵。
步骤112，根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。
其中，目标融合图像是指融合超声图像和待融合图像所得到的图像。
具体的，在得到目标坐标变换矩阵后，终端就可以对超声图像和待融合图像进行融合，得到目标融合图像。进一步的，对超声图像和待融合图像进行融合的方式具体可以为根据目标坐标变换矩阵将超声图像映射至待融合图像，也可以为根据目标坐标变换矩阵将待融合图像映射至超声图像。
上述图像处理方法，获取超声图像以及与超声图像对应的待融合图像，借助超声探头以及运动范围不受限的惯性传感器来追踪超声图像的位姿，能够得到超声图像在空间坐标系中的第一位姿信息，进而可以在获取待融合图像在空间坐标系中的第二位姿信息的基础上，实现根据第一位姿信息和第二位姿信息进行空间坐标配准，得到精准的目标坐标变换矩阵，利用精准的目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像，能够达到良好的图像处理效果。
在一个实施例中，根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵包括：
响应对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点；
根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵；
根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。
其中，第一配准点是指超声图像中被选取的用于配准的特征点，第二配准点是指待融合图像中被选取的用于配准的特征点。需要说明的是，相对应的第一配准点和第二配准点在超声图像和待融合图像中分别表征相同位置区域。初始坐标变换矩阵是指利用配准点得到的、能够实现超声图像和待融合图像的坐标变换的矩阵。
具体的，终端会响应用户对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点，根据第一位姿信息得到第一配准点的配准点位姿，根据第二位姿信息得到第二配准点的配准点位姿，根据两个配准点位姿计算出初步坐标变换矩阵。在得到初步坐标变换矩阵后，终端会根据初步坐标变换矩阵，计算超声图像与待融合图像之间的图像相似度，对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵，获取与超声探头对应的惯性传感器的当前传感数据，根据当前传感数据和已调整坐标变换矩阵，得到目标坐标变换矩阵。
举例说明，本实施例中的计算初步坐标变换矩阵可通过迭代最近点算法实现，迭代最近点算法可根据给出的空间中对应的三组或更多的配对点计算出相对坐标的变换矩阵，变换矩阵是指能实现最佳重叠配准的矩阵，通过该变换矩阵，能够使得超声图像和待融合图像的图像重叠度最大，对应位置的组织信息相同。其中，配对点是指超声图像和待融合图像中与相同位置对应的第一配准点和第二配准点。
进一步的，对超声图像和待融合图像的配准点选取的方式可以为：先在待融合图像中选取第二配准点，再基于第二配准点去移动超声探头获取第一配准点，通过利用与超声探头对应的惯性传感器，记录超声探头的移动位置，即可实现对第一配准点的记录。需要说明的是，第一配准点和第二配准点是指生理解剖信息比较明显的点。
本实施例中，通过响应对超声图像和待融合图像的配准点选取操作，得到第一配准点和第二配准点，能够根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵，并进一步根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。
在一个实施例中，根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵包括：
根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像，确定超声图像与待融合图像之间的图像相似度；
对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵；
根据已调整坐标变换矩阵，得到目标坐标变换矩阵。
其中，图像相似度用于表征超声图像和待融合图像的相似程度。
具体的，终端会先根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像中，在映射完成后计算超声图像与待融合图像之间的图像相似度，再对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵，计算与已调整坐标变换矩阵对应的图像相似度，根据与已调整坐标变换矩阵对应的图像相似度，确定与最大图像相似度对应的已调整坐标变换矩阵，最后获取与超声探头对应的惯性传感器的当前传感数据，根据当前传感数据和已调整坐标变换矩阵，得到目标坐标变换矩阵。
其中，计算超声图像与待融合图像之间的图像相似度是指综合利用超声图像与到融合图像的灰度、梯度、边缘等信息来确定两张图像之间的相似度。比如，计算图像相似度的方式具体可以为：提取超声图像以及待融合图像的灰度值，根据灰度值计算第一比值，确定基于灰度值的梯度值，根据梯度值计算第二比值，确定基于梯度值的边缘值，根据边缘值计算第三比值，综合第一比值、第二比值、第三比值得到图像相似度。需要说明的是，本实施例中不对计算图像相似度的方式进行限定，只要能够实现图像相似度计算即可。对初步坐标变换矩阵进行调整主要是指沿着梯度下降方向对初步坐标变换矩阵中的自由度进行调整，使其不断优化，自由度具体包括偏移、旋转、尺度变换、扭曲变换等。
本实施例中，通过根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像，确定超声图像与待融合图像之间的图像相似度，能够通过对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵，进而根据已调整坐标变换矩阵，得到目标坐标变换矩阵。
在一个实施例中，对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵包括：
对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵；
计算与已调整坐标变换矩阵对应的图像相似度；
根据图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。
具体的，终端会对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵，计算与已调整坐标变换矩阵对应的图像相似度，根据图像相似度进行排序，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。进一步的，本实施例中的对初步坐标变换矩阵进行调整得到与最大图像相似度对应的已调整坐标变换矩阵可利用优化搜索算法实现，利用优化搜索算法，在对初步坐标变换矩阵进行调整，得到已调整坐标变换矩阵时，可以基于已得到的已调整坐标变换矩阵以及与该已调整坐标变换矩阵对应的图像相似度，确定进一步进行调整的方向(即搜索方向)，从而提高调整效率。
本实施例中，通过对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵，计算与已调整坐标变换矩阵对应的图像相似度，能够根据图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。
在一个实施例中，根据已调整坐标变换矩阵，得到目标坐标变换矩阵包括：
获取惯性传感器的当前传感数据，根据当前传感数据得到待融合坐标变换矩阵；
对待融合坐标变换矩阵和已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵。
其中，当前传感数据包括由其中的加速度计得到的线性、角度与部分角度信息、由其中的磁力计得到的方位信息以及由其中的陀螺仪得到的角度信息。
具体的，在得到已调整坐标变换矩阵后，终端会再次获取惯性传感器的当前传感数据，根据当前传感数据、超声图像在超声坐标系中的位姿，得到待融合坐标变换矩阵，待融合坐标变换矩阵用于表征空间坐标系与超声坐标系之间的坐标变换。得到待融合坐标变换矩阵后，终端会对已调整坐标变换矩阵进行坐标变换，得到与已调整坐标变换矩阵对应的、用于表征空间坐标系与超声坐标系之间的坐标变换的待处理坐标变换矩阵，对待融合坐标变换矩阵以及待处理坐标变换矩阵进行数据融合，得到表征空间坐标系与超声坐标系之间的坐标变换的融合坐标变换矩阵，根据融合坐标变换矩阵进行坐标变换，即可得到目标坐标变换矩阵。
进一步的，对待融合坐标变换矩阵以及待处理坐标变换矩阵进行数据融合的方式可以为利用数据融合算法(如卡尔曼滤波)进行数据融合，其中，卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。数据滤波是去除噪声还原真实数据的一种数据处理技术，卡尔曼滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态系统的状态。需要说明的是，本实施例中不限定进行数据融合的方式，只要能够实现数据融合即可。本实施例中，通过当前传感数据所得到的待融合坐标变换矩阵为高频且低精度的矩阵，待处理坐标变换矩阵为低频且高精度的矩阵，通过将待融合坐标变换矩阵和待处理坐标变换矩阵进行数据融合，就可以得到实时且高精度的融合坐标变换矩阵。
本实施例中，通过获取惯性传感器的当前传感数据，根据当前传感数据得到待融合坐标变换矩阵，能够利用对待融合坐标变换矩阵和已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵。
在一个实施例中，还包括：
获取多帧超声图像，以及多帧超声图像中每帧超声图像在空间坐标系的第三位姿信息；
根据第三位姿信息对多帧超声图像进行三维重建，得到重建三维图像；
对重建三维图像中超声图像进行连续性检测；
当连续性检测不通过时，确定不连续超声图像，获取不连续超声图像的待更新位姿信息；
根据待更新位姿信息，更新重建三维图像。
其中，第三位姿信息是指每帧超声图像在空间坐标系下的位姿信息。重建三维图像是指将多帧超声图像映射到空间坐标系并进行插值得到的三维图像。连续性检测是指对重建三维图像中超声图像是否连续进行检测，这里的是否连续是指相邻两帧超声图像的相对应像素点过渡是否平滑，即每相邻两帧超声图像的灰度值变化程度是否一致，具体的，可以利用每两帧超声图像之间的灰度值变化差值进行检测。进一步的，可以利用灰度值变化差值求标准差得到对连续性的近似描述，通过预先设置连续性标准差阈值，比对利用灰度值变化差值求得的标准差和预设的连续性标准差阈值实现连续性检测。
具体的，终端会获取多帧超声图像，利用惯性传感器采集到的与多帧超声图像对应的空间坐标，得到多帧超声图像中每帧超声图像在空间坐标系的第三位姿信息，根据第三位姿信息将多帧超声图像映射到预设的空间坐标系中，并利用预设的插值算法补足每两帧超声图像之间的间隙，得到重建三维图像。在得到重建三维图像后，终端会计算重建三维图像中每两帧超声图像之间的灰度值变化程度，根据该灰度值变化程度对超声图像进行连续性检测，确定是否存在不连续超声图像。举例说明，插值算法具体可以是指传统的双线性插值算法，即利用周围已知的像素灰度信息，假设图像灰度之间的变化呈线性变换关系，利用线性模型推得未知位置的像素灰度信息。
具体的，当连续性检测通过时，表示不存在不连续超声图像，该重建三维图像即为与多帧超声图像对应的三维图像。当连续性检测不通过时，表示存在不连续超声图像，终端需要根据每两帧超声图像之间的灰度值变化差值，确定出不连续超声图像，利用重建三维图像和不连续超声图像当前的第三位姿信息重新计算出与不连续超声图像对应的待更新位姿信息，以待更新位姿信息更新不连续超声图像的第三位姿信息，根据更新后的第三位姿信息，更新重建三维图像。
其中，根据每两帧超声图像之间的灰度值变化差值，确定出不连续超声图像是指利用灰度值变化差值选取出灰度值变化程度与其他每两帧超声图像不同的异常超声图像组，将在多组异常超声图像组中同时出现的超声图像作为不连续超声图像。举例说明，在多帧超声图像中包括超声图像A、B、C、D、E，当超声图像B到超声图像C以及超声图像C到超声图像E的灰度值变化程度与超声图像A到超声图像B以及超声图像D到超声图像E不相同时，可将超声图像B和超声图像C以及超声图像C和超声图像D作为异常超声图像组，在两组异常超声图像中同时出现的超声图像C即为不连续超声图像。
本实施例中，通过获取多帧超声图像，利用多帧超声图像中每帧超声图像的第三位姿信息对多帧超声图像进行三维重建，得到对应的重建三维图像，对重建三维图像中超声图像进行连续性检测，当连续性检测不通过时，确定不连续超声图像，更新不连续超声图像的第三位姿信息，根据更新后的第三位姿信息，更新重建三维图像，能够利用多帧超声图像实现对三维图像的重建。
在一个实施例中，获取不连续超声图像的待更新位姿信息包括：
获取不连续超声图像在空间坐标系的第四位姿信息，以及重建三维图像在空间坐标系的第五位姿信息；
根据第四位姿信息和第五位姿信息进行空间坐标配准，得到不连续超声图像的待更新位姿信息。
具体的，在确定出不连续超声图像后，终端会获取不连续超声图像在空间坐标系的第四位姿信息，以及重建三维图像在空间坐标系的第五位姿信息，根据第四位姿信息和第五位姿信息进行空间坐标配准，得到表征不连续超声图像和重建三维图像之间的坐标转换关系的坐标转换矩阵，根据坐标变换矩阵以及第四位姿信息，得到不连续超声图像的待更新位姿信息。其中，根据第四位姿信息和第五位姿信息进行空间坐标配准，得到坐标转换矩阵的方式与根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵的方式相同，本实施例在此处不再撰述。
本实施例中，通过获取第四位姿信息以及第五位姿信息，能够实现根据第四位姿信息和第五位姿信息进行空间坐标配准，得到不连续超声图像的待更新位姿信息。
在一个实施例中，如图2所示，本申请还提供一个流程示意图来说明上述图像处理方法，该图像处理方法具体包括以下步骤：
终端获取超声主机产生的实时超声图像以及用户输入的术前3D图像(即待融合图像)，利用惯性传感器获取与超声图像对应的空间坐标，根据空间坐标确定超声图像在空间坐标系(假设为世界坐标系)中的第一位姿信息，并获取术前3D图像在空间坐标系中的第二位姿信息，利用手动配准算法对实时超声图像和术前3D图像进行配准，得到初始US-3D图像相对坐标(即响应对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点，根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵)。
同时，终端会根据实时超声图像以及术前3D图像得到实时US-3D相对坐标(即已调整坐标变换矩阵)，根据初始US-3D图像相对坐标进行坐标变换，得到3D图像绝对坐标(用于表征世界坐标系与3D坐标系之间的坐标转换)，根据实时US-3D相对坐标以及3D图像绝对坐标进行坐标变换，得到US图像绝对坐标(用于表征世界坐标系与超声坐标系之间的坐标转换)，根据US图像绝对坐标以及从惯性传感器获取到的当前传感信息(即图中由加速度计产生的线性、角速度与部分角度信息，磁力计产生的方位信息以及陀螺仪产生的角度信息)，利用数据融合算法(如卡尔曼滤波)，得到US图像绝对坐标(用于表征世界坐标系与超声坐标系之间的坐标转换)，利用US图像绝对坐标可得到目标坐标变换矩阵，通过利用目标坐标变换矩阵进行图像切片提取，可抽取出与实时超声图像对应的术前3D图像切片，通过将切片与实时超声图像进行对比显示或者重叠显示，即可实现图像融合，得到融合后的三维图像。
在一个实施例中，如图3所示，本申请还提供一个流程示意图来说明上述图像处理方法，该图像处理方法具体包括以下步骤：
步骤302，获取超声图像，以及与超声图像对应的待融合图像；
步骤304，获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应；
步骤306，根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息；
步骤308，获取待融合图像在空间坐标系中的第二位姿信息；
步骤310，响应对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点；
步骤312，根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵；
步骤314，根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像，确定超声图像与待融合图像之间的图像相似度；
步骤316，对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵；
步骤318，计算与已调整坐标变换矩阵对应的图像相似度；
步骤320，根据图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵；
步骤322，获取惯性传感器的当前传感数据，根据当前传感数据得到待融合坐标变换矩阵；
步骤324，对待融合坐标变换矩阵和已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵；
步骤326，根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。
应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种图像融合装置，包括：图像获取模块402、第一位姿获取模块404、处理模块406、第二位姿获取模块408、配准模块410和融合模块412，其中：
图像获取模块402，用于获取超声图像，以及与超声图像对应的待融合图像；
第一位姿获取模块404，用于获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应；
处理模块406，用于根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息；
第二位姿获取模块408，用于获取待融合图像在空间坐标系中的第二位姿信息；
配准模块410，用于根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；
融合模块412，用于根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。
上述图像处理装置，获取超声图像以及与超声图像对应的待融合图像，借助超声探头以及运动范围不受限的惯性传感器来追踪超声图像的位姿，能够得到超声图像在空间坐标系中的第一位姿信息，进而可以在获取待融合图像在空间坐标系中的第二位姿信息的基础上，实现根据第一位姿信息和第二位姿信息进行空间坐标配准，得到精准的目标坐标变换矩阵，利用精准的目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像，能够达到良好的图像处理效果。
在一个实施例中，配准模块还用于响应对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点，根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵，根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。
在一个实施例中，配准模块还用于根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像，确定超声图像与待融合图像之间的图像相似度，对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵，根据已调整坐标变换矩阵，得到目标坐标变换矩阵。
在一个实施例中，配准模块还用于对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵，计算与已调整坐标变换矩阵对应的图像相似度，根据图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。
在一个实施例中，配准模块还用于获取惯性传感器的当前传感数据，根据当前传感数据得到待融合坐标变换矩阵，对待融合坐标变换矩阵和已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵。
在一个实施例中，图像处理装置还包括三维扫描模块，三维扫描模块用于获取多帧超声图像，以及多帧超声图像中每帧超声图像在空间坐标系的第三位姿信息，根据第三位姿信息对多帧超声图像进行三维重建，得到重建三维图像，对重建三维图像中超声图像进行连续性检测，当连续性检测不通过时，确定不连续超声图像，获取不连续超声图像的待更新位姿信息，根据待更新位姿信息，更新重建三维图像。
在一个实施例中，三维扫描模块还用于获取不连续超声图像在空间坐标系的第四位姿信息，以及重建三维图像在空间坐标系的第五位姿信息，根据第四位姿信息和第五位姿信息进行空间坐标配准，得到不连续超声图像的待更新位姿信息。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取超声图像，以及与超声图像对应的待融合图像；
获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应；
根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息；
获取待融合图像在空间坐标系中的第二位姿信息；
根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；
根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：响应对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点，根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵，根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像，确定超声图像与待融合图像之间的图像相似度，对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵，根据已调整坐标变换矩阵，得到目标坐标变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵，计算与已调整坐标变换矩阵对应的图像相似度，根据图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取惯性传感器的当前传感数据，根据当前传感数据得到待融合坐标变换矩阵，对待融合坐标变换矩阵和已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取多帧超声图像，以及多帧超声图像中每帧超声图像在空间坐标系的第三位姿信息，根据第三位姿信息对多帧超声图像进行三维重建，得到重建三维图像，对重建三维图像中超声图像进行连续性检测，当连续性检测不通过时，确定不连续超声图像，获取不连续超声图像的待更新位姿信息，根据待更新位姿信息，更新重建三维图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取不连续超声图像在空间坐标系的第四位姿信息，以及重建三维图像在空间坐标系的第五位姿信息，根据第四位姿信息和第五位姿信息进行空间坐标配准，得到不连续超声图像的待更新位姿信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取超声图像，以及与超声图像对应的待融合图像；
获取与超声图像对应的空间位姿，空间位姿为采集超声图像的超声探头在空间坐标系中的位姿，空间位姿通过惯性传感器获取，空间坐标系与空间位姿对应；
根据空间位姿，确定超声图像在空间坐标系中的第一位姿信息；
获取待融合图像在空间坐标系中的第二位姿信息；
根据第一位姿信息和第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；
根据目标坐标变换矩阵，对超声图像和待融合图像进行融合，得到目标融合图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：响应对超声图像和待融合图像的配准点选取操作，得到与超声图像对应的第一配准点以及与待融合图像对应的第二配准点，根据第一位姿信息、第二位姿信息、第一配准点以及第二配准点，得到初步坐标变换矩阵，根据初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据初步坐标变换矩阵，将超声图像中各像素点映射至待融合图像，确定超声图像与待融合图像之间的图像相似度，对初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵，根据已调整坐标变换矩阵，得到目标坐标变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵，计算与已调整坐标变换矩阵对应的图像相似度，根据图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取惯性传感器的当前传感数据，根据当前传感数据得到待融合坐标变换矩阵，对待融合坐标变换矩阵和已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取多帧超声图像，以及多帧超声图像中每帧超声图像在空间坐标系的第三位姿信息，根据第三位姿信息对多帧超声图像进行三维重建，得到重建三维图像，对重建三维图像中超声图像进行连续性检测，当连续性检测不通过时，确定不连续超声图像，获取不连续超声图像的待更新位姿信息，根据待更新位姿信息，更新重建三维图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取不连续超声图像在空间坐标系的第四位姿信息，以及重建三维图像在空间坐标系的第五位姿信息，根据第四位姿信息和第五位姿信息进行空间坐标配准，得到不连续超声图像的待更新位姿信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取超声图像，以及与所述超声图像对应的待融合图像；
获取与所述超声图像对应的空间位姿，所述空间位姿为采集所述超声图像的超声探头在空间坐标系中的位姿，所述空间位姿通过惯性传感器获取，所述空间坐标系与所述空间位姿对应；
根据所述空间位姿，确定所述超声图像在所述空间坐标系中的第一位姿信息；
获取所述待融合图像在所述空间坐标系中的第二位姿信息；
根据所述第一位姿信息和所述第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；
根据所述目标坐标变换矩阵，对所述超声图像和所述待融合图像进行融合，得到目标融合图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位姿信息和所述第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵包括：
响应对所述超声图像和所述待融合图像的配准点选取操作，得到与所述超声图像对应的第一配准点以及与所述待融合图像对应的第二配准点；
根据所述第一位姿信息、所述第二位姿信息、所述第一配准点以及所述第二配准点，得到初步坐标变换矩阵；
根据所述初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初步坐标变换矩阵进行基于图像的配准，得到目标坐标变换矩阵包括：
根据所述初步坐标变换矩阵，将所述超声图像中各像素点映射至所述待融合图像，确定所述超声图像与所述待融合图像之间的图像相似度；
对所述初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵；
根据所述已调整坐标变换矩阵，得到目标坐标变换矩阵。
4.根据权利要求3所述的方法，其特征在于，所述对所述初步坐标变换矩阵进行调整，确定与最大图像相似度对应的已调整坐标变换矩阵包括：
对所述初步坐标变换矩阵进行调整，得到至少两个已调整坐标变换矩阵；
计算与所述已调整坐标变换矩阵对应的图像相似度；
根据所述图像相似度，确定最大图像相似度，并确定与最大图像相似度对应的已调整坐标变换矩阵。
5.根据权利要求3所述的方法，其特征在于，所述根据所述已调整坐标变换矩阵，得到目标坐标变换矩阵包括：
获取所述惯性传感器的当前传感数据，根据所述当前传感数据得到待融合坐标变换矩阵；
对所述待融合坐标变换矩阵和所述已调整坐标变换矩阵进行数据融合，得到目标坐标变换矩阵。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取多帧超声图像，以及所述多帧超声图像中每帧超声图像在所述空间坐标系的第三位姿信息；
根据所述第三位姿信息对所述多帧超声图像进行三维重建，得到重建三维图像；
对所述重建三维图像中超声图像进行连续性检测；
当连续性检测不通过时，确定不连续超声图像，获取所述不连续超声图像的待更新位姿信息；
根据所述待更新位姿信息，更新所述重建三维图像。
7.根据权利要求6所述的方法，其特征在于，所述获取所述不连续超声图像的待更新位姿信息包括：
获取所述不连续超声图像在所述空间坐标系的第四位姿信息，以及所述重建三维图像在所述空间坐标系的第五位姿信息；
根据所述第四位姿信息和所述第五位姿信息进行空间坐标配准，得到所述不连续超声图像的待更新位姿信息。
8.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取超声图像，以及与所述超声图像对应的待融合图像；
第一位姿获取模块，用于获取与所述超声图像对应的空间位姿，所述空间位姿为采集所述超声图像的超声探头在空间坐标系中的位姿，所述空间位姿通过惯性传感器获取，所述空间坐标系与所述空间位姿对应；
处理模块，用于根据所述空间位姿，确定所述超声图像在所述空间坐标系中的第一位姿信息；
第二位姿获取模块，用于获取所述待融合图像在所述空间坐标系中的第二位姿信息；
配准模块，用于根据所述第一位姿信息和所述第二位姿信息进行空间坐标配准，得到目标坐标变换矩阵；
融合模块，用于根据所述目标坐标变换矩阵，对所述超声图像和所述待融合图像进行融合，得到目标融合图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526201.5A CN113160221B (zh) | 2021-05-14 | 2021-05-14 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526201.5A CN113160221B (zh) | 2021-05-14 | 2021-05-14 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160221A true CN113160221A (zh) | 2021-07-23 |
| CN113160221B CN113160221B (zh) | 2022-06-28 |
Family
ID=76875029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110526201.5A Active CN113160221B (zh) | 2021-05-14 | 2021-05-14 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160221B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113884006A (zh) * | 2021-09-27 | 2022-01-04 | 视辰信息科技(上海)有限公司 | 一种空间定位方法及系统、设备和计算机可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046644A (zh) * | 2015-07-06 | 2015-11-11 | 嘉恒医疗科技（上海）有限公司 | 基于线性相关性的超声与ct图像配准方法和系统 |
| CN108403146A (zh) * | 2018-03-20 | 2018-08-17 | 余夏夏 | 基于多传感器信息融合的三维超声成像方法及装置 |
| CN109974693A (zh) * | 2019-01-31 | 2019-07-05 | 中国科学院深圳先进技术研究院 | 无人机定位方法、装置、计算机设备及存储介质 |
| CN110163897A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于合成超声图像的多模态图像配准方法 |
| US10408606B1 (en) * | 2018-09-24 | 2019-09-10 | Faro Technologies, Inc. | Quality inspection system and method of operation |
| CN110288653A (zh) * | 2019-07-15 | 2019-09-27 | 中国科学院深圳先进技术研究院 | 一种多角度超声图像融合方法、系统及电子设备 |
| CN110368027A (zh) * | 2018-04-13 | 2019-10-25 | 北京柏惠维康医疗机器人科技有限公司 | 一种图像融合方法和装置 |
| CN111292277A (zh) * | 2018-12-10 | 2020-06-16 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法及超声融合成像导航系统 |
| CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
| CN111870344A (zh) * | 2020-05-29 | 2020-11-03 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 术前导航方法、系统及终端设备 |
| CN111956329A (zh) * | 2020-08-12 | 2020-11-20 | 中国科学院深圳先进技术研究院 | 一种双臂机器人标定方法、系统、终端以及存储介质 |
-
2021
- 2021-05-14 CN CN202110526201.5A patent/CN113160221B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046644A (zh) * | 2015-07-06 | 2015-11-11 | 嘉恒医疗科技（上海）有限公司 | 基于线性相关性的超声与ct图像配准方法和系统 |
| CN108403146A (zh) * | 2018-03-20 | 2018-08-17 | 余夏夏 | 基于多传感器信息融合的三维超声成像方法及装置 |
| CN110368027A (zh) * | 2018-04-13 | 2019-10-25 | 北京柏惠维康医疗机器人科技有限公司 | 一种图像融合方法和装置 |
| US10408606B1 (en) * | 2018-09-24 | 2019-09-10 | Faro Technologies, Inc. | Quality inspection system and method of operation |
| CN111292277A (zh) * | 2018-12-10 | 2020-06-16 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法及超声融合成像导航系统 |
| CN109974693A (zh) * | 2019-01-31 | 2019-07-05 | 中国科学院深圳先进技术研究院 | 无人机定位方法、装置、计算机设备及存储介质 |
| CN110163897A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于合成超声图像的多模态图像配准方法 |
| CN110288653A (zh) * | 2019-07-15 | 2019-09-27 | 中国科学院深圳先进技术研究院 | 一种多角度超声图像融合方法、系统及电子设备 |
| CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
| CN111870344A (zh) * | 2020-05-29 | 2020-11-03 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 术前导航方法、系统及终端设备 |
| CN111956329A (zh) * | 2020-08-12 | 2020-11-20 | 中国科学院深圳先进技术研究院 | 一种双臂机器人标定方法、系统、终端以及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| ZHANYU GAO 等: "A Monocular Vision Measurement System of Three-Degree-of-Freedom Air-Bearing Test-Bed Based on FCCSP", 《PHOTONIC SENSORS》 * |
| 许勇 等: "基于图像特征融合的无人机位姿测量方法", 《激光与光电子学进展》 * |
| 陆钧昀 等: "基于光测图像的无人机姿态测量方法", 《红外与激光工程》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113884006A (zh) * | 2021-09-27 | 2022-01-04 | 视辰信息科技(上海)有限公司 | 一种空间定位方法及系统、设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160221B (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6768156B2 (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| US10636168B2 (en) | Image processing apparatus, method, and program | |
| JP5355074B2 (ja) | ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム | |
| CN109754396B (zh) | 图像的配准方法、装置、计算机设备和存储介质 | |
| JP4743818B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
| US10930008B2 (en) | Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image | |
| CN110310362A (zh) | 基于深度图及imu的高动态场景三维重建方法、系统 | |
| US9549710B2 (en) | Methods for updating 2D/3D registration on movement and computing device | |
| US20040176925A1 (en) | Position/orientation measurement method, and position/orientation measurement apparatus | |
| CN110211151B (zh) | 一种运动物体的追踪方法和装置 | |
| JP2002259992A (ja) | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 | |
| WO2018019272A1 (zh) | 基于平面检测实现增强现实的方法及装置 | |
| CN113397704B (zh) | 机器人定位方法、装置、系统及计算机设备 | |
| CN113160221B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| EP4337133A1 (en) | Method and system of depth determination in model fusion for laparscopic surgical guidance | |
| JP4445472B2 (ja) | 小さい対象物の表面再構成のための較正ソフトウェア | |
| JP5726024B2 (ja) | 情報処理方法および装置 | |
| JP2021009557A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| Giannarou et al. | Tissue deformation recovery with gaussian mixture model based structure from motion | |
| JP5904976B2 (ja) | ３次元データ処理装置、３次元データ処理方法及びプログラム | |
| Lobo et al. | Bioinspired visuo-vestibular artificial perception system for independent motion segmentation | |
| CN116051630B (zh) | 高频率6DoF姿态估计方法及系统 | |
| KR20150081975A (ko) | 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 | |
| CN113781538B (zh) | 一种图像深度信息融合方法、系统、电子设备及存储介质 | |
| CN113393500B (zh) | 脊柱扫描参数获取方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |