CN111291736B

CN111291736B - 图像修正方法、装置及医疗设备

Info

Publication number: CN111291736B
Application number: CN202010374932.8A
Authority: CN
Inventors: 曾智敏; 滕忠照; 沈金花
Original assignee: Nanjing Jingsan Medical Technology Co ltd
Current assignee: Nanjing Jingsan Medical Technology Co ltd
Priority date: 2020-05-07
Filing date: 2020-05-07
Publication date: 2020-08-25
Anticipated expiration: 2040-05-07
Also published as: CN111291736A

Abstract

本发明涉及图像处理技术领域，具体涉及图像修正方法、装置及医疗设备。获取对应于目标对象的第一图像序列以及第二图像序列；获取第一图像序列中的第一匹配起始帧以及第二图像序列中与第一匹配起始帧对应的第二匹配起始帧；基于第一匹配起始帧以及第二匹配起始帧，确定第一图像序列中的所有第一匹配帧以及第二图像序列中的所有第二匹配帧；对于每个第一匹配帧，在对应的第二匹配帧中确定与第一目标区域对应的第二目标区域；根据第一目标区域的第一标识对第二目标区域的第二标识进行修正。将第一图像序列与第二图像序列进行逐一对应后通过匹配修正，以确定出目标物体从而提高对图像特定区域识别的准确度。

Description

图像修正方法、装置及医疗设备

技术领域

本发明涉及图像处理技术领域，具体涉及图像修正方法、装置及医疗设备。

背景技术

对于图像处理技术而言，通常需要识别出图像中某一区域，并标识出该区域对应的类型。其中，对于同一目标对象而言，采用不同的图像采集方法所采集得到的图像的分辨率是不同，那么基于不同图像分辨率，即使是对于同一个目标对象的同一个区域，分析所得到的类型也有可能是不同的。

例如，第一种图像采集方法由于分辨率较高，但是穿透率较弱，导致采集得到的图像在深度较浅的区域对应的图像分辨率高，在深度较深的区域对应的图像分辨率低；第二种图像采集方法由于成像深度深，在深度较深的区域对应的图像分辨率较低。因此，要想对同一目标对象的同一个区域进行准确的分析，就需要对图像进行修正。

以医学图像为例，常采用如下两种方式进行图像采集：（1）虚拟组织血管内超声技术(Virtual histology intravascular ultrasound，简称为VH-IVUS) 是以传统的灰阶血管内超声（Intravascular Ultrasound，简称为IVUS）导管为基础的介入性诊断的方法，可以用来区分粥样硬化斑块的不同类型，以及检测粥样硬化斑块的进展情况；（2）光学相干断层扫描技术(Intravascular Optical Coherence tomography，简称为IV-OCT)是利用弱相干光干涉仪的基本原理，检测生物组织不同深度层面对入射弱相干光的背向反射或几次散射信号，通过扫描，可得到生物组织二维或三维结构图像。其中，IV-OCT具有分辨率高，穿透性弱的特点，对应贴近血管管腔的斑块的检测准确性较高；VH-IVUS成像深度深，对于距离血管管腔的远处的斑块具有较高的检测准确性。因此，就需要结合两者的优点对图像进行修正。

发明内容

有鉴于此，本发明实施例提供了一种图像修正方法、装置及医疗设备，以解决现有技术中对图像特定区域识别准确度低的问题。

根据第一方面，本发明实施例提供了一种图像修正方法，包括：

获取对应于目标对象的第一图像序列以及第二图像序列；其中，所述第一图像序列的各个第一图像帧中标注有至少一个第一目标区域以及所述第一目标区域对应的第一标识，所述第二图像序列的各个第二图像帧中标注有至少一个第二目标区域以及所述第二目标区域对应的第二标识；所述第一图像帧在所述第一目标区域的分辨率大于所述第二图像帧在对应的所述第二目标区域的分辨率；

获取所述第一图像序列中的第一匹配起始帧以及所述第二图像序列中与所述第一匹配起始帧对应的第二匹配起始帧；

基于所述第一匹配起始帧以及所述第二匹配起始帧，确定所述第一图像序列中的所有第一匹配帧以及所述第二图像序列中的所有第二匹配帧；

对于每个所述第一匹配帧，在对应的所述第二匹配帧中确定与所述第一目标区域对应的所述第二目标区域；

根据所述第一目标区域的第一标识，对所述第二目标区域的第二标识进行修正；

其中，所述基于所述第一匹配起始帧以及所述第二匹配起始帧，确定所述第一图像序列中的所有第一匹配帧以及所述第二图像序列中的所有第二匹配帧，包括：

获取所述第一图像序列的第一层厚，以及所述第二图像序列的第二层厚；

分别基于所述第一层厚以及所述第二层厚，计算所述第一匹配起始帧与其余各个所述第一图像帧之间的第一距离，以及所述第二匹配起始帧与其余各个所述第二图像帧之间的第二距离；

确定所述第一距离与所述第二距离相等的第一图像帧以及对应的第二图像帧为所述第一匹配帧以及对应的所述第二匹配帧。

其中，通过获取第一图像序列和第二图像序列其中第一图像序列和第二序列均用于识别相同目标对象，将第一图像序列与第二图像序列进行逐一对应后通过匹配修正，以确定出目标物体从而提高对图像特定区域识别的准确度。

结合第一方面，在第一方面第一实施方式中，所述获取所述第一图像序列中的第一匹配起始帧以及所述第二图像序列中与所述第一匹配起始帧对应的第二匹配起始帧，包括：

确定所述第一图像序列中图像轮廓的第一几何中心以及所述第二图像序列中图像轮廓的第二几何中心；

分别计算各个所述第一图像帧中图像轮廓到所述第一几何中心的第一平均距离得到第一平均距离序列以及各个所述第二图像帧中图像轮廓到所述第二几何中心的第二平均距离得到第二平均距离序列；

计算所述第一平均距离序列与所述第二平均距离序列中每两个元素之间的距离，以确定所述第一匹配起始帧以及所述第二匹配起始帧。

若匹配起始帧无法确定，则可能导致的图像特定区域识别错误或是无法识别的情况。因此需要通过获取第一几何中心和第二几何中心以确定出需要识别的目标对象；在确定出平均距离序列根据其平均距离序列中每两个元素之间的距离以确定出匹配起始帧，若能够确定出匹配起始帧，则可以确定初始匹配帧，通过确定出初始匹配帧则可以为后续进行匹配帧匹配做准备，保证的后续图像特定区域识别的精准度。

结合第一方面，在第一方面第二实施方式中，计算所述第一平均距离序列与所述第二平均距离序列中每两个元素之间的距离，以确定所述第一匹配起始帧以及所述第二匹配起始帧的步骤之前，还包括：

对所述第一平均距离序列以及所述第二平均距离序列进行重采样，以使得重采样后第一平均距离序列和第二平均距离序列中的数据间隔一致；其中，所述数据间隔为相邻元素对应的层厚间隔。

基于第一平均距离序列和第二平均距离序列进行重采样，使其平均序列之间的层厚数据保持一致，且只有在层厚一致的情况下才能进行对应计算，从而能够获得准确的间隔图像帧数量和准确的距离值。

结合第一方面，在第一方面第三实施方式中，所述基于所述第一层厚以及所述第二层厚，计算所述第一匹配起始帧与其余各个所述第一图像帧之间的第一距离，包括：

依次计算所述第一匹配起始帧与其余各个所述第一图像帧的间隔图像帧数量；

计算所述间隔图像帧数量与所述第一层厚的乘积，得到所述第一距离。

结合第一方面，在第一方面第四实施方式中，所述第一距离采用如下方式计算：

其中，

为其余各个所述第一图像帧中的第i个图像帧对应的序号，

为第一匹配起始帧对应的序号，

为所述第一层厚，

为所述第i个图像帧对应的第一距离。

基于层厚数据和图像帧数据计算出距离信息，根据距离信息可以获得对应匹配帧信息，为后续的图像修正以及准确识别目标物提供保障，以实现对目标图像的精准识别，还能缓解现有技术因使用不同方式对相同目标对象进行图像帧采集时，由于成像原理不同不能全面精准的评价目标对象的问题。

结合第一方面，在第一方面第五实施方式中，所述对于每个所述第一匹配帧，在对应的所述第二匹配帧中确定与所述第一目标区域对应的所述第二目标区域的步骤之前，还包括：

分别以所述第一几何中心以及所述第二几何中心为圆心，对所述第一匹配起始帧中图像轮廓以及所述第二匹配起始帧中图像轮廓进行极坐标转换，分别得到第一图像轮廓以及第二图像轮廓；

利用预设旋转角度，计算对所述第一图像轮廓以及所述第二图像轮廓之间的距离，并确定距离最小的所述预设旋转角度为目标旋转角度。

结合第一方面，在第一方面第六实施方式中，采用如下公式计算所述第一图像轮廓以及所述第二图像轮廓之间的距离：

其中，

、

分别为所述第一图像轮廓以及所述第二图像轮廓上的采样点到原点的距离序列，所述距离序列的长度为360，所述采样点的采样率为

；

为取余运算；

为所述预设旋转角度，

取0,1,2…359；

为最小值时对应的

为所述目标旋转角度。

结合第一方面，在第一方面第七实施方式中，所述对于每个所述第一匹配帧，在对应的所述第二匹配帧中确定与所述第一目标区域对应的所述第二目标区域，包括：

提取所述第一匹配帧中所述第一目标区域的位置；

基于提取出的位置以及所述目标旋转角度，确定对应的所述第二匹配帧中与所述第一目标区域对应的所述第二目标区域的位置。

结合第一方面，在第一方面第八实施方式中，采用如下公式确定与所述第一目标区域对应的所述第二目标区域的位置：

其中，

和

分别为第一目标区域与第二目标区域的几何中心坐标，

和

为第一目标区域中的匹配帧的位置信息；

和

分别为第一目标区域和第二目标区域对应的两相邻像素中心的水平距离，

为目标旋转角度。

结合第一方面，在第一方面第九实施方式中，所述根据所述第一目标区域的第一标识，对所述第二目标区域的第二标识进行修正，包括：

判断所述第二目标区域的第二标识与所述第一目标区域的第一标识是否相同；

当所述第二目标区域的第二标识与所述第一目标区域的第一标识不同时，将所述第二目标区域的第二标识修正为所述第一标识。

通过对第一目标区域和第二目标区域进行修正，以实现对目标图像的精准识别。

结合第一方面，在第一方面第十实施方式中，所述第一标识以及所述第二标识为颜色标识。

结合第一方面，在第一方面第十一实施方式中，所述获取对应于目标对象的第一图像序列以及第二图像序列，包括：

获取对应于所述目标对象的第一待处理图像序列以及第二待处理图像序列；

提取所述第一待处理图像序列的各个第一待处理图像帧中的第一目标区域以及所述第二待处理图像序列的各个第二待处理图像帧中的第二目标区域；

分割出所述第一目标区域中的第一目标区域并形成所述第一标识以得到所述第一图像帧，以及分割出所述第二目标区域中的第二目标区域并形成第二标识以得到所述第二图像帧。

根据第二方面，本发明实施例提供了一种图像修正装置，包括：

第一模块，用于获取对应于目标对象的第一图像序列以及第二图像序列；其中，所述第一图像序列的各个第一图像帧中标注有至少一个第一目标区域以及所述第一目标区域对应的第一标识，所述第二图像序列的各个第二图像帧中标注有至少一个第二目标区域以及所述第二目标区域对应的第二标识；所述第一图像帧在所述第一目标区域的分辨率大于所述第二图像帧在对应的所述第二目标区域的分辨率；

第二模块，用于获取所述第一图像序列中的第一匹配起始帧以及所述第二图像序列中与所述第一匹配起始帧对应的第二匹配起始帧；

第三模块，用于基于所述第一匹配起始帧以及所述第二匹配起始帧，确定所述第一图像序列中的所有第一匹配帧以及所述第二图像序列中的所有第二匹配帧；

第四模块，用于对于每个所述第一匹配帧，在对应的所述第二匹配帧中确定与所述第一目标区域对应的所述第二目标区域；

第五模块，用于根据所述第一目标区域的第一标识，对所述第二目标区域的第二标识进行修正。

通过第一模块获取目标对象的第一图像序列和第二图像序列，利用第二模块、第三模块对第一图像序列和第二图像序列进行起始帧确定、匹配帧确定，在由第四模块根据起始帧和匹配帧确定出目标区域；最后对目标区域中的标识进行修正，从而输出最终的图像修正结果，其结果通过将目标对象通过不同方式提取的图像序列，在对不同的图像序列进行图像配准从而能够结合不同图像序列的优点以能够更加精准的对识别图像中的目标物进行识别。

根据第三方面，本发明实施例提供了一种医疗设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的图像修正方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的图像修正方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的一种图像修正方法的流程图；

图2是本发明实施例提供的又一种图像修正方法的流程图；

图3是本发明实施例提供的又一种图像修正方法中的流程图；

图4a是本发明实施例提供的又一种图像修正方法中读取同一血管段所得到的OCT图像；

图4b是本发明实施例提供的又一种图像修正方法中读取同一血管段所得到的虚拟组织学血管内超声图像；

图5是本发明实施例提供的又一种图像修正方法中OCT图像血管管腔分割轮廓图像；

图6是本发明实施例提供的又一种图像修正方法中OCT图像提取有效管壁区域的图像；

图7是本发明实施例提供的又一种图像修正方法中OCT图像手动勾画分割粥样硬化斑块的图像；

图8a是本发明实施例提供的又一种图像修正方法中OCT图像配准得到的起始帧图像；

图8b是本发明实施例提供的又一种图像修正方法中虚拟组织学血管内超声图像配准得到的起始帧图像；

图9本发明实施例提供的又一种图像修正方法中基于粥样硬化斑块信息融合结果图像；

图10是本发明实施例提供的一种图像修正装置的结构框图；

图11是本发明实施例提供的一种医疗设备的结构框图。

附图标记

1-第一模块；2-第二模块；3-第三模块；4-第四模块；5-第五模块；6-处理器；7-存储器；8-总线。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例中所述的图像修正方法，可以应用在医学影像中。例如，在对粥样硬化斑块进行识别时，需要通过虚拟组织血管内超声技术采集第一图像数据和光学相干断层扫描技术采集第二图像数据，再进行图像融合以确定出粥样硬化斑块信息。由于虚拟组织学血管超声影像的分辨率与IV-OCT的影像分辨率不一致，导致在目标对象识别上能力有所差异，（虚拟组织学血管超声影像的分辨率能够对于较远处的目标对象进行识别且识别的准确度较高，而IV-OCT影像对近处的目标对象识别具有较高的准确度）因此若要在图像中获得全部目标对象时，需要结合两者影像，通过两者影像的比对保留相同结果数据；从而保证目标对象能够被准确识别出来；若两者数据不一致时，则利用远处识别能力高且分辨率高的虚拟组织学血管超声影像去进行数据修正/替换分辨率较低的IV-OCT影像，使识别结果更为精准全面。并且还能防止因分辨率低而导致的识别错误或是目标对象的遗漏。

此外，本发明实施例除了能够应用在医学影像中，还能够应用在建模及物体识别等领域中，例如，在进行目标人员锁定识别过程中，设置有两台输出不同分辨率的摄像机，第一摄像机的分辨率为960*960；第二摄像机的分辨率为1080*1080；两台摄像机同时采集相同目标人员移动的影像信息；由于在现有技术中并未能很好解决不同分辨率相互匹配的问题（其清晰度不同，造成近景和远景时显示目标人员的像素存在差异），因此造成第一摄像机的图像与第二摄像机的图像无法同时准确识别出目标人员，而使用本实施例所提供的图像修正方法或装置能够准确锁定并识别目标人员。具体的，在下述实施例中将以识别粥样硬化斑块为例对本发明的实施步骤进行具体描述。

根据本发明实施例，提供了一种图像修正方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种图像修正方法，可以应用在目标识别中，图1是本发明实施例提供的一种图像修正方法的流程图；如图1所示，该流程包括如下步骤：

S1,获取对应于目标对象的第一图像序列以及第二图像序列。其中，第一图像序列的各个第一图像帧中标注有至少一个第一目标区域以及第一目标区域对应的第一标识，第二图像序列的各个第二图像帧中标注有至少一个第二目标区域以及第二目标区域对应的第二标识；第一图像帧在第一目标区域的分辨率大于第二图像帧在对应的第二目标区域的分辨率。

也就是说在第一图像帧和第二图像帧中可以设置有第一目标区域和第二目标区域，并在通过第一目标区域和第二目标区域确定出在目标区域中的第一标识和第二标识。例如：在进行影像识别中，第一图像帧和第二图像帧可以是相同血管段的图像，第一目标区域和第二目标区域为血管图像中血管轮廓，而第一标识和第二标识可以通过手动标记或自动标记血管图像中的血管轮廓内的斑块信息。又例如：在目标跟踪中，第一图像帧和第二图像帧可以是相同视频中的画面帧，第一目标区域和第二目标区域为画面帧中所指定的范围，其范围可以是手段选择也可以是自动选择的范围，而第一标识和第二标识则为通手动标记或自动标记的目标跟踪对象。

其中，本方法可以应用在影像学中，本方法目标对象的第一图像序列以及第二图像序列可以通过超声设备或扫描设备进行图像采集。而所采集的图像可以是实时获取的图像帧数据或通过存储设备存储的视频图像，此外在实际使用中所采集的图像的方式还可以是其他（例如：通过外部设备进行预设图像数据导入）在此不做任何限制，只需保证在能够获取到相同目标对象的图像数据即可。

可选的，第一图像序列以及第二图像序列还可以是多帧的图像数据，且第一图像序列可以是VH-IVUS图像序列，第二图像序列可以是IV-OCT图像序列；其第一图像序列中的图像数据帧的分辨率较高而第二图像序列中的图像数据帧的分辨率较低，这是由于其二者成像原理所产生的差异。

S2,获取第一图像序列中的第一匹配起始帧以及第二图像序列中与第一匹配起始帧对应的第二匹配起始帧。在通过超声设备获得第一图像序列和第二图像序列后，从第一图像序列和第二图像序列中选取任意一帧数据图像作为第一匹配起始帧和第二匹配起始帧可以理解是最初画面帧。匹配初始帧的确定能够保证后续第一匹配帧和第二匹配帧能够相互对应，保证图像识别的准确性。

S3,基于第一匹配起始帧以及第二匹配起始帧，确定第一图像序列中的所有第一匹配帧以及第二图像序列中的所有第二匹配帧。

可以是当从第一图像序列和第二图像序列中确定出第一匹配起始帧以及第二匹配起始帧后，以第一匹配起始帧及第二匹配起始帧为初始帧，通过在软件自动截取或是手动选取的方式，提取除初始帧之后的部分或全部的图像帧为第一图像序列中的所有第一匹配帧以及第二图像序列中的所有第二匹配帧。例如：通过手动选取VH-IVUS图像和IV-OCT图像的起始帧及起始帧之后的全部图像数据帧。

S4,对于每个第一匹配帧，在对应的第二匹配帧中确定与第一目标区域对应的第二目标区域。

其中可以是通过确定中心位置或指定某一图像位置进行平移或映射等方式使其第一目标区域与第二目标区域相互对应，从而实现第一目标区域与第二目标区域的能够进行准确匹配，以保证后续图像修正的准确性。如：确定第一匹配帧的中心位置和中心位置对应于第二匹配帧中的位置信息。并在VH-IVUS图像和IV-OCT图像中，通过手动规划出每一匹配帧的目标区域，使其VH-IVUS图像匹配帧的中目标区域的信息与IV-OCT图像匹配帧的中目标区域的信息相互对应。

S5,根据第一目标区域的第一标识，对第二目标区域的第二标识进行修正。

在目标区域内设置有第一标识并通过查看或比对第二目标区域内的第二标识是否与第一标识相对应/相同，判断出所对应的第二图像序列是否需要进行图像修正，若需要进行图像修正则根据第一图像序列进行修正（这是由于第一图像帧在第一目标区域的分辨率大于第二图像帧在对应的第二目标区域的分辨率，因此第一图像的清晰度更高，更能表现出图像数据的细节）；根据本修正方法能够提高图像修正效率，保证图像修正的准确性。例如：由于VH-IVUS图像的分辨率高于IV-OCT图像，因此需要通过从清晰度较高的VH-IVUS图像中获取目标标识，根据所获取的目标标识，查看IV-OCT图像中的目标标识与VH-IVUS图像中获取目标标识是否对应，从而能够实现保证图像准确性。其中第一标识和第二标识可以是文字、符号等标记信息。

本实施例提供的图像修正方法，基于获取第一图像序列和第二图像序列的匹配起始帧以获得第一目标区域和第二目标区域，再根据第一目标区域的第一标识和第二目标区域的第二目标标识进行修正，从而获得修正后的图像。其中，通过获取第一图像序列和第二图像序列其中第一图像序列和第二序列均用于识别相同目标对象，将第一图像序列与第二图像序列进行逐一对应后通过匹配修正，以确定出相同目标物体从而提高对图像特定区域识别的准确度。

同时本方法还使用高分辨率的识别结果来替换低分辨率的识别结果从而保证其识别结果，提高识别结果的准确性，以及识别结果的直观性；且因识别结果是根据高分辨率的图像识别结果进行修正，从而在原有方法基础上能够更进一步提高对图像特定区域识别的精准度。

本实施例中还提供了一种图像修正方法，可用于超声设备及扫描设备中，如图2所示；该流程图包括如下步骤：

S21，获取对应于目标对象的第一图像序列以及第二图像序列；

详细请参见图1所示实施例的S1，在此不再赘述。

S22，获取第一图像序列中的第一匹配起始帧以及第二图像序列中与第一匹配起始帧对应的第二匹配起始帧。

例如：对血管分叉位置进行定位并通过手动选择计算或通过算法自动提每层血管管腔轮廓到血管管腔轮廓几何中心的平均距离，以得到OCT图像与虚拟组织学血管内超声图像的两组平均距离值，其中图像采用欧式距离描述两组平均距离值的相似程度，对两组平均数据值进行平移匹配，平移匹配过程中使相似程度最高的帧为初始匹配帧。

具体的，上述S22包括如下步骤：

S221，确定第一图像序列中图像轮廓的第一几何中心以及第二图像序列中图像轮廓的第二几何中心。

例如：图像轮廓为血管管腔轮廓其几何中心为血管管腔的中心点；又例如图像轮廓为球型则其几何中心则为球心。

S222，分别计算各个第一图像帧中图像轮廓到第一几何中心的第一平均距离得到第一平均距离序列以及各个第二图像帧中图像轮廓到第二几何中心的第二平均距离得到第二平均距离序列。

可选的第一平均距离序列和第二平均距离序列可以通过定位特征位置（如血管分叉位置）后通过手动或自动的方式提取各个几何中心的平均距离值。

S223，计算第一平均距离序列与第二平均距离序列中每两个元素之间的距离，以确定第一匹配起始帧以及第二匹配起始帧。

根据S222所获得的几何中心的平均距离值，采用欧式距离描述第一平均距离序列和第二平均序列之间的相似程度，之后通过对其第一平均距离序列和第二平均序列中的各个数值进行平移匹配；其中，在平移匹配过程中相似程度最高的图像帧为初始匹配帧。

可选的，在确定所述第一匹配起始帧以及所述第二匹配起始帧的步骤之前需要对第一平均距离序列以及所述第二平均距离序列进行重采样，以使得重采样后第一平均距离序列和第二平均距离序列中的数据间隔一致；即保证层厚数据一致。其层厚数据可以通过扫描设备进行扫描获得，利用重采样还能够防止因各个图像帧数据间隔不一致/不对齐而导致在目标图像中无法准确识别目标物体。且通过重采样能够间接保证在对目标图像中的目标物体进行识别时的准确性。

可选的，将重采样后的第一平均距离序列与第二平均距离序列进行平移匹配，并利用平均欧式距离描述第一平均距离序列与第二平均距离序列之间的匹配程度，其中，若距离越小说明匹配程度越高。其采用的公式为：

其中，

和

分别为第一图像和第二图像的平均距离值，

和

分别为第一图像的第

层和第二图像的第

层；而

和

表示为第一图像和第二图像的匹配程度，

和

分别为移动匹配过程中第一图像和第二图像对应的帧号，

为匹配段中含有的帧数总数。若

值最小时，其

和

为匹配起始帧。

S23，基于第一匹配起始帧以及第二匹配起始帧，确定第一图像序列中的所有第一匹配帧以及第二图像序列中的所有第二匹配帧；

其中，上述S23包括如下步骤：

S231，获取第一图像序列的第一层厚，以及第二图像序列的第二层厚。

其中，第一层厚数据和第二层厚数据可以通过软件设置获得，其层厚也可以是各个图像帧通过设备或装置扫描目标对象后通过软件进行测量所获得的厚度数据。

S232，分别基于第一层厚以及第二层厚，计算第一匹配起始帧与其余各个第一图像帧之间的第一距离，以及第二匹配起始帧与其余各个第二图像帧之间的第二距离。

具体的，上述S232中可以采用如下步骤计算第一距离：

（1）依次计算第一匹配起始帧与其余各个第一图像帧的间隔图像帧数量；

可以是通过获取末端第一图像帧号和第一匹配起始帧号，求取第一匹配起始帧号和末端第一图像帧号之差，则可获得第一图像帧的间隔图像帧数量。

（2）计算间隔图像帧数量与第一层厚的乘积，得到第一距离，其中计算第一距离的数学公式为：

其中，

为其余各个第一图像帧中的第i个图像帧对应的序号，

为第一匹配起始帧对应的序号，

为第一层厚，

为第i个图像帧对应的第一距离。此外，在计算第二距离时，可参照计算第一距离的方式进行计算。

S233，确定第一距离与第二距离相等的第一图像帧以及对应的第二图像帧为第一匹配帧以及对应的第二匹配帧。根据上述所获得的第一距离和第一距离逐一对比判断第一图像帧以及对应的第二图像帧中的距离是否相同，从而能够确定出与第一匹配帧对应的第二匹配帧。从而保证为后续进行图像修正做准备，保证其目标对象能够被准确识别。

可选的，在S233步骤之前，还包括：

（1）根据第一目标区域对应的第二目标区域分别以第一几何中心以及第二几何中心为圆心，对第一匹配起始帧中图像轮廓以及第二匹配起始帧中图像轮廓进行极坐标转换，分别得到第一图像轮廓以及第二图像轮廓。其中第一目标区域和第二目标区域可以理解为目标对象的画面帧信息，其第一几何中心以及第二几何中心则可以是第一图像帧和第二图像帧的中心，并以其为基准建立极坐标经过旋转获得清晰的第一图像轮廓以及第二图像轮廓。

（2）基于分别得到第一图像轮廓以及第二图像轮廓利用预设旋转角度，计算对第一图像轮廓以及第二图像轮廓之间的距离，并确定距离最小的预设旋转角度为目标旋转角度。

其中，可采用如下公式计算第一图像轮廓以及第二图像轮廓之间的距离：

其中，

、

；

为取余运算；

为所述预设旋转角度，

取0,1,2…359；

为最小值时对应的

为所述目标旋转角度。

S24，对于每个第一匹配帧，在对应的第二匹配帧中确定与第一目标区域对应的第二目标区域。

具体地，上述S24包括如下步骤：

1）提取第一匹配帧中第一目标区域的位置。其中第一目标区域的位置信息可以是目标对象在第一匹配帧中的具体范围位置，可以是通过手勾选或是软件自动标记。例如在确定粥样硬化斑块时其第一目标区域的位置则为在血管影像中其血管在图像帧中的画面位置及范围。

2）基于提取出的位置以及目标旋转角度，确定对应的第二匹配帧中与第一目标区域对应的第二目标区域的位置。

其中，可以采用如下公式确定与第一目标区域对应的第二目标区域的位置：

其中，

和

分别为第一目标区域与第二目标区域的几何中心坐标，

和

为第一目标区域中的匹配帧的位置信息；

和

为目标旋转角度。

例如：以OCT图像与虚拟组织学血管内超声图像为例，其对于每个OCT图像匹配帧，在对应的拟组织学血管内超声图像匹配帧中确定与OCT图像目标区域对应的拟组织学血管内超声图像目标区域包括:

1)提取OCT图像中有效管壁区域中的粥样硬化斑块位置及其斑块类型PS1

2)计算在虚拟组织学血管内超声图像中的匹配帧的位置

其中

和

分别为OCT图像与虚拟组织学血管内超声图像血管管腔轮廓的几何中心坐标，

和

为OCT图像目标区域中的匹配帧的位置信息；

和

分别为OCT图像与虚拟组织学血管内超声图像对应的两相邻像素中心的水平距离。

S25，根据第一目标区域的第一标识，对第二目标区域的第二标识进行修正。

具体地，上述S25包括：

S251，判断第二目标区域的第二标识与第一目标区域的第一标识是否相同；即需要判断标识位置信息以及标识颜色以及标识的形状图案是否一致。当第二目标区域的第二标识与第一目标区域的第一标识不同时，执行S252；否则，执行S253。

S252，将第二目标区域的第二标识修正为第一标识，后执行步骤S253。其中，第一标识以及第二标识为颜色标识。

S253，完成图像修正，输出识别结果。

例如：在利用OCT图像和虚拟组织学血管内超声图像进行粥样硬化斑块信息确定时，需要先获取虚拟组织学血管内超声图像中的匹配帧的位置在虚拟组织学血管内超声图像中对应的粥样硬化斑块类型PS2和OCT图像中的匹配帧的位置在OCT图像中对应的粥样硬化斑块类型PS1。其次判断PS1和PS2两者是否一致，若一致则输出粥样硬化斑块信息识别结果；不一致则将PS2的斑块类型修改为PS1的斑块类型。并且将PS2位置对应的RGB修改为PS1粥样硬化斑块类型对应的RGB值。以保证能够获得准确的目标识别对象，提高识别精度。

通过本实施例提出的图像修正方法能够对图像特定区域识别时能够精准的对图像中的目标物进行识别，且在对图像识别时更能针对性的识别出目标物。

本实施例中还提供了一种图像修正方法，可用于超声设备和扫描设备中，以识别粥样硬化斑块信息，该具体流程包括如下步骤：

S31,获取对应于目标对象的第一图像序列以及第二图像序列。

其中目标对象可以是同一血管段，而第一图像序列和第二图像序列可以是同一血管段的血管内进行标记的OCT图像和虚拟组织学血管内超声图像。

如图3所示，上述S31包括如下步骤：

S311，获取对应于目标对象的第一待处理图像序列以及第二待处理图像序列；可以是读取同一血管段的血管内OCT图像和虚拟组织学血管内超声图像。

其中，所读取的血管内OCT图像和虚拟组织学血管内超声图像可以是预先采集的三维图像数据，也可以是实时采集的三维图像数据。

S312，提取第一待处理图像序列的各个第一待处理图像帧中的第一目标区域以及第二待处理图像序列的各个第二待处理图像帧中的第二目标区域。

具体的：采用图像分割方法（如：snake）提取OCT图像血管管腔轮廓,并根据手动或自动的方式对OCT图像有效管壁厚度进行设置以提取出OCT图像血管有效管壁区域，即第一目标区域。或采用图像分割方法提取虚拟组织学血管内超声图像血管管腔轮廓，即第二目标区域。可选的，第一目标区域的设置可以采用极坐标方法，例如在确定OCT图像血管有效管壁区域时，先得到血管管腔轮廓在极坐标下的位置，再根据有效管壁厚度进行距离换算，得到在极坐标下的有效管壁轮廓位置，之后经过极坐标逆转换得到有效管壁轮廓在直角坐标系下的位置，其中直角坐标系下血管管腔轮廓与有效管壁轮廓之间的区域为OCT图像血管有效管壁区域。

S313，分割出第一目标区域中的第一目标区域并形成第一标识以得到第一图像帧，以及分割出第二目标区域中的第二目标区域并形成第二标识以得到第二图像帧。

具体的可以是采用手动勾画或自动分割方法提取不同类型的OCT图像粥样硬化斑块信息；或采用虚拟组织学血管内超声图像RGB信息提取不同类型的粥样硬化斑块信息。即携带有OCT图像粥样硬化斑块信息的图像或携带有采用虚拟组织学血管内超声图像RGB信息提取不同类型的粥样硬化斑块信息图像的图像帧分别为第一图像帧或第二图像帧。

S32，获取第一图像序列中的第一匹配起始帧以及第二图像序列中与第一匹配起始帧对应的第二匹配起始帧；

详细请参见图2所示实施例的S22，在此不再赘述。

可选的，在对粥样硬化斑块信息进行识别时，其所获取对应的匹配起始帧，可以是在血管分叉的位置。

S33，基于第一匹配起始帧以及第二匹配起始帧，确定第一图像序列中的所有第一匹配帧以及第二图像序列中的所有第二匹配帧；

详细请参见图2所示实施例的S23，在此不再赘述。

可选的，确定第一匹配帧或第二匹配帧还需要通过血管分叉的位置进行定位在经过手动选择确定或者通过算法自动提取的方式依据图像层厚及初始匹配帧到图像数据末端的层数即可算出从初始匹配帧开始到图像数据末端的血管长度，在选择OCT图像与虚拟组织学血管内超声图像两者血管长度最小值作为匹配末端，即确定出初始匹配帧与匹配末端之间为匹配区域。

S34，对于每个第一匹配帧，在对应的第二匹配帧中确定与第一目标区域对应的第二目标区域；

详细请参见图2所示实施例的S24，在此不再赘述。

S35，根据第一目标区域的第一标识，对第二目标区域的第二标识进行修正。

详细请参见图2所示实施例的S25，在此不再赘述。

通过对第一图像序列以及第二图像序列进行区域标记从而为实现在特定图像中识别目标物提供准确的参考依据，并从而保证能够准确识别出目标物，且还能够保证在图像修正过程中防止目标丢失。

可选的实施例，一种图像修正方法，可以应用于粥样硬化斑块识别，具体的：

首先通过OCT技术和虚拟组织学血管内超声技术获取同一血管段采集血管内OCT图像和虚拟组织学血管内超声图像；如图4a和图4b所示,图4a是读取同一血管段所得到的OCT图像，图4b是读取同一血管段所得到的虚拟组织学血管内超声图像。其中所采集的OCT图像和虚拟组织学血管内超声图像至少有1帧图像。

其次基于所获得的OCT图像但对所提取的血管段进行血管管腔分割；其中可采用snake模型图像分割方法提取OCT图像血管管腔轮廓，如图5所示。获得OCT图像血管管腔轮廓后提取OCT图像血管有效管壁区域；可以采用极坐标转换方法得到血管管腔轮廓在极坐标下的位置，再根据有效管壁厚度进行距离换算，得到在极坐标下的有效管壁轮廓位置，而进行极坐标逆转换得到有效管壁轮廓在直角坐标系下的位置，如图6所示，其中直角坐标系下血管管腔轮廓与有效管壁轮廓之间的区域即为OCT图像血管有效管壁区域。

之后根据所获取的OCT图像对OCT图像中的粥样硬化斑块分割；在所获得的OCT图像血管有效管壁区域内采用手动勾画或自动分割方法提取得到不同类型的粥样硬化斑块区域。在本可选实例中可以用白色勾画表示钙化区域（区域1），亮黄色勾画表示脂质区域（区域2），绿色勾画表示纤维区域（区域3），如图7所示。

确定初始匹配帧通过血管分叉位置定位手动选择确定或者通过算法自动提取。具体的确定初始匹配帧方法包括：

1）根据所获取的虚拟组织学血管内超声图像和OCT图像，分别计算出虚拟组织学血管内超声图像和OCT图像轮廓的几何中心，以得到一两组轮廓点到几何中心的平均距离值，分别为

和

，其中

和

分别为虚拟组织学血管内超声图像的第

层和OCT图像的第

层。

2）基于虚拟组织学血管内超声图像和OCT图像的层厚数据，对得到的一两组轮廓点到几何中心的平均距离值

和

进行重采样得到

和

，并使两组数据的采样间隔（虚拟组织学血管内超声图像和OCT图像）一致。

3）将

和

进行平移匹配，利用平均欧式距离来描述

和

两组序列的匹配程度，其中距离越小说明匹配程度越高。

具体可以表示为：

其中

和

分别为在移动匹配过程中虚拟组织学血管内超声图像帧和OCT图像帧所对应的帧号，

为匹配段中含有的帧数总数。若

值最小时

和

作为匹配起始帧,如图8a和图8b所示,图8a是OCT图像配准得到的起始帧图像，图8b是虚拟组织学血管内超声图像配准得到的起始帧图像。

在获取匹配起始帧后获取匹配帧，具体还包括：

1）获取旋转角度

首先对匹配起始帧的虚拟组织学血管内超声图像与血管内OCT图像血管管腔轮廓以血管管腔轮廓几何中心为圆心进行极坐标转换，分别得到在极坐标系下的轮廓，可以表示为

和

。

其次对

和

进行旋转匹配，可以利用欧式距离来描述匹配程度，具体表示为：

其中，rem为取余运算，

= 0,1,2…359。

最后取

为最小值时，所对应的

为旋转角度。

2）获取全部匹配帧

首先分别根据虚拟组织学血管内超声与血管内OCT图像的层厚数据（相当于所获取的虚拟组织学血管内超声与血管内OCT图像的图像帧数），并计算初始匹配帧后面所有帧与初始匹配帧的距离，计算公式如下：

其中，

为待计算帧序号，

为初始匹配帧序号，

为层厚信息。

其次根据虚拟组织学血管内超声与血管内OCT图像中，两种图像计算得到的距离相等的帧即为匹配帧。

最后将所获得的OCT图像与虚拟组织学血管内超声图像基于斑块信息进行修正，具体方法为：

1）提取OCT图像中有效管壁区域中的粥样硬化斑块位置及其斑块类型，表示为PS1。

2)计算OCT图像中的匹配帧的位置

在虚拟组织学血管内超声图像中的匹配帧的位置

,可以表示为:

其中

和

分别为OCT图像与虚拟组织学血管内超声图像血管管腔轮廓的几何中心坐标,

和

3)获取

位置在虚拟组织学血管内超声图像中对应的粥样硬化斑块类型，表示为PS2。若PS2与PS1一致，则不处理；否则将位置对应的斑块类型修正为PS1类型，且将该位置对应的RGB修改为PS1粥样硬化斑块类型对应的RGB值。

4)如图9所示，区域1和区域2为融合修正后的脂肪区域和钙化区域，区域3为纤维组织，由于OCT图像与虚拟组织学血管内超声图像中所分割出的斑块类型一致，因此在本可选实施例中可不进行修正。

在本可选实施例中，利用虚拟组织学血管内超声图像和OCT图像进行图像修正，结合其两者优势，能更好得对冠状动脉粥样硬化斑块进行描述。

相应地，如图10所示，本发明实施例提供一种图像修正装置，其中该装置包括：

第一模块1，用于获取对应于目标对象的第一图像序列以及第二图像序列；其中，第一图像序列的各个第一图像帧中标注有至少一个第一目标区域以及第一目标区域对应的第一标识，第二图像序列的各个第二图像帧中标注有至少一个第二目标区域以及第二目标区域对应的第二标识；第一图像帧在第一目标区域的分辨率大于第二图像帧在对应的第二目标区域的分辨率；详细内容参考步骤S1。

第二模块2，用于获取第一图像序列中的第一匹配起始帧以及第二图像序列中与第一匹配起始帧对应的第二匹配起始帧；详细内容参考步骤S2。

第三模块3，用于基于第一匹配起始帧以及第二匹配起始帧，确定第一图像序列中的所有第一匹配帧以及第二图像序列中的所有第二匹配帧；详细内容参考步骤S3。

第四模块4，用于对于每个第一匹配帧，在对应的第二匹配帧中确定与第一目标区域对应的第二目标区域；详细内容参考步骤S4。

第五模块5，用于根据第一目标区域的第一标识，对第二目标区域的第二标识进行修正；详细内容参考步骤S5。

通过第一模块1获取目标对象的第一图像序列和第二图像序列，利用第二模块2、第三模块3对第一图像序列和第二图像序列进行起始帧确定、匹配帧确定，在由第四模块4根据将起始帧和匹配帧确定出目标区域；最后对目标区域中的标识进行修正，从而输出最终图像修正结果，其结果是将目标对象通过不同方式提取的图像序列，再利用不同的图像序列进行图像配准从而能够更加精准的对图像进行识别，同时该方法进行图像配准修正能够保证图像修正结果的准确性。

本发明实施例还提供了一种医疗设备，如图11所示，该医疗设备可以包括处理器6和存储器7，其中处理器6和存储器7可以通过总线8或者其他方式连接，图11中以通过总线连接为例。

处理器6可以为中央处理器（Central Processing Unit，CPU）。处理器6还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器7作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车载显示装置按键屏蔽方法对应的程序指令/模块（例如，图10所示的第一模块1、第二模块2、第三模块3、第四模块4及第五模块5）。处理器6通过运行存储在存储器8中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的图像修正方法。

存储器7可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器6所创建的数据等。此外，存储器7可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器7可选包括相对于处理器6远程设置的存储器，这些远程存储器可以通过网络连接至处理器6。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器7中，当被处理器7执行时，执行如图1-3所示实施例中的图像修正方法。

上述医疗设备的具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，其程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。