CN109685060A - 图像处理方法和装置 - Google Patents

Abstract

本发明提供了一种图像处理方法和装置，该方法包括：接收待处理图像流中的一帧图像；获取一帧图像的前一帧图像；获取前一帧图像的第一特征图；根据一帧图像、前一帧图像以及第一特征图，计算一帧图像的第二特征图；根据第二特征图，识别一帧图像中感兴趣的目标区域并输出。本发明在处理图像流中的一帧图像时，可以根据该本帧图像的前一帧图像、前一帧图像的特征图以及本帧图像，来计算本帧图像的特征图，能够利用前一帧图像的运算结果来作为本帧图像的特征图的计算参考，考虑到前后帧图像的时序信息，降低了本帧图像的图像处理运算量，并提升了对图像流中各帧图像的感兴趣区域的识别准确度。

Description

图像处理方法和装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像处理方法和装置。

背景技术

目前，医学成像技术已经在医学诊断和治疗的医疗设备中变得日益普及。

在实际应用汇总，通过现有的成像技术获取的图像中，无论是二维还是三维图像，往往只有某部分区域是其决定性作用的，比如肿瘤区域、肾脏区域、乳腺区域等等。该部分区域可以称作感兴趣区域，而图像中的其他部分则可以不需要加以更多的注意。

从图像中确定感兴趣的区域，对目标对象进行下一步图像处理非常有益，如观察、对比、分割、检测或计算、确定图像特征或参数等，有利于提高下一步图像处理的速度和精确度。

目前，从图像中确定感兴趣的区域的方法主要采用逐帧检测的方法，即对每帧图像采用相同的方法检测确定感兴趣的区域。

但是，发明人在实现本发明的过程中发现，前后帧图像之间具有时序关系，因此，相关技术中确定图像中感兴趣区域的方案显然存在着识别的感兴趣区域的准确度较低的问题。

发明内容

本发明提供了一种图像处理方法和装置，以解决相关技术中在图像中确定感兴趣区域的方案所存在的确定的感兴趣区域的准确度较低的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种图像处理方法，包括：

接收待处理图像流中的一帧图像；

获取所述一帧图像的前一帧图像；

获取所述前一帧图像的第一特征图；

根据所述一帧图像、所述前一帧图像以及所述第一特征图，计算所述一帧图像的第二特征图；

根据所述第二特征图，识别所述一帧图像中感兴趣的目标区域并输出。

根据本发明的另一方面，本发明还公开了一种图像处理装置，包括：

接收模块，用于接收待处理图像流中的一帧图像；

第一获取模块，用于获取所述一帧图像的前一帧图像；

第二获取模块，用于获取所述前一帧图像的第一特征图；

计算模块，用于根据所述一帧图像、所述前一帧图像以及所述第一特征图，计算所述一帧图像的第二特征图；

第一识别模块，用于根据所述第二特征图，识别所述一帧图像中感兴趣的目标区域并输出。

根据本发明的再一方面，本发明还公开了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如上述任一项所述的图像处理方法的步骤。

根据本发明的又一方面，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上述任一项所述的图像处理方法中的步骤。

与现有技术相比，本发明包括以下优点：

本发明实施例在处理图像流中的一帧图像时，可以根据该本帧图像的前一帧图像、前一帧图像的特征图以及本帧图像，来计算本帧图像的特征图，能够利用前一帧图像的运算结果来作为本帧图像的特征图的计算参考，考虑到前后帧图像的时序信息，不仅一定程度上降低了本帧图像的图像处理运算量，而且利用本帧图像的特征图来识别本帧图像中感兴趣的目标区域，还可以提升对图像流中各帧图像的感兴趣区域的识别准确度。

附图说明

图1是本发明的一种图像处理方法实施例的步骤流程图；

图2是本发明的另一种图像处理方法实施例的步骤流程图；

图3是本发明的一种图像处理装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种图像处理方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，接收待处理图像流中的一帧图像；

其中，待处理图像流是一种需要处理的实时的图像流，图像流可以包括多帧图像。

对于图像流涉及的图像类型可以包括但不限于超声图像、CT(计算机体层摄影)图像、X光图像、核磁共振图像等。

这里接收到的一帧图像可以是该图像流中除第一帧图像之外的任意一帧图像，换句话说，在图像流中存在着位于该一帧图像之前的至少一帧图像。

对于图像流中排列在该一帧图像之前，邻近该一帧图像的图像，在本发明各个实施例中命名为该一帧图像的前一帧图像。

举例来说，例如步骤101接收到的一帧图像为图像流中的第二帧图像，则步骤102所述的前一帧图像则指代图像流中的第一帧(首帧)图像。

步骤102，获取所述一帧图像的前一帧图像；

步骤103，获取所述前一帧图像的第一特征图；

其中，在对前一帧图像处理过程中，会产生该前一帧图像的专门用于识别感兴趣目标区域的特征图，因此，本步骤无需对前一帧图像的特征图进行计算，只需要获取该前一帧图像的特征图即可，这里，将前一帧图像的特征图命名为第一特征图。

另外，需要说明的是，若该前一帧图像为本次处理的图像流中的首次被处理的图像，即首帧图像，则该第一特征图的计算方式可以是根据预先经过训练的语义分割模型而计算得到的特征图，例如病灶特征图；

但是，若该前一帧图像为图像流中除上述首帧图像之外的任意一帧图像(即，该前一帧图像排列在本发明实施例的方法处理过的图像之后)，则该第一特征图的计算方式，采用原理同步骤104的计算方式。

举例来说，如果目前被处理的本帧图像(即，本文中步骤101接收到的一帧图)为图像流中的第二帧图像，则前一帧图像为第一帧图像，其第一特征图为根据预先经过训练的语义分割模型而计算得到的。

但是，如果目前被处理的本帧图像(即，本文中步骤101接收到的一帧图)为图像流中的第三帧图像，则本帧图像的前一帧图像为第二帧图像，那么这里的该前一帧图像(即第二帧图像)的第一特征图为根据所述一帧图像(这里为第二帧图像)、所述前一帧图像(这里为第一帧图像)以及第一帧图像的特征图(该第一帧图像的特征图为根据上述预先经过训练的语义分割模型而计算得到)而计算得到。

此外，对于本文中任意一帧图像的特征图而言，特征图表达了该帧图像中每个像素点属于感兴趣的像素点的概率，因此，该特征图可以理解为一张概率图。

步骤104，根据所述一帧图像、所述前一帧图像以及所述第一特征图，计算所述一帧图像的第二特征图；

其中，为了便于区分，这里将步骤101中的一帧图像的特征图命名为第二特征图。

另外，需要说明的是，由于图像流中前后帧图像之间具有时序关系，因此，本发明在计算本帧图像的特征图时，会借助于前一帧图像、前一帧图像的特征图，以及本帧图像(这里指代所述一帧图像)，从而使得本帧图像的特征图参考了前一阵图像的感兴趣的信息。

步骤105，根据所述第二特征图，识别所述一帧图像中感兴趣的目标区域并输出。

其中，由于第二特征图中的每个像素点表达了本帧图像中每个像素点属于感兴趣的特征图(即像素点)的概率，因此，借助于该第二特征图，可以识别出该本帧图像中感兴趣的目标区域，并将识别到的目标区域输出。

借助于本发明上述实施例的技术方案，本发明实施例在处理图像流中的一帧图像时，可以根据该本帧图像的前一帧图像、前一帧图像的特征图以及本帧图像，来计算本帧图像的特征图，能够利用前一帧图像的运算结果来作为本帧图像的特征图的计算参考，考虑到前后帧图像的时序信息，不仅一定程度上降低了本帧图像的图像处理运算量，而且利用本帧图像的特征图来识别本帧图像中感兴趣的目标区域，还可以提升对图像流中各帧图像的感兴趣区域的识别准确度。

可选地，在一个实施例中，在执行步骤104时，可以通过S201～S204来实现：

S201，计算所述一帧图像与所述前一帧图像之间的单应矩阵；

可选地，在一个实施例中，在执行S201时，可以通过S21和S22来实现：

S21，对所述一帧图像以及所述前一帧图像分别提取角点；

其中，可以采用harris角点检测算法，或KLT角点检测算法，或其他角点检测算法来对本帧图像以及本帧图像的前一帧图像分别作角点检测并提取，得到分别对应本帧图像以及前一帧图像的两组角点，每组角点都包括多个角点。其中，角点实际也是图像中的像素点或者说特征点，角点在图像中具有对应的坐标。本步骤可以理解为从两帧图像中分别提取一些像素点。

其中，本实施例需要从两帧图像中分别提取一些特征点，“特征”顾名思义，这个特征微小的变化都会对物体的某一属性产生重大的影响。而角点就是这样的特征。

例如，如果图像中某一像素点在任意方向的一个微小变动都会引起图像灰度很大的变化，那么可以将图像中的该像素点称之为角点。

S22，根据所述角点，确定所述一帧图像与所述前一帧图像之间的单应矩阵；

具体而言，首先，可以对两帧图像的两组角点进行角点匹配，即将两帧图像中对应同一个特征的两个角点作为一个角点对，那么可以从两组角点中找到多组角点对，每个角点对相互匹配；

然后，可以根据多组相互匹配的角点对的坐标，来计算出表征该两帧图像的图像变换的单应矩阵。

例如，本帧图像是由前一帧顺时针旋转30度而得到。而由于两帧图像并不是严格的刚性变换(即，不是图像中的所有特征点都顺时针旋转30度。因此，在上述确定的相互匹配的角点对中，有的角点对之间的坐标并不是按照单应矩阵变换的，而存在误差。

所以，优选地，可以使用最小二乘法来根据多组相互匹配的角点对的坐标，来计算得到优化后的单应矩阵H。

其中，通过最小二乘法计算得到的该单应矩阵H可以使上述误差最小。

S202，根据所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差；

可选地，在一个实施例中，在执行S202时，可以根据所述角点和所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差。

其中，可以根据两帧图像的相互匹配的角点对，以及单应矩阵H来计算两帧图像之间的误差。

举例来说，例如相互匹配的角点对为：本帧图像的角点A(x1,y1)和前一帧图像的角点B(x2,y2)，理论上角点A为对角点B通过单应矩阵H变换而来的，因此，在误差为零的情况下，角点B的坐标构成的矩阵与单应矩阵H的内积应该是与角点A的坐标构成的矩阵相同的；

但是，由于存在误差，因此，在求解得到单应矩阵H后，可以计算角点B的坐标构成的矩阵与单应矩阵H的内积，得到角点B’(x3,y3)；然后，计算角点B’与角点A的坐标差值的和，即误差：C1＝(x3-x1)+(y3-y1)。

这里只是列举了一对角点对之间的误差，同理，需要计算所有相互匹配的角点对的误差C2、C3……Cn，其中，角点对的数量为n。

最后，所述一帧图像与所述前一帧图像之间的误差C，即为各个角点对的误差和，其中，C＝C1+C2+C3+……Cn。其中，采用最小二乘法计算单应矩阵H，可以使得误差C最小。

其中，两帧图像之间的误差C越小，表明两帧图像越相似，相反，误差C越大，表明两帧图像越不相似。

在本发明实施例中，为了表征两帧图像之间的相似度，预先设置了误差阈值。

可选地，S203，若所述误差小于或等于预设误差阈值，则计算所述单应矩阵和所述第一特征图的内积，得到所述一帧图像的第二特征图；

其中，若误差C小于或等于预设误差阈值(大于零小于1，例如为0.6)，则表明两帧图像较相似，则计算单应矩阵H与前一帧图像的特征图的内积，其中，由于特征图由各个像素点属于感兴趣像素点的概率构成，因此，该特征图可以看作矩阵，进行矩阵运算。最后，内积运算得到的新的矩阵可以作为本帧图像的特征图，这里命名为第二特征图。

在本实施例中，当前后两帧图像较为相似时，本发明实施例的方法无需对利用语义分割模型对后帧图像重新计算特征图，而只需计算单应矩阵H与前帧图像的特征图的内积，就可以得到后帧图像(即本帧图像)的特征图，这样，就可以无需对每帧图像均采用语义分割模型来计算各帧图像的特征图，减少了运算量，能够满足系统的实时性要求。

可选地，S204，若所述单应矩阵差值大于所述预设误差阈值，则将所述一帧图像的特征图与所述第一特征图进行加权融合，得到所述一帧图像的第二特征图。

这里S204中的一帧图像的特征图为根据预先经过训练的语义分割模型而计算得到所述一帧图像的第三特征图，可以根据预设权重对所述第三特征图和所述第一特征图进行加权融合，得到所述一帧图像的第二特征图。

其中，若误差C大于预设误差阈值(大于零小于1，例如为0.6)，则表明两帧图像的相似度差距较大，来以另一种方式计算该本帧图像的特征图。具体而言，首先，根据预先经过训练的语义分割模型来计算所述一帧图像的第三特征图(其中，该特征图由本帧图像中各个像素点属于感兴趣像素点的概率构成)；然后，根据预设权重对所述第三特征图和所述第一特征图进行加权融合；将加权融合得到特征图作为本帧图像的特征图，这里命名为第二特征图。

其中，在根据预先经过训练的语义分割模型来计算所述一帧图像的第三特征图时，该语义分割模型训练后能够对输入模型的图像进行语义分割，具体地，可以对图像中哪个像素点为感兴趣的像素点进行分类，从而给出图像中每个像素点为感兴趣的像素点的概率，最后，该语义分割模型可以输出一个特征图(概率图)。

另外，上述预设权重可以是二维高斯权重。

需要说明的是，该特征图中每个位置的像素点与原始的一帧图像中各个位置的像素点是完全一一对应的，每个像素点的位置并没有改变，只是赋予了概率值。

这样，本发明实施例利用本帧图像与前一帧图像的角度信息，得到体现两帧图像变换参数的单应矩阵，并利用角点信息和单应矩阵来计算两帧图像之间的误差，并在误差较小和误差较大的不同场景下，对本帧图像的特征图进行不同方式的计算，从而使得在前后两帧图像相似或不相似的不同场景下，本发明不仅能够灵活地采用与其相似程度相适应的本帧图像的特征图的计算方法，来计算特征图，还可以均利用前一帧图像的信息来综合计算本帧图像的特征图，不仅提升了本帧图像的特征图的灵活度和应用场景，且提升了对本帧图像的感兴趣区域的识别准确度。

可选地，在一个实施例中，在执行S204的所述将所述一帧图像的特征图与所述第一特征图进行加权融合，得到所述一帧图像的第二特征图的步骤时，可以通过以下方式来实现：

S301，识别所述一帧图像的第一中心点的第一坐标；

其中，根据先验知识(例如，医生在实际使用b超进行诊断的过程中，会结合自己的知识去拍摄更容易出现病灶的位置)可以确定，图像流中每帧图像的中心像素点属于感兴趣的像素点的概率更高，因此，这里根据几何知识来识别本帧图像中，位于图像中心位置的像素点(即第一中心点)的坐标，即第一坐标。

其中，这里S204中的一帧图像的特征图为根据预先经过训练的语义分割模型而计算得到所述一帧图像的第三特征图，而特征图与帧图像的各个像素点的坐标都是一一对应的，因此，本步骤也可以确定第三特征图中的第一中心点。

可选地，S302，对所述第三特征图(即所述一帧图像的特征图)的所述第一中心点的概率值增加预设权重；

其中，为了使得最终S305得到的本帧图像的第二特征图中处于中心位置的像素点的概率值得到增强，而使本帧图像的第二特征图中处于边缘位置的像素点的概率值得到抑制，这里可以对前一帧图像的特征图中处于中心位置的像素点的概率值增加预设权重。其中，如上所述，由于任意一个特征图都是由概率值构成的，因此，这里可以对中心像素点的概率值增加预设权重。

其中，该预设权重可以是已知的二维高斯权重。

S303，根据所述单应矩阵和所述第一中心点，识别所述前一帧图像(或者第一特征图)中与所述第一中心点对应的第二中心点的第二坐标；

与S301类似，这里还需要确定本帧图像的处于中心位置的像素点经过单应矩阵变换前，在前一帧图像中所处的位置的坐标(即第二坐标)。

因此，这里可以计算第一坐标和单应矩阵的内积，得到第二坐标，该第二坐标即为在前一帧图像中，与第一中心点对应的第二中心点的坐标。

换句话说，前一帧图像的第一特征图中的中心像素点(第二中心点)经过单应矩阵H的变换，在本帧图像中位于第一坐标位置(为第一中心点)。

S304，根据所述第二坐标，对所述第一特征图中的所述第二中心点增加所述预设权重；

与S302类似，前一帧图像的处于第二坐标的第二中心点，也是概率值较高的像素点，因此，为了使得最终S305得到的本帧图像的第二特征图中处于中心位置的像素点的概率值得到增强，而使本帧图像的第二特征图中处于边缘位置的像素点的概率值得到抑制，这里可以对前一帧图像的第一特征图中处于中心位置的像素点的概率值增加预设权重。其中，如上所述，由于任意一个特征图都是由概率值构成的，因此，这里可以对中心像素点的概率值增加预设权重。

S305，对增加所述预设权重的第三特征图和增加所述预设权重的第一特征图进行矩阵加法运算，得到所述一帧图像的第二特征图。

其中，可以对增加预设权重后的本帧图像的第三特征图，与增加预设权重后的前一帧图像的第一特征图，进行矩阵加法运算，将加法运算后得到的矩阵作为本帧图像的真实的特征图，这里为第二特征图。

其中，本发明对于S302和S303之间的执行顺序不做限定，它们都在步骤S301之后执行。

这样，本发明实施例通过对采用语义分割模型计算得到的本帧图像的第三特征图中，处于中心位置的第一中心点的概率值增加预设权重，以及对前一帧图像的特征图中，该第一中心点变换位置前的第二中心点的概率值增加预设权重，并将增加预设权重后的第三特征图和第一特征图进行矩阵加法运算，得到本帧图像的特征图。使得在前后两帧图像相似度差距较大的情况下，利用先验知识以及预设权重，来使得计算得到的本帧图像的特征图中，处于中心的像素点的概率值得到增强，边缘的像素点的概率值得到抑制，进一步提升对本帧图像的感兴趣区域的识别准确度。

可选地，在一个实施例中，在执行步骤105时，可以通过以下方式来实现：

S401，对所述第二特征图进行感兴趣特征点的识别，确定识别到的感兴趣特征点在所述一帧图像中所处的候选区域；

其中，第二特征图中描述了本帧图像中每个像素点属于感兴趣的特征点(像素点)的概率值，这里，可以利用这些概率值对第二特征图进行初步的感兴趣的特征点的识别，从而确定第二特征图中可能属于感兴趣的特征点，然后，再确定第二特征图中的这些识别到的可能感兴趣的特征点在本帧图像中所处的位置，最后，根据这些特征点的位置来确定可能是感兴趣的区域，这里称作候选区域。

需要说明的是，在本帧图像中可以确定出一个或多个候选区域，优选多个。

S403，对所述候选区域进行感兴趣特征点识别，确定识别到的感兴趣特征点在所述候选区域中所处的目标区域。

其中，可以对确定的候选区域再次进行感兴趣特征点的识别，从而确定候选区域中属于感兴趣的特征点，然后，再确定这些识别到的感兴趣的特征点在候选区域中所处的位置，最后，根据这些特征点的位置来确定候选区域中属于感兴趣的区域，这里称作目标区域。

需要说明的是，针对一个候选区域，从该候选区域中得到的目标区域的数量为零个或一个。也就是说，当该候选区域中没有确定出目标区域时，该候选区域会被淘汰过滤掉，说明该候选区域中不存在感兴趣的像素点。相反，如果从该候选区域中确定出目标区域，则说明该候选区域中存在感兴趣的像素点。

那么由于存在感兴趣像素点的候选区域可以是一个或多个，因此，最终得到的目标区域的数量也可以是一个或多个。

这样，本发明实施例通过对本帧图像的第二特征图进行感兴趣特征点的识别，从而可以从本帧图像中分割到可能包括感兴趣特征点的一个或多个候选区域，然后，再对每个候选区域分别进行感兴趣特征点的识别，从而可以从候选区域中分割出完全包含感兴趣特征点而不包含非感兴趣特征点的目标区域，使得目标区域的边界得到确定，提升了感兴趣区域的检测准确度。

可选地，在一个实施例中，在执行S401时，可以通过以下方式来实现：

S41，根据第一预设感兴趣阈值，对所述第二特征图进行二值化处理，得到第一掩模图；

其中，虽然第二特征图表征了本帧图像中各个像素点属于感兴趣的像素点的概率值，但是，依据概率值并无法准确确定哪些像素点可能属于感兴趣的像素点，因此，可以预先配置感兴趣阈值，例如0.5。利用该感兴趣阈值来对第二特征图进行二值化处理。具体而言，可以将第二特征图中大于0.5的概率值修改为1，将第二特征图中小于或等于0.5的概率值修改为0。这种只有1和0的特征图，这里称作第一掩膜图。

其中，该第一预设感兴趣阈值可以根据上述预先经过训练的语义分割模型而确定，语义分割模型在训练完成后，可以得到该第一预设感兴趣阈值。

需要说明的是，本发明对于概率值等于预设感兴趣阈值的情况，属于哪个分支，即修改为0或者1并不具体限制，可以选择修改为1的分支，也可以选择修改为0的分支，并不限于上述举例。其他类似的涉及等于阈值的实施例与此类似，也是灵活设置的，因此，不再一一赘述。

S42，对所述第一掩模图进行连通区域分割，得到感兴趣的候选掩模区域；

具体而言，该第一掩模图中包括概率值分别为0和1的两类像素点，那么对于这些像素点的分布情况来说，掩膜图中可以包括连续分布的概率值都是1的像素点(即整块的1)、离散分布的概率值为1的像素点、连续分布的概率值都是0的像素点(即整块的0)、离散分布的概率值为0的像素点。那么这里的连通区域分割操作，具体体现为从第一掩膜图中找到“整块的1”，将“整块的1”的区域从第一掩膜图中分割出来，这些“整块的1”的区域即为候选掩模区域。

其中，候选掩膜区域的数量可以是一个或多个。

另外，需要说明的是，连续分布的概率值都是1的像素点构成的区域的形状并不一定是规则的，大多数情况是不规则形状。因此，使得最终得到的候选区域的形状也是不规则的。

S43，在所述一帧图像中，确定与所述候选掩模区域对应的候选区域。

其中，在本发明中，任意一帧图像与其特征图之间的像素都是一一对应的，各个像素的位置不变，同样的，由于掩膜图也未对特征图的像素点的位置做更改，只是修改了像素点的概率值，因此，掩膜图中的像素也是与对应的帧图像的像素的位置一一对应的。所以，根据像素点位置不变的原则，可以将候选掩膜区域映射到本帧图像中，从而在本帧图像中分割出候选区域。同样的，该候选区域的数量与候选掩膜区域的数量是完全一样的。

这样，本发明实施例通过利用第一预设感兴趣阈值来对本帧图像的第二特征图进行二值化处理，得到第一掩膜图，并对其进行连通区域分割，从而得到感兴趣的候选掩膜区域，并从本帧图像中分割出与候选掩膜区域对应的候选区域，从而可以在一定程度上保证初始分割得到的候选区域的感兴趣特征点的召回率较高。

可选地，在一个实施例中，在执行S403时，可以通过以下方式来实现：

首先，根据所述候选区域的第三中心点，从所述候选区域提取第一预设尺寸的第一候选图像；

其中，根据所述候选区域的第三中心点(即该候选区域的几何中心)，来从所述候选区域中提取第一预设尺寸的第一候选图像的原因可以包括两方面，一方面，候选区域的形状并不规则，难以输入到掩模精细分割模型进行识别；另一方面，本实施例需要对候选区域进行感兴趣特征点构成的区域的边界进行精细化分割，因此，从候选区域中提取一个第一候选图像；

另外，该第一预设尺寸可以是预设长度乘预设宽度的尺寸，例如40*40，即40个像素点乘以40个像素点的尺寸，该尺寸构成的区域的几何中心仍旧是该第三中心点，该区域上的图像即为第一候选图像。也就是说，本步骤可以从候选区域中提取一个固定大小的图像块。

其中，第一预设尺寸的预设长度与预设宽度可以相同或不同，此外，该预设长度与预设宽度的取值可以灵活配置，只要该第一预设尺寸所覆盖的面积可以完全覆盖连续分布的真实的感兴趣的像素点即可。

然后，根据预先经过训练的掩模精细分割模型，对所述第一候选图像进行感兴趣特征点识别，得到与所述第一候选图像对应的第四特征图；

其中，本文的掩模精细分割模型经过训练后，可以对输入的图像进行属于感兴趣特征点的识别，并对该特征点赋予概率值，得到特征图。

因此，将该第一候选图像输入到预先经过训练的掩模精细分割模型后，模精细分割模型可以对第一候选图像进行感兴趣特征点(即将感兴趣的像素点)的识别，对第一候选图像中每个像素点赋予概率值，该概率值可以表征该像素点是感兴趣的点的概率，最后，该掩模精细分割模型输出第四特征图。

接着，根据第二预设感兴趣阈值，对所述第四特征图进行二值化处理，得到第二掩模图；

本步骤的原理与上述S41的原理类似，可以参照上文，这里不再赘述。

需要说明的是，这里的第二预设感兴趣阈值与S41中的第一预设感兴趣阈值并不相同，该第二预设感兴趣阈值可以大于第一预设感兴趣阈值。从而可以达到对S401得到的候选区域进行感兴趣特征点进一步筛选和精细化区域分割的目的。

最后，根据所述第二掩模图，在所述第一候选图像中确定感兴趣的目标区域。

其中，关于第二掩膜图的定义可以参照S42中对第一掩膜图的定义，原理是相同的，那么本实施例中，由于输入到掩模精细分割模型的图像只是一个图像块，该图像块的大小(即第一预设尺寸)完全可以覆盖最核心的感兴趣的像素点，那么这里得到的第二掩膜图的像素点也是位置完全与该图像块的像素点一一对应的。所以，可以确定所述第二掩模图中概率值为1的所有像素点的坐标，并在所述第一候选图像(即上述图像块)中，确定出坐标与第二掩膜图中概率值为1的像素点的坐标相同的所有目标像素点，那么第一候选图像中的这些目标像素点构成的区域，即为本发明实施例的感兴趣的目标区域。

这样，本发明实施例通过对候选区域提取固定大小的图像块(即第一候选图像)，并以该图像块为基础进行感兴趣特征点识别，得到第四特征图，并利用第二预设感兴趣阈值对第四特征图进行二值化处理，从而得到对感兴趣像素点所在区域进行精细分割的第二掩膜图，最后利用该第二掩膜图中取值为1的像素点来从图像块中分割出边界精细化的感兴趣的目标区域，实现了对感兴趣像素点构成的区域的边界的精细化分割。

可选地，在一个实施例中，在执行S401之后，执行S403之前，根据本发明实施例的方法还可以包括：

S402，对S401得到的候选区域进行筛选，得到筛选后的候选区域；

相应的，在执行S403时，则是对筛选后的候选区域进行感兴趣特征点识别，确定所述候选区域中感兴趣的目标区域。

对于上述筛选步骤S402具体可以包括如下S501～S503的步骤：

S501，对所述候选区域进行感兴趣特征点识别，得到第五特征图(即目标特征图)，其中，所述候选区域的数量为多个；

可选地，在执行S501时，可以通过S51和S52来实现：

S51，根据所述候选区域的第三中心点，从所述候选区域提取第二预设尺寸的第二候选图像；

其中，根据所述候选区域的第三中心点(即该候选区域的几何中心)，来从所述候选区域中提取第二预设尺寸的第二候选图像的原因可以包括两方面，一方面，候选区域的形状并不规则，难以输入到掩模精细分割模型进行识别；另一方面，本实施例需要对候选区域进行高效的筛选，因此，从候选区域中提取一个第二候选图像；

另外，该第二预设尺寸与上述实施例的第一预设尺寸不同，该第二预设尺寸(这里，指代该第二预设尺寸对应的区域的面积)可以大于第一预设尺寸(这里，指代该第二预设尺寸对应的区域的面积)，从而使得S403步骤的具体实施例能够对本实施例筛选后的候选区域进行感兴趣特征点进一步筛选和精细化区域分割的目的。

另外，第二预设尺寸的预设长度与预设宽度可以相同或不同，此外，该预设长度与预设宽度的取值可以灵活配置，只要该第二预设尺寸所覆盖的面积可以部分覆盖连续分布的真实的感兴趣的像素点即可。

对于本步骤S51的执行原理，可以参照步骤S403具体实施例中提取第一候选图像的详细阐述，互相参考即可，这里不再赘述。

S52，对所述第二候选图像进行感兴趣特征点识别，得到与所述第二候选图像对应的第五特征图，即上述目标特征图；

区别在于，这里的第二候选图像会输入到预先经过训练的虚警抑制模型中，虚警抑制模型可以对第二候选图像进行感兴趣特征点(即将感兴趣的像素点)的识别，对第二候选图像中每个像素点赋予概率值，该概率值可以表征该像素点是感兴趣的点的概率，最后，该虚警抑制模型输出第五特征图。

S502，在多个所述第五特征图(即多个所述目标特征图)中，确定所有像素点的概率值均小于第三预设感兴趣阈值的第五目标特征图(即待过滤的目标特征图)；

其中，由于S401得到的候选区域的数量一般为多个，而每个候选区域都对应有一个第二候选图像，因此，每个第二候选图像都可以对应有一个像素位置完全相同的第五特征图，也即每个候选区域具有一个与其尺寸大小不同的第五特征图，因此，这里可以对多个第五特征图需要进行过滤掉的第五目标特征图进行确定。

对第五目标特征图的具体确定方式为：对于多个第五特征图中的任意一个第五特征图，其描述了对应的第二候选图像中每个像素点为感兴趣特征点的概率值，那么，这里需要判断该第五特征图中是否所有像素点对应的概率值均小于第三预设感兴趣阈值，如果是，则确定该第五特征图为需要过滤掉的第五目标特征图；如果否，则确定该第五特征图需要保留。本步骤S502则是从多个第五特征图中确定出需要被过滤掉的第五目标特征图。

其中，关于三个预设感兴趣阈值之间的大小关系可以是：第一预设感兴趣阈值小于第二预设感兴趣阈值小于第三预设感兴趣阈值，以达到对候选区域的过滤以及对过滤后的候选区域进行精细化边界分割的目的。

S503，将多个所述候选区域中，与所述第五目标特征图(即所述待过滤的目标特征图)对应的候选区域过滤掉，得到筛选后的候选区域。

例如S401得到的候选区域包括候选区域1、候选区域2和候选区域3，从三个候选区域中提取的第二候选图像依次为第二候选图像1、第二候选图像2、第二候选图像3，对应这三个第二候选图像的第五特征图分别为第五特征图1、第五特征图2、第五特征图3。其中，经过S502确定第五特征图3为第五目标特征图，另外两个第五特征图不是第五目标特征图。因此，可以确定与第五特征图3对应的候选区域为候选区域3，所以三个候选区域中的候选区域3被过滤掉，筛选后的候选区域包括候选区域1和候选区域2。

在本发明实施例中，由于对本帧图像进行初始分割时，为了保证初始分割得到的候选区域的感兴趣特征点的召回率较高，所以初始分割得到的候选区域存在很多虚警，因此，为了有效抑制虚警，本发明实施例中会对得到的候选区域进行筛选，将不符合要求的候选区域过滤掉，抑制虚警。

结合图2所示的图像处理方法，来对上述任意一个实施例的图像处理方法作进一步阐述，如图2所示，该方法可以包括如下步骤：

S601，接收待分析实时图像流；

其中，所述待分析实时图像流由相机拍摄，例如，如果该图像流的图像类型为超声图像，则该实时图像流由B型超声诊断仪拍摄得到，本发明实施例的方法可以接收B型超声诊断仪拍摄得到实时图像流。

S602，提取图像流中的第一帧图像作为关键帧；

S603，对关键帧作语义分割处理，获得关键帧的特征图；

S604，对所述特征图进行二值化处理以及连通域分割，得到感兴趣的候选掩模区域，根据候选掩模区域确定关键帧图像中的候选感兴趣区域的位置，从而得到分割后的多个候选区域；

具体而言，首先，可以将关键帧输入训练好的语义分割模型，语义分割的意义即为像素级的二值分类(例如010101，1表示感兴趣，0表示不感兴趣)，语义分割模型判断关键帧中每个像素是否属于感兴趣的像素，最后，语义分割模型输出特征图(也即，概率图)，其中，特征图与关键帧的原图大小相同，且两幅图像中各个像素的位置相同，在特征图中，每个点表示原图中对应的像素点属于感兴趣的像素点的概率)，对该特征图进行记录保存，以便于后续使用。

然后，再将概率图做二值化(具体为概率值大于第一预设感兴趣阈值，则将概率值修改为1，否则，修改为0，其中，该第一预设感兴趣阈值与语义分割模型相关)以及连通区域分割等形态学操作，得到掩模图中感兴趣的候选掩模区域，最后，在原图中确定与所述候选掩模区域对应的候选区域。

所述语义分割模型的构建和使用的流程大致包括：

a)，收集并标注训练数据；

本发明实施例的训练数据可以是来自一些开源数据集以及医学真实图像数据。对于训练数据的标注，可以由相关专家来完成。例如，该训练数据是超声图像，且该超声图像中标注有感兴趣位置，对于标注方式来说，例如超声图像中某个像素点为感兴趣的点，则对其标注1，否则标注0，因此，超声图像的标注数据可以是一个二值掩模图。

b)，确定语义分割模型的拓扑结构；

本发明实施例的语义分割模型可以采用传统的任意一种语义分割网络，例如，FCN(Fully Convolutional Network，全卷积神经网络)，UNET(Unet是在FCN的基础上进行改良的)等语义分割的常用网络。

FCN、UNET主要包含输入层、卷积层、池化层、反卷积层以及输出层。

模型的输入是整张原始图像，输出是与原始图像大小相等的概率图，每个像素的概率值表示原图中对应像素点属于感兴趣点的概率。

c)，基于训练数据及确定的模型拓扑结构，训练语义分割模型；

对于给定的一些训练图像与它们分别对应的二值掩模图(即训练图像的标注数据，每个像素表示原图中对应像素点是否属于感兴趣点，0表示不属于，1表示属于)，为了加快运算速度，本发明实施例可以将原图降采样到固定大小(具体大小本案不做限制，例如512*512，这个维度与模型无关，与加快运算速度程度以及图像清晰程度相关)，然后，将它们输入到语义分割模型，以对模型进行训练，得到训练后的语义分割模型，此外，语义分割模型训练后，还可以得到第一预设感兴趣阈值，该阈值与语义分割模型有关。

d)，给定待分析图像，对经过训练的语义分割模型进行测试。

在将语义分割模型应用到本发明的图像处理方案之前，可以给定一幅测试图像，将测试图像缩放到固定大小(512*512)，并将其送入到语义分割模型中，语义分割模型可以输出大小相同(512*512)的概率图。

最后，本发明实施例的方法可以对概率图进行二值化、连通域分割(形态学操作)，得到原图中感兴趣的候选区域。

需要说明的是，本发明实施例在此阶段(粗分割阶段)可以训练得到合适的分割阈值(即第一预设感兴趣阈值)，以保证得到较高的感兴趣点召回。例如，该第一预设感兴趣阈值可以是0.5，根据训练的模型确定。

S605，基于分割后得到的多个候选区域进行感兴趣特征点的识别，根据识别结果进行候选区域的过滤，从而得到筛选后的多个候选区域；

这里可以抑制粗分割阶段带来的虚警(误识别为感兴趣的区域)；

为了保证语义分割模型较高的感兴趣点召回率，上述语义分割模型必然会产生许多虚警。因此为了有效抑制虚警，本发明实施例的方法还构建了一种虚警抑制模型。

上述第一帧图像，经过S604处理后，可以得到许多候选区域(是原始图中的一个区域，区域的边界不规则，无法输入到模型中，因此可以对候选区域提取固定大小图像块)；然后，从候选区域中提取固定大小长方形图像块(其中，可以以候选区域的图形几何中心为中心提取一个固定大小的图像块)；接着，将多个图像块分别送入到经过训练的虚警抑制模型，模型计算得到各个候选区域(实际为各个图像块)是否为真实感兴趣的区域的判定结果(其中，虚警抑制模型的输出为对应图像块中每个像素点是否为真实感兴趣区域的一个概率值，从而得到与输入图像块大小相等的概率图，每个像素的概率值表示原图中对应像素点属于感兴趣点的概率)；

然后，虚警抑制模型可以在得到的多个概率图中，确定概率图中所有像素点的概率值均小于第三预设感兴趣阈值的目标概率图，可以判断该目标概率图对应的候选区域为虚警，予以滤除。此处的第三预设感兴趣阈值由虚警抑制模型训练得到(即，在对模型训练时，不仅训练各层参数值，还可以训练得到该阈值，本文中的各个预设感兴趣阈值的取值范围均为0～1，不包括边界值)；最后，虚警抑制模型输出筛选后的多个概率图，那么本发明实施例的方法则可以确定筛选后的多个概率图所分别对应的候选区域。这些候选区域即为筛选后的候选区域。

所述虚警抑制模型的构建和使用的流程大致包括：

a)，收集并标注训练数据；

本发明实施例的训练数据均来自于根据语义分割模型输出的概率图而确定的候选区域，其中，语义分割模型训练时已经具有对上述各个候选区域的标注数据，那么通过查看各个候选区域的标注数据，便可定义出多个上述候选区域中哪些是正样本，哪些是负样本，如果候选区域中存在标注为0的像素点，则将该候选区域标注为负样本，如果候选区域中全部像素标注的都是1，则可以将该候选区域标注为正样本。也就是说，与标注数据的类别相同即为正样本，与标注结果不同即为负样本。

需要说明的是，根据语义分割模型输出的概率图而确定的多个候选区域中，多数为负样本，少数为正样本，因此存在正负样本分布不均衡的问题。那么为了减小该问题对本实施例的虚警抑制模型的影响，本发明实施例采用了多种数据增强手段，如对正样本进行旋转、缩放、平移等操作，以增加正样本个数，均衡正负样本比例。

b)，确定虚警抑制模型的拓扑结构；

本发明实施例所采用的虚警抑制模型的拓扑结构大致同于现有的二维卷积神经网络模型，主要有输入层、卷积层、池化层、全连接层以及输出层。对于输入层其输入的是以候选区域的几何中心为中心提取的预设尺寸的图像块，该虚警抑制模型输出的该候选区域是否为真实感兴趣区域的判定结果。

c)，基于训练数据及确定的模型拓扑结构，训练虚警抑制模型；

虚警抑制模型的训练可以采用常用的神经网络训练算法，如SGD(随机梯度下降)、BGD(梯度下降)算法等，本发明对于模型的训练方法不做具体限制。

S606，基于筛选后剩下的多个候选区域分别进行精细化边界分割，对每个候选区域获取一个目标区域；

其中，经过S605之后，本发明实施例的方法可以得到从原始图像中分割出属于感兴趣点的具体位置，但是由于粗分割阶段(即上述语义分割模型阶段)的输入图像较大，因此，S605得到的候选区域的边界的分割存在一定误差，所以本步骤需要对S605筛选后的各个候选区域进行边界的精细化分割，从而在第一帧图像中识别出感兴趣特征点所处的目标区域(其中，对各候选区域进行边界精细化分割后的各个区域即为多个目标区域)。

这里对掩模精细分割模型的构建和使用的流程作简要阐述：

a)，收集并标注训练数据；

本发明实施例的训练数据均来自于根据虚警抑制模型输出的概率图而确定的筛选后的候选区域。其中，可以从各候选区域的图形几何中心为中心提取固定大小的图像块(大小可以不同与虚警抑制模型的输入数据的尺寸，可以灵活设置)，对该图像块的标注方法也与虚警抑制模型的训练数据的标注方法类似，这里不再赘述。另外，本发明实施例的掩模精细分割模型在训练时不需要负样本。

b)，确定掩模精细分割模型的拓扑结构；

本发明实施例所采用的掩模精细分割模型的拓扑结构基本与语义分割模型的拓扑结构一致，与之不同的是，本发明实施例的掩模精细分割模型采用了更为复杂的分割网络，如添加更多的卷积层与反卷积层(加深了网络层次)，采用多种特征融合手段(高层特征向低层传递)等，本案对此不作限制。

c)，基于训练数据及确定的模型拓扑结构，训练掩模精细分割模型。

在模型训练和使用时，掩模精细分割模型的输入为以筛选后的候选区域的几何中心为中心抠取出的固定大小的图像块(如40*40)，输出为同样大小(如40*40)的概率图。通过训练可以使该掩模精细分割模型收敛，并可以确定对应于该模型的第二预设感兴趣阈值。

在使用训练后的掩模精细分割模型确定感兴趣的目标区域时，首先，可以将S605筛选得到的多个候选区域分别进行预设大小图像块的提取；然后，以一个图像块为例进行说明，将该图像块输入到经过训练的掩模精细分割模型，该模型输出得到概率图；然后，本发明实施例的方法可以根据第二预设感兴趣阈值来对概率图进行的二值化，得到固定大小(如40*40)的二值掩模图(即上述实施例的第二掩模图)；在该二值掩模图中数值为1的像素点构成的区域为真实感兴趣像素点构成的区域，那么如果将该区域映射到上述40*40的图像块中，从而得到真实感兴趣区域(该区域的边界是准确的)。所以，最后，可以根据上述二值掩模图来在上述图像块中确定感兴趣的目标区域。这样，针对原图中的某个筛选后的候选区域，就可以得到一个边界得到精细化分割的目标区域，对于原图中筛选后的其他候选区域，同理进行上述处理，从而在第一帧图像中识别到感兴趣的一个或多个目标区域。

S607，提取图像流中的第二帧图像作为关键帧；

S608，分别提取该关键帧以及其前一关键帧(即图像流中的第一帧图像)的harris角点，根据角点计算两帧图像(第二帧图像以及第一帧图像)的单应矩阵，根据所述角点和所述单应矩阵，计算所述关键帧与所述前一关键帧之间的误差；

若所述误差小于或等于预设误差阈值，则S609，计算所述单应矩阵和前一关键帧的特征图的内积，得到所述关键帧(这里为第二帧图像)的特征图；

这样，当前后两帧图像较为相似时，可以避免每帧的特征提取，在计算下一帧图像的特征图时，只需要利用前一帧图像以及前一帧图像的特征图即可，减少系统计算量。

其中，这里的前一关键帧的特征图的计算方式分为两类：

当该前一关键帧为图像流中的第一帧图像时，特征图的计算方式为S603的语义分割处理；

当该前一关键帧为图像流中除第一帧图像之外的图像时，该前一关键帧的特征图的计算方式如S609或S610所阐述的方式。

在S609之后，继续执行S604～S606，从而对第二帧图像提取目标区域。

若所述误差大于所述预设误差阈值，则将该第二帧图像(关键帧)作为一帧新的图像输入到语义分割模型来执行S603，得到该关键帧的基于语义分割模型计算得到的特征图，然后，执行S610，根据预设权重对上一关键帧的特征图，和，S603计算得到的关键帧(这里为第二帧图像)的特征图进行加权融合，得到作为第二帧图像的真实特征图。

其中，加权融合的具体方法参照上述实施例，这里不再赘述。

在S610之后，继续执行S604～S606，从而对第二帧图像提取目标区域。

在本发明实施例中，在对图像流中的第一帧图像计算了特征图之后，对于后续其他帧图像，无需每帧都采用与之相同的方法计算特征图，而可以利用前一帧图像以及其特征图来计算本帧图像的特征图，从而减少了计算量，满足系统的实时性要求。另外，本发明实施例的方法采用神经网络学习大量的医学图像数据，并利用图像流中前后帧图像之间拥有时序关系，来训练各个神经网络模型，从而可以提高神经网络的性能，并且使用前一帧图像的运算结果来作为后一帧图像的参考，降低了后一帧图像处理的运算量，并提升了图像处理的准确度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与上述本发明实施例所提供的方法相对应，参照图3，示出了本发明一种图像处理装置实施例的结构框图，具体可以包括如下模块：

接收模块31，用于接收待处理图像流中的一帧图像；

第一获取模块32，用于获取所述一帧图像的前一帧图像；

第二获取模块33，用于获取所述前一帧图像的第一特征图；

计算模块34，用于根据所述一帧图像、所述前一帧图像以及所述第一特征图，计算所述一帧图像的第二特征图；

第一识别模块35，用于根据所述第二特征图，识别所述一帧图像中感兴趣的目标区域并输出。

可选地，所述计算模块34包括：

第一计算子模块，用于计算所述一帧图像与所述前一帧图像之间的单应矩阵；

第一获取子模块，用于根据所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差；

第二计算子模块，用于若所述误差小于或等于预设阈值，则计算所述单应矩阵和所述第一特征图的内积，得到所述一帧图像的第二特征图；

第三计算子模块，用于若所述误差大于所述预设阈值，则将所述一帧图像的特征图与所述第一特征图进行加权融合，得到所述一帧图像的第二特征图。

可选地，所述第一计算子模块包括：

提取单元，用于对所述一帧图像以及所述前一帧图像分别提取角点；

第一确定单元，用于根据所述角点，确定所述一帧图像与所述前一帧图像之间的单应矩阵；

所述第一获取子模块包括：

第一获取单元，用于根据所述角点和所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差。

可选地，所述第三计算子模块包括：

第二确定单元，用于确定所述一帧图像的第一中心点；

第一识别单元，用于根据所述单应矩阵和所述第一中心点，识别所述前一帧图像中与所述第一中心点对应的位置坐标；

第一处理单元，用于根据所述位置坐标，对所述前一帧图像的所述第一特征图增加所述预设权重；

第二处理单元，用于对增加所述预设权重的所述一帧图像的特征图和所述前一帧图像的所述第一特征图进行矩阵加法运算，得到所述一帧图像的第二特征图。

可选地，所述第一识别模块35包括：

第一识别子模块，用于对所述第二特征图进行感兴趣特征点的识别，确定识别到的感兴趣特征点在所述一帧图像中所处的候选区域；

第二识别子模块，用于对所述候选区域进行感兴趣特征点识别，确定识别到的感兴趣特征点在所述候选区域中所处的目标区域。

可选地，所述装置还包括：

第二识别模块，用于对所述候选区域进行感兴趣特征点识别，得到第五特征图(即目标特征图)，其中，所述候选区域的数量为多个；

第一确定模块，用于在多个所述第五特征图(即多个所述目标特征图)中，确定所有像素点的概率值均小于第三预设感兴趣阈值的第五目标特征图(即待过滤的目标特征图)；

过滤模块，用于将多个所述候选区域中，与所述第五目标特征图(即所述待过滤的目标特征图)对应的候选区域过滤掉，得到筛选后的候选区域；

所述第二识别子模块，还用于对所述筛选后的候选区域进行感兴趣特征点识别，确定所述筛选后的候选区域中感兴趣的目标区域。

可选地，所述第二识别模块包括：

提取子模块，用于根据所述候选区域的第三中心点，从所述候选区域提取第二预设尺寸的第二候选图像；

第三识别子模块，用于对所述第二候选图像进行感兴趣特征点识别，得到与所述第二候选图像对应的第五特征图，即上述目标特征图；

可选地，所述第一识别子模块包括：

第三处理单元，用于根据第一预设感兴趣阈值，对所述第二特征图进行二值化处理，得到第一掩模图；

分割单元，用于对所述第一掩模图进行连通区域分割，得到感兴趣的候选掩模区域；

第三确定单元，用于在所述一帧图像中，确定与所述候选掩模区域对应的候选区域。

可选地，所述第二识别子模块包括：

第一提取单元，用于根据所述候选区域的第三中心点，从所述候选区域提取第一预设尺寸的第一候选图像；

第二识别单元，用于根据预先经过训练的掩模精细分割模型，对所述第一候选图像进行感兴趣特征点识别，得到与所述第一候选图像对应的第四特征图；

第四处理单元，用于根据第二预设感兴趣阈值，对所述第四特征图进行二值化处理，得到第二掩模图；

第四确定单元，用于根据所述第二掩模图，在所述第一候选图像中确定感兴趣的目标区域。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

根据本发明的一个实施例，还提供了一种电子设备。

该电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如上述任意一个实施例所述的图像处理方法的步骤。

根据本发明的一个实施例，还提供了一种计算机可读存储介质。

该计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如述任意一个实施例所述的图像处理方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法和一种图像处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

接收待处理图像流中的一帧图像；

获取所述一帧图像的前一帧图像；

获取所述前一帧图像的第一特征图；

根据所述一帧图像、所述前一帧图像以及所述第一特征图，计算所述一帧图像的第二特征图；

根据所述第二特征图，识别所述一帧图像中感兴趣的目标区域并输出。

2.根据权利要求1所述的方法，其特征在于，所述根据所述一帧图像、所述前一帧图像以及所述第一特征图，计算所述一帧图像的第二特征图，包括：

计算所述一帧图像与所述前一帧图像之间的单应矩阵；

根据所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差；

若所述误差小于或等于预设阈值，则计算所述单应矩阵和所述第一特征图的内积，得到所述一帧图像的第二特征图；

若所述误差大于所述预设阈值，则将所述一帧图像的特征图与所述第一特征图进行加权融合，得到所述一帧图像的第二特征图。

3.根据权利要求2所述的方法，其特征在于，

所述获取所述一帧图像与所述前一帧图像之间的单应矩阵，包括：

对所述一帧图像以及所述前一帧图像分别提取角点；

根据所述角点，确定所述一帧图像与所述前一帧图像之间的单应矩阵；

所述根据所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差，包括：

根据所述角点和所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差。

4.根据权利要求2所述的方法，其特征在于，所述将所述一帧图像的特征图与所述第一特征图进行加权融合，得到所述一帧图像的第二特征图，包括：

确定所述一帧图像的第一中心点；

根据所述单应矩阵和所述第一中心点，识别所述前一帧图像中与所述第一中心点对应的位置坐标；

根据所述位置坐标，对所述前一帧图像的所述第一特征图增加所述预设权重；

对增加所述预设权重的所述一帧图像的特征图和所述前一帧图像的所述第一特征图进行矩阵加法运算，得到所述一帧图像的第二特征图。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征图，识别所述一帧图像中感兴趣的目标区域，包括：

对所述第二特征图进行感兴趣特征点的识别，确定识别到的感兴趣特征点在所述一帧图像中所处的候选区域；

对所述候选区域进行感兴趣特征点识别，确定识别到的感兴趣特征点在所述候选区域中所处的目标区域。

6.根据权利要求5所述的方法，其特征在于，所述对所述候选区域进行感兴趣特征点识别，确定所述候选区域中感兴趣的目标区域之前，所述方法还包括：

对所述候选区域进行感兴趣特征点识别，得到目标特征图，其中，所述候选区域的数量为多个；

在多个所述目标特征图中，确定所有像素点的概率值均小于第三预设感兴趣阈值的待过滤的目标特征图；

将多个所述候选区域中，与所述待过滤的目标特征图对应的候选区域过滤掉，得到筛选后的候选区域；

所述对所述候选区域进行感兴趣特征点识别，确定所述候选区域中感兴趣的目标区域，包括：

对所述筛选后的候选区域进行感兴趣特征点识别，确定所述筛选后的候选区域中感兴趣的目标区域。

7.一种图像处理装置，其特征在于，包括：

接收模块，用于接收待处理图像流中的一帧图像；

第一获取模块，用于获取所述一帧图像的前一帧图像；

第二获取模块，用于获取所述前一帧图像的第一特征图；

计算模块，用于根据所述一帧图像、所述前一帧图像以及所述第一特征图，计算所述一帧图像的第二特征图；

第一识别模块，用于根据所述第二特征图，识别所述一帧图像中感兴趣的目标区域并输出。

8.根据权利要求7所述的装置，其特征在于，所述计算模块包括：

第一计算子模块，用于计算所述一帧图像与所述前一帧图像之间的单应矩阵；

第一获取子模块，用于根据所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差；

第二计算子模块，用于若所述误差小于或等于预设阈值，则计算所述单应矩阵和所述第一特征图的内积，得到所述一帧图像的第二特征图；

第三计算子模块，用于若所述误差大于所述预设阈值，则将所述一帧图像的特征图与所述第一特征图进行加权融合，得到所述一帧图像的第二特征图。

9.根据权利要求8所述的装置，其特征在于，

所述第一计算子模块包括：

提取单元，用于对所述一帧图像以及所述前一帧图像分别提取角点；

第一确定单元，用于根据所述角点，确定所述一帧图像与所述前一帧图像之间的单应矩阵；

所述第一获取子模块包括：

第一获取单元，用于根据所述角点和所述单应矩阵，获取所述一帧图像与所述前一帧图像之间的误差。

10.根据权利要求8所述的装置，其特征在于，所述第三计算子模块包括：

第二确定单元，用于确定所述一帧图像的第一中心点；

第一识别单元，用于根据所述单应矩阵和所述第一中心点，识别所述前一帧图像中与所述第一中心点对应的位置坐标；

第一处理单元，用于根据所述位置坐标，对所述前一帧图像的所述第一特征图增加所述预设权重；

第二处理单元，用于对增加所述预设权重的所述一帧图像的特征图和所述前一帧图像的所述第一特征图进行矩阵加法运算，得到所述一帧图像的第二特征图。

11.根据权利要求7所述的装置，其特征在于，所述第一识别模块包括：

第一识别子模块，用于对所述第二特征图进行感兴趣特征点的识别，确定识别到的感兴趣特征点在所述一帧图像中所处的候选区域；

第二识别子模块，用于对所述候选区域进行感兴趣特征点识别，确定识别到的感兴趣特征点在所述候选区域中所处的目标区域。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

第二识别模块，用于对所述候选区域进行感兴趣特征点识别，得到目标特征图，其中，所述候选区域的数量为多个；

第一确定模块，用于在多个所述目标特征图中，确定所有像素点的概率值均小于第三预设感兴趣阈值的待过滤的目标特征图；

过滤模块，用于将多个所述候选区域中，与所述待过滤的目标特征图对应的候选区域过滤掉，得到筛选后的候选区域；

所述第二识别子模块，还用于对所述筛选后的候选区域进行感兴趣特征点识别，确定所述筛选后的候选区域中感兴趣的目标区域。