CN109978015B - 一种图像处理方法、装置及内窥镜系统 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置及内窥镜系统。该方法包括：S1，从接收图像中提取n幅相似图像；S2，利用第二处理算法对选定图像进行识别处理，若选定图像没有问题，利用第一处理算法分别从其余相似图像中裁剪出与选定图像有差异的部分作为差异子图像，将多个差异子图像拼接成至少一幅差异图像；S3，利用第二处理算法对差异图像进行识别处理；S4，将差异图像对应的原图像或选定图像输出。能够极大地减少后续目标识别程序处理图像的数量，提高了检测效率；在处理时间相同的前提下，相比其他方法，能提供更多的时间给复杂的耗时量大的高精度目标识别程序，提高了准确性，降低了对硬件运算能力的要求，降低了硬件成本。

Description

一种图像处理方法、装置及内窥镜系统

技术领域

本发明涉及图像处理，特别是涉及一种图像处理方法、装置及内窥镜系统。

背景技术

内窥镜系统被广泛应用于工业领域和医疗领域等，其具有图像传感器、光学镜头、光源照明等部件，在应用于医疗领域时，可以经人体的天然孔道，或者是经手术做的小切口进入人体内，采集图像，并将采集的图像传输到医护人员可以看到的显示终端或者图像处理平台端，对医生诊断以及病人的治疗都非常有用。

在测试过程中，图像传感器会拍摄大量的图片，若医护人员通过人眼观察这些图片并判断病变，需要大量的人力投入和较高的专业能力，并且因人员疲劳或其他疏忽易导致漏检；因此，现有技术中采用了嵌入式处理器或图像处理平台代替人眼进行观察和筛选出病变图片，但是，处理数据帧率不高，受硬件资源限制无法做到60帧每帧的处理效率。

现有技术中公开号为CN108042090A的中国专利公开了一种配置人工智能芯片的医用内窥镜系统及图像处理方法。该专利虽然通过设置数据处理模块筛选置信度超过预定阀值的图像，并将这部分图像传送给远程服务模块，从而降低了需要传输和处理的图像的数量，降低了内窥镜的通信负载，通过设置远程服务模块，将具有预定特征区域进行标注和分类，从而将特定的图像信息展示给相关的工作人员，减少了相关人员识别图像的工作量，提高了工作效率。但是置信度的预定阈值的设置比较复杂，其设置的是否合理直接导致一些有用图片的丢失，对后期图像处理中病变部位的识别准确率会产生影响，因此，该专利的工作效率的提高伴随着有用图片丢失的风险，准确率会受到影响。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种图像处理方法、装置及内窥镜系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种图像处理方法，包括：

步骤S1，从接收图像中提取n幅相似图像，所述n为正整数且n＞1，n幅相似图像是指n幅图像中至少有一幅图像A与其它n-1幅图像存在部分或者全部的重叠；

步骤S2，将图像A作为选定图像，利用第二处理算法对选定图像进行识别处理，如果存在问题区域，执行步骤S4，若不存在问题区域，利用第一处理算法分别从其余相似图像中裁剪出与选定图像有差异的部分作为差异子图像，将多个差异子图像拼接成至少一幅差异图像，执行步骤S3；

步骤S3，利用第二处理算法对差异图像进行识别处理，若存在问题区域，执行步骤S4，若不存在问题区域，返回步骤S1直至处理完成所有接收图像；

步骤S4，将差异图像对应的原图像或选定图像输出，返回步骤S1直至处理完成所有接收图像。

上述技术方案的有益效果为：从多幅相似图像中裁剪出与图像A有差异的部分并合成至少一幅差异图像，首先对A图像进行识别处理，当发现存在问题区域时，无需再对差异图像进行识别处理，只有图像A不存在问题区域时，才对差异图像进行识别处理，能够极大地减少目标识别程序处理图像的数量，缩短了图像处理时间，提高了检测效率；在相同的图像处理时间前提下，相比其他图像处理方法，能使用更高精度的运算量较大的目标识别程序，进而提高识别准确性，同时还降低了对硬件运算能力的要求，进而降低了硬件成本。

在本发明的一种优选实施方式中，所述第二处理算法包括如下步骤：

设有多张标准图像，将差异图像和/或选定图像分别与对应的标准图像进行比较并判断是否存在差异，若存在差异，认为差异图像和/或选定图像存在问题区域，若不存在差异，认为差异图像和/或选定图像不存在问题区域。

上述技术方案的有益效果为：该第二处理算法简单，运算量少，执行快速，识别效率高。

在本发明的一种优选实施方式中，所述步骤S1包括：

步骤S11,判断接收的第一幅图像和第二幅图像是否相似，若相似，将第一幅图像和第二幅图像存入相似图像库,若不相似，对第一幅图像进行识别处理；

步骤S12，判断接收的第m-1幅图像和第m幅图像是否相似，3≤m≤M，M为接收图像的总幅数；

若相似，且当第m-2幅图像和第m-1幅图像相似时，将第m幅图像存入相似图像库；且当第m-2幅图像和第m-1幅图像不相似时，将第m-1幅图像和第m幅图像存入相似图像库；

若不相似，且当第m-2幅图像和第m-1幅图像相似，令m＝m+1,返回执行步骤S12；且当第m-2幅图像和第m-1幅图像不相似，若m＝M，对第m-1幅图像和第m幅图像进行识别处理，执行步骤S13，若m＜M，对第m-1幅图像进行识别处理,令m＝m+1，返回执行步骤S12；

步骤S13，从相似图像库中选取n幅相似图像。

上述技术方案的有益效果为：从接收到的所有图像中筛选出相似图像库，相似图像库中至少前后两幅图库具有相似性；对于与前后图像均不相似的图像会直接进行识别处理，排除了漏检的可能性。

在本发明的一种优选实施方式中，所述步骤S13包括：

从相似图像库中按存入的时间顺序选取n幅相似图像。

上述技术方案的有益效果为：相似图像库中相似图像的存入时间与接收图像时间顺序对应，进而与图像的拍摄时间顺序对应，因为拍摄具有空间连续性，因此，按照存入相似图像库的时间选取的n幅相似图像具有部分或全部重叠。

在本发明的一种优选实施方式中，所述步骤S13还包括：

设定比例阈值，所述n幅相似图像之间相互重叠区域在各相似图像中所占比例均大于等于比例阈值。

上述技术方案的有益效果为：确保n幅相似图像的重叠部分有足够的比例，减少拼接成差异图像的数量，提高图像处理效率。

在本发明的一种优选实施方式中，在所述步骤S2中，所述选定图像为n幅相似图像中的第一幅或位于中间的或最后一幅相似图像。

上述技术方案的有益效果为：选定图像为第一幅或最后一幅均便于取用，选定图像为位于中间的相似图像，便于减少与其他相似图像的差异部分，减少拼接成的差异图像数量。

在本发明的一种优选实施方式中，在所述步骤S2中，所述第一处理算法包括：

S201,选取n幅相似图像中第j幅图像作为选定图像，所述j为正整数，且1≤j≤n；

S202，对第i幅相似图像和选定图像进行逐个像素点像素值比较，若两者相等或相近，则第i个差异子图像在所述像素点的像素值为T，若两者不相等或不接近，则第i个差异子图像在所述像素点的像素值为第i幅相似图像在所述像素点的像素值；所述T为整数，且0≤T≤255；所述i为正整数，且1≤i≤n，i≠j。

上述技术方案的有益效果为：算法简单，运算量少，能快速裁剪出差异子图像。

在本发明的一种优选实施方式中，在所述步骤S2中，所述将多个差异子图像拼接成至少一幅差异图像包括：

S21，在每个差异子图像中截取包含所有像素值不是T的像素点的形状规则的图像区域作为差异区域；

S22,将n-1个差异区域组合为至少一个与选定图像尺寸相同的差异图像；

S23，在差异图像上，将任意两个差异区域之间的像素点的像素值赋值为T。

上述技术方案的有益效果为：从差异子图像中截取出的差异区域形状规则，便于拼接；由于后续的识别处理程序一旦设定后，要求其输入图像的尺寸和大小一定，因此，差异图像与选定图像尺寸相同，差异图像与选定图像可共用相同的识别处理程序，使后续识别处理更快速便捷，提高了图像处理的整体效率。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种图像处理装置，包括图像传感器和图像处理单元，所述图像传感器的输出端与图像处理单元的输入端连接，所述图像处理单元按照本发明所述的图像处理方法对接收到的图像进行处理。

上述技术方案的有益效果为：具有上述图像处理方法的有益效果，应用范围广泛。

为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种内窥镜系统，包括图像处理器和伸入人体或待测管道的图像传感器，所述图像处理器接收图像传感器输出的图像信号并按照本发明所述的图像处理方法进行处理。

上述技术方案的有益效果为：除具有上述图像处理方法的有益效果外，还能够降低内窥镜系统的硬件成本，加快图像处理速度，可减少测量时间，减少病患痛苦。

附图说明

图1是本发明一具体实施方式中图像处理方法的流程示意图；

图2是本发明一具体实施方式中差异图像的第一种示意图；

图3是本发明一具体实施方式中差异图像的第二种示意图。

附图标记：

1差异图像；11差异区域；111差异区域中像素值不是T的像素点；112差异区域中像素值是T的像素点。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种图像处理方法，在本发明的一种优选实施方式中，其流程示意图如图1所示，具体包括：

S1，从接收图像中提取n幅相似图像。具体为：从接收图像中提取n幅相似图像，n为正整数且n＞1，n幅相似图像是指n幅图像中至少有一幅图像A与其它n-1幅图像存在部分或者全部的重叠；

S2，对选定图像进行识别处理，当选定图像不存在问题区域时，将差异子图像拼接成差异图像。具体为：将图像A作为选定图像，利用第二处理算法对选定图像进行识别处理，如果存在问题区域，执行步骤S4，若不存在问题区域，利用第一处理算法分别从其余相似图像中裁剪出与选定图像有差异的部分作为差异子图像，将多个差异子图像拼接成至少一幅差异图像，执行步骤S3；

S3，对差异图像进行识别处理。具体为：利用第二处理算法对差异图像进行识别处理，若存在问题区域，执行步骤S4，若不存在问题区域，返回步骤S1直至处理完成所有接收图像；

S4，输出有的问题差异图像对应的原图像或选定图像。具体为：将差异图像对应的原图像或选定图像输出，返回步骤S1直至处理完成所有接收图像。

在本发明的一种优选实施方式中，步骤S1包括：

步骤S11,判断接收的第一幅图像和第二幅图像是否相似，若相似，将第一幅图像和第二幅图像存入相似图像库,若不相似，对第一幅图像进行识别处理；

步骤S12，判断接收的第m-1幅图像和第m幅图像是否相似，3≤m≤M，M为接收图像的总幅数；

若相似，且当第m-2幅图像和第m-1幅图像相似时，将第m幅图像存入相似图像库；且当第m-2幅图像和第m-1幅图像不相似时，将第m-1幅图像和第m幅图像存入相似图像库；

若不相似，且当第m-2幅图像和第m-1幅图像相似，令m＝m+1,返回执行步骤S12；且当第m-2幅图像和第m-1幅图像不相似，若m＝M，对第m-1幅图像和第m幅图像进行识别处理，执行步骤S13，若m＜M，对第m-1幅图像进行识别处理,令m＝m+1，返回执行步骤S12；

步骤S13，从相似图像库中选取n幅相似图像。

在本实施方式中，优选的，步骤S13包括：从相似图像库中按存入的时间顺序选取n幅相似图像。

在本实施方式中，进一步的，步骤S13还包括：设定比例阈值，n幅相似图像之间相互重叠区域在各相似图像中所占比例均大于等于比例阈值。比例阈值的取值范围为0到1，优选的，比例阈值取值为0.3，即要求n幅相似图像的重叠部分在每幅相似图像中所占比例为0.3以上，进一步的，可等效为计算重叠区域的像素点数量占整个相似图像的像素点总数量的比值是否大于等于0.3。

在本实施方式中，两幅图像的相似度计算方法可使用现有算法，如SIFT算法，或者使用公开号为CN107689041A或CN103870828A的中国专利中披露的相似度算法。比较两幅图像是否相似可采用现有的相似度计算方法，设置相似度阈值，计算获得两幅图像的相似度，将该相似度与相似度阈值比较，若该相似度大于等于相似度阈值，认为两幅图像相似，若该相似度小于相似度阈值，认为两幅图像不相似。

在本实施方式中，优选的，在相似图像库中图像按照拍摄的时间顺序排列。

在本实施方式中，优选的，为了进一步提升本发明所述的图像处理算法缩短处理时间的有益效果，在相似图像库中删除孤立的两幅相似图像，即这两幅相似图像分别与前后图像均不相似。在该应用场景中，步骤S12更改为：

判断接收的第m-1幅图像和第m幅图像是否相似，4≤m≤M，M为接收图像的总幅数；

若相似，当第m-2幅图像和第m-1幅图像相似时，将第m幅图像存入相似图像库；当第m-2幅图像和第m-1幅图像不相似时，将第m-1幅图像和第m幅图像存入相似图像库；

若不相似，当第m-2幅图像和第m-1幅图像相似时，若第m-3幅图像和第m-2幅图像相似，m＝m+1,返回执行步骤S12，若第m-3幅图像和第m-2幅图像不相似，m＝m+1,返回执行步骤S12，同时从相似图像库中移除第m-2幅图像和第m-1幅图像并对这两幅图像进行识别处理；当第m-2幅图像和第m-1幅图像不相似，若m＝M，对第m-1幅图像和第m幅图像进行识别处理，执行步骤S13，若m＜M，对第m-1幅图像进行识别处理,m＝m+1，返回执行步骤S12；

在本发明的一种优选实施方式中，第二处理算法包括如下步骤：

设有多张标准图像，将差异图像和/或选定图像分别与对应的标准图像进行比较并判断是否存在差异，若存在差异，认为差异图像和/或选定图像存在问题区域，若不存在差异，认为差异图像和/或选定图像不存在问题区域。

在本实施方式中，差异图像和/或选定图像与标准图像的对应关系可以为人体内腔位置对应。标准图像为健康人体内部腔体给部位的图像。第二处理算法还可采用现有技术中公开号为CN107240091A或CN107256552A的中国专利中披露的图像目标识别算法，判断出差异图像和/或选定图像中是否存在问题区域。

在本发明的一种优选实施方式中，选定图像为n幅相似图像中的第一幅或位于中间的或最后一幅相似图像。

在本发明的一种优选实施方式中，在步骤S2中，第一处理算法包括：

S201,选取n幅相似图像中第j幅图像作为选定图像，j为正整数，且1≤j≤n；

S202，对第i幅相似图像和选定图像进行逐个像素点像素值比较，若两者相等或相近，则第i个差异子图像在像素点的像素值为T，若两者不相等或不接近，则第i个差异子图像在像素点的像素值为第i幅相似图像在像素点的像素值；T为整数，且0≤T≤255；i为正整数，且1≤i≤n，i≠j。

在本实施方式中，优选的，判断像素值是否相近，可设置一个相近区间，该相近区间可为选定图像的像素点像素值加上该像素值的±3％、±5％、±10％、±15％、±30％等，只要对第i幅相似图像的像素点像素值在选定图像中对应位置像素点的相近区间内，就认为两个像素值相近，这样能够快速判断裁剪掉重叠部分，减少运算量的同时，避免了干扰信号对重叠图像的判断，尽可能的保留了差异部分，提高监测的准确性。

在本实施方式中，优选的，T选择为0或255，以便于其他像素值明显区分。

在本发明的一种优选实施方式中，图2和图3分别为拼接的差异图像的两种示意图。在步骤S2中，将多个差异子图像拼接成至少一幅差异图像包括：

S21，在每个差异子图像中截取包含所有像素值不是T的像素点的形状规则的图像区域作为差异区域；

S22,将n-1个差异区域组合为至少一个与选定图像尺寸相同的差异图像；

S23，在差异图像上，将任意两个差异区域之间的像素点的像素值赋值为T。

在本实施方式中，差异区域的形状优选但不限于为矩形、方形或圆形等，进一步的，差异区域的形状可以都相同，也可以不相同。优选的，差异区域为包含所有像素值不是T的像素点的形状规则的面积最小的图像区域，这样便于在相同尺寸的同一差异图像上能够放置更多的差异区域。如图2和图3所示，差异区域在差异图像上的排列组合可依据差异区域的形状灵活选择。

在本实施方式中，差异图像和选定图像的尺寸大小优选但不限于为480*640。

在本实施方式中，由于图像拍摄的空间连续性，相似图像之间的重叠区域包含图像的部分边缘，因此，可根据实际像素值不是T的像素点(与选定图像的差异部分)分布情况划分合适的差异区域。

在本实施方式中，在图像存储时，会附带有拍摄时间标签，优选的，差异区域设置有与原图相同的拍摄时间标签，这样便于快速根据差异区域找到原图。

本发明还提供了一种图像处理装置，在一种优选实施方式中，图像处理装置包括图像传感器和图像处理单元，图像传感器的输出端与图像处理单元的输入端连接，图像处理单元按照本发明所述的图像处理方法对接收到的图像进行处理。

本发明还提供了一种内窥镜系统，在一种优选实施方式中，内窥镜系统包括图像处理器和伸入人体或待测管道的图像传感器，图像处理器接收图像传感器输出的图像信号并按照本发明所述的图像处理方法进行处理。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

步骤S1，从接收图像中提取n幅相似图像，所述n为正整数且n＞1，n幅相似图像是指n幅图像中至少有一幅图像A与其它n-1幅图像存在部分或者全部的重叠；

步骤S2，将图像A作为选定图像，利用第二处理算法对选定图像进行识别处理，如果存在问题区域，执行步骤S4，若不存在问题区域，利用第一处理算法分别从其余相似图像中裁剪出与选定图像有差异的部分作为差异子图像，将多个差异子图像拼接成至少一幅差异图像，执行步骤S3；

步骤S3，利用第二处理算法对差异图像进行识别处理，若存在问题区域，执行步骤S4，若不存在问题区域，返回步骤S1直至处理完成所有接收图像；

步骤S4，将差异图像对应的原图像或选定图像输出，返回步骤S1直至处理完成所有接收图像。

2.如权利要求1所述的图像处理方法，其特征在于，所述第二处理算法包括如下步骤：

设有多张标准图像，将差异图像和/或选定图像分别与对应的标准图像进行比较并判断是否存在差异，若存在差异，认为差异图像和/或选定图像存在问题区域，若不存在差异，认为差异图像和/或选定图像不存在问题区域。

3.如权利要求1所述的图像处理方法，其特征在于，所述步骤S1包括：

步骤S11,判断接收的第一幅图像和第二幅图像是否相似，若相似，将第一幅图像和第二幅图像存入相似图像库,若不相似，对第一幅图像进行识别处理；

步骤S12，判断接收的第m-1幅图像和第m幅图像是否相似，3≤m≤M，所述M为接收图像的总幅数；

若相似，且当第m-2幅图像和第m-1幅图像相似时，将第m幅图像存入相似图像库；且当第m-2幅图像和第m-1幅图像不相似时，将第m-1幅图像和第m幅图像存入相似图像库；

若不相似，且当第m-2幅图像和第m-1幅图像相似，令m＝m+1,返回执行步骤S12；且当第m-2幅图像和第m-1幅图像不相似，若m＝M，对第m-1幅图像和第m幅图像进行识别处理，执行步骤S13，若m＜M，对第m-1幅图像进行识别处理,令m＝m+1，返回执行步骤S12；

步骤S13，从相似图像库中选取n幅相似图像。

4.如权利要求3所述的图像处理方法，其特征在于，所述步骤S13包括：

从相似图像库中按存入的时间顺序选取n幅相似图像。

5.如权利要求4所述的图像处理方法，其特征在于，所述步骤S13还包括：

设定比例阈值，所述n幅相似图像之间相互重叠区域在各相似图像中所占比例均大于等于比例阈值。

6.如权利要求1所述的图像处理方法，其特征在于，在所述步骤S2中，所述选定图像为n幅相似图像中的第一幅或位于中间的或最后一幅相似图像。

7.如权利要求1所述的图像处理方法，其特征在于，在所述步骤S2中，所述第一处理算法包括：

S201,选取n幅相似图像中第j幅图像作为选定图像，所述j为正整数，且1≤j≤n；

S202，对第i幅相似图像和选定图像进行逐个像素点像素值比较，若两者相等或相近，则第i个差异子图像在所述像素点的像素值为T，若两者不相等或不接近，则第i个差异子图像在所述像素点的像素值为第i幅相似图像在所述像素点的像素值；所述T为整数，且0≤T≤255；所述i为正整数，且1≤i≤n，i≠j。

8.如权利要求7所述的图像处理方法，其特征在于，在所述步骤S2中，所述将多个差异子图像拼接成至少一幅差异图像包括：

S21，在每个差异子图像中截取包含所有像素值不是T的像素点的形状规则的图像区域作为差异区域；

S22,将n-1个差异区域组合为至少一个与选定图像尺寸相同的差异图像；

S23，在差异图像上，将任意两个差异区域之间的像素点的像素值赋值为T。

9.一种图像处理装置，其特征在于，包括图像传感器和图像处理单元，所述图像传感器的输出端与图像处理单元的输入端连接，所述图像处理单元按照权利要求1-8之一所述的图像处理方法对接收到的图像进行处理。

10.一种内窥镜系统，其特征在于，包括图像处理器和伸入人体或待测管道的图像传感器，所述图像处理器接收图像传感器输出的图像信号并按照权利要求1-8之一所述的图像处理方法进行处理。

Images