CN113744151A

CN113744151A - 待诊图像处理方法、装置、设备及存储介质

Info

Publication number: CN113744151A
Application number: CN202111015455.7A
Authority: CN
Inventors: 甘伟焜; 周宸; 陈远旭
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2021-12-03

Abstract

本发明涉及人工智能及数字医疗领域，提出一种待诊图像处理方法、装置、设备及存储介质，其中方法包括：通过获取拍摄的原始待诊图像，计算原始待诊图像的光照分量图像，然后校正光照分量图像得到校正待诊图像。由于对原始待诊图像进行光照校正，修正原始待诊图像的光照信息使之更均匀，最终得到符合诊断需求的图像，可以解决因为拍摄条件不同导致的图像质量参差不齐的问题，同时降低光影条件、摄像机硬件和操作技巧对诊断的影响，并修正光照使之更均匀，有助于提高数据处理准确率和处理效率。

Description

待诊图像处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及人工智能及数字医疗领域，尤其涉及一种待诊图像处理方法、装置、设备及存储介质。

背景技术

我国传统医学四诊"望、闻、问、切"中“望”是很重要的组成部分，望诊，顾名思义是观察患处的色泽、形态的变化来辅助诊断及鉴别的一种方法，传统的“望”诊是医生在医院现场查看患者的患处，根据观察到的患处状态进行诊断，如需后续治疗，依然需要患者去诊室现场让医生查看患处，患者后续就诊的成本较大。

现如今的移动互联网时代，随着人工智能以及图像处理技术的发展，对患者患病区域图像利用人工智能进行计算机图像处理，从而支持疾病辅助诊断、健康管理、远程会诊等功能。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。例如患者拍摄患处的图片发送给医生，用以进行远程诊断或者利用大数据进行计算机辅助诊断，具有就诊便捷性，同时降低就诊成本。计算机辅助数据处理一般通过医疗云、医疗平台、就医云、就诊云、就诊/问诊物联网等形式获取患者就诊相关信息，医生通过上述多种形式对患者进行在线问诊，并对整个就诊过程进行就诊管理、就诊监督、就诊监管、就诊数据综合管理等，其中就诊数据是医疗数据，包括就诊过程，个人健康档案、处方、检查报告等数据。

但是，由于患者自主拍摄的患处照片，其受到拍摄条件的影响，导致质量参差不齐，容易受到光影条件、摄像机硬件和操作技巧等因素的影响，使得拍摄的一些图像并不能满足医生诊断或者计算机辅助数据处理的要求。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供一种待诊图像处理方法、装置、设备及存储介质，能够有效提高待诊图像的质量，从而有助于提高数据处理准确率和处理效率，降低患者的就诊成本。

第一方面，本申请实施例提供一种待诊图像处理方法，所述方法包括：

获取拍摄的原始待诊图像；

根据颜色空间映射规则，将所述原始待诊图像映射到HSV颜色空间；

提取原始待诊图像在HSV颜色空间中的V通道图像；

对所述V通道图像进行滤波平均处理，得到光照分量图像；

根据所述V通道图像和所述光照分量图像进行校正得到所述校正待诊图像。

在一可选的实现方式中，所述对所述V通道图像进行滤波平均处理，得到光照分量图像包括：

选取不同的尺度因子构成多个不同的高斯滤波器；

分别利用多个所述高斯滤波器对所述V通道图像进行滤波得到多个第一光照分量图像；

对多个所述第一光照分量图像取平均得到所述光照分量图像。

在一可选的实现方式中，所述获取拍摄的原始待诊图像后，还包括：

获取所述原始待诊图像中患处的定位信息；

根据所述定位信息截取包含患处的最小矩形；

扩展所述最小矩形，以调整所述原始待诊图像的尺寸为统一尺寸。

在一可选的实现方式中，所述根据所述V通道图像和所述光照分量图像进行亮度校正得到所述校正待诊图像，包括：

获取所述光照分量图像的平均值，并根据所述平均值得到校正因子；

根据所述校正因子矫正所述V通道图像得到亮度校正V通道图像；

用所述亮度校正V通道图像替换所述V通道图像，并将替换后的HSV颜色空间的图像映射回RGB颜色空间得到所述校正待诊图像。

在一可选的实现方式中，所述根据所述平均值得到校正因子，包括：

根据所述平均值和第一关系式，计算得到校正因子；

所述第一关系式包括：

其中，r表示校正因子，m表示光照分量图像的平均值，L(x,y)表示光照分量图像；

所述根据所述校正因子矫正所述V通道图像得到亮度校正V通道图像表示为：

O(x,y)＝255×(F(x,y)/255)^r

其中，F(x,y)表示所述V通道图像，O(x,y)表示亮度校正V通道图像。

在一可选的实现方式中，还包括：

将所述校正待诊图像输入到预先训练好的诊断模型中进行分类处理，得到诊断数据。

在一可选的实现方式中，还包括：

对所述原始待诊图像或所述校正待诊图像进行模糊识别，以筛选出模糊图像；

剔除所述模糊图像。

在一可选的实现方式中，其中，模糊识别包括以下的一种或多种：散焦模糊识别和运动模糊识别；

所述散焦模糊识别，包括：

计算所述原始待诊图像或所述校正待诊图像的高频图像分量和低频图像分量；

根据所述高频图像分量和所述低频图像分量的占比小于第一预设阈值，识别所述原始待诊图像或所述校正待诊图像存在散焦模糊；

所述运动模糊识别，包括：

计算所述原始待诊图像或所述校正待诊图像对应的频域图像；

对所述频域图像进行Radon变换得到极值周期；

当所述极值周期小于第二预设阈值时，识别所述原始待诊图像或所述校正待诊图像存在运动模糊。

第二方面，本申请实施例提供一种待诊图像处理装置，包括：

原始待诊图像获取模块，用于获取拍摄的原始待诊图像；

颜色空间映射模块，用于根据颜色空间映射规则，将所述原始待诊图像映射到HSV颜色空间；

图像提取模块，用于提取原始待诊图像在HSV颜色空间中的V通道图像；

滤波平均模块，用于对所述V通道图像进行滤波平均处理，得到光照分量图像；

待诊图像校正模块，用于根据所述V通道图像和所述光照分量图像进行校正得到所述校正待诊图像。

第三方面，一种计算机设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器用于根据所述程序执行如第一方面中任一项所述的待诊图像处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行第一方面中任意一项所述的待诊图像处理方法。

本申请实施例第一方面提供的一种待诊图像处理方法，与相关技术相比，通过获取拍摄的原始待诊图像，计算原始待诊图像的光照分量图像，然后校正光照分量图像得到校正待诊图像。由于对原始待诊图像进行光照校正，修正原始待诊图像的光照信息使之更均匀，最终得到符合诊断需求的图像，可以解决因为拍摄条件不同导致的图像质量参差不齐的问题，同时降低光影条件、摄像机硬件和操作技巧对诊断的影响，并修正光照使之更均匀，有助于提高数据处理准确率和处理效率。

可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的示例性系统架构的示意图；

图2是本申请一个实施例提供的待诊图像处理方法的流程图；

图3是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图4a至图4b是本申请一个实施例提供的原始待诊图像示意图以及剪裁结果示意图；

图5是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图6是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图7是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图8a至图8c是本申请一个实施例提供的待诊图像处理方法的处理效果示意图；

图9是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图10是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图11a至11f是本申请一个实施例提供的正常图像、散焦模糊图像和运动模糊图像时频域示意图；

图12是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图13是本申请一个实施例提供的待诊图像处理方法的又一流程图；

图14a至14f是本申请一个实施例提供的Radon变换结果示意图；

图15是本申请一个实施例提供的待诊图像处理装置的结构框图；

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请实施例。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请实施例的描述。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

还应当理解，在本申请实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在中医学理论中，人体被认为是一个有机统一的整体，其每个部分的变化都与整体有着密不可分的关系。例如，中医认为舌头能够直观反映人体生理病变，例如在一定程度上能够反映气血津液、人之精气等内部脏腑的重要信息，因此在中医诊断中“舌诊”具有较为重要的地位，并且医生根据舌诊结论指导患者进行相关的处方用药以及病情预防。

随着图像处理技术、深度学习等人工智能技术的不断成熟，越来越多的计算机技术与医疗领域结合起来，对患者患病区域图像进行计算机图像处理，便于后续支持疾病辅助诊断、健康管理、远程会诊等功能。例如患者可以拍摄患处的图片发送给医生，用以进行远程诊断或者利用大数据进行计算机辅助诊断，就诊更加便捷，降低就诊成本。计算机辅助数据处理一般通过医疗云、医疗平台、就医云、就诊云、就诊/问诊物联网等形式获取患者就诊相关信息，医生通过上述多种形式对患者进行在线问诊，并对整个就诊过程进行就诊管理、就诊监督、就诊监管、就诊数据综合管理等，其中就诊数据是医疗数据，包括就诊过程，个人健康档案、处方、检查报告等数据。但是，由于患者自主拍摄的患处照片(例如舌头的照片)，其受到拍摄条件的影响，导致质量参差不齐，容易受到光影条件、摄像机硬件和操作技巧等因素的影响，使得拍摄的一些图像并不能满足医生诊断或者计算机辅助数据处理的要求，导致诊断效率较低，同时诊断结果有较大误差。

因此为了提高“望”诊的诊断准确率以及准确效率，利用计算机辅助处理患者自采患处图像显得尤为重要，采用图像处理和数据挖掘技术，对患处图像进行分析，为病情诊断提供参考依据，推动中医进一步发展。

本申请实施例提供了一种待诊图像处理方法、装置、处理器及存储介质，与相关技术相比，通过获取拍摄的原始待诊图像，计算原始待诊图像的光照分量图像，然后校正光照分量图像得到校正待诊图像。由于对原始待诊图像进行光照校正，修正原始待诊图像的光照信息使之更均匀，最终得到符合诊断需求的图像，可以解决因为拍摄条件不同导致的图像质量参差不齐的问题，同时降低光影条件、摄像机硬件和操作技巧对诊断的影响，并修正光照使之更均匀，有助于提高数据处理准确率和处理效率。

下文以“望”诊中典型的“舌诊”为例说明本申请的技术方案。

下面结合附图，对本申请实施例作进一步阐述。

图1示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构100可以包括终端设备(如图1中所示台式计算机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是其它的具有显示屏幕的终端设备等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

在本发明的一个实施例中，患者可以利用终端设备101(也可以是终端设备102或103)向服务器105上传原始待诊图像，该原始待诊图像可以包括不同病情状态、不同拍摄时间的患处照片集，也可以是单张照片。服务器105在获取到这些原始待诊图像之后，计算原始待诊图像的光照分量图像，然后校正光照分量图像得到校正待诊图像，修正原始待诊图像的光照信息使之更均匀，最终得到符合诊断需求的图像，为医生的临床诊断提供支持。避免由于拍摄条件不同导致的图像质量参差不齐的问题，同时降低光影条件、摄像机硬件和操作技巧对诊断的影响，并修正光照使之更均匀，有助于提高数据处理准确率和处理效率。

需要说明的是，本发明实施例所提供的待诊图像处理方法一般由服务器105执行，相应地，待诊图像处理装置一般设置于服务器105中。但是，在本发明的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本发明实施例所提供的待诊图像处理方案。

本申请实施例描述的系统架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。本领域技术人员可以理解的是，图1中示出的系统架构并不构成对本申请实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

基于上述系统架构，提出本申请实施例的待诊图像处理方法的各个实施例。

如图2所示，图2是本申请一个实施例提供的待诊图像处理方法的流程图，包括但不限于有步骤S110和步骤S150。

步骤S110，获取拍摄的原始待诊图像。

步骤S120，根据颜色空间映射规则，将原始待诊图像映射到HSV颜色空间；

步骤S130，提取原始待诊图像在HSV颜色空间中的V通道图像。

步骤S140，对V通道图像进行滤波平均处理，得到光照分量图像。

步骤S150，根据V通道图像和光照分量图像进行校正得到校正待诊图像。

在一实施例中，步骤S110中的原始待诊图像为患者自行采集并上传到服务器，以便医生或者计算机辅助诊断系统进行进一步的诊断。由于患者自主拍摄的患处照片(例如舌头的照片)，其容易受到光影条件、摄像机硬件和操作技巧等因素的影响，一般来说其拍摄的图像都需要进行对应的图像处理之后才能满足诊断的要求，因此需要经过步骤S120和步骤S150对其进行进一步处理得到校正待诊图像，以满足医生或者计算机辅助诊断系统的诊断要求。

针对上述相关技术中所存在的技术问题，在本实施例中，通过获取拍摄的原始待诊图像，计算原始待诊图像的光照分量图像，然后校正光照分量图像得到校正待诊图像。由于对原始待诊图像进行光照校正，修正原始待诊图像的光照信息使之更均匀，最终得到符合诊断需求的图像，可以解决因为拍摄条件不同导致的图像质量参差不齐的问题，同时降低光影条件、摄像机硬件和操作技巧对诊断的影响，并修正光照使之更均匀，有助于提高数据处理准确率和处理效率。

另外，在一实施例中，参照图3，执行步骤S110之后可以包括但不限于有以下步骤：

步骤S111，获取原始待诊图像中患处的定位信息。

在一实施例中，例如患处为舌头，利用神经网络构建舌头位置识别模型，利用大量的训练数据集对其进行训练，输出舌头的定位信息(例如一些定位点的坐标信息)，即利用预先训练好的患处位置识别模型，输入原始待诊图像，输出得到患处的定位信息。现有的多数神经网络模型均可以实现该识别功能，其训练方法也属于常规技术，在此对该模型的构建以及训练过程不再赘述。

步骤S112，根据定位信息截取包含患处的最小矩形。

步骤S113，扩展最小矩形，以调整原始待诊图像的尺寸为统一尺寸。

在一实施例中，患者采集的原始待诊图像中包含舌头区域，但是不能保证舌头位于图像中的位置是否合理。参照图4a，为一患者发送的包含舌头的原始待诊图像，可见该图像中舌头的位置并不在图像中央。一般来说，为了减少图像中背景噪音(例如舌头以外大部分区域)的影响，需要对其进行裁剪得到合适的图像尺寸，一种裁剪结果如图4b所示。

在一实施例中，参照图5，步骤S112包括但不限于有以下步骤：

步骤S1121，定位信息为坐标信息，根据坐标信息截取包含患处的最小矩形。

在一实施例中，参照图4a，获取原始待诊图像中患处的定位信息，其中，定位信息为坐标信息，例如为最小矩形的某一个角的角坐标信息，根据坐标信息截取包含患处的最小矩形。

可以通过[x,y,w,h]来表示该最小矩形，其中(x,y)表示该角坐标信息，w表示最小矩形的宽度，h表示最小矩形的高度，角坐标信息可以是左上角坐标、右上角坐标、左下角坐标和右下角坐标中任一种，根据选择的角坐标位置，对应调整最小矩形的宽度和最小矩形的高度。如图4a中已标记出该原始待诊图像中包含患处的最小矩形示意图。

在一实施例中，步骤S113，扩展最小矩形，以调整原始待诊图像的尺寸为统一尺寸具体实施方法如下所述。

如图4b所示，扩展该最小矩形得到调整后的原始待诊图像的尺寸，例如根据像素Smin扩展得到的矩形框包含舌头和周围图像，向舌头外区域扩大Smin像素截取图像。由于患者使用不同移动设备拍摄图像的像素和拍摄距离各不相同，因此针对每个原始待诊图像的最小矩形，改变像素Smin的大小，调整原始待诊图像的尺寸为统一尺寸，以使得不同参数的图像具备统一的尺寸，便于后续分析。

另外，在一实施例中，对上述步骤S120根据颜色空间映射规则，将原始待诊图像映射到HSV颜色空间进行详细描述。

在一实施例中，患者上传的原始待诊图像都是RBG格式图像。

RGB颜色空间，即由红色(R)，绿色(G)和蓝色(B)三个颜色通道表示一幅图像，这三种颜色的不同组合可以形成几乎所有的其他颜色。RGB颜色空间是图像处理中最基本、最常用、面向硬件的颜色空间，RGB颜色空间利用三个颜色分量的线性组合来表示颜色，任何颜色都与这三个分量有关，而且这三个分量是高度相关的，所以连续变换颜色时并不直观，想对图像的颜色进行调整需要更改这三个分量才行。

患者在自然环境下获取的原始待诊图像容易受自然光照、遮挡和阴影等情况的影响，即该原始待诊图像对亮度比较敏感。而RGB颜色空间的三个分量都与亮度密切相关，即只要亮度改变，三个分量都会随之相应地改变，所以，RGB颜色空间适合于显示系统，却并不适合于图像处理。因此本实施例进行颜色空间映射，将原始待诊图像从RGB颜色空间映射到HSV颜色空间。

本实施例选用在图像处理中使用较多的是HSV颜色空间，能够直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。在HSV颜色空间下，比BGR更容易跟踪某种颜色的物体，常用于分割指定颜色的物体。

HSV颜色空间由三个部分组成，分别是：Hue(色调、色相)、Saturation(饱和度、色彩纯净度)、Value(明度)。用一个圆柱体来表示HSV颜色空间，该圆柱体的横截面可以看作是一个极坐标系，H用极坐标的极角表示，S用极坐标的极轴长度表示，V用圆柱中轴的高度表示。

其中色调H用角度度量，取值范围为0～360°，表示色彩信息，即所处的光谱颜色的位置。例如Hue＝0表示红色，Hue＝120表示绿色，Hue＝240表示蓝色等。HSV圆柱体的半边横截面水平方向表示饱和度S，饱和度表示颜色接近光谱色的程度。饱和度越高，说明颜色越深，越接近光谱色饱和度越低，说明颜色越浅，越接近白色。饱和度为0表示纯白色。取值范围为0～100％，值越大，颜色越饱和。竖直方向表示明度V，明度决定颜色空间中颜色的明暗程度，明度越高，表示颜色越明亮，范围是0-100％。明度为0表示纯黑色(此时颜色最暗)。

HSV颜色空间是一种比较直观的颜色模型，可以很轻松地得到单一颜色，因此本实施例中选择该颜色空间进行后续图像处理。两个颜色空间之间存在对应的映射转化关系。

具体的映射转换公式表示为：

V＝Max

Max＝max(R,G,B),Min＝min(R,G,B)

步骤S130，提取原始待诊图像在HSV颜色空间中的V通道图像(即上述HSV颜色空间中明度通道图像)。

另外，在一实施例中，参照图6，步骤S140包括但不限于有以下步骤：

步骤S1401，选取不同的尺度因子构成多个不同的高斯滤波器。

步骤S1402，分别利用多个高斯滤波器对所V通道图像进行滤波得到多个第一光照分量图像。

步骤S1403，对多个第一光照分量图像取平均得到光照分量图像。

在一实施例中，由于HSV颜色空间中V通道受光照影响最大，因此在V通道估计图像光照情况，提取V通道图像，记为F(x,y)，光照分量图像记为L(x,y)，其中x、y表示像素坐标，由于光照信息体现在图像中为低频分量，选择高斯滤波估计V通道图像的光照特性，表示为：

L'(x,y)＝G(x,y)*F(x,y)

其中，L'(x,y)表示第一光照分量图像，G(x,y)为高斯滤波器，满足条件：∫∫G(x,y)dxdy＝1。

进一步地，高斯滤波器函数表示为：

其中，c为上述高斯滤波器函数的尺度因子。

在一实施例中，滤波平均处理具体是：

设参数σ，则上述尺度因子c对应σ取多个不同的值构成多个高斯滤波器，然后将不同高斯滤波器的滤波结果取平均得到光照分量图像，即对不同的第一光照分量图像L'(x,y)取平均得到光照分量图像L(x,y)，利用多个不同尺度因子对应的高斯滤波器，得到结果后进行平均处理，能够提高处理准确度。

在一实施例中，参数σ的取值如下：

尺度因子c对应σ取三个不同的值，

c＝2σ、c＝3σ，构成三个不同的高斯滤波器。

另外，在一实施例中，参照图7，步骤S150包括但不限于有以下步骤：

步骤S1501，获取光照分量图像的平均值m，并根据平均值m得到校正因子r。

步骤S1502，根据校正因子r矫正V通道图像得到亮度校正V通道图像O(x,y)。

步骤S1503，用亮度校正V通道图像O(x,y)替换V通道图像F(x,y)，并将替换后的HSV颜色空间的图像映射回RGB颜色空间得到校正待诊图像。

在一实施例中，利用Gamma变换的方式来调整光照信息，具体是调节亮度。Gamma变换用来图像增强，提升暗部细节，简单来说就是通过非线性变换，让图像从曝光强度的线性响应变得更接近人眼感受的响应，即将漂白(相机曝光)或过暗(曝光不足)的图片，进行矫正。达到的效果是使原来亮度高的区域亮度降低，亮度低的区域亮度升高，使得整个图像的亮度较为均衡。

在一实施例中，步骤S1501中根据平均值得到校正因子，包括：

根据平均值和第一关系式，计算得到校正因子；

其中，第一关系式包括：

其中，r表示校正因子，m表示光照分量图像的平均值，L(x,y)表示光照分量图像。

得到校正因子r之后，矫正V通道图像得到亮度校正V通道图像O(x,y)，表示为：

O(x,y)＝255×(F(x,y)/255)^r

然后用亮度校正V通道图像O(x,y)替换V通道图像F(x,y)，将替换后的HSV颜色空间的图像根据映射关系重新映射回RGB颜色空间，得到校正待诊图像。

参考图8a至图8c，示意了上述待诊图像处理方法的处理效果，图8a为原始待诊图像，图8b为光照分量图像，图8c为校正待诊图像，由这三副图可见，经过本实施例的待诊图像处理方法之后的校正待诊图像其亮度较原始待诊图像而言，原始待诊图像中亮度高的区域亮度降低，亮度低的区域亮度升高，整个图像的亮度较为均衡。

另外，在一实施例中，参照图9，执行完上述S110至S150之后，还进一步包括但不限于有以下步骤：

步骤S160，得到校正待诊图像后，将其输入到预先训练好的诊断模型中进行分类处理，得到患者的诊断数据。

在一实施例中，随着图像处理技术、深度学习等人工智能技术的不断成熟，将计算机技术与医疗领域结合起来，例如利用神经网络构建诊断模型(例如舌诊分类模型)，利用大量的训练数据集对其进行训练，输出诊断结果(例如舌诊分类模型中输出常见的舌诊结论)，即利用预先训练好的诊断模型，输入校正待诊图像，输出得到患处图像对应的疾病类别。现有的多数神经网络模型均可以实现该识别并分类的功能，其训练方法也属于常规技术，在此对该模型的构建以及训练过程不再赘述。

另外，在一实施例中，参照图10，执行完上述S110至S150之后，还进一步包括但不限于有以下步骤：

步骤S170，对原始待诊图像或所述校正待诊图像进行模糊识别，以筛选出模糊图像，并剔除模糊图像，其中模糊识别包括：散焦模糊识别和运动模糊识别。

在一实施例中，若对原始待诊图像进行模糊识别并剔除模糊图像，则步骤S170位于步骤S110之后；若对校正待诊图像进行模糊识别并剔除模糊图像，则步骤S170位于步骤S150之后。其目的都是为了剔除模糊图像，减少不良样本数量，进一步提高计算机辅助诊断的可靠性，并降低医生诊断的工作量。

参考图11a至图11f，为正常图像、散焦模糊图像和运动模糊图像时频域示意图。图11a为正常图像，即未发生模糊，图11d为其对应的频域图像，图11b为发生散焦模糊的图像，图11e为其对应的频域图像，图11c为发生运动模糊的图像，图11f为其对应的频域图像。本实施例根据频域图像的特征进行后续的模糊识别。

另外，在一实施例中，参照图12，步骤S170中散焦模糊识别包括但不限于有以下步骤：

步骤S1701，计算原始待诊图像或校正待诊图像的高频图像分量和低频图像分量。

步骤S1702，根据高频图像分量和低频图像分量的占比小于第一预设阈值m1，识别原始待诊图像或校正待诊图像存在散焦模糊。

在一实施例中，散焦模糊通俗来说就是拍摄的照片对焦效果不好或没有正确对焦，导致图像不清晰，影响拍摄图像的质量。发生散焦模糊的图像，其频域特征表现为低频分量较多，高频分量较少，因此本实施例通过计算原始待诊图像或校正待诊图像的高频图像分量和低频图像分量，判断高频图像分量和低频图像分量的占比，如果该高频分量和低频分量的占比小于第一预设阈值时，就判断原始待诊图像或校正待诊图像存在散焦模糊。

具体的，假设x、y分别表示原始待诊图像或校正待诊图像的频谱像素点坐标，低频宽度为W，图像大小为N*M，N表示图像宽边的像素数，M表示图像长边的像素数，则判断以下条件：

满足上述条件的像素为低频分量SumL，对应的其他区域为高频分量SumH。

在一实施例中，设定条件：W＝N/10。

其中高频分量和低频分量的占比表示为：B＝SumH/SumL，第一预设阈值表示为m1，则满足条件：B＜m1，则判断原始待诊图像或校正待诊图像存在散焦模糊，其中第一预设阈值m1可以取经验值或者利用多个不同散焦模糊的数据集训练得到。

另外，在一实施例中，参照图13，步骤S170中运动模糊识别包括但不限于有以下步骤：

步骤1703，计算原始待诊图像或校正待诊图像对应的频域图像；

步骤1704，对频域图像进行Radon变换得到极值周期；

步骤1705，当极值周期小于第二预设阈值m2时，识别原始待诊图像或校正待诊图像存在运动模糊。

在一实施例中，运动模糊是指在拍摄图像过程中，拍摄对象和相机发生了相对运动。是比较常见的一种模糊现象，患者拍摄上传的原始待诊图像有一定概率出现该种模糊，因此有必要进行模糊识别并剔除模糊图像。

例如近似匀速运动的物体拍摄的一幅图像表示为f(x,y)，x₀(t)和y₀(t)分别表示物体在x方向和y方向的运动分量，T表示拍摄时的曝光时长，a，b分别表示物体在水平方向和垂直方向的运动距离，忽略其他的影响因素，则实际采集到的发生运动模糊的图像g(x,y)表示为：

对上式进行傅里叶变换，表示为：

则上式右边的积分部分为运动模糊图像的模糊分量。

设图像大小为N*M，离散化模糊分量即得到模糊分量的频域，表示为：

由上式可见，其频谱的幅度分量为sinc函数，具有周期规律。根据傅里叶变换的性质，运动模糊的图像等于正常图像在频域上乘以模糊分量的频域H(μ,v)，因此本实施例利用傅里叶变换的周期性识别运动模糊。

进一步地，参照上述散焦模糊中获取高频分量的方法，提取出高频分量部分，并对该高频分量部分使用Radon变换，找到最大值的位置，即得到频谱途中亮线的倾斜角度θ和距离P。

Radon变换又称拉东变换，将数字图像矩阵在某一指定角度射线方向上做投影变换，具体操作时，在任意直线上对图像进行积分，可以不断旋转图像，沿固定坐标轴对积分进行求和。可用来检测图像里面含有的直线成分，很显然地，任何直线都会导致Radon变换后图像在该直线对应处出现极值，可以理解为图像在(P,θ)空间的投影，(P,θ)空间的每一点对应一条直线，而Radon变换是图像像素点在每一条直线上的积分，因此图像中高灰度值的直线会在(P,θ)空间形成亮点，而低灰度值的线段在(P,θ)空间形成暗点。将对直线的检测转化为在变换区域对亮点、暗点的检测。

Radon变换具体表示为：

根据Radon变换结果对变换区域根据灰度值形成极值位置变换结果，根据极值位置计算得到极值周期。

参考图14a至图14f，为Radon变换结果示意图。图14a为正常图像频谱，图14b为其对应的Radon变换图像，图14c为其对应的极值位置变换结果，图14d为运动模糊图像的频谱，图14e为其对应的Radon变换图像，图14f为其对应的极值位置变换结果。

具体是：对频域图像Radon变换，根据极值位置变换结果找变换的最大值点，取最大值点处的列向量Vmax(参考图14c或图14f)，然后对该列向量利用大津法(即OTSY算法，对基于聚类的图像进行二值化，将灰度图像退化为二值图像，用于自适应确定阈值)取较大值部分(参考图14c或图14f中峰值附近区域)，从最大值处向两端分别找极大极小值，计算分别计算极大值、极小值的周期，根据两周期差即得到极值周期。

当极值周期小于第二预设阈值m2时，存在周期性，因此识别原始待诊图像或校正待诊图像存在运动模糊。其中第二预设阈值m2可以取经验值或者利用多个不同散焦模糊的数据集训练得到。

本申请实施例提供了一种待诊图像处理方法，通过获取拍摄的原始待诊图像，计算原始待诊图像的光照分量图像，然后校正光照分量图像得到校正待诊图像。由于对原始待诊图像进行光照校正，修正原始待诊图像的光照信息使之更均匀，最终得到符合诊断需求的图像，可以解决因为拍摄条件不同导致的图像质量参差不齐的问题，同时降低光影条件、摄像机硬件和操作技巧对诊断的影响，并修正光照使之更均匀，有助于提高数据处理准确率和处理效率。

另外，本申请实施例的一个实施例还提供了一种待诊图像处理装置，参照图15，装置包括：

原始待诊图像获取模块151，用于获取拍摄的原始待诊图像；

颜色空间映射模块152，用于根据颜色空间映射规则，将原始待诊图像映射到HSV颜色空间；

图像提取模块153，用于提取原始待诊图像在HSV颜色空间中的V通道图像；

滤波平均模块154，用于对V通道图像进行滤波平均处理，得到光照分量图像；

待诊图像校正模块155，用于根据V通道图像和光照分量图像进行校正得到校正待诊图像。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，本申请实施例的一个实施例还提供了计算机设备，计算机设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的待诊图像处理方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的待诊图像处理方法，例如，执行以上描述的图2中的方法步骤S110至S150、图3中的方法步骤S111至S112等。

此外，本申请实施例的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述计算机设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的待诊图像处理方法，例如，执行以上描述的图2中的方法步骤S110至S150、图3中的方法步骤S111至S112等。

又如，被上述计算机设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的待诊图像处理方法，例如，执行以上描述的图2中的方法步骤S110至S150、图3中的方法步骤S111至S112等。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims

1.一种待诊图像处理方法，其特征在于，包括：

获取拍摄的原始待诊图像；

提取原始待诊图像在HSV颜色空间中的V通道图像；

对所述V通道图像进行滤波平均处理，得到光照分量图像；

根据所述V通道图像和所述光照分量图像进行校正得到校正待诊图像。

2.根据权利要求1所述的待诊图像处理方法，其特征在于，所述对所述V通道图像进行滤波平均处理，得到光照分量图像，包括：

选取不同的尺度因子构成多个不同的高斯滤波器；

3.根据权利要求1所述的待诊图像处理方法，其特征在于，所述获取拍摄的原始待诊图像后，还包括：

获取所述原始待诊图像中患处的定位信息；

根据所述定位信息截取包含患处的最小矩形；

4.根据权利要求1所述的待诊图像处理方法，其特征在于，所述根据所述V通道图像和所述光照分量图像进行亮度校正得到所述校正待诊图像，包括：

获取所述光照分量图像的平均值；

根据所述平均值得到校正因子；

5.根据权利要求4所述的待诊图像处理方法，其特征在于，所述根据所述平均值得到校正因子，包括：

根据所述平均值和第一关系式，计算得到校正因子；

所述第一关系式包括：

O(x,y)＝255×(F(x,y)/255)^r

6.根据权利要求1-5任一项所述的待诊图像处理方法，其特征在于，还包括：

7.根据权利要求1-5任一项所述的待诊图像处理方法，其特征在于，还包括：

剔除所述模糊图像。

8.根据权利要求7所述的待诊图像处理方法，其特征在于，其中，模糊识别包括以下的一种或多种：散焦模糊识别和运动模糊识别；

所述散焦模糊识别，包括：

所述运动模糊识别，包括：

对所述频域图像进行Radon变换得到极值周期；

9.一种待诊图像处理装置，其特征在于，包括：

原始待诊图像获取模块，用于获取拍摄的原始待诊图像；

10.一种计算机设备，其特征在于，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器用于根据所述程序执行如权利要求1至8中任一项所述的待诊图像处理方法。

11.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至8中任意一项所述的待诊图像处理方法。