CN115661187B - 用于中药制剂分析的图像增强方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种用于中药制剂分析的图像增强方法，该方法采集自动炒药锅中的药材图像得到对应的梯度图像，以将像素点划分为背景像素点、弱梯度像素点和强梯度像素点；基于弱梯度像素点和强梯度像素点获取连通域；利用连通域的模糊程度对传统SLIC超像素分割中每个像素点与种子点之间的距离进行校正得到校正距离，基于校正距离进行超像素分割，得到分割图像；利用分割图像训练语义分割网络，以根据训练好的语义分割网络得到药材炒制状态的监测信息。本发明利用优化分割效果后的分割图像对语义分割网络进行训练，提高了利用训练好的语义分割网络获取药材炒制状态的监测信息的准确性。

Description

用于中药制剂分析的图像增强方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种用于中药制剂分析的图像增强方法。

背景技术

在中药制剂分析场景中，需要将中药进行炒制，炒制到达药材的炒制标准之后再对中药进行制剂分析。在使用自动炒药锅进行中药炒制时，为了实时自动检测中药炒制的状态，可以在炒药锅上方架设相机，利用相机获取中药炒制过程中的实时图像，通过图像信息获取药材的炒制状态。

现有技术中通常对采集的图像进行超像素分割以获取药材的超像素块，以图像中每个药材的超像素块作为监测信息，且在传统的SLIC超像素分割中，通过颜色空间距离与图像空间距离衡量像素点与种子点（SLIC中的聚类中心点）之间的距离，从而实现超像素块的分割。但在实际监测中，自动炒药锅在炒药的翻动过程中会因为药材的晃动而导致采集的图像有部分区域模糊的情况，在出现图像模糊的情况时，超像素块中会形成较大的分割偏差，即难以在图像中准确划分药材轮廓，从而使得监测信息出现误差，这些误差会导致分析的药材炒制状态不达标。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种用于中药制剂分析的图像增强方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种用于中药制剂分析的图像增强方法，该方法包括：

采集自动炒药锅中的药材图像，获取所述药材图像对应的梯度图像；

基于梯度图像中每个像素点的灰度值将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点；基于梯度图像中的弱梯度像素点和强梯度像素点进行连通域分析，得到至少两个连通域；根据连通域的相邻边缘像素点之间的斜率计算每个连通域的轮廓复杂程度；统计每个连通域内的像素点数量，结合每个连通域的像素点数量和对应的轮廓复杂程度计算对应连通域的模糊程度；

将每个连通域的模糊程度赋值给所述药材图像中对应的每个像素点，进而得到所述药材图像中每个像素点的模糊程度；利用传统SLIC超像素分割得到每个像素点与种子点之间的距离，利用像素点的模糊程度对距离进行校正得到校正距离，基于校正距离对所述药材图像进行超像素分割，得到对应的分割图像；

对分割图像中的每个超像素块设置标签，利用设置标签后的分割图像训练语义分割网络，将采集的实时药材图像的分割图像输入训练好的语义分割网络中得到药材炒制状态的监测信息。

进一步的，所述根据连通域的相邻边缘像素点之间的斜率计算每个连通域的轮廓复杂程度的方法，包括：

根据连通域的每个边缘像素点的坐标计算相邻边缘像素点之间的斜率，得到每个连通域的斜率集合；基于斜率集合获取每种斜率的出现概率，根据每种斜率的出现概率计算信息熵作为对应连通域的轮廓复杂程度。

进一步的，所述结合每个连通域的像素点数量和对应的轮廓复杂程度计算对应连通域的模糊程度的方法，包括：

将每个连通域的像素点数量和轮廓复杂程度分别输入以自然常数e为底数的指数函数中，对应得到的指数函数结果作为第一结果和第二结果；

分别令所有连通域的第一结果相加得到第一结果总和、第二结果相加得到第二结果总和；将任意一个连通域的第一结果为分子、第一结果总和为分母得到第一比值，且将该连通域的第二结果为分子、第二结果总和为分母得到第二比值，将常数1减去第二比值的结果与第一比值相乘得到对应连通域的模糊程度。

进一步的，所述利用像素点的模糊程度对距离进行校正得到校正距离的方法，包括：

计算预设值和像素点的模糊程度之间的相加结果，将相加结果与距离之间的相乘结果作为对应像素点与种子点之间的校正距离。

进一步的，所述背景像素点、弱梯度像素点和强梯度像素点的划分方法，包括：

基于像素点的灰度值利用K-means聚类将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点。

进一步的，所述对分割图像中的每个超像素块设置标签的方法，包括：

能够作为药材炒作状态的监测信息的超像素块设置标签为0，不能够作为药材炒作状态的监测信息的超像素块设置标签为1。

本发明具有如下有益效果：本发明采集自动炒药锅中的药材图像，由于梯度特征能够体现图像的清晰与模糊情况，因此获取药材图像的梯度图像；为了准确对药材进行划分，根据梯度图像中每个像素点的灰度值将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点；基于弱梯度像素点和强梯度像素点进行连通域分析得到对应的连通域，根据药材细节上的梯度特征点行程的连通域面积大且轮廓不规则的特点，利用连通域的相邻边缘像素点之间的斜率计算连通域的轮廓复杂程度，进而结合连通域内的像素点数量得到准确的模糊程度，避免了仅通过连通域的面积特征而导致的模糊程度的判断错误；将每个连通域的模糊程度赋值给药材图像中对应的每个像素点，以作为每个像素点与种子点之间的距离的校正系数，利用模糊程度得到超像素分割过程中每个像素点与种子点之间的校正距离，以通过对距离的校正增大了模糊边缘像素点与药材区域之间的距离区分，进而基于校正距离对药材图像进行超像素分割，得到优化分割效果后的分割图像，实现了分割效果的增强；利用分割图像对语义分割网络进行训练，使得训练结果更加严谨和准确，进而提高了利用训练好的语义分割网络获取药材炒制状态的监测信息的准确性，减少了对药材炒作状态的分析误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种用于中药制剂分析的图像增强方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于中药制剂分析的图像增强方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例所针对的具体场景为：在中药制剂分析的过程中需要在分析前对中药药材进行炒制，使得药材中的有效成分便于提取。在使用自动炒药锅进行药材炒制时，为监测药材的炒制信息，需要在自动炒药锅上方架设相机以通过采集图像获取药材炒制信息，即对于药材的炒制程度可以通过药材的颜色信息和形态信息进行判断，但是在图像中因为药材的翻动会出现动态模糊区域，因此为了保证监测信息的准确性，本发明通过优化超像素分割时的距离来增强分割图像的分割结果。

下面结合附图具体的说明本发明所提供的一种用于中药制剂分析的图像增强方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种用于中药制剂分析的图像增强方法的步骤流程图，该方法包括：

步骤S001，采集自动炒药锅中的药材图像，获取药材图像对应的梯度图像。

具体的，本发明在自动炒药锅上方架设相机，利用相机采集自动炒药锅中的药材图像，通过Sobel算子对药材图像进行滤波处理以获取对应的梯度图像。

需要说明的是，梯度特征可以体现出图像的清晰与模糊情况，后续过程中通过梯度图像中的梯度特征进行区域的分割，以准确判断炒制过程中药材的颜色信息。

步骤S002，基于梯度图像中每个像素点的灰度值将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点；基于梯度图像中的弱梯度像素点和强梯度像素点进行连通域分析，得到至少两个连通域；根据连通域的每个边缘像素点的坐标计算相邻边缘像素点之间的斜率，得到每个连通域的斜率集合，基于斜率集合计算每个连通域的轮廓复杂程度；统计每个连通域内的像素点数量，结合每个连通域的像素点数量和对应的轮廓复杂程度计算对应连通域的模糊程度。

具体的，本发明想通过梯度图像确定梯度图像中的梯度特征点。因为当药材图像中存在模糊区域时，模糊区域对应的梯度特征点会呈现出连通域面积较大的区域，所以可以通过这个特征计算每个像素点的模糊程度，进而通过模糊程度对传统SLIC超像素分割过程中的距离进行校正，以获取模糊优化的分割结果。

在梯度图像中灰度值高的像素点就是原图像中相邻像素点的灰度值差异大的点，本发明期望可以将梯度图像中灰度值趋于0的像素点划分为一类，将大于0但又不是很显著的像素点划分为一类，将灰度值最高的像素点划分为一类，因此本发明实施例基于梯度图像中每个像素点的灰度值，利用K-means聚类算法将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点，其中K=3。

对于炒药锅内的药材图像，本发明中以苍耳子为例，在实际使用中本发明所述特征皆为需炒制的药材共有特征，苍耳子的梯度特征点的模糊程度由如下几个方面决定：对于所有梯度特征点，即弱梯度像素点和强梯度像素点，当梯度特征点形成的连通域面积大时，也即连通域包含像素点数量多，该连通域的模糊程度就比较大，因为药材原因，药材图像中细节形成的梯度特征点也可能会形成面积大的连通域，所以在连通域面积的基础上通过连通域轮廓形状对像素点的模糊程度进行衡量；在炒药锅内的药材图像中，模糊区域的梯度特征点对应的连通域面积大，并且连通域的轮廓上相邻两点形成的斜率较为规则，而药材细节上梯度特征点形成的大面积连通域的轮廓上相邻两点的斜率会更不规则，故根据这上述两部分特征分析模糊程度，具体如下：

基于梯度图像中的弱梯度像素点和强梯度像素点进行连通域分析，得到至少两个连通域。根据连通域的每个边缘像素点的坐标计算相邻边缘像素点之间的斜率，得到每个连通域的斜率集合，基于斜率集合获取每种斜率的出现概率，根据每种斜率的出现概率计算信息熵作为对应连通域的轮廓复杂程度。

作为一个示例，第i个连通域的轮廓复杂程度

的计算公式如下：

其中，

为斜率集合中第m种斜率的出现概率；

表示不同种斜率的数量；

为常数2为底数的对数函数。

需要说明的是，轮廓复杂程度的计算公式的逻辑是通过信息熵的计算方法来衡量连通域的轮廓所对应的斜率混乱程度，其轮廓复杂程度越大，表示连通域的形状越复杂，也即是斜率的种类出现越多，且对应出现概率越小，其轮廓复杂程度越大。

利用轮廓复杂程度的计算公式获取每个连通域的轮廓复杂程度，同时，统计每个连通域内的像素点数量，将每个连通域的像素点数量和轮廓复杂程度分别输入以自然常数e为底数的指数函数中，对应得到的指数函数结果作为第一结果和第二结果；分别令所有连通域的第一结果相加得到第一结果总和、第二结果相加得到第二结果总和；将任意一个连通域的第一结果为分子、第一结果总和为分母得到第一比值，且将该连通域的第二结果为分子、第二结果总和为分母得到第二比值，将常数1减去第二比值的结果与第一比值相乘得到对应连通域的模糊程度。

作为一个示例，第i个连通域的模糊程度

的计算公式如下：

其中，

为第i个连通域内的像素点数量；

为自然常数；

为连通域的数量；

为第i个连通域的轮廓复杂程度。

需要说明的是，根据药材图像中面积大并且连通域轮廓平稳的连通域更有可能为模糊区域的特点，通过梯度特征点形成的连通域内的像素点数量以及其轮廓复杂程度对相对应的连通域的模糊程度进行表征；连通域内的像素点数量越多，说明连通域的面积越大，该连通域越有可能为模糊区域，对应模糊程度越大；而连通域的轮廓复杂程度越大，越有可能为清晰区域，对应连通域的模糊程度越小；为了避免因为药材细节形成的梯度特征点导致连通域面积增大而导致模糊程度判断错误，又结合所有连通域进行归一化对比，使得模糊程度可以作为模糊区域的校正系数。

步骤S003，将每个连通域的模糊程度赋值给药材图像中对应的每个像素点，进而得到药材图像中每个像素点的模糊程度；利用传统SLIC超像素分割得到每个像素点与种子点之间的距离，利用像素点的模糊程度对距离进行校正得到校正距离，基于校正距离对药材图像进行超像素分割，得到对应的分割图像。

具体的，利用步骤S002的方法，获取每个连通域的模糊程度。在获取到每个连通域的模糊程度之后，将连通域的模糊程度赋给连通域中的每个梯度特征点，由于每一个梯度特征点在药材图像中都对应着一个像素点，因此将每个连通域的模糊程度赋值给药材图像中对应的每个像素点，其他像素点的模糊程度设置为0，进而得到药材图像中每个像素点的模糊程度。

因为模糊程度是根据梯度特征点的分布特征获取的，因此基于药材图像中的每个像素点的模糊程度，对传统SLIC超像素分割的过程中每个像素点与种子点之间的距离进行校正，其中传统SLIC超像素分割的过程中每个像素点与种子点之间的距离考虑了空间距离与颜色距离，颜色距离是指像素点与种子点

在颜色空间的距离，将颜色空间距离记为

，而空间距离是指图像中像素点与种子点通过坐标计算的欧式距离，将空间距离记为

，具体的，传统SLIC超像素分割的过程中每个像素点与种子点之间的距离

的计算公式为：

其中，

，

为药材图像中的像素点数量，

为设定的超像素块数量；

为最大颜色空间距离，即在颜色空间中两点之间的最大距离。

在传统SLIC超像素分割对距离的衡量过程中未考虑到图像出现模糊时，因为模糊导致的像素点的颜色空间距离误差导致对于模糊像素点的超像素块分割异常，因此通过像素点的模糊程度对药材图像的超像素分割结果进行增强，以达到对分割图像的增强作用，具体为：计算预设值和像素点的模糊程度之间的相加结果，将相加结果与距离之间的相乘结果作为对应像素点与种子点之间的校正距离，基于校正距离对药材图像进行超像素分割，得到对应的分割图像。

作为一个示例，校正距离的计算公式为：

其中，

为第i个像素点对应的校正距离；

为第i个像素点校正前的距离；

为预设值；

为第i个像素点的模糊程度。

需要说明的是，通过像素点的模糊程度对传统SLIC超像素分割过程中的距离进行衡量，利用模糊程度增大距离使得模糊边缘像素点与药材主体区域进行距离区分，通过加大差异使得超像素分割结果更加准确，像素点相较于清晰区域的差异缺失程度越大，对应模糊程度越大，对应校正距离越大。

步骤S004，对分割图像中的每个超像素块设置标签，能够作为药材炒作状态的监测信息的超像素块设置标签为0、不能够作为药材炒作状态的监测信息的超像素块设置标签为1；利用设置标签后的分割图像训练语义分割网络，将采集的实时药材图像的分割图像输入训练好的语义分割网络中得到药材炒制状态的监测信息。

具体的，利用步骤S003的方法，获取到了边缘增强后的分割图像，后续则根据优化的超像素分割结果获取药材图像对应的炒制过程中的监测信息。

本发明通过分割图像训练语义分割网络，利用训练好的语义分割网络中实时获取药材炒制状态的监测信息，其中语义分割网络为Unet网络，语义分割网络的训练内容包括：获取满足语义分割网络训练的数据集，数据集是由多帧药材图像的分割图像所构成的；语义分割网络的输入为分割图像，输出为分割图像中每个超像素块的分类结果；人为对分割图像中的每个超像素块设置标签，能够作为药材炒作状态的监测信息的超像素块设置标签为0、不能够作为药材炒作状态的监测信息的超像素块设置标签为1；由于是分类任务，利用交叉熵损失函数来监督训练。

需要说明的是，Unet网络为公知技术，具体训练过程不再赘述。

语义分割网络训练完成后，将采集的实时药材图像的分割图像输入训练好的语义分割网络中，得到分割图像中每个超像素块的分类结果，也即是能够作为药材炒作状态的监测信息对应的标签0、不能够作为药材炒作状态的监测信息对应的标签1，进而得到了自动炒药锅的药材炒制状态的监测信息。

综上所述，本发明实施例采集自动炒药锅中的药材图像得到对应的梯度图像；基于梯度图像中每个像素点的灰度值将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点；基于梯度图像中的弱梯度像素点和强梯度像素点进行连通域分析得到连通域；获取连通域的模糊程度以赋值给药材图像中对应的每个像素点；利用像素点的模糊程度对传统SLIC超像素分割中每个像素点与种子点之间的距离进行校正得到校正距离，基于校正距离对所述药材图像进行超像素分割，得到对应的分割图像；对分割图像中的每个超像素块设置标签，能够作为药材炒作状态的监测信息的超像素块设置标签为0、不能够作为药材炒作状态的监测信息的超像素块设置标签为1；利用设置标签后的分割图像训练语义分割网络，将采集的实时药材图像的分割图像输入训练好的语义分割网络中得到药材炒制状态的监测信息。本发明利用优化分割效果后的分割图像对语义分割网络进行训练，提高了利用训练好的语义分割网络获取药材炒制状态的监测信息的准确性，减少了对药材炒作状态的分析误差。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种用于中药制剂分析的图像增强方法，其特征在于，该方法包括以下步骤：

采集自动炒药锅中的药材图像，获取所述药材图像对应的梯度图像；

基于梯度图像中每个像素点的灰度值将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点；基于梯度图像中的弱梯度像素点和强梯度像素点进行连通域分析，得到至少两个连通域；根据连通域的相邻边缘像素点之间的斜率计算每个连通域的轮廓复杂程度；统计每个连通域内的像素点数量，结合每个连通域的像素点数量和对应的轮廓复杂程度计算对应连通域的模糊程度；

将每个连通域的模糊程度赋值给所述药材图像中对应的每个像素点，进而得到所述药材图像中每个像素点的模糊程度；利用SLIC超像素分割得到药材图像中每个像素点与种子点之间的距离，利用药材图像中每个像素点的模糊程度对距离进行校正得到校正距离，基于校正距离对所述药材图像进行超像素分割，得到对应的分割图像；

对分割图像中的每个超像素块设置标签，利用设置标签后的分割图像训练语义分割网络，将采集的实时药材图像的分割图像输入训练好的语义分割网络中得到药材炒制状态的监测信息；

所述根据连通域的相邻边缘像素点之间的斜率计算每个连通域的轮廓复杂程度的方法，包括：

根据连通域的每个边缘像素点的坐标计算相邻边缘像素点之间的斜率，得到每个连通域的斜率集合；基于斜率集合获取每种斜率的出现概率，根据每种斜率的出现概率计算信息熵作为对应连通域的轮廓复杂程度；

所述结合每个连通域的像素点数量和对应的轮廓复杂程度计算对应连通域的模糊程度的方法，包括：

将每个连通域的像素点数量和轮廓复杂程度分别输入以自然常数e为底数的指数函数中，对应得到的指数函数结果作为第一结果和第二结果；

分别令所有连通域的第一结果相加得到第一结果总和、第二结果相加得到第二结果总和；将任意一个连通域的第一结果为分子、第一结果总和为分母得到第一比值，且将该连通域的第二结果为分子、第二结果总和为分母得到第二比值，将常数1减去第二比值的结果与第一比值相乘得到对应连通域的模糊程度；

所述利用药材图像中每个像素点的模糊程度对距离进行校正得到校正距离的方法，包括：

计算预设值和药材图像中每个像素点的模糊程度之间的相加结果，将相加结果与距离之间的相乘结果作为药材图像中对应像素点与种子点之间的校正距离；

第i个连通域的模糊程度

的计算公式如下：

其中，

为第i个连通域内的像素点数量；

为自然常数；

为连通域的数量；

为第i个连通域的轮廓复杂程度；

第i个连通域的轮廓复杂程度

的计算公式如下：

其中，

为斜率集合中第m种斜率的出现概率；

表示不同种斜率的数量；

为常数2为底数的对数函数。

2.如权利要求1所述的一种用于中药制剂分析的图像增强方法，其特征在于，所述背景像素点、弱梯度像素点和强梯度像素点的划分方法，包括：

基于像素点的灰度值利用K-means聚类将所有像素点划分为背景像素点、弱梯度像素点和强梯度像素点。

3.如权利要求1所述的一种用于中药制剂分析的图像增强方法，其特征在于，所述对分割图像中的每个超像素块设置标签的方法，包括：

能够作为药材炒作状态的监测信息的超像素块设置标签为0，不能够作为药材炒作状态的监测信息的超像素块设置标签为1。

Images