CN106203525A - 电子设备及其应用的图像处理方法及系统 - Google Patents

Abstract

本发明提供一种电子设备及其应用的图像处理方法及系统，根据获取的图像的特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类，且分别对所述多个类添加标注。根据聚集后的类对图像进行标注，即可大大减少对图像进行标注的工作量，且可根据图像和标注结果进行监督学习，获取假设函数，并可以通过假设函数预测新输入的图像对应的类别的标注，可以作为图像类别判别的参考，提高图像类别判别的准确性。

Description

电子设备及其应用的图像处理方法及系统

技术领域

本发明涉及一种图像处理领域，特别是涉及电子设备及其应用的图像处理方法及系统。

背景技术

现在众多针对病症判别的方法都是以病症数据样本加上专业人员对病症数据判断做出的病因作为机器学习的输入和输出，由于机器学习通常需要较大数量的数据输入输出对，这势必给作为输出判定的专业人员带来很大的工作量，如果说我们有500个病症图片，当有机器学习训练需求的时候，我们就必须请专业人员对症500个病症图片观测判断，得出病因类型，工作效率非常低下。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供电子设备及其应用的图像处理方法及系统，用于解决现有技术中对图像类型的判别效率低下的问题。

为实现上述目的及其他相关目的，本发明提供一种图像处理方法，包括：获取多个图像；将所述图像进行预处理，且提取各所述图像的特征值；根据所述特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类；分别对所述多个类添加标注。

于本发明一具体实施例中，还包括：分别将所述图像作为输入，且将所述标注作为输出，进行监督学习，以获得接近输入输出对应关系的假设函数；当有新的图像输入时，根据所述假设函数进行计算，获得与所述新的图像对应的标注。

于本发明一具体实施例中，还包括，对将所述多个特征图像聚集为多个类的结果进行判定，当判定为不合格时，重新提取各所述图像的特征值，并根据所述重新提取的特征值对所述图像进行无监督学习，以重新将所述多个图像聚集为多个类。

于本发明一具体实施例中，将所述图像进行预处理至少包括以下一种：调整图像一致性；对图像进行直方图均衡化处理；其中，所述调整图像的一致性至少包括以下中的一种：令所述图像的尺寸近似、令所述图像的设置方向一致、以及令特征区域在所述图像中的位置近似。

于本发明一具体实施例中，对所述图像的特征值进行提取的步骤至少包括：移除图像的非特征区域；减少聚类运算量；对所述图像进行特征数字化处理。

于本发明一具体实施例中，所述移除图像的非特征区域的操作包括：对所述图像进行轮廓分割；所述减少聚类运算量的操作包括：对所述图像进行颜色压缩。

于本发明一具体实施例中，所述图像为病症图像，所述标注为预设的多个病症类别；或所述图像为物种图像，所述标注为物种的品种或层次等级。

于本发明一具体实施例中，所述无监督学习采用聚类的方法；所述监督学习采用以下方法中的一种或多种组合：神经网络方法、线性回归方法、或支持向量机方法。

为实现上述目的及其他相关目的，本发明还提供一种图像处理系统，包括：图像获取模块，用以获取多个图像；图像处理模块，用以将所述图像进行预处理；特征提取模块，用以提取所述图像处理模块处理后的各所述图像的特征值；分类模块，用以根据所述特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类；标注模块，用以分别对所述多个类添加标注。

于本发明一具体实施例中，还包括：假设函数获取模块，用以分别将所述图像作为输入，且将其对应标注作为输出，进行监督学习，以获得接近输入输出对应关系的假设函数；预测模块，用以当有新的图像输入时，根据所述假设函数进行计算，获得与所述新的图像对应的标注。

于本发明一具体实施例中，还包括，修正模块，用以对将所述多个特征图像聚集为多个类的结果进行判定，当判定为不合格时，重新令所述特征提取模块提取各所述图像的特征值，并令所述分类模块根据所述重新提取的特征值对所述图像进行无监督学习，以重新将所述多个图像聚集为多个类。

于本发明一具体实施例中，所述图像处理模块将所述图像进行预处理至少包括以下一种：调整图像一致性；对图像进行直方图均衡化处理；其中，所述调整图像的一致性至少包括以下中的一种：令所述图像的尺寸近似、令所述图像的设置方向一致、以及令特征区域在所述图像中的位置近似。

于本发明一具体实施例中，所述特征提取模块对所述图像的特征值进行提取的操作至少包括：移除非特征区域比如对所述图像进行轮廓分割；减少聚类运算量比如对所述图像进行颜色压缩；对所述图像进行特征数字出处理。

于本发明一具体实施例中，所述图像为病症图像，所述标注为预设的多个病症类别；或所述图像为物种图像，所述标注为物种的品种或层次等级。

于本发明一具体实施例中，所述无监督学习采用聚类的方法，所述监督学习采用以下方法中的一种或多种组合：神经网络方法、线性回归方法、或支持向量机方法。

为实现上述目的及其他相关目的，本发明还提供一种电子设备，包括如上任一项所述的图像处理系统。

如上所述，本发明的电子设备及其应用的图像处理方法及系统，根据获取的图像的特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类，且分别对所述多个类添加标注。根据聚集后的类对图像进行标注，即可大大减少对图像进行标注的工作量，且可根据图像和标注结果进行监督学习，获取假设函数，并可以通过假设函数预测新输入的图像对应的类别的标注，可以作为图像类别判别的参考，提高图像类别判别的准确性。

附图说明

图1显示为本发明的图像处理方法在一具体实施例中的流程示意图。

图2显示为本发明的图像处理系统在一具体实施例中的模块示意图。

元件标号说明

1 图像处理系统

11 图像获取模块

12 图像处理模块

13 特征提取模块

14 分类模块

15 标注模块

S11～S14 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在病症判别或物种选取方面，需要计算机视觉和机器学习来进行分类和判别，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。机器学习有几种分类，主要的两种分类为“监督学习”和“无监督学习”。监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。无监督学习与监督学习相比，训练集没有人为标注的结果。无监督学习算法例如有聚类。

请参阅图1，显示为本发明的图像处理方法在一具体实施例中的流程示意图。所述图像处理方法应用于一电子设备中，所述电子设备例如为电脑，所述图像处理方法可应用于病症的分析或物种的选取等多个领域，以下将结合所述图像处理方法在病症的分析中的应用，对所述图像处理方法进行进一步的阐述。

所述图像处理方法包括：

S11：获取多个图像；图像的获取方法优选包括从本地或远程的存储设备中进行读取而获得，或者实时通过摄像装置拍摄而获得。在病症的分析中，所述图像为病症图像，例如在牙科病症分析中，所述图像为多个角度的牙齿或牙龈等的图像。

S12：将所述图像进行预处理，且提取各所述图像的特征值；于本发明一具体实施例中，将所述图像进行预处理至少包括以下一种：

1、调整图像一致性；其中，所述调整图像的一致性至少包括以下中的一种：令所述图像的尺寸近似、令所述图像的设置方向一致、以及令特征区域在所述图像中的位置近似。为了便于图片用于机器学习的处理及训练，需要将所有的样本图片调整至类似的布局和模式(尺寸、病症在图片中的位置区域、方向性等)。针对病症用的照片，一般在拍摄时就可以采用一些技术手段来保证照片的一致性，使用一致参数设置的口腔拍摄设备，可以保证拍摄的照片具有相当的一致性。

2、对图像进行直方图均衡化处理；可以提高图像外观和质量，对图像进行直方图均衡化处理是一个非线性处理过程，其目的是通过一种适合人类视觉分析的方法来增强图像的亮度。它对图像进行改变，是所得图像具有更平坦的直方图，所有亮度等级概率出现。使用直方图均衡化处理，能够均衡图片中一些小面积的反光区域，例如对于牙齿的图片，因为对牙齿及口腔的摄影，往往由于唾液的反光，会出现很多小区域的反光点，直方图均衡化能有效处理图像，使之均衡。

3、对拍摄获取的图像，在拍摄时采用加盖偏振片的镜头进行拍摄；对于大的光斑，简单的使用光斑周围的色彩纹理来替代光斑区域的一些计算机算法来消除往往会使得病症特征数据丢失或失真，针对这一类问题，一般在采集前处理，可以采用加盖偏振片的镜头来拍摄照片。

所述特征值的提取方式与所述特征值提取的对象有关，例如在牙科领域，患者的病症牙齿图像中的异样颜色可用来区分是否是龋齿或者牙结石，又比如使用它在皮肤科，特征提取方法与牙科中不同，不同类型的红肿、起泡、异常颜色等，都会被计算机程序识别出他们背后的可能病因。而在生物选种中，例如可以令物种的大小、形状、或颜色等为特征值的提取对象。于本发明一具体实施例中，对所述图像的特征值进行提取的步骤至少包括：移除图像的非特征区域、减少聚类运算量、以及对所述图像进行特征数字化处理。其中，移除图像的非特征区域的操作手段可以为对所述图像进行轮廓分割；所述减少聚类运算量的具体操作手段例如为对所述图像进行颜色压缩。在其他实施例中，所述移除图像的非特征区域以及减少聚类运算量的手段还可以为其他手段，不以本实施例的描述为限，在以下的描述中，暂以移除图像的非特征区域的手段为对所述图像进行轮廓分割，且以减少聚类运算量的具体操作手段为对所述图像进行颜色压缩为例来进行说明。具体为：

1)轮廓分割；

例如，在牙科中，根据牙科病症特性，采用normalized cut(归一化分割)方法划分出组织区域，划分出牙龈和牙齿两个互不覆盖的部分，然后根据龈齿轮廓线向两侧扩展一定数量的像素形成牙龈和牙齿结合部的龈齿间图片，其中是龈齿间部分根据牙科特性划分出的可能病症区域。三个区域的图片代表了牙科病症观测的主要区域，被划分出的背景部分填充上一种非口腔中会出现的色彩(比如绿色)，这个颜色可以由大量的样本图片经过颜色统计后得出，如果这些样本图片中出现的颜色覆盖了全色谱，则挑选出其中被使用概率最小的一个作为背景填充色。

2)颜色压缩；

无论是否经过预处理，图像的色彩都是高位色(高于或等于8位色及256色)，对于无监督机器学习的运算量来说是一个比较重的负担，而实际上针对特征选取，通过实验，图片采用16色就已经足够发现特征值，因此优选把三个区域的图片压缩为16色图片。

3)特征数字化；

经过上面两步的处理，现在每个区域的图片的每一个像素只能是16色中的一种(其中一个还是作为填充背景色的色彩)，假设每个区域图片的像素是x*y个，那么我们就获得三组每组为x*y个值为1-16的数值。

假设我们有m套样本图片(每套三组)，以组为单位，以下采用两种数字表达方式用于聚类：

第一种表达方式为一个m*(x*y)的矩阵，它有m行，代表每一套样本，(x*y)列，代表该套样本每一个像素的值。

第二种表达方式为一个m*16的矩阵，它有m行，代表每一套样本，16列，分别代表每一种颜色在该样本中的百分比值，每个样本中被用于背景填充色颜色值标记为0，即不贡献权重。

S13：根据所述特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类；所述无监督学习常采用聚类的方法；优选可为K-means聚类算法，分类的类别数由肘部法则(the elbow method)来推测。

S14：分别对所述多个类添加标注。所述标注例如为不同病症分类对应的病症描述。例如病症对应的是胃癌，所述标注对应的类别可包括初期胃癌、中期胃癌、以及晚期胃癌。于本发明一具体实施例中，还包括，对将所述多个特征图像聚集为多个类的结果进行判定，当判定为不合格时，重新提取各所述图像的特征值，并根据所述重新提取的特征值对所述图像进行无监督学习，以重新将所述多个图像聚集为多个类。进行多次的迭代聚类和标注，以使获得的结果更加的准确。

于本发明一具体实施例中，还包括：分别将所述图像作为输入，且将相对应的所述标注作为输出，进行监督学习，以获得接近输入输出对应关系的假设函数，即经过多次的迭代运算获得更加准确的所述假设函数。当有新的图像输入时，根据所述假设函数进行计算，获得与所述新的图像对应的标注。优选的，所述监督学习可采用以下方法中的一种或多种组合：神经网络方法、线性回归方法、或支持向量机方法。无论监督学习采用哪种方法，都应该绘制学习曲线，并且用交叉验证的方法确定最合适的算法。

在另一具体实施例中，当所述图像处理方法应用于物种选取的领域时，所述图像为物种图像，所述标注可为物种的品种或层次等级。且，所述图像的获取对象以及所述标注的内容，根据所述图像处理方法具体应用的领域有关。

例如在医院领域，传统通过监督学习时，需要输入大量的病症图像，且需要专业人士对每个图像均进行标注，例如图像个数为500个时，专业人士需要进行500次的图片标注，而应用本发明的方法，会首先对500个病症图像按一定的提取规则进行特征提取，且根据提取的特征进行聚类后，只需要对聚类后的每个类别进行标注即可，例如，聚类为10个不同类别的病症，则专业人士只需要对这10个病因进行标注即可，大大减少了工作量，提高工作效率。本发明的判别功能，可以在接诊早期为医生提供预判参考，由于所有过程是基于数字化，患者和医生并不一定需要面都面交流，数字化的病症图像就能作为计算机程序的输入，可以实现远程诊疗，同时一定程度的考虑了患者需要隐私的需求。对于无法通过本发明的假设函数给出病因类型的病症图像，经由更专业的人员判断，可以成为新的训练数据对，并重新训练新的假设函数，这样就形成了一个正向加强循环，被训练的计算机程序能越来越精准的做出病因判断。且本发明还可以帮助医生找到那些比较不明显，容易被人眼忽视的特征点，并根据这些特征点对病因进行分析。

请参阅图2，显示为本发明的图像处理系统在一具体实施例中的模块示意图。所述图像处理系统1应用于一电子设备中，所述电子设备例如为电脑。所述图像处理系统1包括：图像获取模块11、图像处理模块12、特征提取模块13、分类模块14、以及标注模块15。

所述图像获取模块11用以获取多个图像；

所述图像处理模块12用以将所述图像进行预处理；

所述特征提取模块13用以提取所述图像处理模块12处理后的各所述图像的特征值；

所述分类模块14用以根据所述特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类；

所述标注模块15用以分别对所述多个类添加标注。

于本发明一具体实施例中，还包括：假设函数获取模块，用以分别将所述图像作为输入，且将相对应的所述标注作为输出，进行监督学习，以获得接近输入输出对应关系的假设函数；预测模块，用以当有新的图像输入时，根据所述假设函数进行计算，获得与所述新的图像对应的标注。

于本发明一具体实施例中，还包括，修正模块，用以对将所述多个特征图像聚集为多个类的结果进行判定，当判定为不合格时，重新令所述特征提取模块提取各所述图像的特征值，并令所述分类模块根据所述重新提取的特征值对所述图像进行无监督学习，以重新将所述多个图像聚集为多个类。

于本发明一具体实施例中，所述图像处理模块12将所述图像进行预处理至少包括以下一种：调整图像一致性；对图像进行直方图均衡化处理；对拍摄获取的图像，在拍摄时采用加盖偏振片的镜头进行拍摄；其中，所述调整图像的一致性至少包括以下中的一种：令所述图像的尺寸近似、令所述图像的设置方向一致、以及令特征区域在所述图像中的位置近似。

于本发明一具体实施例中，所述特征提取模块13对所述图像的特征值进行提取的操作至少包括：移除图像的非特征区域；减少聚类运算量；对所述图像进行特征数字出处理。

于本发明一具体实施例中，所述移除图像的非特征区域的操作包括：对所述图像进行轮廓分割；所述减少聚类运算量的操作包括：对所述图像进行颜色压缩。

于本发明一具体实施例中，所述图像为病症图像，所述标注为预设的多个病症类别；或所述图像为物种图像，所述标注为物种的品种或层次等级。

于本发明一具体实施例中，所述无监督学习采用聚类的方法，所述监督学习采用以下方法中的一种或多种组合：神经网络方法、线性回归方法、或支持向量机方法。

所述图像处理系统为与所述图像处理方法对应的系统项，两者技术方案一一对应，所有关于所述图像处理方法的描述均可应用于本实施例中，在此不加赘述。

综上所述，本发明的电子设备及其应用的图像处理方法及系统，根据获取的图像的特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类，且分别对所述多个类添加标注。根据聚集后的类对图像进行标注，即可大大减少对图像进行标注的工作量，且可根据图像和标注结果进行监督学习，获取假设函数，并可以通过假设函数预测新输入的图像对应的类别的标注，可以作为图像类别判别的参考，提高图像类别判别的准确性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种图像处理方法，其特征在于，所述图像处理方法基于计算机视觉以及机器学习而运行，所述图像处理方法包括：

获取多个图像；

将所述图像进行预处理，且提取各所述图像的特征值；

根据所述特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类；

分别对所述多个类添加标注。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：

分别将所述图像作为输入，且将所述标注作为输出，进行监督学习，以获得接近输入输出对应关系的假设函数；

当有新的图像输入时，根据所述假设函数进行计算，获得与所述新的图像对应的标注。

3.根据权利要求1所述的图像处理方法，其特征在于：还包括，对将所述多个特征图像聚集为多个类的结果进行判定，当判定为不合格时，重新提取各所述图像的特征值，并根据所述重新提取的特征值对所述图像进行无监督学习，以重新将所述多个图像聚集为多个类。

4.根据权利要求1所述的图像处理方法，其特征在于：将所述图像进行预处理至少包括以下一种：调整图像一致性；对图像进行直方图均衡化处理；对拍摄获取的图像，在拍摄时采用加盖偏振片的镜头进行拍摄；

其中，所述调整图像的一致性至少包括以下中的一种：令所述图像的尺寸近似、令所述图像的设置方向一致、以及令特征区域在所述图像中的位置近似。

5.根据权利要求1所述的图像处理方法，其特征在于：对所述图像的特征值进行提取的步骤至少包括：

移除图像的非特征区域；

减少聚类运算量；

对所述图像进行特征数字化处理。

6.根据权利要求5所述的图像处理方法，其特征在于：所述移除图像的非特征区域的操作包括：对所述图像进行轮廓分割；所述减少聚类运算量的操作包括：对所述图像进行颜色压缩。

7.根据权利要求1所述的图像处理方法，其特征在于：所述图像为病症图像，所述标注为预设的多个病症类别；或所述图像为物种图像，所述标注为物种的品种或层次等级。

8.根据权利要求2所述的图像处理方法，其特征在于：所述无监督学习采用聚类的方法；

所述监督学习采用以下方法中的一种或多种组合：神经网络方法、线性回归方法、或支持向量机方法。

9.一种图像处理系统，其特征在于，所述图像处理系统基于计算机视觉以及机器学习而运行，所述图像处理系统包括：

图像获取模块，用以获取多个图像；

图像处理模块，用以将所述图像进行预处理；

特征提取模块，用以提取所述图像处理模块处理后的各所述图像的特征值；

分类模块，用以根据所述特征值对所述图像进行无监督学习，以将所述多个图像聚集为多个类；

标注模块，用以分别对所述多个类添加标注。

10.根据权利要求9所述的图像处理系统，其特征在于，还包括：

假设函数获取模块，用以分别将所述图像作为输入，且将所述标注作为输出，进行监督学习，以获得接近输入输出对应关系的假设函数；

预测模块，用以当有新的图像输入时，根据所述假设函数进行计算，获得与所述新的图像对应的标注。

11.根据权利要求9所述的图像处理系统，其特征在于：还包括，修正模块，用以对将所述多个特征图像聚集为多个类的结果进行判定，当判定为不合格时，重新令所述特征提取模块提取各所述图像的特征值，并令所述分类模块根据所述重新提取的特征值对所述图像进行无监督学习，以重新将所述多个图像聚集为多个类。

12.根据权利要求9所述的图像处理系统，其特征在于：所述图像处理模块将所述图像进行预处理至少包括以下一种：调整图像一致性；对图像进行直方图均衡化处理；对拍摄获取的图像，在拍摄时采用加盖偏振片的镜头进行拍摄；

其中，所述调整图像的一致性至少包括以下中的一种：令所述图像的尺寸近似、令所述图像的设置方向一致、以及令特征区域在所述图像中的位置近似。

13.一种电子设备，其特征在于，包括如权利要求9～12中任一项所述的图像处理系统。