具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
图像识别技术被应用于很多领域。在人体图像识别技术中,通常采用传统的机器学习方法提取人体脸部的特征。如提取唇色或面色特征。
相关技术中,仅仅采用单一特征作为图像识别结果,即使进行多特征提取,也是分别进行单个特征提取,提取出来的特征的精度不够,导致识别结果准确性低下。
基于此,本申请提出利用唇色识别模型、面色识别模型、形体识别模型分别对同一图像进行识别,得到不同类型的识别结果,提高图像识别的效率和全面性,进一步,利用面色识别模型中的初级面色卷积层能够提取出针对脸型的特征张量的特性,辅助形体识别模型进行形体识别,提高形体识别结果的准确性。具体参阅以下任一实施例的技术方案。
参阅图1,图1是本申请提供的基于中医虚实辨证分类的图像识别方法一实施例的流程示意图。该方法包括:
步骤11:获取待识别图像。
在一些实施例中,待识别图像可以是通过对人体拍照得到。该待识别图像可以是具有人体全身的图像,也可以是具有人体上半身的图像。即该待识别图像中需要具有人体的头部图像以及至少部分肢体。
步骤12:将待识别图像输入至唇色识别模型进行唇色识别,得到唇色识别结果。
其中,该唇色识别模型可以是基于神经网络模型构建。利用相应的唇色训练图像对该唇色识别模型进行训练,将训练完成的唇色识别模型用于唇色识别。其中,唇色识别模型可以基于卷积神经网络构建而成。如yolov模型。具体地,可以选择yolov1、yolov2、yolov3、yolov4或yolov5等任一模型。
其中,唇色识别结果可以为唇色紫暗,唇色红润,唇色淡中至少一种。
步骤13:将待识别图像输入至面色识别模型进行面色识别,得到面色识别结果。
其中,该面色识别模型可以是基于神经网络模型构建。利用相应的面色训练图像对该面色识别模型进行训练,将训练完成的面色识别模型用于面色识别。其中,面色识别模型可以基于卷积神经网络构建而成。如yolov模型。具体地,可以选择yolov1、yolov2、yolov3、yolov4或yolov5等任一模型。
其中,面色识别结果可以为晄白萎黄、面色潮红、红黄隐隐中至少一种。
步骤14:将待识别图像输入至形体识别模型,以使形体识别模型结合面色识别模型提供的初级面色卷积层进行形体识别,得到形体识别结果。
其中,该形体识别模型可以是基于神经网络模型构建。利用相应的形体训练图像对该形体识别模型进行训练,将训练完成的形体识别模型用于形体识别。其中,形体识别模型可以基于卷积神经网络构建而成。如yolov模型。具体地,可以选择yolov1、yolov2、yolov3、yolov4或yolov5等任一模型。
形体识别结果可以为肥胖、消瘦、匀称中至少一种。
在本申请的形体识别模型中融合有面色识别模型提供的初级面色卷积层,该面色识别模型提供的初级面色卷积层能够提取出针对脸型的特征张量。因此,该形体识别模型中融合有面色识别模型提供的初级面色卷积层后,能够提高形体识别的准确性。
步骤15:将唇色识别结果、面色识别结果和形体识别结果作为图像识别结果。
在本实施例中,利用唇色识别模型、面色识别模型、形体识别模型分别对同一图像进行识别,得到不同类型的识别结果,提高图像识别的效率和全面性,进一步,利用面色识别模型中的初级面色卷积层能够提取出针对脸型的特征张量的特性,辅助形体识别模型进行形体识别,提高形体识别结果的准确性。
参阅图2,图2是本申请提供的基于中医虚实辨证分类的图像识别方法另一实施例的流程示意图。该方法包括:
步骤21:获取待识别图像。
步骤22:将待识别图像输入至唇色识别模型,以使唇色识别模型利用不同等级的唇色卷积层对待识别图像进行卷积,得到唇色特征张量。
其中,不同等级的唇色卷积层顺次连接,具有各自对应的卷积能力。
步骤23:根据唇色特征张量得到唇色识别结果。
结合图3进行说明:
如图3所示,唇色识别模型包括A1-A9个不同等级的唇色卷积层,每一唇色卷积层中还设置有相应的池化层。每一唇色卷积层卷积得到的唇色特征张量输入至下一唇色卷积层进行卷积,直至最后一个唇色卷积层输出最终唇色特征张量。即A9输出的唇色特征张量作为最终唇色特征张量。
步骤24:将待识别图像输入至面色识别模型,以使面色识别模型利用不同等级的面色卷积层对待识别图像进行卷积,得到面色特征张量。
其中,不同等级的面色卷积层顺次连接,具有各自对应的卷积能力。
步骤25:根据面色特征张量得到面色识别结果。
结合图4进行说明:
如图4所示,面色识别模型包括B1-B9个不同等级的面色卷积层,每一面色卷积层中还设置有相应的池化层。每一面色卷积层卷积得到的面色特征张量输入至下一面色卷积层进行卷积,直至最后一个面色卷积层输出最终面色特征张量。即B9输出的面色特征张量作为最终面色特征张量。
步骤26:将待识别图像输入至形体识别模型,以使形体识别模型利用不同等级的形体卷积层和初级面色卷积层对待识别图像进行卷积,得到形体特征张量。
其中,不同等级的形体卷积层和初级面色卷积层顺次连接,具有各自对应的卷积能力。
步骤27:根据形体特征张量得到形体识别结果。
结合图5进行说明:
如图5所示,形体识别模型包括C1-C9个不同等级的面色卷积层和面色识别模型中的初级面色卷积层B2,每一形体卷积层中还设置有相应的池化层。每一形体卷积层卷积得到的形体特征张量输入至下一形体卷积层进行卷积,直至最后一个形体卷积层输出最终形体特征张量。即C9输出的形体特征张量作为最终形体特征张量。
步骤28:将唇色识别结果、面色识别结果和形体识别结果作为图像识别结果。
在本实施例中,利用唇色识别模型、面色识别模型、形体识别模型分别对同一图像进行识别,得到不同类型的识别结果,提高图像识别的效率和全面性,进一步,利用面色识别模型中的初级面色卷积层能够提取出针对脸型的特征张量的特性,辅助形体识别模型进行形体识别,提高形体识别结果的准确性。
参阅图6,图6是本申请提供的基于中医虚实辨证分类的图像识别方法另一实施例的流程示意图。唇色识别模型通过以下方式训练得到,该方法包括:
步骤61:获取具有唇部标注框的唇色图像。
其中,唇部标注框对应标注有唇色信息;每一唇色信息中包含对应的唇色类型。
在一些实施例中,唇色类型包括唇色紫暗,唇色红润,唇色淡3种类型。可以对用于唇色训练的图像集用labelme标注工具进行处理,将唇部框定起来,并标记为唇色紫暗、唇色红润、唇色淡。
步骤62:对唇部标注框对应的第一区域图像进行边缘检测,得到边缘图像。
图像边缘,即表示图像中一个区域的终结和另一个区域的开始,图像中相邻区域之间的像素集合构成了图像的边缘。所以,图像边缘可以理解为图像灰度发生空间突变的像素的集合。图像边缘有两个要素,即:方向和幅度。沿着边缘走向的像素值变化比较平缓;而沿着垂直于边缘的走向,像素值则变化得比较大。因此,根据这一变化特点,可以会采用一阶和二阶导数来描述和检测边缘。
在一些实施例中,参阅图7,步骤62可以是以下流程:
步骤621:使用高斯滤波对第一区域图像进行滤波操作,得到第二区域图像。
其中,高斯滤波用于平滑第一区域图像中的唇部图像以及滤除噪声。
利用高斯滤波模板对第一区域图像进行卷积以平滑图像。
步骤622:确定第二区域图像中每个像素点的梯度强度与方向。
利用对应的微分算子计算出第二区域图像中每个像素点的梯度强度与方向。
步骤623:根据每个像素点的梯度强度与方向进行非极大值抑制,得到疑似边缘像素点。
对梯度强度进行非极大值抑制。即遍历图像,若某个像素的灰度值与其梯度方向上前后两个像素点的灰度值相比不是最大,那么这个像素点的像素值置为0,即不是边缘像素点,否则可以作为疑似边缘像素点。
步骤624:利用双阈值算法检测疑似边缘像素点,得到真实边缘像素点。
使用累计直方图计算两个阈值。如第一阈值和第二阈值,其中第一阈值大于第二阈值。凡是大于第一阈值的一定是真实边缘像素点,凡是小于第二阈值的一定不是真实边缘像素点。如果检测结果表示大于第二阈值但小于第一阈值,则确定该疑似边缘像素点邻接像素中有没有超过第一阈值的边缘像素点,如果有,则该疑似边缘像素点是真实边缘像素点,否则不是。
步骤625:连接真实边缘像素点得到边缘图像。
因噪声和不均匀的照明而产生的边缘简单的影响,使得经过边缘检测得到的边缘像素点很少能完整地描绘实际的一条边缘。因此,使用相应的连接方法将真实边缘像素点组成有意义的边缘,得到边缘图像。
步骤63:融合边缘图像和第一区域图像,并将融合得到的图像作为唇色训练图像。
将第一区域图像与边缘图像进行加权合并,以增强唇部边缘信息,最终得到可用唇色训练图像。其中,在边缘检测中,得到的边缘图像是一张二值图像,其内部含有边缘信息的像素点的值为1,无边缘信息的像素点的值为0。
在一应用场景中结合图8和图9进行说明:
首先,获取具有唇部标注框的唇色图像,对唇色图像进行灰度处理,得到如图8所示的图像。然后对图8所示的图像进行处理,如对唇部标注框对应的第一区域图像进行边缘检测,得到边缘图像,如图9所示。
然后将图9的边缘图像与唇色图像进行加权合并,得到唇色训练图像。
步骤64:利用唇色训练图像训练唇色识别模型。
在本实施例中,使用具有唇部边缘信息的唇色训练图像训练唇色识别模型,能够提升唇色识别模型的训练精度,进而在使用该方法训练得到的唇色识别模型进行唇色识别时,能够提高唇色识别的准确性。
在其他实施例中,面色识别模型可以利用面色训练图像对面色识别模型进行训练得到。其中,每一面色训练图像标注有对应的面色类型。其中,面色类型可以为晄白萎黄、面色潮红、红黄隐隐中至少一种。
参阅图10,图10是本申请提供的基于中医虚实辨证分类的图像识别方法另一实施例的流程示意图。形体识别模型通过以下方式训练得到,该方法包括:
步骤101:利用形体训练图像对形体识别模型进行初步训练;其中,每一形体训练图像标注有对应的形体类型。
其中,利用形体训练图像对形体识别模型进行初步训练。进一步,面色识别模型也可以独自利用面色训练图像进行训练。
形体类型可以为肥胖、消瘦、匀称中至少一种。
步骤102:将面色识别模型中已训练的初级面色卷积层融合至形体识别模型,并利用形体训练图像再次对融合后的形体识别模型进行训练,直至训练完成。
在面色识别模型训练好之后,将面色识别模型中已训练的初级面色卷积层融合至形体识别模型。利用形体训练图像再次对融合后的形体识别模型进行训练,直至训练完成。面色识别模型的初级面色卷积层能够提取包含针对脸型的特征,有助于形体识别模型识别胖瘦等状态,以及已训练的初级面色卷积层的融入可以加快形体识别模型的收敛速度,提升模型准确率。
在一应用场景中,目前的虚实辨证识别技术基本只是采用传统的方法提取脸部特征或直接采用深度学习技术进行特征学习以判断人的虚实状况,而人体的虚实辨证状况并不是单一的,而且是复杂的,由许多因素构成(比如唇部颜色,面部颜色,形体状态等),导致现有的虚实辨证技术在进行人体虚实检测时,所检测出来的结果并非人体实际的虚实状况。基于此,在通过上述方式进行图像识别,得到识别结果之后,基于图像识别结果对待识别图像进行虚实辨证分类。
具体地,确定唇色识别结果、面色识别结果和形体识别结果分别对应的虚实辨证分类的类型;结合三种类型得到待识别图像对应的最终类型。
虚实辨证分类的类型包括虚、实和正常。
其中,可以结合下表的虚实辨证分类标准进行分类:
上表为人体虚实辨证的分类标准,上述的唇色识别结果可以为色淡、紫暗和红润中的任一种。上述的面色识别结果可以为晄白萎黄、潮红和红黄隐隐中的任一种。上述的形体识别结果可以为消瘦、肥胖和匀称中的任一种。其中,色淡、晄白萎黄、消瘦对应虚。紫暗、潮红、肥胖对应实。红润、红黄隐隐、匀称对应正常。
当得到唇色识别结果、面色识别结果和形体识别结果时,其可以按照上述的分类标准得到各自对应的虚实辨证分类的类型(虚、实或正常)。
在一应用场景中,可以为每一虚实辨证分类的类型设置相应的分数,唇色识别结果、面色识别结果和形体识别结果属于具体的类型则得到相应的分数。
最终可以根据分数得到最终的虚实辨证类型。
在一些实施例中,为唇色识别结果、面色识别结果和形体识别结果对应的虚实辨证类型进行分数统计。
当唇色识别结果、面色识别结果和形体识别结果均对应了虚、实或正常,则分数记为3分,并标记虚实辨证类型。如{虚:3}、{实:3}或{正常:3}。
当唇色识别结果、面色识别结果和形体识别结果对应了不同的虚实辨证类型,则分别计分,并标记虚实辨证类型。如{虚:1,实:1,正常:1},表示唇色识别结果、面色识别结果和形体识别结果各自对应的这一种类型。如{虚:2,实:1},表示唇色识别结果、面色识别结果和形体识别结果中有两个识别结果对应了虚,一个识别结果对应了实。如{正常:2,实:1},表示唇色识别结果、面色识别结果和形体识别结果中有两个识别结果对应了正常,一个识别结果对应了实。如{正常:2,虚:1},表示唇色识别结果、面色识别结果和形体识别结果中有两个识别结果对应了正常,一个识别结果对应了虚。这些最终类型能够作为中间参数信息,辅助医生进行诊断。
可以理解,上述的提及的中医虚实辨证分类只是中医诊断过程中的一个中间参数信息,并不直接反应人体疾病情况,最终的虚实辨证分类结果用于辅助中医进行诊断。
在其他实施例中,为唇色识别结果、面色识别结果和形体识别结果对应的虚实辨证类型进行分数统计,并按照不同的虚实辨证类型进行加权求和,根据求和后的分数得到最终类型。
唇色识别结果、面色识别结果和形体识别结果分别与虚实辨证类型中的每一类型具有相应的分数,且具有相应的权重。在得到唇色识别结果、面色识别结果和形体识别结果后,则可以根据权重公式,加权求和,得到整体分数。然后将整体分数与最终类型对照表进行比对,得到本次待识别图像对应的最终类型。
权重公式可以如下:
S=αΑ+βB+γC。其中,S表示整体分数,A表示唇色识别结果对应的分数,B表示面色识别结果对应的分数,C表示形体识别结果对应的分数。α、β和γ为各自对应的权重。
进一步,唇色识别结果、面色识别结果和形体识别结果对应不同的虚实辨证类型具有不同的分数。如,唇色识别结果对应虚为9分、唇色识别结果对应实为6分、唇色识别结果对应正常为3分。面色识别结果对应虚为6分、面色识别结果对应实为3分、面色识别结果对应正常为1分。形体识别结果对应虚为3分、形体识别结果对应实为2分、形体识别结果对应正常为1分。
在其他实施例中,唇色识别结果、面色识别结果和形体识别结果对应同一虚实辨证类型具有相同的分数,其对应的权重不同。唇色识别结果、面色识别结果和形体识别结果对应虚为9分、唇色识别结果、面色识别结果和形体识别结果对应实为6分、唇色识别结果、面色识别结果和形体识别结果对应正常为3分。但是权重α、β和γ不同。
在得到整体分数后,将整体分数与最终类型对照表进行比对,得到本次待识别图像对应的最终类型。其中,最终类型可以是虚、实和正常。如,可以为虚、实和正常建立各自对应的分数范围。根据整体分数所处的分数范围,得到最终类型,即得到对应的虚、实或正常。
通过上述方式,利用深度学习的技术训练出一个可以通过照片识别人体虚实情况的模型,通过大量的图片进行训练后,虚实辨证模型可以拥有较强的鲁棒性,即用户在不同的光照强度,不同的图片像素,不同的拍照角度下,模型都能较好的识别人体虚实的真实情况,能够辅助医生作出诊断。
在一些实施例中,提供一种图像识别系统,该图像识别系统包括图像采集端,处理终端和显示终端。图像采集端用于采集待识别图像,并发送至处理终端。处理终端将待识别图像输入至唇色识别模型进行唇色识别,得到唇色识别结果;将待识别图像输入至面色识别模型进行面色识别,得到面色识别结果;将待识别图像输入至形体识别模型,以使形体识别模型结合面色识别模型提供的初级面色卷积层进行形体识别,得到形体识别结果;将唇色识别结果、面色识别结果和形体识别结果作为图像识别结果。处理终端将图像识别结果发送至显示终端进行显示。其中,图像识别系统可以应用于医疗场景中,图像采集端,处理终端和显示终端之间可以远程通信。医生可以使用显示终端,以此实现远程工作。
图像采集端,处理终端和显示终端相互配合能够实现上述任一实施例的方法。
处理终端和显示终端可以一体设置,上述的虚实辨证的最终结果可以通过显示终端显示给医生查看。
参阅图11,图11是本申请提供的图像识别装置一实施例的结构示意图。该图像识别装置130包括:获取模块131、唇色识别模块132、面色识别模块133、形体识别模块134和处理模块135。
其中,获取模块131用于获取待识别图像。
唇色识别模块132用于将待识别图像输入至唇色识别模型进行唇色识别,得到唇色识别结果。
面色识别模块133用于将待识别图像输入至面色识别模型进行面色识别,得到面色识别结果。
形体识别模块134用于将待识别图像输入至形体识别模型,以使形体识别模型结合面色识别模型提供的初级面色卷积层进行形体识别,得到形体识别结果;初级面色卷积层能够提取出针对脸型的特征张量。
处理模块135用于将唇色识别结果、面色识别结果和形体识别结果作为图像识别结果。
在一些实施例中,唇色识别模块132还用于将待识别图像输入至唇色识别模型,以使唇色识别模型利用不同等级的唇色卷积层对待识别图像进行卷积,得到唇色特征张量;根据唇色特征张量得到唇色识别结果。
在一些实施例中,面色识别模块133还用于将待识别图像输入至面色识别模型,以使面色识别模型利用不同等级的面色卷积层对待识别图像进行卷积,得到面色特征张量;根据面色特征张量得到面色识别结果。
在一些实施例中,形体识别模块133还用于将待识别图像输入至形体识别模型,以使形体识别模型利用不同等级的形体卷积层和初级面色卷积层对待识别图像进行卷积,得到形体特征张量;根据形体特征张量得到形体识别结果。
在一些实施例中,处理模块135还用于获取具有唇部标注框的唇色图像;其中,唇部标注框对应标注有唇色信息;每一唇色信息中包含对应的唇色类型;对唇部标注框对应的第一区域图像进行边缘检测,得到边缘图像;融合边缘图像和第一区域图像,并将融合得到的图像作为唇色训练图像;利用唇色训练图像训练唇色识别模型。
在一些实施例中,处理模块135还用于使用高斯滤波对第一区域图像进行滤波操作,得到第二区域图像;其中,高斯滤波用于平滑第一区域图像中的唇部图像以及滤除噪声;确定第二区域图像中每个像素点的梯度强度与方向;根据每个像素点的梯度强度与方向进行非极大值抑制,得到疑似边缘像素点;利用双阈值算法检测疑似边缘像素点,得到真实边缘像素点;连接真实边缘像素点得到边缘图像。
在一些实施例中,处理模块135还用于利用形体训练图像对形体识别模型进行初步训练;其中,每一形体训练图像标注有对应的形体类型;将面色识别模型中已训练的初级面色卷积层融合至形体识别模型,并利用形体训练图像再次对融合后的形体识别模型进行训练,直至训练完成。
在一些实施例中,处理模块135还用于基于图像识别结果对待识别图像进行虚实辨证分类。
在一些实施例中,处理模块135还用于确定唇色识别结果、面色识别结果和形体识别结果分别对应的虚实辨证分类的类型;以及结合三种类型得到待识别图像对应最终类型。其中,虚实辨证分类的类型包括虚、实和正常。
可以理解,获取模块131、唇色识别模块132、面色识别模块133、形体识别模块134和处理模块135相互配合能够实现上述任一实施例的方法。
参阅图12,图12是本申请提供的电子设备一实施例的结构示意图。该电子设备110包括处理器111以及与处理器111耦接的存储器112;其中,存储器112用于存储计算机程序,处理器111用于执行计算机程序,以实现以下方法:
获取待识别图像;将待识别图像输入至唇色识别模型进行唇色识别,得到唇色识别结果;将待识别图像输入至面色识别模型进行面色识别,得到面色识别结果;将待识别图像输入至形体识别模型,以使形体识别模型结合面色识别模型提供的初级面色卷积层进行形体识别,得到形体识别结果;将唇色识别结果、面色识别结果和形体识别结果作为图像识别结果。
可以理解,处理器111用于执行计算机程序,以实现上述任一实施例的方法。
参阅图13,图13是本申请提供的计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质140存储有计算机程序141,计算机程序141在被处理器执行时,实现以下方法:
获取待识别图像;将待识别图像输入至唇色识别模型进行唇色识别,得到唇色识别结果;将待识别图像输入至面色识别模型进行面色识别,得到面色识别结果;将待识别图像输入至形体识别模型,以使形体识别模型结合面色识别模型提供的初级面色卷积层进行形体识别,得到形体识别结果;将唇色识别结果、面色识别结果和形体识别结果作为图像识别结果。
可以理解,计算机程序151在被处理器执行时,还能够实现上述任一实施例的方法。
综上所述,本申请提供的基于中医虚实辨证分类的图像识别方法以及相关装置,利用唇色识别模型、面色识别模型、形体识别模型分别对同一图像进行识别,得到不同类型的识别结果,提高图像识别的效率和全面性,进一步,利用利用面色识别模型中的初级面色卷积层辅助形体识别模型进行形体识别,提高形体识别结果的准确性。进一步,基于图像识别结果对待识别图像进行虚实辨证分类,虚实辨证分类结果能够作为中间参数信息辅助医生进行后续的诊断,提高医生的诊断效率。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。