CN115100723A - 面色分类方法、装置、计算机可读程序介质及电子设备 - Google Patents

面色分类方法、装置、计算机可读程序介质及电子设备 Download PDF

Info

Publication number
CN115100723A
CN115100723A CN202210823389.4A CN202210823389A CN115100723A CN 115100723 A CN115100723 A CN 115100723A CN 202210823389 A CN202210823389 A CN 202210823389A CN 115100723 A CN115100723 A CN 115100723A
Authority
CN
China
Prior art keywords
face
neural network
image
feature
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210823389.4A
Other languages
English (en)
Inventor
伍世宾
周宸
陈远旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210823389.4A priority Critical patent/CN115100723A/zh
Publication of CN115100723A publication Critical patent/CN115100723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及人工智能领域，揭示了一种面色分类方法、装置、计算机可读程序介质及电子设备。该方法包括：将目标用户的待分类人脸图像输入至全局神经网络中，得到全局神经网络的最后一个卷积层输出的第一特征图；将待分类人脸图像分割为多个人脸区域图像，并将多个人脸区域图像输入至局部神经网络中，得到局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图；对第一特征图和各第二特征图分别进行聚合操作，得到第一特征向量和第二特征向量；对第一特征向量、第二特征向量和第三特征向量进行级联，得到目标特征向量；对目标特征向量进行分类，得到面色分类结果。此方法提高了面色分类的准确性。

Description

面色分类方法、装置、计算机可读程序介质及电子设备
技术领域
本公开涉及人工智能技术领域，特别涉及一种面色分类方法、装置、计算机可读程序介质及电子设备。
背景技术
图片分类和图片识别是计算机视觉领域的核心课题之一。
为了对面部颜色进行分类，现有的方法主要是通过神经网络对面部照片的整体进行识别。
这种方式下，神经网络的性能和泛化能力受限于训练数据，这往往使得训练得到的神经网络的性能和泛化能力不足。
发明内容
在人工智能技术领域，为了解决现有技术中面色分类模型的性能和泛化能力低下的问题，本公开的目的在于提供一种面色分类方法、装置、计算机可读程序介质及电子设备。
根据本公开的一方面，提供了一种面色分类方法，所述方法包括：
将目标用户的待分类人脸图像输入至全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的第一特征图；
将待分类人脸图像分割为多个人脸区域图像，并将所述多个人脸区域图像输入至局部神经网络中，得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图；
对所述第一特征图进行聚合操作，得到第一特征向量；
对各所述第二特征图进行聚合操作，得到第二特征向量；
获取根据所述目标用户的关联信息生成的第三特征向量；
对所述第一特征向量、所述第二特征向量和所述第三特征向量进行级联，得到目标特征向量；
对所述目标特征向量进行分类，得到面色分类结果。
根据本公开的另一方面，提供了一种面色分类装置，所述装置包括：
输入模块，被配置为将目标用户的待分类人脸图像输入至全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的第一特征图；
分割模块，被配置为将待分类人脸图像分割为多个人脸区域图像，并将所述多个人脸区域图像输入至局部神经网络中，得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图；
第一聚合模块，被配置为对所述第一特征图进行聚合操作，得到第一特征向量；
第二聚合模块，被配置为对各所述第二特征图进行聚合操作，得到第二特征向量；
获取模块，被配置为获取根据所述目标用户的关联信息生成的第三特征向量；
级联模块，被配置为对所述第一特征向量、所述第二特征向量和所述第三特征向量进行级联，得到目标特征向量；
分类模块，被配置为对所述目标特征向量进行分类，得到面色分类结果。
根据本公开的另一方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行如前所述的方法。
根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
对于本公开所提供的面色分类方法、装置、计算机可读程序介质及电子设备，该方法包括如下步骤：将目标用户的待分类人脸图像输入至全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的第一特征图；将待分类人脸图像分割为多个人脸区域图像，并将所述多个人脸区域图像输入至局部神经网络中，得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图；对所述第一特征图进行聚合操作，得到第一特征向量；对各所述第二特征图进行聚合操作，得到第二特征向量；获取根据所述目标用户的关联信息生成的第三特征向量；对所述第一特征向量、所述第二特征向量和所述第三特征向量进行级联，得到目标特征向量；对所述目标特征向量进行分类，得到面色分类结果。
此方法下，整个面色分类模型包括全局神经网络和局部神经网络，一方面，利用全局神经网络得到待分类人脸图像对应的第一特征图，另一方面，将待分类人脸图像分割为多个人脸区域图像，并利用局部神经网络得到与每个人脸区域图像对应的第二特征图，然后，通过分别对第一特征图和第二特征图进行聚合操作，得到相应的第一特征向量和第二特征向量，并根据第一特征向量和第二特征向量生成用于进行面色分类的目标特征向量。因此，此方法在进行面色分类时引入了人脸局部区域的隐含知识信息，可以提高面色分类的准确性和泛化能力；同时，由于在生成目标特征向量时还引入了根据目标用户的关联信息生成的第三特征向量，因此，可以进一步提高面色分类模型的性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种应用面色分类方法的系统架构示意图；
图2是根据一示例性实施例示出的一种面色分类方法的流程图；
图3是根据一示例性实施例示出的能够实现面色分类方法的算法框架示意图；
图4是根据一示例性实施例示出的训练局部神经网络的流程图；
图5是根据一示例性实施例示出的训练全局神经网络的流程图；
图6是根据一示例性实施例示出的一种面色分类装置的框图；
图7是根据一示例性实施例示出的一种实现上述面色分类方法的电子设备示例框图；
图8是根据一示例性实施例示出的一种实现上述面色分类方法的程序产品。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
在相关技术中，图片分类是深度学习等神经网络算法较为常见的应用场景之一。然而，目前几乎不存在中医领域的面色分类方案。
望诊是中医四诊之一，望诊是指医生有目的的观察患者的全身、局部及排出物等的神、色、形、态，结合自身的临床实践经验和知识，分析患者的身体健康状况，测知病情的方法。面诊是中医望诊的重要组成部分，是中医疾病诊断的独特方法，而面部颜色是中医面诊中最重要的面象特性，面色识别是中医面诊的核心。
目前，人们可能提出的利用人工智能方法识别面色的方式与其他图片分类方式是基本一致的，即，将人脸图像输入深度网络，经过特征工程加分类器输出面色分类结果。
然而，这种方式由于仅关注面部图片的整体色泽分类，并不能考虑到不同面色之间局部色泽的细微差异，导致面色分类性能较差，无法满足中医诊断的要求。
发明人发现，面部局部区域色泽与人体脏腑关联密切，是进行疾病辨证时要考虑的关键因素之一。
为此，本公开首先提供了一种面色分类方法。通过该方法可以克服以上缺陷，该方法进一步将面部局部区域的细微差异特征引入了面色分类模型，可以显著提升面色分类的性能，能够满足实际中医临床面诊的要求。
本公开的实施终端可以是任何具有运算、处理功能的设备，该设备可以与外部设备相连，用于接收或者发送数据，具体可以是便携移动设备，例如智能手机、平板电脑、笔记本电脑、PDA(Personal Digital Assistant)等，也可以是固定式设备，例如，计算机设备、现场终端、台式电脑、服务器、工作站等。
可选地，本公开的实施终端可以为计算机设备或服务器。
图1是根据一示例性实施例示出的一种应用面色分类方法的系统架构示意图。如图1所示，该系统架构包括用户终端110、服务器120、数据库130以及医师终端140，用户终端110可以为智能手机，医师终端140可以为台式计算机，用户终端110、数据库130以及医师终端140与服务器120之间均通过通信链路连接，以进行数据传输，通信链路可以是有线通信链路或者无线通信链路，用户终端110上设置有拍摄装置，通过拍摄装置可以拍摄得到照片。服务器120上部署有用于为用户终端110上的客户端提供服务的服务端，服务端包括面色分类模型，因此，服务器120可以作为用来执行本公开提供的面色分类方法的实施终端。当本公开提供的面色分类方法应用于图1所示的系统架构中时，一个过程可以是这样的：首先，用户使用用户终端110在客户端中输入个人信息，用户终端110将个人信息发送至服务器120中，服务器120将个人信息存储至与之建立通信连接的数据库130。接着，用户终端110的用户在客户端中触发执行拍照功能，调用拍摄装置拍摄得到用户本人的人脸照片，然后，用户终端110将人脸照片发送至服务器120。接下来，服务器120从数据库130获取个人信息，并将个人信息和人脸照片输入至面色分类模型中，得到面色分类模型输出的分类结果，其中，面色分类模型包括全局神经网络、局部神经网络、第一聚合模块、第二聚合模块、分割模块、生成模块、级联模块及分类模块，在面色分类模型中执行的流程如下：将人脸照片输入至全局神经网络后，利用全局神经网络的最后一个卷积层输出对应的第一特征图；通过分割模块将人脸照片分割为多个人脸区域图像，利用局部神经网络的最后一个卷积层输出与每个人脸区域图像对应的第二特征图；使用第一聚合模块对第一特征图进行聚合操作，得到第一特征向量，并使用第二聚合模块对所有第二特征图进行聚合操作，得到第二特征向量；生成模块利用个人信息生成第三特征向量；级联模块对第一特征向量、第二特征向量和第三特征向量进行级联，得到目标特征向量，并将目标特征向量输入至分类模块中，由分类模块输出面色分类结果。最后，服务器120将人脸照片和相应的面色分类结果发送至医师终端140，以便医师可以进行审核或者在诊疗过程中进行参考。
在本公开的一个实施例中，个人信息是在用户使用用户终端中的客户端向服务器中的服务端发起注册时由用户终端提交至服务器的。
在本公开的一个实施例中，面色分类模型是基于包括多个人脸图像样本的人脸图像样本集训练得到的，人脸图像样本包括人脸图像和与人脸图像对应的面色类别标签，人脸图像和与人脸图像对应的面色类别标签是由医师终端140提交至至服务器的，人脸图像的面色类别标签是使用医师终端140为人脸图像标注的。
值得一提的是，图1仅为本公开的一个实施例，虽然在图1实施例中仅示出了一个用户终端、一个医师终端、一个服务器以及一个数据库，但在本公开的其他实施例中，可以同时设置多个用户终端、多个医师终端和多个数据库，服务器也可以为由多个服务器组成的服务器集群，当设置有多个医师终端时，可以通过汇总各医师终端提交的人脸图像样本来构建用于训练面色分类模型的人脸图像样本集；虽然在图1实施例中，应用面色分类方法使用了用户终端、医师终端、服务器以及数据库这四种不同的终端设备，但在本申请的其他实施例中，可以使用少于四种终端设备来实现该面色分类方法，比如，面色分类模型可以部署在医师终端上，个人信息和人脸照片可以是医师进行现场临床诊断时直接输入至医师终端的，即可以仅通过医师终端来实现该面色分类方法。本公开对此不作任何限定，本公开的保护范围也不应因此而受到任何限制。
图2是根据一示例性实施例示出的一种面色分类方法的流程图。图2所示实施例提供的面色分类方法可以由各种具备计算和处理功能的终端设备执行，比如可以由服务器或者计算机设备等各种终端设备执行，终端设备中部署有面色分类模型。如图2所示，该面色分类方法具体可以包括以下步骤：
步骤210，将目标用户的待分类人脸图像输入至全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的第一特征图。
目标用户的待分类人脸图像可以是人脸照片或人脸图片，其格式可以为.bmp，.jpg等各种格式。
在本公开的一个实施例中，在将目标用户的待分类人脸图像输入至全局神经网络中之前，该面色分类方法还包括：对包含目标用户的图片进行人脸截取，得到目标用户的待分类人脸图像。
在本实施例中，目标用户的待分类人脸图像是通过在包含目标用户的图片中将包含人脸的区域进行图片截取而得到的。
全局神经网络包括骨干网络(backbone)，全局神经网络的最后一个卷积层即为骨干网络的最后一个卷积层。
图3是根据一示例性实施例示出的能够实现面色分类方法的算法框架示意图。请参见图3所示，该算法框架包括全局神经网络和局部神经网络，全局神经网络包括第一骨干网络310，在将待分类人脸图像301输入至第一骨干网络310之后，由第一骨干网络310进行特征提取，从而输出与待分类人脸图像301对应的第一特征图302。第一骨干网络310可以是任意的深度卷积神经网络，如ResNet、DenseNet、VGG、MobileNet、HRNet等。
步骤220，将待分类人脸图像分割为多个人脸区域图像，并将所述多个人脸区域图像输入至局部神经网络中，得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图。
可以根据各种方式和规则对待分类人脸图像进行分割，将待分类人脸图像分割而成的人脸区域图像的数量可以根据需要进行设置。
可以利用预先训练好的人脸区域分割模型对待分类人脸图像进行分割，人脸区域分割模型可以通过使用深度学习算法来构建而成。
在本公开的一个实施例中，所述多个人脸区域图像为中医领域内与五脏分别对应的面部区域图像。
与五脏分别对应的面部区域图像是中医临床定义的与人体脏腑对应的面部五个局部区域。
具体地，中医领域内的五脏为心肝脾肺肾，多个人脸区域图像为与心肝脾肺肾这五脏分别对应的5个人脸区域图像，分别为与心对应的额部区域图像、与肝对应的左部区域图像，与脾对应的鼻部区域图像，与肺对应的右部区域图像，与肾对应的下部区域图像，其中，左部和右部指用户自身所感知的方位。
将人脸区域图像输入至局部神经网络的骨干网络中，局部神经网络的骨干网络会输出与该人脸区域图像对应的第二特征图，局部神经网络的最后一个卷积层也可以位于局部神经网络的骨干网络中。
请继续参见图3所示，局部神经网络包括第二骨干网络330，将待分类人脸图像301分割为多个人脸区域图像302，将每个人脸区域图像输入至第二骨干网络330，由第二骨干网络330进行特征提取，从而输出与每个人脸区域图像对应的第二特征图305。其中，多个人脸区域图像302即为与五脏分别对应的5个人脸区域图像，可以在待分类人脸图像301中识别出人脸区域图像的位置，并在相应位置处标注上裁剪框，然后按照裁剪框在待分类人脸图像中裁剪出相应的人脸区域图像。
与第一骨干网络310类似，第二骨干网络330也可以是任意的深度卷积神经网络，例如可以是ResNet、DenseNet、VGG、MobileNet、HRNet等。
图4是根据一示例性实施例示出的训练局部神经网络的流程图。请参见图4所示，可以通过如下流程对局部神经网络进行训练：
步骤410，获取人脸区域样本集，所述人脸区域样本集包括多个人脸区域样本，所述人脸区域样本包括由人脸图像分割而成的多个人脸区域图像和与所述人脸图像对应的疾病类别标签和面色类别标签。
可以设置包括多个人脸图像样本的人脸图像样本集，每个人脸图像样本包括一个人脸图像，进而可以根据一个人脸图像样本中的人脸图像生成相应的人脸区域样本。
在本公开的一个实施例中，面色类别标签为以下中的任意一种：正常、青、赤、黄、白、黑。
在本公开的一个实施例中，疾病类别标签是发生疾病的脏腑。
具体地，疾病类别标签可以是以下中的至少一种：心、肝、脾、肺、肾。即与人脸图像对应的疾病类别标签可以为一个或多个。
人脸区域样本集中的人脸区域样本可以根据临床诊断数据生成。具体地，面色类别标签可以由中医师根据经验为人脸图像进行标注得到，疾病类别标签也可以由中医师标注得到，当然，还可以中医诊断报告等数据中提取得到。人脸区域样本集中由人脸图像分割而成的多个人脸区域图像可以通过预先训练好的人脸区域分割模型进行分割得到，也可以由专家根据经验手动分割而成。
步骤420，将所述人脸区域样本中的各人脸区域图像分别输入至所述局部神经网络中，得到与各人脸区域图像对应的分类结果。
与人脸区域图像对应的分类结果与前述的面色类别标签对应，因此，与人脸区域图像对应的分类结果也可以为以下中的任意一种：正常、青、赤、黄、白、黑。
请继续参见图3所示，局部神经网络还包括位于第二骨干网络330之后的局部分类器，将人脸区域图像输入至局部神经网络的第二骨干网络330之后，第二骨干网络330输出第二特征图305，第二特征图305被输入至局部分类器中，得到局部分类器输出的第二分类结果306。
步骤430，根据与各人脸区域图像对应的分类结果和所述面色类别标签确定各人脸区域图像对应的交叉熵损失，并根据各人脸区域图像对应的交叉熵损失和所述疾病类别标签确定与所述人脸区域样本对应的整体交叉熵损失。
交叉熵损失(Cross Entropy Loss)刻画的是分类结果和真实的面色类别标签这两个概率分布之间的距离。交叉熵越小，两个概率分布越接近。
在本公开的一个实施例中，所述根据各人脸区域图像对应的交叉熵损失和所述疾病类别标签确定与所述人脸区域样本对应的整体交叉熵损失，包括：根据所述疾病类别标签确定各人脸区域图像对应的权值；根据各人脸区域图像对应的交叉熵损失和权值确定与所述人脸区域样本对应的整体交叉熵损失。
具体地，可以将各人脸区域图像对应的权值之和设置为1。由于疾病类别标签与人脸区域图像相对应，因此，可以将各人脸区域图像中与疾病类别标签对应的人脸区域图像的权值设置为最大，当一个人脸图像对应着所有疾病类别标签时，可以以平均的方式来设置人脸区域图像对应的权值。
可以通过如下公式来根据各人脸区域图像对应的交叉熵损失和权值确定与一个人脸区域样本对应的整体交叉熵损失：
Llocal＝λheart·LCE1+λnose·LCE2+λleft·LCE3+λrihgt·LCE4+λchin·LCE5，
其中，Llocal为人脸区域样本对应的整体交叉熵损失，LCE1为与额部区域图像对应的交叉熵损失，LCE2为与鼻部区域图像对应的交叉熵损失，LCE3为与左部区域图像对应的交叉熵损失，LCE4为与右部区域图像对应的交叉熵损失，LCE5为与下部区域图像对应的交叉熵损失，λheart为与额部区域图像对应的权值，λnose为与鼻部区域图像对应的权值，λleft为与左部区域图像对应的权值，λrihgt为与右部区域图像对应的权值，λchin为与下部区域图像对应的权值。
如果人脸图像对应的疾病是与心脏相关的疾病，即疾病类别标签为心，那么可以将与心对应的人脸区域图像的权值设置为最大，例如，可以以如下公式确定整体交叉熵损失：
Llocal＝0.6·LCE1+0.1·LCE2+0.1·LCE3+0.1·LCE4+0.1·LCE5。
如果人脸图像对应的疾病是综合类疾病，即疾病类别标签为多种脏腑，那么，可以将各人脸区域图像对应的权值设置为同样的权值。
步骤440，根据与各人脸区域样本对应的整体交叉熵损失，得到局部神经网络损失，并根据所述局部神经网络损失更新所述局部神经网络的参数，以对所述局部神经网络进行训练。
局部神经网络损失可以通过计算与各人脸区域样本对应的整体交叉熵损失的平均值或者计算与各人脸区域样本对应的整体交叉熵损失之和来得到。以局部神经网络损失为目标函数，通过利用反向传播算法等手段不断调整局部神经网络的参数，使目标函数的值最小，可以实现对局部神经网络的训练。
图5是根据一示例性实施例示出的训练全局神经网络的流程图。请参见图5所示，可以通过如下流程对全局神经网络进行训练：
步骤510，获取人脸图像样本集，所述人脸图像样本集包括多个人脸图像样本，所述人脸图像样本包括人脸图像和与所述人脸图像对应的面色类别标签。
人脸图像样本集中包括多个人脸图像和与每个人脸图像对应的面色类别标签。可以先建立包括多个人脸图像样本的人脸图像样本集，再根据人脸图像样本集来建立前述实施例中的人脸区域样本集。
步骤520，将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到与各人脸图像对应的分类结果。
在本公开的一个实施例中，所述将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到与各人脸图像对应的分类结果，包括：获取所述局部神经网络输出的与各人脸图像对应的第二特征图集合，所述第二特征图集合包括多个第二特征图；基于通道注意力机制对各所述第二特征图集合进行处理，得到包括多个注意力特征图的注意力特征图集合；将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的与各人脸图像对应的第一特征图；针对每一人脸图像，通过所述全局神经网络中的融合模块将所述人脸图像对应的所述第一特征图与所述人脸图像对应的注意力特征图集合进行融合，得到与所述人脸图像对应的融合特征；获取所述全局神经网络输出的与各融合特征对应的分类结果，作为与各人脸图像对应的分类结果。
对于每个人脸图像，将该人脸图像对应的多个人脸区域图像输入至局部神经网络，可以得到局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图，从而得到第二特征图集合。通道注意力机制用于自动获取到每个特征通道的重要程度。
请继续参见图3所示，局部神经网络还包括通道注意力机制模块340。
对于每一人脸图像，可以将该人脸图像对应的五个人脸区域图像{V1,V2,V3,V4,V5}输入至局部神经网络的第二骨干网络330之后，第二骨干网络330输出五个人脸区域图像分别对应的第二特征图，从而得到该人脸图像对应的第二特征图集合{F1,F2,F3,F4,F5}；将该人脸图像对应的第二特征图集合{F1,F2,F3,F4,F5}输入至通道注意力机制模块340中，通道注意力机制模块340会输出注意力特征图集合{A1,A2,A3,A4,A5}。
全局神经网络还包括位于第一骨干网络310之后的融合模块320和全局分类器，在将人脸图像输入至全局神经网络的第一骨干网络310之后，第一骨干网络310输出第一特征图302，第一特征图302被输入至融合模块320中，融合模块320还会接收到来自通道注意力机制模块340的注意力特征图集合；融合模块320会将每个人脸图像对应的第一特征图和注意力特征图集合进行融合，得到与每个人脸图像对应的融合特征
Figure BDA0003743799550000113
融合模块320将每个人脸图像对应的融合特征
Figure BDA0003743799550000114
输入至全局分类器中，得到全局分类器输出的第一分类结果303。
步骤530，根据与各人脸图像对应的分类结果和各人脸图像对应的面色类别标签确定全局神经网络损失。
全局神经网络损失与局部神经网络损失类似，也可以是交叉熵损失。全局神经网络损失用于衡量分类结果和真实的面色类别标签这两个概率分布之间的距离。
步骤540，根据所述全局神经网络损失和所述局部神经网络损失确定出全局损失，并根据所述全局损失更新所述全局神经网络的参数，以对所述全局神经网络进行训练。
可以确定全局神经网络损失和局部神经网络损失的加权和，作为全局损失。以全局损失为目标函数，通过利用反向传播算法等手段不断调整全局神经网络的参数，使目标函数的值最小，可以实现对全局神经网络的训练。
具体地，可以利用如下公式确定全局损失：
Lglobal＝λg·Lg+λl·Ll，
其中，λg为全局神经网络损失的权值，Lg为全局神经网络损失，λl为局部神经网络损失的权值，Ll为局部神经网络损失，Lglobal为全局损失。
可以为权值设置默认值为：
Figure BDA0003743799550000111
Figure BDA0003743799550000112
权值作为可调参数可以根据需要进行调整。
在本公开的一个实施例中，所述全局神经网络和所述局部神经网络是交替进行训练的。
具体地，可以先训练局部神经网络，然后固定局部神经网络的参数不变，训练全局神经网络；然后再继续训练局部神经网络，如此循环往复，直至得到预设的训练停止条件。
请继续参见图2，步骤230，对所述第一特征图进行聚合操作，得到第一特征向量。
在本公开的一个实施例中，所述对所述第一特征图进行聚合操作，得到第一特征向量，包括：利用1×1卷积模块对所述第一特征图进行卷积，得到第一特征向量。
在本公开实施例中，利用1×1卷积模块实现了聚合(Aggregation)操作。
请继续参见图3所示，对全局神经网络的第一骨干网络310输出的第一特征图302进行聚合操作，得到512维的第一特征向量304。
步骤240，对各所述第二特征图进行聚合操作，得到第二特征向量。
对第二特征图进行聚合操作也可以利用1×1卷积模块来实现。请继续参见图3所示，对第二骨干网络330输出与每个人脸区域图像对应的第二特征图305进行聚合操作，得到512维的第二特征向量307。
步骤250，获取根据所述目标用户的关联信息生成的第三特征向量。
目标用户的关联信息可以是各种与目标用户相关的信息。
在本公开的一个实施例中，所述关联信息包括问诊数据和个人基础信息。
具体地，可以从问诊数据中提取出脏腑名称、化妆情况、长期工作环境等与面色相关的信息，可以从个人基础信息中提取出性别、年龄等信息；根据规则对提取出的信息进行量化，得到多个特征值，然后根据实际特征数量自适应重复设置特征值，从而生成具有均等作用的512维特征向量。
因此，第三特征向量是利用中医领域知识构建的知识特征向量。
在本公开的一个实施例中，所述关联信息还包括肤色的色域特征信息。具体地，可以引入预设的某个区域皮肤的色域特征作为基准色域特征，从而能够计算出当前识别的人脸图像的色域特征，进而提高面色分类的准确性。
步骤260，对所述第一特征向量、所述第二特征向量和所述第三特征向量进行级联，得到目标特征向量。
级联即拼接操作。请继续参见图3所示，加号代表级联(Concatenation)操作，对第一特征向量304、第二特征向量307和第三特征向量308进行级联，可以得到目标特征向量309。
步骤270，对所述目标特征向量进行分类，得到面色分类结果。
在本公开的一个实施例中，对所述目标特征向量进行分类，得到面色分类结果，包括：将所述目标特征向量输入至多层感知机中，以便多层感知机对所述目标特征向量进行处理之后，将处理结果输入至分类层中；获取所述分类层根据所述处理结果输出的面色分类结果。
具体地，请参见图3所示，该算法框架还包括MLP(Multilayer Perceptron，多层感知器)分类器，MLP分类器包括多层感知机和分类层，将目标特征向量309输入至MLP分类器之后，MLP分类器会输出面色分类结果3100。
面色分类结果可以为以下中的一项：正常、青、赤、黄、白、黑。
综上所述，中医面色诊断是一个复杂的过程，根据本公开实施例提供的面色分类方法，引入了全局特征、局部特征两种视觉特征以及根据用户的关联信息生成的关联特征，使用了隐含知识信息，可以提高面色分类的准确性和泛化能力；同时，模型使用了多任务的方式进行训练，即针对全局神经网络和局部神经网络使用了既独立又相互约束的规则进行训练，有助于提升特征判别的准确性，具有解决类别长尾问题的作用，可以抑制数据类别的不平衡性产生的过拟合，使模型的输出结果更具可解析性。
本公开还提供了一种面色分类装置，以下是本公开的装置实施例。
图6是根据一示例性实施例示出的一种面色分类装置的框图。如图6所示，装置600包括：
输入模块610，被配置为将目标用户的待分类人脸图像输入至全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的第一特征图；
分割模块620，被配置为将待分类人脸图像分割为多个人脸区域图像，并将所述多个人脸区域图像输入至局部神经网络中，得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图；
第一聚合模块630，被配置为对所述第一特征图进行聚合操作，得到第一特征向量；
第二聚合模块640，被配置为对各所述第二特征图进行聚合操作，得到第二特征向量；
获取模块650，被配置为获取根据所述目标用户的关联信息生成的第三特征向量；
级联模块660，被配置为对所述第一特征向量、所述第二特征向量和所述第三特征向量进行级联，得到目标特征向量；
分类模块670，被配置为对所述目标特征向量进行分类，得到面色分类结果。
在本公开的一个实施例中，基于前述方案，面色分类装置还包括局部神经网络训练模块，局部神经网络训练模块被配置为：
获取人脸区域样本集，所述人脸区域样本集包括多个人脸区域样本，所述人脸区域样本包括由人脸图像分割而成的多个人脸区域图像和与所述人脸图像对应的疾病类别标签和面色类别标签；
将所述人脸区域样本中的各人脸区域图像分别输入至所述局部神经网络中，得到与各人脸区域图像对应的分类结果；
根据与各人脸区域图像对应的分类结果和所述面色类别标签确定各人脸区域图像对应的交叉熵损失，并根据各人脸区域图像对应的交叉熵损失和所述疾病类别标签确定与所述人脸区域样本对应的整体交叉熵损失；
根据与各人脸区域样本对应的整体交叉熵损失，得到局部神经网络损失，并根据所述局部神经网络损失更新所述局部神经网络的参数，以对所述局部神经网络进行训练。
在本公开的一个实施例中，基于前述方案，局部神经网络训练模块被进一步配置为：
根据所述疾病类别标签确定各人脸区域图像对应的权值；
根据各人脸区域图像对应的交叉熵损失和权值确定与所述人脸区域样本对应的整体交叉熵损失。
在本公开的一个实施例中，基于前述方案，面色分类装置还包括全局神经网络训练模块，全局神经网络训练模块被配置为：
获取人脸图像样本集，所述人脸图像样本集包括多个人脸图像样本，所述人脸图像样本包括人脸图像和与所述人脸图像对应的面色类别标签；
将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到与各人脸图像对应的分类结果；
根据与各人脸图像对应的分类结果和各人脸图像对应的面色类别标签确定全局神经网络损失；
根据所述全局神经网络损失和所述局部神经网络损失确定出全局损失，并根据所述全局损失更新所述全局神经网络的参数，以对所述全局神经网络进行训练。
在本公开的一个实施例中，基于前述方案，全局神经网络训练模块被进一步配置为：
获取所述局部神经网络输出的与各人脸图像对应的第二特征图集合，所述第二特征图集合包括多个第二特征图；
基于通道注意力机制对各所述第二特征图集合进行处理，得到包括多个注意力特征图的注意力特征图集合；
将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的与各人脸图像对应的第一特征图；
针对每一人脸图像，通过所述全局神经网络中的融合模块将所述人脸图像对应的所述第一特征图与所述人脸图像对应的注意力特征图集合进行融合，得到与所述人脸图像对应的融合特征；
获取所述全局神经网络输出的与各融合特征对应的分类结果，作为与各人脸图像对应的分类结果。
在本公开的一个实施例中，基于前述方案，所述多个人脸区域图像为中医领域内与五脏分别对应的面部区域图像。
在本公开的一个实施例中，基于前述方案，第一聚合模块630被进一步配置为：利用1×1卷积模块对所述第一特征图进行卷积，得到第一特征向量。
根据本公开的第三方面，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)721和/或高速缓存存储单元722，还可以进一步包括只读存储单元(ROM)723。
存储单元720还可以包括具有一组(至少一个)程序模块725的程序/实用工具724，这样的程序模块725包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行，比如与显示单元740通信。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
根据本公开的第四方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种面色分类方法，其特征在于，所述方法包括：
将目标用户的待分类人脸图像输入至全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的第一特征图；
将待分类人脸图像分割为多个人脸区域图像，并将所述多个人脸区域图像输入至局部神经网络中，得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图；
对所述第一特征图进行聚合操作，得到第一特征向量；
对各所述第二特征图进行聚合操作，得到第二特征向量；
获取根据所述目标用户的关联信息生成的第三特征向量；
对所述第一特征向量、所述第二特征向量和所述第三特征向量进行级联，得到目标特征向量；
对所述目标特征向量进行分类，得到面色分类结果。
2.根据权利要求1所述的面色分类方法，其特征在于，所述局部神经网络是通过如下方式训练得到的：
获取人脸区域样本集，所述人脸区域样本集包括多个人脸区域样本，所述人脸区域样本包括由人脸图像分割而成的多个人脸区域图像和与所述人脸图像对应的疾病类别标签和面色类别标签；
将所述人脸区域样本中的各人脸区域图像分别输入至所述局部神经网络中，得到与各人脸区域图像对应的分类结果；
根据与各人脸区域图像对应的分类结果和所述面色类别标签确定各人脸区域图像对应的交叉熵损失，并根据各人脸区域图像对应的交叉熵损失和所述疾病类别标签确定与所述人脸区域样本对应的整体交叉熵损失；
根据与各人脸区域样本对应的整体交叉熵损失，得到局部神经网络损失，并根据所述局部神经网络损失更新所述局部神经网络的参数，以对所述局部神经网络进行训练。
3.根据权利要求2所述的面色分类方法，其特征在于，所述根据各人脸区域图像对应的交叉熵损失和所述疾病类别标签确定与所述人脸区域样本对应的整体交叉熵损失，包括：
根据所述疾病类别标签确定各人脸区域图像对应的权值；
根据各人脸区域图像对应的交叉熵损失和权值确定与所述人脸区域样本对应的整体交叉熵损失。
4.根据权利要求2或3所述的面色分类方法，其特征在于，所述全局神经网络是通过如下方式训练得到的：
获取人脸图像样本集，所述人脸图像样本集包括多个人脸图像样本，所述人脸图像样本包括人脸图像和与所述人脸图像对应的面色类别标签；
将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到与各人脸图像对应的分类结果；
根据与各人脸图像对应的分类结果和各人脸图像对应的面色类别标签确定全局神经网络损失；
根据所述全局神经网络损失和所述局部神经网络损失确定出全局损失，并根据所述全局损失更新所述全局神经网络的参数，以对所述全局神经网络进行训练。
5.根据权利要求4所述的面色分类方法，其特征在于，所述将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到与各人脸图像对应的分类结果，包括：
获取所述局部神经网络输出的与各人脸图像对应的第二特征图集合，所述第二特征图集合包括多个第二特征图；
基于通道注意力机制对各所述第二特征图集合进行处理，得到包括多个注意力特征图的注意力特征图集合；
将各所述人脸图像样本中的人脸图像分别输入至所述全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的与各人脸图像对应的第一特征图；
针对每一人脸图像，通过所述全局神经网络中的融合模块将所述人脸图像对应的所述第一特征图与所述人脸图像对应的注意力特征图集合进行融合，得到与所述人脸图像对应的融合特征；
获取所述全局神经网络输出的与各融合特征对应的分类结果，作为与各人脸图像对应的分类结果。
6.根据权利要求1-5任意一项所述的面色分类方法，其特征在于，所述多个人脸区域图像为中医领域内与五脏分别对应的面部区域图像。
7.根据权利要求1-5任意一项所述的面色分类方法，其特征在于，所述对所述第一特征图进行聚合操作，得到第一特征向量，包括：
利用1×1卷积模块对所述第一特征图进行卷积，得到第一特征向量。
8.一种面色分类装置，其特征在于，所述装置包括：
输入模块，被配置为将目标用户的待分类人脸图像输入至全局神经网络中，得到所述全局神经网络的最后一个卷积层输出的第一特征图；
分割模块，被配置为将待分类人脸图像分割为多个人脸区域图像，并将所述多个人脸区域图像输入至局部神经网络中，得到所述局部神经网络的最后一个卷积层输出的与每个人脸区域图像对应的第二特征图；
第一聚合模块，被配置为对所述第一特征图进行聚合操作，得到第一特征向量；
第二聚合模块，被配置为对各所述第二特征图进行聚合操作，得到第二特征向量；
获取模块，被配置为获取根据所述目标用户的关联信息生成的第三特征向量；
级联模块，被配置为对所述第一特征向量、所述第二特征向量和所述第三特征向量进行级联，得到目标特征向量；
分类模块，被配置为对所述目标特征向量进行分类，得到面色分类结果。
9.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。
CN202210823389.4A 2022-07-13 2022-07-13 面色分类方法、装置、计算机可读程序介质及电子设备 Pending CN115100723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210823389.4A CN115100723A (zh) 2022-07-13 2022-07-13 面色分类方法、装置、计算机可读程序介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210823389.4A CN115100723A (zh) 2022-07-13 2022-07-13 面色分类方法、装置、计算机可读程序介质及电子设备

Publications (1)

Publication Number Publication Date
CN115100723A true CN115100723A (zh) 2022-09-23

Family

ID=83296003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210823389.4A Pending CN115100723A (zh) 2022-07-13 2022-07-13 面色分类方法、装置、计算机可读程序介质及电子设备

Country Status (1)

Country Link
CN (1) CN115100723A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423041A (zh) * 2023-12-13 2024-01-19 成都中医药大学 一种基于计算机视觉的面部视频判别中医气血系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971147A (zh) * 2017-03-06 2017-07-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于人脸区域分割的中医面诊系统及面诊方法
CN114446469A (zh) * 2022-01-28 2022-05-06 北京鹰之眼智能健康科技有限公司 一种用于中医面诊辅助诊断的人脸区域分割方法、装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971147A (zh) * 2017-03-06 2017-07-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于人脸区域分割的中医面诊系统及面诊方法
CN114446469A (zh) * 2022-01-28 2022-05-06 北京鹰之眼智能健康科技有限公司 一种用于中医面诊辅助诊断的人脸区域分割方法、装置和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林怡 等: "基于面部图像特征融合的中医望诊面色分类研究", 《实用临床医药杂志》, vol. 24, no. 14, 31 December 2020 (2020-12-31), pages 1 - 5 *
胡俊炜: "基于多模态数据深度学习的中医体质辨识方法", 《硕士学位论文》, 31 December 2021 (2021-12-31), pages 12 - 29 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423041A (zh) * 2023-12-13 2024-01-19 成都中医药大学 一种基于计算机视觉的面部视频判别中医气血系统
CN117423041B (zh) * 2023-12-13 2024-03-08 成都中医药大学 一种基于计算机视觉的面部视频判别中医气血系统

Similar Documents

Publication Publication Date Title
WO2022242459A1 (zh) 数据分类识别方法、装置、设备、介质及程序产品
US11487995B2 (en) Method and apparatus for determining image quality
US11900647B2 (en) Image classification method, apparatus, and device, storage medium, and medical electronic device
EP3937183A1 (en) Image analysis method, microscope video stream processing method, and related apparatus
WO2021159751A1 (zh) 基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质
US10470659B2 (en) Systems, methods, and computer-readable media for gene and genetic variant prioritization
TW202112299A (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN110660484B (zh) 骨龄预测方法、装置、介质及电子设备
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
WO2021169556A1 (zh) 人脸图像合成方法及装置
CN116129141B (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN114330499A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN115100723A (zh) 面色分类方法、装置、计算机可读程序介质及电子设备
Liu et al. Chronic Wound Image Augmentation and Assessment Using Semi-Supervised Progressive Multi-Granularity EfficientNet
Tsung et al. Recognizing edge-based diseases of vocal cords by using convolutional neural networks
WO2023160157A1 (zh) 三维医学图像的识别方法、装置、设备、存储介质及产品
TWM586599U (zh) 人工智慧雲端膚質與皮膚病灶辨識系統
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
KR102591395B1 (ko) 딥러닝 기반의 입천장심장얼굴 증후군(vcfs) 진단 지원 시스템 및 방법
WO2024016691A1 (zh) 一种图像检索方法、模型训练方法、装置及存储介质
US12118739B2 (en) Medical image processing method, apparatus, and device, medium, and endoscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination