CN113033488B - 医疗特征识别方法及装置、电子设备、存储介质 - Google Patents
医疗特征识别方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113033488B CN113033488B CN202110439128.8A CN202110439128A CN113033488B CN 113033488 B CN113033488 B CN 113033488B CN 202110439128 A CN202110439128 A CN 202110439128A CN 113033488 B CN113033488 B CN 113033488B
- Authority
- CN
- China
- Prior art keywords
- feature
- target image
- region
- tongue
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000001815 facial effect Effects 0.000 claims description 128
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011248 coating agent Substances 0.000 description 31
- 238000000576 coating method Methods 0.000 description 31
- 238000001514 detection method Methods 0.000 description 30
- 238000013145 classification model Methods 0.000 description 24
- 210000000744 eyelid Anatomy 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 210000004709 eyebrow Anatomy 0.000 description 12
- 206010014080 Ecchymosis Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 241001522129 Pinellia Species 0.000 description 4
- 206010015150 Erythema Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 206010015993 Eyelid oedema Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000010798 Tongue disease Diseases 0.000 description 1
- 206010064488 Tongue exfoliation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种医疗特征识别方法及装置、电子设备、计算机可读存储介质，该方法包括：对目标图像进行待识别区域检测，确定所述目标图像的待识别区域；依据所述待识别区域的目标类型，对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果；依据所述识别结果对所述目标图像进行标注，并输出标注后的目标图像。本申请方案实现了自动化的医疗特征识别，降低了人工成本，并可直观地展示识别结果。
Description
技术领域
本申请涉及深度学习和生物信息识别技术领域，特别涉及一种医疗特征识别方法及装置、电子设备、计算机可读存储介质。
背景技术
舌面上的医疗特征是中医诊断的重要依据，包括面象特征和舌象特征。其中，面象特征可以包括面色、唇色、唇形等；舌象特征可以包括舌色、裂纹、齿痕等。医疗特征识别对医生的专业性和经验要求较高，这使得诊断过程需要较高的人工成本。
发明内容
本申请实施例的目的在于提供一种医疗特征识别方法及装置、电子设备、计算机可读存储介质，用于实现自动化地识别舌面特征，降低人工成本。
一方面，本申请提供了一种医疗特征识别方法，包括：
对目标图像进行待识别区域检测，确定所述目标图像的待识别区域；
依据所述待识别区域的目标类型，对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果；
依据所述识别结果对所述目标图像进行标注，并输出标注后的目标图像。
在一实施例中，在所述对所述目标图像的待识别区域进行医疗特征识别之前，所述方法还包括：
判断所述目标图像的待识别区域是否满足质量要求；
如果是，执行所述对所述目标图像的待识别区域进行医疗特征识别的步骤；
如果否，输出所述目标图像的质量未达标的提示信息。
在一实施例中，所述待识别区域的目标类型为舌部区域，所述医疗特征包括第一舌象特征；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
依据所述待识别区域对所述目标图像进行裁切，获得舌部区域图像；
将所述舌部区域图像输入已训练的第一舌象特征识别模型，获得若干第一舌象特征的识别结果。
在一实施例中，所述医疗特征包括第二舌象特征，所述第二舌象特征与指定第一舌象特征相关联；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
当所述指定第一舌象特征的识别结果满足与所述第二舌象特征对应的第一条件时，将所述舌部区域图像输入已训练的第二舌象特征识别模型，获得若干第二舌象特征的识别结果。
在一实施例中，所述待识别区域的目标类型为面部区域，所述医疗特征包括第一面象特征；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
依据所述待识别区域对所述目标图像进行裁切，获得面部区域图像；
将所述面部区域图像输入已训练的第一面象特征识别模型，获得若干第一面象特征的识别结果。
在一实施例中，所述医疗特征包括第二面象特征，所述第二面象特征与指定第一面象特征相关联；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
当所述指定第一面象特征的识别结果满足与所述第二面象特征对应的第二条件时，将所述面部区域图像输入已训练的第二面象特征识别模型，获得若干第二面象特征的识别结果。
在一实施例中，所述待识别区域的目标类型为面部区域，所述医疗特征包括第三面象特征；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
对所述目标图像进行实例分割，获得对应于第一指定部位的待识别子区域；
依据所述待识别子区域对所述目标图像进行裁切，获得第一指定部位子图像；
将所述第一指定部位子图像输入已训练的第三面象特征识别模型，获得若干第三面象特征的识别结果。
在一实施例中，所述待识别区域的目标类型为面部区域，所述医疗特征包括第四面象特征；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
将所述目标图像输入已训练的面部特征点回归模型，获得第二指定部位的若干特征点；
依据所述特征点对所述目标图像进行裁切，获得第二指定部位子图像；
将所述第二指定部位子图像输入已训练的第四面象特征识别模型，获得若干第四面象特征的识别结果。
进一步的，本申请还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述医疗特征识别方法。
另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述医疗特征识别方法。
本申请方案，对目标图像进行待识别区域检测后，依据待识别区域的目标类型，对目标图像中待识别区域进行医疗特征识别，并可以依据医疗特征识别的识别结果对目标图像进行标注，从而实现了自动化的医疗特征识别，降低了人工成本，并可以直观地展示识别结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的医疗特征识别方法的应用场景示意图；
图2为本申请一实施例提供的电子设备的结构示意图；
图3为本申请一实施例提供的医疗特征识别方法的流程示意图；
图4为本申请一实施例提供的图像预处理方法的流程示意图；
图5为本申请一实施例提供的识别流程示意图；
图6为本申请一实施例提供的识别流程示意图；
图7为本申请一实施例提供的识别流程示意图；
图8为本申请一实施例提供的识别流程示意图；
图9为本申请一实施例提供的医疗特征识别装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的医疗特征识别方法的应用场景示意图。如图1所示，该应用场景包括客户端20和服务端30；客户端20可以是手机、平板电脑、个人计算机等用户终端，用于采集图像，并向服务端30发起针对已采集图像的识别请求；服务端30可以是服务器、服务器集群或云计算中心，可以依据识别请求对图像进行医疗特征识别。
如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30，用于执行医疗特征识别方法。
存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的医疗特征识别方法。
参见图3，为本申请一实施例提供的医疗特征识别方法的流程示意图，如图3所示，该方法可以包括以下步骤310-步骤330。
步骤310：对目标图像进行待识别区域检测，确定目标图像的待识别区域。
其中，目标图像是包含待识别区域的图像。这里，待识别区域可以是图像中面部和/或舌部所在的区域。
服务端可以将目标图像输入已训练的舌面目标检测模型，获得舌面目标检测模型输出的目标检测结果。该目标检测结果可以包括目标图像中目标的位置信息和目标类型，位置信息可以指示目标图像中的待识别区域，目标类型可以包括舌部区域和面部区域。
舌面目标检测模型可以通过舌面图像集对目标检测模型训练得到。这里舌面图像集可以包括大量已标注的面部图像和舌部图像，面部图像被标注面部区域的目标类型和位置信息，舌部图像被标注舌部区域的目标类型和位置信息。在一实施例中，目标检测模型可以是Faster R-CNN(Faster Region-Convolutional Neural Network)，并可将FBNet作为目标检测模型的特征提取网络层，通过舌面图像集对基于FBNet的Faster R-CNN进行训练，可以得到检测准确性、实时性和召回率较为平衡的舌面目标检测模型。
步骤320：依据待识别区域的目标类型，对目标图像的待识别区域进行医疗特征识别，获得目标图像中若干医疗特征的识别结果。
在确定目标图像的待识别区域后，可以确定目标图像的目标类型。服务端可以确定与目标类型对应的若干医疗特征，并对目标图像的待识别区域有进行相应的医疗特征识别，从而得到若干医疗特征的识别结果。这里，识别结果可以包括医疗特征是否存在(比如：目标类型为舌部区域，医疗特征为舌色红，则识别结果可以指示舌色红是否存在，也就是舌色是否为红色)、医疗特征的位置(比如：目标类型为舌部区域，医疗特征为齿痕，则识别结果可以指示齿痕是否存在)等。
步骤330：依据识别结果对目标图像进行标注，并输出标注后的目标图像。
在获得识别结果后，服务端可以依据识别结果对目标图像进行标注。对于不具有位置信息的医疗特征，可将医疗特征作为目标图像的整体属性；对于具有位置信息的医疗特征，可将医疗特征作为目标图像中位置信息指示区域的局部属性。服务端可以将目标图像所具有的医疗特征和作为局部属性的医疗特征的位置信息，对目标图像进行标注，使得标注后的目标图像可以携带医疗特征标签，服务端可以输出标注后的目标图像，从而实现识别结果的直观展示。
标注后的目标图像在展示时，可以同时展示其所具有的医疗特征，以及作为局部属性的医疗特征在目标图像中的位置。这里，作为局部属性的医疗特征的位置可以以实线框、虚线框、箭头指示等方式进行限定。
示例性的，当待识别区域为舌部区域，服务端在识别出舌色红和齿痕后，将舌色红作为整体属性，将齿痕作为目标图像上齿痕所在位置的局部属性，以舌色红、齿痕和齿痕的位置信息对目标图像进行标注后，可以输出标注后的目标图像。输出的目标图像包含舌色红的文字描述、虚线框限定的齿痕位置以及虚线框对应的齿痕的文字描述。
通过上述措施，可以依据目标图像中待识别区域的目标类型，针对性地执行医疗特征识别，从而提高了医疗特征的识别效率。依据识别结果标注目标图像，并输出已标注的目标图像，可以直观呈现目标图像中所存在的医疗特征。
在一实施例中，为提升识别准确性，在确定目标图像的待识别区域后，可以对目标图像的待识别区域进行预处理，参见图4，为本申请一实施例提供的图像预处理方法的流程示意图，如图4所示，该方法可以包括以下步骤311-步骤313。
步骤311：判断目标图像的待识别区域是否满足质量要求。
在确定目标图像的待识别区域之后，服务端可以从目标图像中裁切出待识别区域，获得目标子图像。
在一实施例中，服务端可以计算目标子图像的模糊度系数，示例性的，服务端可以基于拉普拉斯算子计算目标子图像的模糊度系数。服务端可以判断该模糊度系数是否小于预设模糊度系数阈值。这里，模糊度系数阈值可以是预配置的经验值。一方面，若不小于，则可以认定目标子图像足够清楚，在这种情况下，目标图像的待识别区域满足质量要求。另一方面，若是，则可以认定目标子图像较为模糊，在这种情况下，目标图像的待识别区域不满足质量要求。
在一实施例中，服务端可以计算目标子图像的亮度系数，示例性的，服务端可以将目标子图像转换为HSV(Hue，Saturation，Value，色调，饱和度，明度)格式，从而获得目标子图像中每一像素的明度，计算所有像素的明度均值，得到亮度系数。服务端可以判断该亮度系数是否小于预设亮度系数阈值。这里，亮度系数阈值可以是预配置的经验值。一方面，若是，则可以认定目标子图像亮度较低，在这种情况下，目标图像的待识别区域不满足质量要求。另一方面，若否，则可以认定目标子图像亮度足够高，在这种情况下，目标图像的待识别区域满足质量要求。
服务端可以通过模糊度系数和/或亮度系数判断目标图像的待识别区域是否满足质量要求。
步骤312：如果是，执行对目标图像的待识别区域进行医疗特征识别的步骤。
步骤313：如果否，输出目标图像的质量未达标的提示信息。
当目标图像的待识别区域满足质量要求时，服务端可以继续执行步骤320。当目标图像的待识别区域不满足质量要求时，服务端可以输出目标图像的质量未达标的提示信息。示例性的，当目标图像较为模糊时，服务端可以向用户终端返回提示信息，该提示信息指示图像过于模糊。当目标图像过暗时，服务端可以向用户终端返回提示信息，该提示信息指示图像过暗。
通过上述措施，在目标图像的质量未达标时，可以及时以提示信息提示更换图像，并可对质量达标的目标图像执行识别过程，从而可以提升识别准确性。
在一实施例中，如果待识别区域的目标类型为舌部区域，医疗特征包括第一舌象特征，这里，第一舌象特征为可以通过模型独立识别的舌象特征。参见图5，为本申请一实施例提供的识别流程示意图，如图5所示，该方法可以包括如下步骤321A-步骤322A。
步骤321A：依据待识别区域对目标图像进行裁切，获得舌部区域图像。
一种情况下，服务端可以直接从目标图像中裁切出待识别区域，从而得到舌部区域图像。
另一种情况下，如果需要识别的第一舌象特征包括舌体胖瘦，为防止因图片畸变对识别结果造成影响，在确定出待识别区域后，可以在待识别区域的基础上进行扩增，并从目标图像中裁切出扩增后的区域，从而得到舌部区域图像。示例性的，待识别区域为矩形，可在待识别区域的基础上进行扩增，从而裁切出纵横比为1的正方形区域，得到舌部区域图像。
步骤322A：将舌部区域图像输入已训练的第一舌象特征识别模型，获得若干第一舌象特征的识别结果。
第一舌象特征识别模型可以包括第一舌象特征分类模型和第一舌象特征检测模型，第一舌象特征分类模型输出针对第一舌象特征的分类结果，该分类结果可以指示舌部区域图像是否具有第一舌象特征；第一舌象特征检测模型输出第一舌象特征的目标检测结果，该目标检测结果包括第一舌象特征在舌部区域图像的位置信息。
第一舌象特征可以包括舌色红、舌色淡白、舌色暗、舌色紫、舌苔厚、舌苔剥落、苔色白、苔色黄、苔腻、齿痕、裂纹、润燥(包括舌苔润、舌苔水滑、舌苔干燥三种特征)、舌体胖瘦、半夏线、瘀斑瘀点、点刺等一种或多种的组合。
其中，第一舌象特征舌色红、舌色淡白、舌色暗、舌色紫、舌苔剥落、苔色白、苔色黄、苔腻、齿痕、裂纹、舌苔润、舌体水滑和舌体干燥、舌体胖瘦、半夏线可以有对应的第一舌象特征分类模型。
示例性的，舌色红有对应的第一舌象特征分类模型，用于对舌部区域图像执行舌色红的二分类判断，并输出类别信息。该类别信息说明舌部区域图像是否属于舌色红。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为舌部区域图像为舌色红的置信度，另一元素为舌部区域图像不为舌色红的置信度，如果舌色红对应的置信度大于预设置信度阈值，则可以认为舌部区域图像属于舌色红。
示例性的，舌体水滑和舌体干燥有对应的第一舌象特征分类模型，用于对舌部区域图像执行舌体水滑或干燥的二分类判断，并输出类别信息。该类别信息说明舌部区域图像中舌体水滑或舌体干燥。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为舌体水滑的置信度，另一元素为舌体干燥的置信度。如果舌体水滑对应的置信度较高，可以确定舌部区域图像中舌体的舌象特征为舌体水滑；如果舌体干燥对应的置信度较高，可以确定舌部区域图像中舌体的舌象体重为舌体干燥。
在一实施例中，第一舌象特征分类模型可以由EfficientNet和MobileNet等轻量级算法训练得到。这使得模型在运行过程中占用资源不大，对硬件要求较低。
第一舌象特征齿痕、裂纹、舌苔厚、舌苔剥落、半夏线、瘀斑瘀点、点刺可以有对应的第一舌象特征检测模型。
示例性的，齿痕有对应的第一舌象特征检测模型，用于对舌部区域图像执行齿痕的目标检测，并输出齿痕的目标检测结果。该目标检测结果包含舌部区域图像中齿痕的位置信息。
示例性的，瘀斑瘀点有对应的第一舌象特征检测模型，用于对舌部区域图像执行瘀斑瘀点的目标检测，并输出瘀斑瘀点的目标检测结果。该目标检测结果包含瘀斑瘀点的位置信息。
在一实施例中，第一舌象特征检测模型可以由Faster R-CNN训练得到，并可将ResNet101网络作为Faster R-CNN的特征提取网络层。
通过上述措施，本方案可以识别舌色红、舌色淡白、舌色暗、舌色紫、舌苔厚、舌苔剥落、苔色白、苔色黄、苔腻、齿痕、裂纹、润燥、舌体胖瘦、半夏线、瘀斑瘀点、点刺等舌象特征，并可以确定齿痕、裂纹、舌苔厚、舌苔剥落、半夏线、瘀斑瘀点、点刺等舌象特征的具体位置。
在一实施例中，如果待识别区域的目标类型为舌部区域，医疗特征还可以包括第二舌象特征，第二舌象特征是与指定第一舌象特征相关联的舌象特征。
当指定第一舌象特征的识别结果满足与第二舌象特征对应的第一条件时，服务端可以将舌部区域图像输入已训练的第二舌象特征识别模型，获得若干第二舌象特征的识别结果。
第二舌象特征识别模型可以包括第二舌象特征分类模型和第二舌象特征检测模型，第二舌象特征分类模型输出针对第二舌象特征的分类结果，该分类结果可以指示舌部区域图像是否具有第二舌象特征；第二舌象特征检测模型输出第二舌象特征的目标检测结果，该目标检测结果包括第二舌象特征在舌部区域图像的位置信息。
第二舌象特征可以包括苔腐。与苔腐相关联的指定第一舌象特征可以是苔腻。与苔腐对应的第一条件为苔腻的识别结果指示舌部区域图像存在苔腻。
示例性的，苔腐有对应的第二舌象特征分类模型，用于执行苔腐的二分类判断，并输出类别信息。该类别信息说明舌部区域图像是否存在苔腐。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为舌部区域图像存在苔腐的置信度，另一元素为舌部区域图像不存在苔腐的置信度，如果存在苔腐的置信度大于预设置信度阈值，则可以认为舌部区域图像存在苔腐。在这种情况下，服务端在确定舌部区域图像存在苔腻，并依据苔腐对应的第二舌象特征分类模型进一步判断后，可以确定舌部区域图像是否存在苔腐，因此，可更为准确地确定目标图像中的苔腐。
在一实施例中，第二舌象特征分类模型可以由EfficientNet和MobileNet等轻量级算法训练得到。这使得模型在运行过程中占用资源不大，对硬件要求较低。
通过上述措施，本方案可以更为准确地识别图像中与指定第一舌象特征相关联的第二舌象特征。
在一实施例中，如果待识别区域的目标类型为面部区域，医疗特征包括第一面象特征，这里，第一面象特征为可以通过模型独立识别的面象特征。参见图6，为本申请一实施例提供的识别流程示意图，如图6所示，该方法可以包括如下步骤321B-步骤322B。
步骤321B：依据待识别区域对目标图像进行裁切，获得面部区域图像。
服务端可以直接从目标图像中裁切出待识别区域，从而得到面部区域图像。
步骤322B：将面部区域图像输入已训练的第一面象特征识别模型，获得若干第一面象特征的识别结果。
第一面象特征识别模型可以为第一面象特征分类模型，第一面象特征分类模型输出针对第一面象特征的分类结果，该分类结果可以指示面部区域图像是否具有第一面象特征。
第一面象特征可以包括面色红、面色黄、面色白、面色黑、面色正常、面色明润、面色晦暗、面色油光、眼神有神和眼神无神等一种或多种的组合。
示例性的，面色红有对应的第一面象特征分类模型，用于对面部区域图像执行面色红的二分类判断，并输出类别信息。该类别信息说明面部区域图像是否属于面色红。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为面部区域图像为面色红的置信度，另一元素为面部区域图像不为面色红的置信度，如果面色红对应的置信度大于预设置信度阈值，则可以认为面部区域图像属于面色红。
示例性的，眼神有神和无神具有对应的第一面象特征分类模型，用于执行眼神是否有神的二分类判断，并输出类别信息。该类别信息说明眼神是有神或无神。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为有神的置信度，另一元素为无神的置信度。如果有神对应的置信度较高，可以确定面部区域图像中的面象特征为有神；如果无神对应的置信度较高，可以确定面部区域图像中的面象特征为无神。
在一实施例中，第一面象特征分类模型可以由EfficientNet和MobileNet等轻量级算法训练得到。这使得模型在运行过程中占用资源不大，对硬件要求较低。
通过上述措施，本方案可以识别面色红、面色黄、面色白、面色黑、面色正常、面色明润、面色晦暗、面色油光、眼神有神和眼神无神等面象特征。
在一实施例中，如果待识别区域的目标类型为面部区域，医疗特征还可以包括第二面象特征，第二面象特征是与指定第一面象特征相关联的面象特征。
当指定第一面象特征的识别结果满足与第二面象特征对应的第二条件时，服务端可以将面部区域图像输入已训练的第二面象特征识别模型，获得若国安第二面象特征的识别结果。
第二面象特征识别模型可以包括第二面象特征分类模型，第二面象特征分类模型输出针对第二面象特征的分类结果，该分类结果可以指示面部区域图像是否具有第二面象特征。
第二面象特征可以包括面色青。与面色青相关联的指定第一面象特征可以是面色正常。与面色青对应的第二条件为面色正常的识别结果指示面部区域图像不属于面色正常，换而言之，面部区域图像中面色不正常。
示例性的，面色青有对应的第二面象特征分类模型，用于执行面色青的二分类判断，并输出类别信息。该类别信息说明面部区域图像是否属于面色青。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为面部区域图像属于面色青的置信度，另一元素为面部区域图像不属于面色青的置信度，如果面色青对应的置信度大于预设置信度阈值，则可以认为面部区域图像属于面色青。在这种情况下，服务端在确定面部区域图像属于面色不正常后，依据面色青对应的第二面象特征分类模型进一步判断后，可以确定面部区域图像是否属于面色青，因此，可更为准确地确定目标图像中面色青的特征。
在一实施例中，第二面象特征分类模型可以由EfficientNet和MobileNet等轻量级算法训练得到。这使得模型在运行过程中占用资源不大，对硬件要求较低。
通过上述措施，本方案可以更为准确地识别图像中与指定第一面象特征相关联的第二面象特征。
在一实施例中，如果待识别区域的目标类型为面部区域，医疗特征可以包括第三面象特征。参见图7，为本申请一实施例提供的识别流程示意图，如图7所示，该方法可以包括如下步骤321C-步骤322C。
步骤321C：对目标图像进行实例分割，获得对应于第一指定部位的待识别子区域。
其中，第一指定部位可以是面部预先指定的部位，可通过实例分割确定第一指定部位在目标图像中的位置。示例性的，第一指定部位可以包括嘴唇、眉毛。
服务端可以通过已训练的实例分割模型，对目标图像进行实例分割。在一实施例中，实例分割模型可以是Mask R-CNN，且可以根据Resnet101作为实例分割模型的基础特征提取网络。实例分割模型可以通过人脸数据集(比如：CelebAMask-HQ)训练得到，从而可以实现对面部各个部位(如：鼻子、脖子、头发、耳朵、牙齿等)进行实例分割。
在实例分割后，服务端可以确定第一指定部位在目标图像中的待识别子区域。
步骤322C：依据待识别子区域对目标图像进行裁切，获得第一指定部位子图像。
一种情况下，服务端可以直接从目标图像中裁切出待识别子区域，从而获得包含第一指定部位的第一指定部位子图像。
另一种情况下，为便于后续处理，服务端可以在待识别子区域的基础上进行扩增，从目标图像中裁切出扩增后的矩形区域，从而得到第一指定部位子图像。
当第一指定部位为嘴唇时，通过实例分割可以确定上嘴唇所在待识别子区域和下嘴唇所在待识别子区域，服务端可以将上嘴唇和下嘴唇裁切后进行拼接，从而得到嘴唇对应的第一指定部位子图像。
步骤323C：将第一指定部位子图像输入已训练的第三面象特征识别模型，获得若干第三面象特征的识别结果。
第三面象特征识别模型可以为第三面象特征分类模型，第三面象特征分类模型输出针对第三面象特征的分类结果，该分类结果可以指示第一指定部位子图像是否具有第三面象特征。
第三面象特征可以包括唇色紫、唇色红、唇色暗、唇色淡、唇厚、浓眉等一种或多种的组合。
示例性的，唇色紫有对应的第三面象特征分类模型，用于对唇部的第一指定部位图像执行唇色紫的二分类判断，并输出类别信息。该类别信息说明第一指定部位图像中嘴唇是否属于唇色紫。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为第一指定部位图像为唇色紫的置信度，另一元素为第一指定部位图像部位唇色紫的置信度，如果唇色紫对应的置信度大于预设置信度阈值，则可以认为第一指定部位图像属于唇色紫。
在一实施例中，第三面象特征分类模型可以由EfficientNet和MobileNet等轻量级算法训练得到。这使得模型在运行过程中占用资源不大，对硬件要求较低。
通过上述措施，本方案可以识别唇色紫、唇色红、唇色暗、唇色淡、唇厚、浓眉等面象特征。
在一实施例中，如果待识别区域的目标类型为面部区域，医疗特征可以包括第四面象特征。参见图8，为本申请一实施例提供的识别流程示意图，如图8所示，该方法可以包括如下步骤321D-步骤322D。
步骤321D:将目标图像输入已训练的面部特征点回归模型，获得第二指定部位的若干特征点。
其中，第二指定部位可以是面部预先指定的部位，可以通过特征点回归来确定第二指定部位在目标图像中的位置。示例性的，第二指定部位可以包括眼睛。
步骤322D:依据特征点对目标图像进行裁切，获得第二指定部位子图像；
服务端通过面部特征点回归模型确定第二指定部位的若干特征点之后，可以依据特征点构建第二指定部位所在区域，并裁切得到包含第二指定部位的第二指定部位子图像。
步骤323D:将第二指定部位子图像输入已训练的第四面象特征识别模型，获得若干第四面象特征的识别结果。
第四面象特征识别模型可以为第四面象特征分类模型，第四面象特征分类模型输出针对第四面象特征的分类结果，该分类结果可以指示第二指定部位是否具有第四面象特征。
第四面象特征可以包括眼睑浮肿、单眼皮和双眼皮、川字眉等一种或多种的组合。
示例性的，川字眉有对应的第四面象特征分类模型，用于对眼部的第二指定部位子图像执行川字眉的二分类判断，并输出类别信息。该类别信息说明第二指定部位子图像中眼部是否具有川字眉。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为第二指定部位图像有川字眉的置信度，另一元素为第二指定部位图像部位没有川字眉的置信度，如果川字眉对应的置信度大于预设置信度阈值，则可以认为第二指定部位图像中眼部具有川字眉。
示例性的，单眼皮和双眼皮有对应的第四面象特征分类模型，用于对眼部的第二指定部位子图像执行眼皮的二分类判断，并输出类别信息。该类别信息说明第二指定部位子图像中眼部是单眼皮或双眼皮。在一实施例中，该类别信息可以是二维向量，二维向量中一个元素为第二指定部位图像属于单眼皮的置信度，另一元素为第二指定部位图像部位属于双眼皮的置信度，如果单眼皮对应的置信度较高，可以确定第二指定部位图像中面象特征为单眼皮；如果双眼皮对应的置信度较高，可以确定第二指定部位图像中面象特征为双眼皮。
在一实施例中，第四面象特征分类模型可以由EfficientNet和MobileNet等轻量级算法训练得到。这使得模型在运行过程中占用资源不大，对硬件要求较低。
通过上述措施，本方案可以识别单眼皮、双眼皮、眼睑浮肿、川字眉等面象特征。
图9是本发明一实施例的一种医疗特征识别装置，如图9所示，该装置可以包括：
检测模块910，用于对目标图像进行待识别区域检测，确定所述目标图像的待识别区域；
识别模块920，用于依据所述待识别区域的目标类型，对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果；
输出模块930，用于依据所述识别结果对所述目标图像进行标注，并输出标注后的目标图像。
上述装置中各个模块的功能和作用的实现过程具体详见上述医疗特征识别方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (7)
1.一种医疗特征识别方法，其特征在于，包括：
对目标图像进行待识别区域检测，确定所述目标图像的待识别区域；
依据所述待识别区域的目标类型，对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果；其中，所述待识别区域的目标类型为舌部区域，所述医疗特征包括第一舌象特征，所述医疗特征包括第二舌象特征，所述第二舌象特征与指定第一舌象特征相关联；所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：依据所述待识别区域对所述目标图像进行裁切，获得舌部区域图像；将所述舌部区域图像输入已训练的第一舌象特征识别模型，获得若干第一舌象特征的识别结果；当所述指定第一舌象特征的识别结果满足与所述第二舌象特征对应的第一条件时，将所述舌部区域图像输入已训练的第二舌象特征识别模型，获得若干第二舌象特征的识别结果；
依据所述识别结果对所述目标图像进行标注，并输出标注后的目标图像。
2.根据权利要求1所述的方法，其特征在于，在所述对所述目标图像的待识别区域进行医疗特征识别之前，所述方法还包括：
判断所述目标图像的待识别区域是否满足质量要求；
如果是，执行所述对所述目标图像的待识别区域进行医疗特征识别的步骤；
如果否，输出所述目标图像的质量未达标的提示信息。
3.一种医疗特征识别方法，其特征在于，包括：
对目标图像进行待识别区域检测，确定所述目标图像的待识别区域；
依据所述待识别区域的目标类型，对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果；所述待识别区域的目标类型为面部区域，所述医疗特征包括第一面象特征，所述医疗特征包括第二面象特征，所述第二面象特征与指定第一面象特征相关联；所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：依据所述待识别区域对所述目标图像进行裁切，获得面部区域图像；将所述面部区域图像输入已训练的第一面象特征识别模型，获得若干第一面象特征的识别结果；当所述指定第一面象特征的识别结果满足与所述第二面象特征对应的第二条件时，将所述面部区域图像输入已训练的第二面象特征识别模型，获得若干第二面象特征的识别结果；
依据所述识别结果对所述目标图像进行标注，并输出标注后的目标图像。
4.根据权利要求3所述的方法，其特征在于，所述待识别区域的目标类型为面部区域，所述医疗特征包括第三面象特征；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
对所述目标图像进行实例分割，获得对应于第一指定部位的待识别子区域；
依据所述待识别子区域对所述目标图像进行裁切，获得第一指定部位子图像；
将所述第一指定部位子图像输入已训练的第三面象特征识别模型，获得若干第三面象特征的识别结果。
5.根据权利要求3所述的方法，其特征在于，所述待识别区域的目标类型为面部区域，所述医疗特征包括第四面象特征；
所述对所述目标图像的待识别区域进行医疗特征识别，获得所述目标图像中若干医疗特征的识别结果，包括：
将所述目标图像输入已训练的面部特征点回归模型，获得第二指定部位的若干特征点；
依据所述特征点对所述目标图像进行裁切，获得第二指定部位子图像；
将所述第二指定部位子图像输入已训练的第四面象特征识别模型，获得若干第四面象特征的识别结果。
6.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-2或3-5任意一项所述的医疗特征识别方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-2或3-5任意一项所述的医疗特征识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110439128.8A CN113033488B (zh) | 2021-04-22 | 2021-04-22 | 医疗特征识别方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110439128.8A CN113033488B (zh) | 2021-04-22 | 2021-04-22 | 医疗特征识别方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033488A CN113033488A (zh) | 2021-06-25 |
| CN113033488B true CN113033488B (zh) | 2023-11-21 |
Family
ID=76457806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110439128.8A Active CN113033488B (zh) | 2021-04-22 | 2021-04-22 | 医疗特征识别方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033488B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359854A (zh) * | 2022-03-21 | 2022-04-15 | 上海闪马智能科技有限公司 | 一种对象的识别方法、装置、存储介质及电子装置 |
| CN117315357B (zh) * | 2023-09-27 | 2024-04-30 | 广东省新黄埔中医药联合创新研究院 | 基于中医虚实辨证分类的图像识别方法以及相关装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537210A (zh) * | 2018-06-09 | 2018-09-14 | 王华虎 | 一种面部、舌苔采集识别自动反馈装置及检测方法 |
| CN109147911A (zh) * | 2017-06-16 | 2019-01-04 | 深圳大森智能科技有限公司 | 病症信息显示方法及装置、计算机可读存储介质 |
| CN109300123A (zh) * | 2018-09-18 | 2019-02-01 | 天津大学 | 基于面部和舌部图像采集的体质分析方法 |
| CN109740611A (zh) * | 2019-01-25 | 2019-05-10 | 中电健康云科技有限公司 | 舌头图像分析方法及装置 |
| CN110335199A (zh) * | 2019-07-17 | 2019-10-15 | 上海骏聿数码科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN110363072A (zh) * | 2019-05-31 | 2019-10-22 | 正和智能网络科技(广州)有限公司 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
| CN111209801A (zh) * | 2019-12-24 | 2020-05-29 | 新绎健康科技有限公司 | 一种中医胖舌识别方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8355543B2 (en) * | 2008-06-02 | 2013-01-15 | The Hong Kong Polytechnic University | Method and system for identifying a person based on their tongue |
-
2021
- 2021-04-22 CN CN202110439128.8A patent/CN113033488B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147911A (zh) * | 2017-06-16 | 2019-01-04 | 深圳大森智能科技有限公司 | 病症信息显示方法及装置、计算机可读存储介质 |
| CN108537210A (zh) * | 2018-06-09 | 2018-09-14 | 王华虎 | 一种面部、舌苔采集识别自动反馈装置及检测方法 |
| CN109300123A (zh) * | 2018-09-18 | 2019-02-01 | 天津大学 | 基于面部和舌部图像采集的体质分析方法 |
| CN109740611A (zh) * | 2019-01-25 | 2019-05-10 | 中电健康云科技有限公司 | 舌头图像分析方法及装置 |
| CN110363072A (zh) * | 2019-05-31 | 2019-10-22 | 正和智能网络科技(广州)有限公司 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
| CN110335199A (zh) * | 2019-07-17 | 2019-10-15 | 上海骏聿数码科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111209801A (zh) * | 2019-12-24 | 2020-05-29 | 新绎健康科技有限公司 | 一种中医胖舌识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于TripletLoss损失函数的舌象分类方法研究;孙萌;张新峰;;北京生物医学工程(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033488A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hamuda et al. | Automatic crop detection under field conditions using the HSV colour space and morphological operations | |
| US20210256258A1 (en) | Method, apparatus, and computer program for extracting representative characteristics of object in image | |
| CN113033488B (zh) | 医疗特征识别方法及装置、电子设备、存储介质 | |
| Zhang et al. | SUN: A Bayesian framework for saliency using natural statistics | |
| JP6332937B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN110189383B (zh) | 基于机器学习的中医舌色苔色定量分析方法 | |
| WO2019033571A1 (zh) | 面部特征点检测方法、装置及存储介质 | |
| US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
| Chantharaphaichi et al. | Automatic acne detection for medical treatment | |
| CN105844242A (zh) | 图像中的肤色检测方法 | |
| CN111639629A (zh) | 一种基于图像处理的猪只体重测量方法、装置及存储介质 | |
| SE1930281A1 (en) | METHOD FOR CALCULATING DEVIATION RELATIONS OF A POPULATION | |
| KR102356465B1 (ko) | 사용자 얼굴 피부 분석 방법 및 서버 | |
| Kittigul et al. | Automatic acne detection system for medical treatment progress report | |
| CN112257702A (zh) | 一种基于增量学习的农作物病害识别方法 | |
| CN111508016A (zh) | 一种基于图像处理的白癜风区域色度值和面积计算的方法 | |
| CN110648336B (zh) | 一种舌质和舌苔的分割方法及装置 | |
| CN113313680A (zh) | 一种结直肠癌病理图像预后辅助预测方法及系统 | |
| CN114359792A (zh) | 基于深度学习的电力作业现场绝缘手套识别方法和装置 | |
| Kajale | Detection & reorganization of plant leaf diseases using image processing and Android OS | |
| WO2017145172A1 (en) | System and method for extraction and analysis of samples under a microscope | |
| US20160140748A1 (en) | Automated animation for presentation of images | |
| CN111582278B (zh) | 人像分割方法、装置及电子设备 | |
| CN116386118A (zh) | 一种基于人像识别的粤剧匹配化妆系统及其方法 | |
| CN115620353A (zh) | 一种用于3d人脸识别的图像预处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |