CN112768065A - 一种基于人工智能的面瘫分级诊断方法、装置 - Google Patents
一种基于人工智能的面瘫分级诊断方法、装置 Download PDFInfo
- Publication number
- CN112768065A CN112768065A CN202110129591.2A CN202110129591A CN112768065A CN 112768065 A CN112768065 A CN 112768065A CN 202110129591 A CN202110129591 A CN 202110129591A CN 112768065 A CN112768065 A CN 112768065A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- images
- facial paralysis
- grading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000004929 Facial Paralysis Diseases 0.000 title claims abstract description 132
- 208000036826 VIIth nerve paralysis Diseases 0.000 title claims abstract description 132
- 238000003745 diagnosis Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000005192 partition Methods 0.000 claims abstract description 31
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 230000001815 facial effect Effects 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 239000003550 marker Substances 0.000 claims description 23
- 230000003068 static effect Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 21
- 210000004709 eyebrow Anatomy 0.000 claims description 15
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 230000000630 rising effect Effects 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 8
- 208000025157 Oral disease Diseases 0.000 claims description 7
- 208000031748 disorder of facial skeleton Diseases 0.000 claims description 7
- 208000030194 mouth disease Diseases 0.000 claims description 7
- 206010040954 Skin wrinkling Diseases 0.000 claims description 3
- 238000002405 diagnostic procedure Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000035945 sensitivity Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241001125929 Trisopterus luscus Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 206010061213 Iatrogenic injury Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 210000000256 facial nerve Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了基于人工智能的面瘫分级诊断方法、装置，所述面瘫分级诊断方法通过获取患者面部正面图像，并将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的，本发明能够准确、快速地对面瘫进行分级诊断，消除主观评价的不一致性，辅助医师决策。其输入数据便于获得、技术敏感性低，输出结果为临床已广泛认可的分级标准，易于推广使用。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及基于人工智能的面瘫分级诊断方法、装置、电子设备及存储介质。
背景技术
贝尔面瘫、创伤、肿瘤及医源性损伤都可能造成面瘫，对面瘫程度的分级诊断将贯穿整个治疗过程，用以评估患者的病情。相较于肌电图等技术，图像学方法是最直观、无创且便捷的。目前临床上受限于接诊时间、诊室空间和经费，医师大多仍采用传统的主观评价方法，即医生当场观察患者特定面部表情，或这些表情的照片，依照某些分级标准根据经验给出分级。
人工智能(AI)能够建立输入数据与输出结果的映射关系模型。在本领域，输出结果即为面瘫分级，除了常用的HB分级、FNGS2.0分级外，其他有助于临床决策的分级标准均可按需纳用。输入数据可以是原始图片，也可以是图片预先经过处理后获得的数据。有研究者创建了一个面瘫的四级分级标准(区分左右侧共七类)，将患者图片作为输入数据，专家根据图片给出的七类分级为输出结果，将卷积神经网络(CNN)GoogleNet Inception v3和DeepID相结合得到适用于面瘫分级的Inception-DeepID-FNP(IDFNP)CNN，以此三者获得了一种全新的面瘫分级方法。该方法存在两点缺陷：其一，医师对于分级标准的使用粘性高，HB分级、FNGS2.0分级在基层、国内顶尖医院乃至国际上有着深厚的使用基础，医师很难改变惯用的方法，因此自创的分级标准如果没有明显超越前人的优势将难以推广，进而降低了该方法的临床应用价值。其二，AI的特性使之能够发掘人类主观认知背后的客观规律，优点是拓展了数据获取的范围，但同样无关的噪声(比如背景)也会被纳入模型，造成偏倚。
发明内容
本发明的目的在于提供一种基于人工智能的面瘫分级诊断方法、装置、电子设备及存储介质，弥补现有技术的不足，使面瘫分级诊断结果更便捷、准确且易于推广。
第一方面，本发明实施例提供了一种基于人工智能的面瘫分级诊断方法，所述面瘫分级诊断方法包括以下步骤：
S20、获取患者面部正面图像，所述正面图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
S40、将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的。
进一步地，面瘫诊断模型的建立包括：
S401、卷积神经网络HRNet识别面部标志点的预训练：使用IBUG数据库对HRNet进行标志点识别预训练；
S402、卷积神经网络HRNet识别口腔颌面部疾病患者面部标志点的预训练：使用OMD数据库对HRNet进行标志点识别预训练；
S403、获取多组患者面部正面采样图像，所述正面采样图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像，分别编号为M0、M2、M3、M4、M5、M6、M7；
S404、将所述多组面部正面采样图像输入预先训练的卷积神经网络HRNet得到标注面部68个标志点的图像；
S405、获取反映标注面部68个标志点的图像的面部静态对称性的数集SS及动态对称性的数集DSx；
S406、获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分；
S407、通过所述SS、DS及其HB分级和FNGS2.0分区评分建立面瘫数据库，训练Softmax非线性分类器，得到面瘫诊断模型。
进一步地，步骤S406，获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分包括：
由多位具有临床经验的医师分别对所有图像进行评价，给出第一轮HB分级和FNGS2.0分区评分；不一致的结果将匿名反馈给各位医师进行第二轮评价，并陈述理由；第二轮评价仍未获得一致答案的，将结果与其他医师的理由匿名反馈给各位医师进行第三轮评价；第三轮评价后结果不一致的选取众数作为最终结果。
进一步地，获取反映标注面部68个标志点的图像的面部静态对称性的数集SS包括；
在图像MX(x∈0,1,2,3,4,5,6,7)上，根据标志点在面部的左右位置分为三个点集，右侧PR，左侧PL，中线PM；在每张图片上建立坐标系，计算PR中所有点与PR、PM中另外任一点的距离DR，同理计算PL中所有点与PL、PM中另外任一点的距离DL；将左右对应的距离D做比，则获得反映该表情图像面部静态对称性的数集SSX；
进一步地，获取反映标注面部68个标志点的图像的面部静态对称性的数集DS包括：
根据标志点在面部的左右位置分为三个点集，右侧PR，左侧PL，中线PM；在每张图片上建立坐标系，计算PR中所有点与PR、PM中另外任一点的距离DR，同理计算PL中所有点与PL、PM中另外任一点的距离DL；将Mx(x∈1,2,3,4,5,6,7)与M0中对应的距离D做差，再计算左右侧的比值，则获得反映该表情图像面部动态对称性的数集DSx；
进一步地，所述面瘫诊断模型的建立还包括面瘫诊断模型的更新，具体包括：
S408、OMD数据库的扩充与HRNet的迭代训练：对步骤S404中标注面部68个标志点的图像进行人工校正；将校正结果补充入OMD数据库；使用更新的OMD数据库对HRNet进行训练。
S409、面瘫数据库的扩充与Softmax的迭代训练：对所述面瘫诊断模型的输出结果进行人工校正，将校正结果补充入面瘫数据库，使用更新的面瘫数据库对Softmax进行训练。
第二方面，本发明实施例提供了一种基于人工智能的面瘫分级诊断装置，所述面瘫分级诊断装置包括：
获取模块，用于获取患者面部正面图像，所述正面图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
诊断模块，将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的。
第三方面，本发明实施例提供了一种基于人工智能的面瘫分级诊断模型建立装置，所述面瘫分级诊断模型建立装置包括：
第一训练单元，用于卷积神经网络HRNet识别面部标志点的预训练：使用IBUG数据库对HRNet进行标志点识别预训练；
第二训练单元，用于卷积神经网络HRNet识别口腔颌面部疾病患者面部标志点的预训练：使用OMD数据库对HRNet进行标志点识别预训练；
第一获取单元，用于获取多组患者面部正面采样图像，所述正面采样图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
标注单元，用于将所述多组面部正面采样图像输入预先训练的卷积神经网络HRNet得到标注面部68个标志点的图像；
计算单元，用于获取反映标注面部68个标志点的图像的面部静态对称性的数集SS及动态对称性的数集DS；
第二获取单元，用于获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分；
第三训练单元，用于通过所述SS、DS及其HB分级和FNGS2.0分区评分建立面瘫数据库，训练Softmax非线性分类器，得到面瘫诊断模型。
第四方面，本发明提供了一种电子设备，包括：
处理器；用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现上述的基于人工智能的面瘫分级诊断方法。
第五方面，本发明提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述基于人工智能的面瘫分级诊断模型建立方法的步骤。
有益效果
本发明提出了一种基于人工智能的面瘫分级诊断方法、装置、电子设备及存储介质，所述面瘫分级诊断方法通过获取患者面部正面图像，并将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的，本发明选择了较为受认可面瘫程度量化方法，即计算双侧面部对称性。在计算过程中使用人工智能代替人工操作，卷积神经网络HRNet可以快速、准确地标注面部标志点，Softmax非线性分类器可以根据面部对称性的客观计算指标进行面瘫严重程度诊断，并且二者均可通过扩充其训练用数据库进一步提升准确度，本发明能够准确、快速地对面瘫进行分级诊断，消除主观评价的不一致性，辅助医师决策。其输入数据便于获得、技术敏感性低，输出结果为临床已广泛认可的分级标准，易于推广使用。
附图说明
图1为本发明实施例的一种基于人工智能的面瘫分级诊断方法的流程图；
图2为本发明实施例的面瘫分级诊断模型建立方法的流程图；
图3为本发明实施例的面部68个标志点的示意图；
图4为图3中面部标志点的解剖学定义；
图5为HB分级及FNGS2.0分级标准；
图6为本发明另一实施例的面瘫分级诊断模型建立方法的流程图；
图7为本发明实施例的一种基于人工智能的面瘫分级诊断装置的结构框图；
图8为本发明实施例的一种基于人工智能的面瘫分级诊断模型建立装置的结构框图；
图9为本发明另一实施例的一种基于人工智能的面瘫分级诊断模型建立装置的结构框图；
图10为本发明实施例的一种电子设备的结构框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的在于提供一种基于人工智能的面瘫分级诊断方法、装置、电子设备及存储介质，所述面瘫分级诊断方法包括三个关键算法和两个数据库，卷积神经网络high-resolution network(HRNet)、面部对称性算法、Softmax非线性分类器、口腔颌面部疾病患者面部图像数据库(OMD数据库)和面瘫数据库。输入数据为面瘫患者8张面部图像，输出结果为HB分级和FNGS2.0分区评分。下面结合附图说明和具体实施例对本发明作进一步描述：
应理解的是，本实施例提供的一种基于人工智能的面瘫分级诊断方法可应用于控制器、个人电脑或者服务器等硬件设备。所述控制器例如ARM(Advanced RISC Machines)控制器、FPGA(Field Programmable Gate Array)控制器、SoC(System on Chip)控制器、DSP(Digital Signal Processing)控制器、或者MCU(Micorcontroller Unit)控制器等；所述个人电脑例如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等；所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。
图1示出了本发明实施例的一种基于人工智能的面瘫分级诊断方法的流程图，如图1所示，所述面瘫分级诊断方法包括以下步骤：
S20、获取患者面部正面图像，所述正面图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；用于分级诊断的面部图像共8张：静息、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿、大张口(分别命名为M0、M1、M2、M3、M4、M5、M6、M7)。
S40、将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的。
本实施例所述面瘫分级诊断方法通过获取患者面部正面图像，并将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的，本发明能够准确、快速地对面瘫进行分级诊断，消除主观评价的不一致性，辅助医师决策。其输入数据便于获得、技术敏感性低，输出结果为临床已广泛认可的分级标准，易于推广使用。
具体地，面瘫诊断模型的建立包括：
S401、卷积神经网络HRNet识别面部标志点的预训练：使用IBUG数据库对HRNet进行标志点识别预训练；IBUG人脸数据库，包含了135张人脸图片，每张人脸图片被标注了68个特征点。
HRNet是具有关键点检测能力的卷积神经网络，在标准数据集测试中，其表现超过了所有其他算法；
S402、卷积神经网络HRNet识别口腔颌面部疾病患者面部标志点的预训练：使用口腔颌面部疾病患者面部图像数据库(OMD数据库)对HRNet进行标志点识别预训练；目前网络上的人脸图像开源数据库均以健康人群为主，缺乏针对口腔颌面部疾病(OMD)患者的数据库。经验证仅以开源数据库训练过的面部标志点识别算法，在识别OMD患者面部标志点时准确度显著降低。本方法中使用OMD数据库对面部标志点识别算法进行训练，提升算法性能。
S403、获取多组患者面部正面采样图像，所述正面采样图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
S404、将所述多组面部正面采样图像输入预先训练的卷积神经网络HRNet得到标注面部68个标志点的图像；使用HRNet对面部图像进行标志点识别，标注面部68个标志点(如图3所示)，每个标志点都有明确的解剖学定义(如图4所示)；
S405、获取反映标注面部68个标志点的图像的面部静态对称性的数集SS及动态对称性的数集DS；面瘫程度的客观指标通过面部对称性算法计算。既往方法中，医师往往根据经验仅选取个别标志点进行指标计算，缺少敏感性及特异性检验。其余诸如使用计算机视觉、光学等反映面部对称性的方法，对拍照条件要求严苛，不利大众使用。因此本方法仍采用标志点计算方法，得益于人工智能处理大量数据的能力，使本方法能够计算囊括所有标志点的指标。
用于分级诊断的面部图像共8张：静息、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿、大张口(分别命名为M0、M1、M2、M3、M4、M5、M6、M7)。其中M1至M7表情的幅度能够反映面神经5支分支及其所支配的多种面部表情肌的功能。衡量面部对称性的客观指标包括静态对称性(Static symmetry，SS)和动态对称性(Dynamic symmetry，DS)。对于单侧面瘫患者，患侧面瘫越严重，面部对称性越差。静态对称性是基于单张图像计算获得的一组数值，而动态对称性是根据静息、表情动作两张图片共同计算获得的一组数值。
具体地，获取反映标注面部68个标志点的图像的面部静态对称性的数集SS包括；
在图像MX(x∈0,1,2,3,4,5,6,7)上，根据标志点(Point)在面部的左右位置分为三个点集，右侧PR，左侧PL，中线PM。在每张图片上建立坐标系，计算PR中所有点与PR、PM中另外任一点的距离(Distance)DR，同理计算PL中所有点与PL、PM中另外任一点的距离DL。将左右对应的D做比，则获得反映该表情图像面部静态对称性的数集SSX。
但考虑到人脸本身的不对称性，有时也许表情图像对称性很差，但其实双侧运动幅度相差不大，面瘫程度并没有计算结果严重，因此需要计算动态对称性。D的计算方法同上，将Mx(x∈1,2,3,4,5,6,7)与M0中对应的D做差，再计算左右侧的比值，则获得反映该表情图像面部动态对称性的数集DS；SS指一例患者8张图像计算所得指标的集合，SSX指8张图像之一计算所得指标的集合；
S406、获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分；
目前临床上受限于接诊时间、诊室空间和经费，医师大多仍采用传统的主观评价方法，即医生当场观察患者特定面部表情，或这些表情的照片，依照某些分级标准根据经验给出分级。如图5所示，世界上使用最为广泛的分级标准为House-Brackmann(HB)分级，及其改进版本FNGS2.0分级。
S407、通过所述SS、DS及其HB分级和FNGS2.0分区评分建立面瘫数据库，训练Softmax非线性分类器，得到面瘫诊断模型。
Softmax非线性分类器适用于对面瘫程度的分类。Softmax分类器可以一次进行多分类，而不需进行多步二分类，在数据量较大时体现优势，因此常作为神经网络算法的输出层函数。
进一步地，步骤S406，获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分包括：
由多位具有临床经验的医师分别对所有图像进行评价，给出第一轮HB分级和FNGS2.0分区评分；不一致的结果将匿名反馈给各位医师进行第二轮评价，并陈述理由；第二轮评价仍未获得一致答案的，将结果与其他医师的理由匿名反馈给各位医师进行第三轮评价；第三轮评价后结果不一致的选取众数作为最终结果。
具体地，获取反映标注面部68个标志点的图像的面部静态对称性的数集SS包括；
在图像MX(x∈0,1,2,3,4,5,6,7)上，根据标志点在面部的左右位置分为三个点集，右侧PR，左侧PL，中线PM；在每张图片上建立坐标系，计算PR中所有点与PR、PM中另外任一点的距离DR，同理计算PL中所有点与PL、PM中另外任一点的距离DL；将左右对应的距离D做比，则获得反映该表情图像面部静态对称性的数集SSX；
具体地，获取反映标注面部68个标志点的图像的面部静态对称性的数集DS包括：
根据标志点在面部的左右位置分为三个点集，右侧PR，左侧PL，中线PM；在每张图片上建立坐标系，计算PR中所有点与PR、PM中另外任一点的距离DR，同理计算PL中所有点与PL、PM中另外任一点的距离DL；将Mx(x∈1,2,3,4,5,6,7)与M0中对应的距离D做差，再计算左右侧的比值，则获得反映该表情图像面部动态对称性的数集DSx；
在一些实施例中，如图6所示，所述面瘫诊断模型的建立还包括面瘫诊断模型的更新，具体包括：
S408、OMD数据库的扩充与HRNet的迭代训练：对步骤S404中标注面部68个标志点的图像进行人工校正；将校正结果补充入OMD数据库；使用更新的OMD数据库对HRNet进行训练。例如，可以由一位熟悉面部解剖、具有一定面部标志点标注经验的医师对标点结果进行人工校正。将校正结果补充入OMD数据库。使用更新的OMD数据库对HRNet进行训练。
S409、面瘫数据库的扩充与Softmax的迭代训练：对所述面瘫诊断模型的输出结果进行人工校正，将校正结果补充入面瘫数据库，使用更新的面瘫数据库对Softmax进行训练。例如，可以使用专家咨询法对诊断结果进行校正。专家咨询法：由5位具有临床经验的医师分别对所有图像进行评价，给出第一轮HB分级和FNGS2.0分区评分。不一致的结果将匿名反馈给各位医师进行第二轮评价，并陈述理由。第二轮评价仍未获得一致答案的，将结果与其他医师的理由匿名反馈给各位医师进行第三轮评价。第三轮评价后结果不一致的选取众数作为最终结果。将校正结果补充入面瘫数据库。使用更新的面瘫数据库对Softmax进行训练。
基于同一发明构思，如图7所示，本发明实施例提供了一种基于人工智能的面瘫分级诊断装置，所述面瘫分级诊断装置包括：
获取模块20，用于获取患者面部正面图像，所述正面图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
诊断模块40，将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的。
本实施例提出了一种基于人工智能的面瘫分级诊断装置，通过获取模块20获取患者面部正面图像，通过诊断模块40将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的，本发明能够准确、快速地对面瘫进行分级诊断，消除主观评价的不一致性，辅助医师决策。其输入数据便于获得、技术敏感性低，输出结果为临床已广泛认可的分级标准，易于推广使用。
基于同一发明构思，本申请实施例还提供了一种基于人工智能的面瘫分级诊断模型建立装置，可以用于实现上述实施例中所描述的方法，如下面实施例所述。由于该基于人工智能的面瘫分级诊断模型建立装置解决问题的原理与一种基于人工智能的面瘫分级诊断模型建立方法相似，因此基于人工智能的面瘫分级诊断模型建立装置的实施可以参见一种基于人工智能的面瘫分级诊断模型建立方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的；
如图8所示，所述面瘫分级诊断模型建立装置包括：
第一训练单元401，用于卷积神经网络HRNet识别面部标志点的预训练：使用IBUG数据库对HRNet进行标志点识别预训练；
第二训练单元402，用于卷积神经网络HRNet识别口腔颌面部疾病患者面部标志点的预训练：使用OMD数据库对HRNet进行标志点识别预训练；
第一获取单元403，用于获取多组患者面部正面采样图像，所述正面采样图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
标注单元404，用于将所述多组面部正面采样图像输入预先训练的卷积神经网络HRNet得到标注面部68个标志点的图像；
计算单元405，用于获取反映标注面部68个标志点的图像的面部静态对称性的数集SS及动态对称性的数集DS；
第二获取单元406，用于获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分；
第三训练单元407，用于通过所述SS、DS及其HB分级和FNGS2.0分区评分建立面瘫数据库，训练Softmax非线性分类器，得到面瘫诊断模型。
本实施例提出了一种基于人工智能的面瘫分级诊断模型建立装置，选择了较为受认可面瘫程度量化方法，即计算双侧面部对称性，在计算过程中使用人工智能代替人工操作，卷积神经网络HRNet可以快速、准确地标注面部标志点，Softmax非线性分类器可以根据面部对称性的客观计算指标进行面瘫严重程度诊断，并且二者均可通过扩充其训练用数据库可进一步提升准确度。本实施例能够准确、快速地对面瘫进行分级诊断，消除主观评价的不一致性，辅助医师决策。其输入数据便于获得、技术敏感性低，输出结果为临床已广泛认可的分级标准。
在一些实施例中，如图9所示，所述面瘫分级诊断模型建立装置还包括：
第一更新单元408，用于OMD数据库的扩充与HRNet的迭代训练：对步骤S404中标注面部68个标志点的图像进行人工校正；将校正结果补充入OMD数据库；使用更新的OMD数据库对HRNet进行训练。例如，可以由一位熟悉面部解剖、具有一定面部标志点标注经验的医师对标点结果进行人工校正。将校正结果补充入OMD数据库。使用更新的OMD数据库对HRNet进行训练。
第二更新单元409，用于面瘫数据库的扩充与Softmax的迭代训练：对所述面瘫诊断模型的输出结果进行人工校正，将校正结果补充入面瘫数据库，使用更新的面瘫数据库对Softmax进行训练。例如，可以使用专家咨询法对诊断结果进行校正。专家咨询法：由5位具有临床经验的医师分别对所有图像进行评价，给出第一轮HB分级和FNGS2.0分区评分。不一致的结果将匿名反馈给各位医师进行第二轮评价，并陈述理由。第二轮评价仍未获得一致答案的，将结果与其他医师的理由匿名反馈给各位医师进行第三轮评价。第三轮评价后结果不一致的选取众数作为最终结果。将校正结果补充入面瘫数据库。使用更新的面瘫数据库对Softmax进行训练。
本申请实施例还提供了一种电子设备，图10示出了可以应用本申请实施例的电子设备的结构示意图，如图10所示，该计算机电子设备包括，中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中一种基于人工智能的面瘫分级诊断模型建立装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的一种基于人工智能的面瘫分级诊断模型建立方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于人工智能的面瘫分级诊断方法，其特征在于，所述面瘫分级诊断方法包括以下步骤：
S20、获取患者面部正面图像，所述正面图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
S40、将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的。
2.根据权利要求1所述的面瘫分级诊断方法，其特征在于，面瘫诊断模型的建立包括：
S401、卷积神经网络HRNet识别面部标志点的预训练：使用IBUG数据库对HRNet进行标志点识别预训练；
S402、卷积神经网络HRNet识别口腔颌面部疾病患者面部标志点的预训练：使用OMD数据库对HRNet进行标志点识别预训练；
S403、获取多组患者面部正面采样图像，所述正面采样图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像，分别编号为M0、M2、M3、M4、M5、M6、M7；
S404、将所述多组面部正面采样图像输入预先训练的卷积神经网络HRNet得到标注面部68个标志点的图像；
S405、获取反映标注面部68个标志点的图像的面部静态对称性的数集SS及动态对称性的数集DS；
S406、获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分；
S407、通过所述SS、DS及其HB分级和FNGS2.0分区评分建立面瘫数据库，训练Softmax非线性分类器，得到面瘫诊断模型。
3.根据权利要求1所述的面瘫分级诊断方法，其特征在于，步骤S406，获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分包括：
由多位具有临床经验的医师分别对所有图像进行评价，给出第一轮HB分级和FNGS2.0分区评分；不一致的结果将匿名反馈给各位医师进行第二轮评价，并陈述理由；第二轮评价仍未获得一致答案的，将结果与其他医师的理由匿名反馈给各位医师进行第三轮评价；第三轮评价后结果不一致的选取众数作为最终结果。
4.根据权利要求2所述的面瘫分级诊断方法，其特征在于，获取反映标注面部68个标志点的图像的面部静态对称性的数集SS包括；
在图像MX(x∈0,1,2,3,4,5,6,7)上，根据标志点在面部的左右位置分为三个点集，右侧PR，左侧PL，中线PM；在每张图片上建立坐标系，计算PR中所有点与PR、PM中另外任一点的距离DR，同理计算PL中所有点与PL、PM中另外任一点的距离DL；将左右对应的距离D做比，则获得反映该表情图像面部静态对称性的数集SSX；
5.根据权利要求2所述的面瘫分级诊断方法，其特征在于，获取反映标注面部68个标志点的图像的面部动态对称性的数集DS包括：
根据标志点在面部的左右位置分为三个点集，右侧PR，左侧PL，中线PM；在每张图片上建立坐标系，计算PR中所有点与PR、PM中另外任一点的距离DR，同理计算PL中所有点与PL、PM中另外任一点的距离DL；将Mx(x∈1,2,3,4,5,6,7)与M0中对应的距离D做差，再计算左右侧的比值，则获得反映该表情图像面部动态对称性的数集DSx；
6.根据权利要求2所述的面瘫分级诊断方法，其特征在于，所述面瘫诊断模型的建立还包括面瘫诊断模型的更新，具体包括：
S408、OMD数据库的扩充与HRNet的迭代训练：对步骤S404中标注面部68个标志点的图像进行人工校正；将校正结果补充入OMD数据库；使用更新的OMD 数据库对HRNet进行训练。
S409、面瘫数据库的扩充与Softmax的迭代训练：对所述面瘫诊断模型的输出结果进行人工校正，将校正结果补充入面瘫数据库，使用更新的面瘫数据库对Softmax进行训练。
7.一种基于人工智能的面瘫分级诊断装置，其特征在于，所述面瘫分级诊断装置包括：
获取模块，用于获取患者面部正面图像，所述正面图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
诊断模块，将所述患者面部正面图像输入面瘫诊断模型得到HB分级和FNGS2.0分区评分；其中，所述面瘫诊断模型是训练Softmax非线性分类器得到的。
8.一种基于人工智能的面瘫分级诊断模型建立装置，其特征在于，所述面瘫分级诊断模型建立装置包括：
第一训练单元，用于卷积神经网络HRNet识别面部标志点的预训练：使用IBUG数据库对HRNet进行标志点识别预训练；
第二训练单元，用于卷积神经网络HRNet识别口腔颌面部疾病患者面部标志点的预训练：使用OMD数据库对HRNet进行标志点识别预训练；
第一获取单元，用于获取多组患者面部正面采样图像，所述正面采样图像包括静止状态、抬眉、皱眉、闭眼、耸鼻、撅嘴、示齿及大张口图像；
标注单元，用于将所述多组面部正面采样图像输入预先训练的卷积神经网络HRNet得到标注面部68个标志点的图像；
计算单元，用于获取反映标注面部68个标志点的图像的面部静态对称性的数集SS及动态对称性的数集DS；
第二获取单元，用于获取多组患者面部正面采样图像的HB分级和FNGS2.0分区评分；
第三训练单元，用于通过所述SS、DS及其HB分级和FNGS2.0分区评分建立面瘫数据库，训练Softmax非线性分类器，得到面瘫诊断模型。
9.一种电子设备，包括：
处理器，用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129591.2A CN112768065B (zh) | 2021-01-29 | 2021-01-29 | 一种基于人工智能的面瘫分级诊断方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129591.2A CN112768065B (zh) | 2021-01-29 | 2021-01-29 | 一种基于人工智能的面瘫分级诊断方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112768065A true CN112768065A (zh) | 2021-05-07 |
| CN112768065B CN112768065B (zh) | 2024-07-02 |
Family
ID=75703982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110129591.2A Active CN112768065B (zh) | 2021-01-29 | 2021-01-29 | 一种基于人工智能的面瘫分级诊断方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112768065B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113782184A (zh) * | 2021-08-11 | 2021-12-10 | 杭州电子科技大学 | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 |
| CN114171162A (zh) * | 2021-12-03 | 2022-03-11 | 广州穗海新峰医疗设备制造股份有限公司 | 一种基于大数据分析的镜像神经元康复训练的方法及系统 |
| WO2023189309A1 (ja) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | コンピュータプログラム、情報処理方法及び情報処理装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980815A (zh) * | 2017-02-07 | 2017-07-25 | 王俊 | 基于h‑b分级评分监督下的面瘫客观评估方法 |
| CN109508644A (zh) * | 2018-10-19 | 2019-03-22 | 陕西大智慧医疗科技股份有限公司 | 基于深度视频数据分析的面瘫等级评估系统 |
| CN110084259A (zh) * | 2019-01-10 | 2019-08-02 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估系统 |
| CN110163098A (zh) * | 2019-04-17 | 2019-08-23 | 西北大学 | 基于分层深度网络的人脸表情识别模型构建及识别方法 |
-
2021
- 2021-01-29 CN CN202110129591.2A patent/CN112768065B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980815A (zh) * | 2017-02-07 | 2017-07-25 | 王俊 | 基于h‑b分级评分监督下的面瘫客观评估方法 |
| CN109508644A (zh) * | 2018-10-19 | 2019-03-22 | 陕西大智慧医疗科技股份有限公司 | 基于深度视频数据分析的面瘫等级评估系统 |
| CN110084259A (zh) * | 2019-01-10 | 2019-08-02 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估系统 |
| CN110163098A (zh) * | 2019-04-17 | 2019-08-23 | 西北大学 | 基于分层深度网络的人脸表情识别模型构建及识别方法 |
Non-Patent Citations (6)
| Title |
|---|
| ANPING SONG *, ZUOYU WU, XUEHAI DING, QIAN HU AND XINYI DI: "Neurologist Standard Classification of Facial Nerve Paralysis with Deep Neural Networks", FUTURE INTERNET, pages 1 - 13 * |
| 刘旭龙;付斌瑞;许沥文;鲁宁;于长永;柏禄一;: "红外热成像辅助面神经功能自动评估方法研究", 光谱学与光谱分析, no. 05, pages 176 - 181 * |
| 卢旭光;蔡志刚;于国霞;俞光岩;: "面神经功能3种评价方法的相关性研究", 中国口腔颌面外科杂志, no. 01, pages 27 - 31 * |
| 国哲骁: "用于面瘫客观评估的结构对称性量化研究", 医药卫生科技, no. 2017, pages 30 - 48 * |
| 朱玉华;郑雪丽;塞娜;刘达;韩维举;: "贝尔面瘫的研究进展及诊疗现状", 中华耳科学杂志, no. 04, pages 138 - 143 * |
| 赵永强;饶元;董世鹏;张君毅;: "深度学习目标检测方法综述", 中国图象图形学报, no. 04, pages 629 - 654 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113782184A (zh) * | 2021-08-11 | 2021-12-10 | 杭州电子科技大学 | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 |
| CN114171162A (zh) * | 2021-12-03 | 2022-03-11 | 广州穗海新峰医疗设备制造股份有限公司 | 一种基于大数据分析的镜像神经元康复训练的方法及系统 |
| WO2023189309A1 (ja) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | コンピュータプログラム、情報処理方法及び情報処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112768065B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112768065B (zh) | 一种基于人工智能的面瘫分级诊断方法、装置 | |
| CN109753978B (zh) | 图像分类方法、装置以及计算机可读存储介质 | |
| WO2020199593A1 (zh) | 图像分割模型训练方法、图像分割方法、装置、设备及介质 | |
| CN107730497B (zh) | 一种基于深度迁移学习的血管内斑块属性分析方法 | |
| CN107563968B (zh) | 一种基于判别字典学习的联合医学图像融合去噪的方法 | |
| CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
| CN114694236B (zh) | 一种基于循环残差卷积神经网络的眼球运动分割定位方法 | |
| CN108550151A (zh) | 一种基于对抗训练的反向域自适应方法 | |
| WO2020063589A1 (en) | Systems and methods for image processing | |
| CN111488912B (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| Liu et al. | Small sample color fundus image quality assessment based on gcforest | |
| Panda et al. | Glauconet: patch-based residual deep learning network for optic disc and cup segmentation towards glaucoma assessment | |
| Jayachandran et al. | Multi-dimensional cascades neural network models for the segmentation of retinal vessels in colour fundus images | |
| CN110570425A (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| Tang et al. | A Deep learning–based framework for accurate evaluation of corneal treatment zone after orthokeratology | |
| Xu et al. | Metal artifact reduction for oral and maxillofacial computed tomography images by a generative adversarial network | |
| Feng et al. | Research and application of tongue and face diagnosis based on deep learning | |
| Hashemi et al. | Multi-view deep learning for rigid gas permeable lens base curve fitting based on Pentacam images | |
| CN114612484B (zh) | 基于无监督学习的视网膜oct图像分割方法 | |
| CN113052012B (zh) | 一种基于改进d-s证据的眼疾图像识别方法及系统 | |
| WO2022227108A1 (zh) | 基于中央凹残差网络的前列腺多模mr图像分类方法和系统 | |
| Wan et al. | Automatic diagnosis of different types of retinal vein occlusion based on fundus images | |
| Kadry et al. | Res-Unet based blood vessel segmentation and cardio vascular disease prediction using chronological chef-based optimization algorithm based deep residual network from retinal fundus images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Ding Mengkun Inventor after: Cai Zhigang Inventor after: Shan Xiaofeng Inventor after: Kang Yifan Inventor before: Cai Zhigang Inventor before: Shan Xiaofeng Inventor before: Ding Mengkun Inventor before: Kang Yifan |
|
| GR01 | Patent grant |