CN117392138B - 舌象图像处理方法、存储介质及电子设备 - Google Patents
舌象图像处理方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117392138B CN117392138B CN202311704641.0A CN202311704641A CN117392138B CN 117392138 B CN117392138 B CN 117392138B CN 202311704641 A CN202311704641 A CN 202311704641A CN 117392138 B CN117392138 B CN 117392138B
- Authority
- CN
- China
- Prior art keywords
- tongue image
- image block
- knowledge
- target
- tongue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 207
- 238000012549 training Methods 0.000 claims abstract description 158
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims description 180
- 238000005065 mining Methods 0.000 claims description 78
- 238000004458 analytical method Methods 0.000 claims description 58
- 230000003993 interaction Effects 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 16
- 238000003745 diagnosis Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000011247 coating layer Substances 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种舌象图像处理方法、存储介质及电子设备,在算法调优过程中,算法根据舌象图像块训练标签矩阵中目标坐标之前的各个舌象图像块标签的相关特征得到目标坐标上的舌象图像块标签对应的推测支持系数,进而根据舌象图像块训练标签矩阵中各个舌象图像块标签分别对应的推测支持系数生成算法代价,根据算法代价优化算法配置参数,使得算法可以提高目标坐标上的舌象图像块标签对应的推测支持系数,提高舌象图像块推测准确性。其中省略了对舌象图像块训练标签矩阵进行标签注释的过程,根据舌象图像块训练标签矩阵对基础舌象推理算法进行无标签学习,就能获得准确的目标舌象推理算法,算法的调优成本低,调优速度快。
Description
技术领域
本申请涉及图像处理领域,具体而言,涉及一种舌象图像处理方法、存储介质及电子设备。
背景技术
舌诊是中医诊断中常见的辅助诊断方式,其具备无入侵性、接触性和创伤性的特点。一般的中医舌诊依靠医生自身经验,观察病患的舌象特征进行病情诊断,其受制于医生的诊治经验、主观判断、外界环境影响,可能令舌诊不能较为客观地贴近患者的实际情况。而随着人工智能、机器学习、图像处理等技术进入医学领域,为各种疾病的诊断提供辅助,间接地为医生提供客观数据基础,在舌诊过程中,舌质舌苔的各种形态,如颜色、纹理、苔层、形状等,可能因为一些细微的变化不足以引起医生的察觉,通过图像处理能够帮助医生更为准确快速地进行后续诊断。那么,如何帮助医生提高舌诊效率和准确性是需要考虑的技术问题。
发明内容
本申请的目的在于提供一种舌象图像处理方法、存储介质及电子设备。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供一种舌象图像处理方法,应用于电子设备,所述方法包括:获取舌象图像块训练标签矩阵,将所述舌象图像块训练标签矩阵加载至基础舌象推理算法;其中,所述舌象图像块训练标签矩阵包括逐次排列的舌象图像块标签;通过所述基础舌象推理算法,在事先部署的语义描述知识库中搜索所述舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识,对分布在所述目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到所述目标坐标对应的推测舌象图像块描述知识,根据所述目标坐标对应的推测舌象图像块描述知识,得到在所述目标坐标上的舌象图像块标签所对应的推测支持系数;所述目标坐标是在所述舌象图像块训练标签矩阵对应的各个舌象图像块标签坐标中获取的,所述推测支持系数用于指示在所述目标坐标上的舌象图像块标签归属的的舌象图像块和所述目标坐标对应的靠前的舌象图像块矩阵的推测相关度,所述靠前的舌象图像块矩阵包括分布在所述目标坐标之前的各个舌象图像块标签对应的舌象图像块;根据所述舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,得到算法代价;根据所述算法代价优化所述基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
作为一种实施方式,所述方法还包括:获取候选舌象图像块集合中各个舌象图像块各自对应的基础图映射知识,将所述各个舌象图像块各自对应的基础图映射知识加载至目标描述知识挖掘算法;针对各个基础图映射知识中的任一基础图映射知识,通过目标描述知识挖掘算法,对舌象图像块对应的基础图映射知识进行嵌入映射,得到舌象图像块对应的临时图映射知识,对舌象图像块对应的临时图映射知识进行知识压缩,得到舌象图像块对应的语义描述知识;根据所述各个舌象图像块各自对应的语义描述知识,得到所述事先部署的语义描述知识库。
作为一种实施方式,所述获取候选舌象图像块集合中各个舌象图像块各自对应的基础图映射知识,包括:获取候选舌象图像块集合中各个舌象图像块各自对应的舌象图像块描述数据集合;针对各个舌象图像块描述数据集合中的任一舌象图像块描述数据集合,对舌象图像块描述数据集合中的各个舌象图像块描述数据进行知识抽取,得到各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,整合各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,得到舌象图像块描述数据集合归属的舌象图像块对应的基础图映射知识。
作为一种实施方式,所述方法还包括:获取舌象图像块训练二元组;将所述舌象图像块训练二元组中的第一舌象图像块加载至待调优的第一描述知识挖掘算法,得到所述第一舌象图像块对应的语义描述知识,将所述舌象图像块训练二元组中的第二舌象图像块加载至待调优的第二描述知识挖掘算法,得到所述第二舌象图像块对应的语义描述知识;根据所述第一舌象图像块对应的语义描述知识和所述第二舌象图像块对应的语义描述知识之间的知识相似性评分,得到所述舌象图像块训练二元组所对应的舌象图像块关联推测指示信息;根据所述舌象图像块训练二元组所对应的舌象图像块关联实际指示信息和舌象图像块关联推测指示信息之间的代价,优化所述待调优的第一描述知识挖掘算法和第二描述知识挖掘算法的算法配置参数,在达到第二调优停止条件时停止,得到调优后的第一描述知识挖掘算法和第二描述知识挖掘算法;所述目标描述知识挖掘算法是在所述调优后的第一描述知识挖掘算法和第二描述知识挖掘算法中获取的。
作为一种实施方式,所述方法还包括:通过所述基础舌象推理算法,获取分布在所述目标坐标之前的各个舌象图像块标签坐标各自对应的坐标图映射知识,将舌象图像块标签对应的语义描述知识和舌象图像块标签归属的舌象图像块标签坐标对应的坐标图映射知识进行交互,分别得到所述舌象图像块训练标签矩阵中分布在所述目标坐标之前的各个舌象图像块标签对应的交互图映射知识;所述对分布在所述目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到所述目标坐标对应的推测舌象图像块描述知识,包括:对分布在所述目标坐标之前的各个舌象图像块标签对应的交互图映射知识进行描述知识分析,得到所述目标坐标对应的推测舌象图像块描述知识。
作为一种实施方式,所述根据所述目标坐标对应的推测舌象图像块描述知识,得到在所述目标坐标上的舌象图像块标签所对应的推测支持系数,包括:将所述目标坐标对应的推测舌象图像块描述知识进行知识空间投影,得到所述目标坐标对应的基础舌象图像块分布知识;所述基础舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的知识数组;对所述基础舌象图像块分布知识进行知识数组标准化,得到所述目标坐标对应的目标舌象图像块分布知识;所述目标舌象图像块分布知识包括所述候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数;所述候选舌象图像块集合包括所述舌象图像块训练标签矩阵中的各个舌象图像块标签分别对应的舌象图像块;从所述目标舌象图像块分布知识中确定在所述目标坐标上的舌象图像块标签所对应的推测支持系数。
作为一种实施方式,所述基础舌象推理算法包括图映射算子、知识分析算子和输出算子,所述图映射算子包括第一图映射算子和第二图映射算子,所述第一图映射算子用于搜索语义描述知识,所述第二图映射算子用于获取坐标图映射知识,所述知识分析算子用于进行描述知识分析,所述输出算子用于输出推测支持系数;所述根据所述算法代价优化所述基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法,包括:根据所述算法代价优化所述基础舌象推理算法中所述第二图映射算子、所述知识分析算子和所述输出算子的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
作为一种实施方式,所述输出算子用于根据所述知识分析算子的输出结果得到候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数,所述方法还包括:当获得所述目标舌象推理算法后,如果所述候选舌象图像块集合更新了新舌象图像块,则在所述事先部署的语义描述知识库中添加所述新舌象图像块对应的语义描述知识,将参考舌象图像块标签矩阵加载至所述目标舌象推理算法,得到迭代后的候选舌象图像块集合中各个舌象图像块对各目标坐标的推测支持系数;从所述迭代后的候选舌象图像块集合中各个舌象图像块对各目标坐标的推测支持系数中获取所述参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数;根据所述参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,获得参考代价;根据所述参考代价优化所述目标舌象推理算法中所述输出算子的算法配置参数,在达到第三调优停止条件时停止,得到与所述迭代后的候选舌象图像块集合对应的目标舌象推理算法。
作为一种实施方式,所述舌象图像块训练标签矩阵是将目标舌象图像样本对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵;所述方法还包括:获取目标舌象图像对应的目标舌象图像块标签矩阵,将所述目标舌象图像块标签矩阵加载至所述目标舌象推理算法;所述目标舌象图像块标签矩阵是所述目标舌象图像对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵;通过所述目标舌象推理算法,在所述事先部署的语义描述知识库中搜索所述目标舌象图像块标签矩阵中各个舌象图像块标签分别对应的语义描述知识,对所述目标舌象图像块标签矩阵中各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标推测舌象图像块描述知识,根据所述目标推测舌象图像块描述知识,得到候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数;根据所述候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数,选择最大的目标支持系数对应的舌象图像块作为目标舌象图像块;获取所述目标舌象图像块与实际舌象图像块的相似性评分,并在所述相似性评分低于相似性评分阈值时对所述实际舌象图像块进行标注。
第二方面,本申请提供了一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行以上所述的方法。
本申请具有的有益效果至少包括:
本申请实施例提供的舌象图像处理方法、存储介质及电子设备,通过获取舌象图像块训练标签矩阵,将舌象图像块训练标签矩阵加载至基础舌象推理算法;舌象图像块训练标签矩阵包括逐次排列的舌象图像块标签;通过基础舌象推理算法,在事先部署的语义描述知识库中搜索舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识,对分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标坐标对应的推测舌象图像块描述知识,根据目标坐标对应的推测舌象图像块描述知识,得到在目标坐标上的舌象图像块标签所对应的推测支持系数;目标坐标是在舌象图像块训练标签矩阵对应的各个舌象图像块标签坐标中获取的;推测支持系数用于指示在目标坐标上的舌象图像块标签归属的的舌象图像块和目标坐标对应的靠前的舌象图像块矩阵的推测相关度,靠前的舌象图像块矩阵包括分布在目标坐标之前的各个舌象图像块标签对应的舌象图像块;根据舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,得到算法代价;根据算法代价优化基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。那么,在算法调优过程中,算法根据舌象图像块训练标签矩阵中目标坐标之前的各个舌象图像块标签的相关特征得到目标坐标上的舌象图像块标签对应的推测支持系数,也即,算法根据舌象图像块训练标签矩阵中的前面的舌象图像块标签的特征得到接下来的舌象图像块的推测支持系数,进而根据舌象图像块训练标签矩阵中各个舌象图像块标签分别对应的推测支持系数生成算法代价,根据算法代价优化算法配置参数,使得算法可以提高目标坐标上的舌象图像块标签对应的推测支持系数,提高舌象图像块推测准确性。本申请实施例中,省略了对舌象图像块训练标签矩阵进行标签注释的过程,根据舌象图像块训练标签矩阵对基础舌象推理算法进行无标签学习,就能获得准确的目标舌象推理算法,算法的调优成本低,调优速度快。综上,本申请实施例可以提高舌诊的效率和准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种舌象图像处理方法的流程图。
图2是本申请实施例提供的舌象图像处理装置的功能模块架构示意图。
图3是本申请实施例提供的一种电子设备的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
以下先介绍本申请实施例的基本思路,本申请实施例将目标舌象图像分割为多个舌象图像块(例如按照预设的像素尺寸对舌象图像进行分割得到多个舌象图像块),可以理解,各个舌象图像块中,相邻的舌象图像块之间在正常舌象中,其形态特征(如颜色、纹理、形状、苔层)过渡应该是平缓的,那么,本申请实施例通过将各个舌象图像块组成矩阵,矩阵中的每一个元素为一个舌象图像块,通过依次(如从左到右、从上到下的顺序)识别每一个舌象图像块的表征标签(如语义标签,可以通过特征向量表示),然后基于训练得到的舌象推理算法,根据已被识别的舌象图像块的标签矩阵对接下来的舌象图像块的标签进行推测,推测的标签是按照正常舌象进行推测得到的,再将推测得到的标签与接下来准备识别的舌象图像块实际的标签进行相似性比较,如果差别较大,则证明接下来准备识别的舌象图像块是异常的舌象图像块,帮助进行后续的诊断。
下面对舌象推理算法的训练调优过程进行介绍,请参照图1,是本申请实施例提供的一种舌象图像处理方法的流程图,具体涉及舌象推理算法的调优过程,包括以下操作:
操作S101,获取舌象图像块训练标签矩阵,将舌象图像块训练标签矩阵加载至基础舌象推理算法。
舌象图像块标签用于对舌象图像块进行标记,例如标记对应舌象图像块的形态,如通过一个特征向量进行表征。舌象图像块训练标签矩阵为作为算法训练样本的舌象图像块标签矩阵,被配置为对基础舌象推理算法进行训练。舌象图像块训练标签矩阵包括逐次排列的多个舌象图像块标签。
舌象推理算法为神经网络算法,在算法调优过程中,舌象推理算法的输入为舌象图像块标签矩阵,输出结果为舌象图像块标签对应的推测支持系数。基础舌象推理算法为待调优的舌象推理算法。具体地,电子设备可以获取舌象图像块训练标签矩阵,根据舌象图像块训练标签矩阵对基础舌象推理算法进行无监督调试,得到目标舌象推理算法。
操作S102,通过基础舌象推理算法,在事先部署的语义描述知识库中搜索舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识,对分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标坐标对应的推测舌象图像块描述知识,根据目标坐标对应的推测舌象图像块描述知识,得到在目标坐标上的舌象图像块标签所对应的推测支持系数。
舌象推理算法中设置事先部署的语义描述知识库,事先部署的语义描述知识库包括候选舌象图像块集合中各个舌象图像块各自对应的语义描述知识,语义描述知识是事先对候选舌象图像块集合中舌象图像块进行特征抽取得到的嵌入信息,用于描述舌象图像块的语义,描述知识可以为一个特征向量,或者可以为一个特征矩阵。在事先部署的语义描述知识库中,舌象图像块对应的语义描述知识和舌象图像块对应的舌象图像块标签可以是按照位置关系保存的。语义描述知识是舌象图像块的图像特征,例如对舌象图像块对应的舌象图像块描述数据集合进行知识抽取(即特征提取),得到舌象图像块对应的语义描述知识。
作为一种实施方式,采用预训练算法抽取舌象图像块对应的语义描述知识,比如将舌象图像块对应的舌象图像块描述数据(如图像纹理数据、图像颜色数据、图像形状数据)加载至预训练图像算法(如ResNet、CNN、RNN)。
舌象图像块标签坐标用于指示舌象图像块标签在舌象图像块标签矩阵中的分布位置(如x行x列)。舌象图像块标签矩阵包括多个舌象图像块标签,各个舌象图像块标签具有各自对应的舌象图像块标签坐标,目标坐标是在舌象图像块训练标签矩阵对应的各个舌象图像块标签坐标中获取得到的位置信息。譬如将舌象图像块训练标签矩阵对应的各个舌象图像块标签坐标分别作为目标坐标,或者在舌象图像块训练标签矩阵对应的各个舌象图像块标签坐标中确定除第一个舌象图像块标签坐标外的各舌象图像块标签坐标为目标坐标,或者在舌象图像块训练标签矩阵的各舌象图像块标签坐标中任意确定多个舌象图像块标签坐标为目标坐标。
描述知识分析用于根据历史舌象图像块的语义描述知识对下一舌象图像块进行知识表达(即对描述知识进行解码,或称特征解码,如采用解码器进行),目标坐标对应的推测舌象图像块描述知识是对舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析得到。譬如在算法调优过程中,如果目标坐标是第二个舌象图像块标签坐标,那么根据舌象图像块训练标签矩阵中首个舌象图像块标签对应的语义描述知识对第二个舌象图像块标签归属的舌象图像块进行知识表达,得到第二个舌象图像块标签坐标对应的推测舌象图像块描述知识;如果目标坐标是第三个舌象图像块标签坐标,则根据舌象图像块训练标签矩阵中的首个舌象图像块标签和第二个舌象图像块标签对应的语义描述知识对第三个舌象图像块标签归属的舌象图像块进行知识表达,得到第三个舌象图像块标签坐标对应的推测舌象图像块描述知识。推测舌象图像块描述知识用于指示对接下来的舌象图像块进行推测得到的知识表达(例如保证为一个特征向量或矩阵)。
目标坐标对应的推测支持系数是根据目标坐标对应的推测舌象图像块描述知识获得的。目标坐标对应的推测支持系数用于指示在目标坐标上的舌象图像块标签归属的的舌象图像块和目标坐标对应的靠前的舌象图像块矩阵的推测相关度,可以用概率表示,或者用置信度表示。目标坐标对应的靠前的舌象图像块矩阵包括分布在目标坐标之前的各个舌象图像块标签对应的舌象图像块。即目标坐标对应的推测支持系数可以用于指示舌象图像块训练标签矩阵中在目标坐标上的舌象图像块标签归属的的舌象图像块和分布在目标坐标前的各个舌象图像块标签对应的舌象图像块的推测相关度,其可以通过概率进行表示。推测相关度表示舌象图像块和靠前的舌象图像块矩阵的关联性,推测支持系数越高,推测相关度越高,对应的,关联性越大。譬如,如果目标坐标为第二个舌象图像块标签坐标,根据第二个舌象图像块标签坐标对应的推测舌象图像块描述知识得到第二个舌象图像块标签坐标归属的舌象图像块对应的推测支持系数,该推测支持系数用于指示第二个舌象图像块标签坐标归属的舌象图像块和第一个舌象图像块标签坐标归属的舌象图像块之间的推测相关度,用于指示根据第一个舌象图像块标签坐标归属的舌象图像块的语义描述知识推测接下来的舌象图像块为第二个舌象图像块标签坐标归属的舌象图像块的可能性。
例如,电子设备将舌象图像块训练标签矩阵加载至基础舌象推理算法,基础舌象推理算法输出舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数。在基础舌象推理算法中,从事先部署的语义描述知识库中搜索舌象图像块训练标签矩阵中分布在目标坐标之前的各舌象图像块标签对应的语义描述知识,对舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标坐标对应的推测舌象图像块描述知识,根据目标坐标对应的推测舌象图像块描述知识,得到舌象图像块训练标签矩阵中在目标坐标上的舌象图像块标签所对应的推测支持系数。如果目标坐标有多个,则分别获取舌象图像块训练标签矩阵中在各目标坐标上的舌象图像块标签所对应的推测支持系数。
作为一种实施方式,根据目标坐标对应的推测舌象图像块描述知识得到目标坐标对应的舌象图像块分布知识,舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数,候选舌象图像块集合中包括舌象图像块训练标签矩阵中各个舌象图像块标签归属的的舌象图像块,从舌象图像块分布知识中获取舌象图像块训练标签矩阵中在目标坐标上的舌象图像块标签所对应的推测支持系数。
操作S103,根据舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,得到算法代价。
当获得舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数后,电子设备根据舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,得到算法代价。譬如根据各个推测支持系数的均值得到算法代价。算法调优旨在令在目标坐标上的舌象图像块标签对应的推测支持系数趋于最大化,在目标坐标上的舌象图像块标签对应的推测支持系数越大,那么算法根据舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签的相关特征就更能准确推测目标坐标上的舌象图像块标签,代表算法根据历史舌象图像块可以越发准确推测下一舌象图像块,算法开始拥有舌象图像块推测的性能。算法代价与推测支持系数逆相关,推测支持系数越小,算法代价越大。
操作S104,根据算法代价优化基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
例如,目标舌象推理算法为调优后的舌象推理算法,电子设备可以将算法代价进行反向传播以优化基础舌象推理算法的算法配置参数,如各种权重、偏置,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。在根据算法代价优化算法配置参数时,不需要对基础舌象推理算法中的事先部署的语义描述知识库进行优化,可以对其他算法配置参数进行优化。第一调优停止条件根据实际需要进行设置,例如调优停止条件为算法代价小于代价阈值、调优的轮次达到轮次阈值或算法代价的变化率低于变化率阈值。
譬如,电子设备获取舌象图像块训练标签矩阵,将舌象图像块训练标签矩阵加载至基础舌象推理算法,得到舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,根据舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数计算算法代价,根据算法代价优化基础舌象推理算法的算法配置参数,得到临时舌象推理算法,将临时舌象推理算法确定为迭代基础舌象推理算法,获取迭代舌象图像块训练标签矩阵,将迭代舌象图像块训练标签矩阵加载至迭代基础舌象推理算法,得到迭代舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,根据迭代舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数计算得到迭代算法代价,根据迭代算法代价优化迭代基础舌象推理算法得到迭代临时舌象推理算法,将临时舌象推理算法作为基础舌象推理算法,返回获取舌象图像块训练标签矩阵的操作进行执行,开启迭代调优。本申请实施例提供的舌象图像处理方法中,在算法调优过程中,算法根据舌象图像块训练标签矩阵中目标坐标之前的各个舌象图像块标签的特征得到目标坐标上的舌象图像块标签对应的推测支持系数,也即算法根据舌象图像块训练标签矩阵中历史舌象图像块标签的特征得到接下来的舌象图像块的推测支持系数,进而根据舌象图像块训练标签矩阵中各个舌象图像块标签分别对应的推测支持系数生成算法代价,根据算法代价优化算法配置参数,令算法能提高目标坐标上的舌象图像块标签对应的推测支持系数,以提高舌象图像块推测性能,以便根据逐次排列的历史舌象图像块准确推测下一舌象图像块。本申请实施例不用对舌象图像块训练标签矩阵进行标签注释,根据舌象图像块训练标签矩阵对基础舌象推理算法进行无监督调优,节约调优成本,提高效率。
作为一种实施方式,舌象图像处理方法还可以包括:获取候选舌象图像块集合中各个舌象图像块各自对应的基础图映射知识,将各个舌象图像块各自对应的基础图映射知识加载至目标描述知识挖掘算法;对各个基础图映射知识中的任一基础图映射知识,通过目标描述知识挖掘算法,对舌象图像块对应的基础图映射知识进行嵌入映射,得到舌象图像块对应的临时图映射知识,对舌象图像块对应的临时图映射知识进行知识压缩,得到舌象图像块对应的语义描述知识;根据各个舌象图像块各自对应的语义描述知识,得到事先部署的语义描述知识库。其中,描述知识挖掘算法为神经网络算法,如深度神经网络,用于提取舌象图像块对应的语义描述知识。描述知识挖掘算法的输入数据为舌象图像块对应的基础图映射知识,描述知识挖掘算法的输出结果为舌象图像块对应的语义描述知识。目标描述知识挖掘算法是指调优后的描述知识挖掘算法。基础图映射知识为初始的图映射知识,图映射知识为对舌象图像块进行嵌入得到的舌象图像块的嵌入特征信息,那么,临时图映射知识为舌象图像块对应的中间态嵌入特征信息。以上的嵌入映射用于将基础图映射知识映射到低维空间,使其具备更优的保证效果,得到的临时图映射知识相较于基础图映射知识的语义表征能力更强,本申请实施例中,嵌入映射又可以称为编码。知识压缩用于将临时图映射知识对应的特征向量进行压缩,例如压缩到预设的维数。
事先部署的语义描述知识库包括候选舌象图像块集合中各个候选舌象图像块各自对应的语义描述知识,通过描述知识挖掘算法提取舌象图像块对应的语义描述知识。电子设备获取候选舌象图像块集合中各个舌象图像块各自对应的基础图映射知识,将各个舌象图像块各自对应的基础图映射知识加载至目标描述知识挖掘算法,得到各个舌象图像块各自对应的语义描述知识。将舌象图像块对应的基础图映射知识加载至目标描述知识挖掘算法,在目标描述知识挖掘算法中,对舌象图像块对应的基础图映射知识进行嵌入映射,得到舌象图像块对应的临时图映射知识,对舌象图像块对应的临时图映射知识进行知识压缩,得到舌象图像块对应的语义描述知识,目标描述知识挖掘算法输出舌象图像块对应的语义描述知识。最终,电子设备根据各个舌象图像块各自对应的语义描述知识组成事先部署的语义描述知识库。
作为一种实施方式,描述知识挖掘算法包括数据输入算子、嵌入映射算子和全连接算子。数据输入算子用于接收舌象图像块对应的基础图映射知识,将舌象图像块对应的基础图映射知识加载至嵌入映射算子。嵌入映射算子用于对舌象图像块对应的基础图映射知识进行嵌入映射,得到舌象图像块对应的临时图映射知识。嵌入映射算子可以为MLP。通过嵌入映射算子学习每个舌象图像块语义的嵌入信息。全连接算子用于对舌象图像块对应的临时图映射知识进行知识压缩,得到舌象图像块对应的语义描述知识。全连接算子包括多个全连接网络,通过全连接算子压缩每个舌象图像块语义的特征向量。
作为一种实施方式,可采用预训练的算法抽取舌象图像块对应的基础图映射知识,然后将舌象图像块对应的基础图映射知识加载至目标描述知识挖掘算法,得到舌象图像块对应的语义描述知识。
本申请实施例采用目标描述知识挖掘算法对舌象图像块对应的基础图映射知识进行嵌入映射,获得语义表征效果更佳的临时图映射知识,接着对临时图映射知识进行知识压缩,获得精简的语义描述知识,该语义描述知识可以提高舌象推理算法的调优效率。
作为一种实施方式,获取候选舌象图像块集合中各个舌象图像块各自对应的基础图映射知识,包括:获取候选舌象图像块集合中各个舌象图像块各自对应的舌象图像块描述数据集合;对各舌象图像块描述数据集合中的任一舌象图像块描述数据集合,对舌象图像块描述数据集合中的各个舌象图像块描述数据进行知识抽取,得到各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,整合各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,得到舌象图像块描述数据集合归属的舌象图像块对应的基础图映射知识。
其中,舌象图像块描述数据集合包括舌象图像块对应的一个或多个舌象图像块描述数据。例如,舌象图像块描述数据可以是舌象图像块的形状、纹理、颜色等。电子设备获取候选舌象图像块集合中各个舌象图像块各自对应的舌象图像块描述数据集合,根据舌象图像块对应的舌象图像块描述数据集合得到舌象图像块对应的基础图映射知识,对一个舌象图像块描述数据集合中的各舌象图像块描述数据进行知识抽取,得到各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,整合(例如向量拼接)各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,得到该舌象图像块描述数据集合归属的舌象图像块对应的基础图映射知识。
本申请实施例,舌象图像块对应的基础图映射知识包括舌象图像块对应的舌象图像块描述数据集合中各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,可以令舌象图像块对应的基础图映射知识的信息量充实准确,便于提高语义描述知识的准确性,帮助舌象推理算法的调优。
作为一种实施方式,本申请提供的舌象图像处理方法还包括:获取舌象图像块训练二元组;将舌象图像块训练二元组中的第一舌象图像块加载至待调优的第一描述知识挖掘算法,得到第一舌象图像块对应的语义描述知识,将舌象图像块训练二元组中的第二舌象图像块加载至待调优的第二描述知识挖掘算法,得到第二舌象图像块对应的语义描述知识;根据第一舌象图像块对应的语义描述知识和第二舌象图像块对应的语义描述知识之间的知识相似性评分,得到舌象图像块训练二元组所对应的舌象图像块关联推测指示信息;根据舌象图像块训练二元组所对应的舌象图像块关联实际指示信息和舌象图像块关联推测指示信息之间的代价,优化待调优的第一描述知识挖掘算法和第二描述知识挖掘算法的算法配置参数,在达到第二调优停止条件时停止,得到调优后的第一描述知识挖掘算法和第二描述知识挖掘算法;目标描述知识挖掘算法是在调优后的第一描述知识挖掘算法和第二描述知识挖掘算法中获取的。
可以理解,舌象图像块训练二元组包括两个舌象图像块,舌象图像块训练二元组中的一个舌象图像块为第一舌象图像块,另一个舌象图像块为第二舌象图像块。舌象图像块训练二元组对应的舌象图像块关联实际指示信息用于表示舌象图像块训练二元组中第一舌象图像块和第二舌象图像块的真实舌象图像块关系。舌象图像块关系代表舌象图像块之间是否是关联的,例如是否相邻,是否为一致的标签结果,如果是,则舌象图像块训练二元组对应的舌象图像块关联实际指示信息为真指示信息,真指示信息表示第一舌象图像块和第二舌象图像块之间关联。如果舌象图像块训练二元组中的第一舌象图像块和第二舌象图像块非相邻和/或具有不一样的标签结果,则舌象图像块训练二元组所对应的舌象图像块关联实际指示信息为假指示信息,假指示信息表示第一舌象图像块和第二舌象图像块无关联。或者,如果舌象图像块训练二元组中的第一舌象图像块和第二舌象图像块都具备的舌象图像块描述数据数量超过数量阈值,舌象图像块训练二元组对应的舌象图像块关联实际指示信息为真指示信息;如果舌象图像块训练二元组中的第一舌象图像块和第二舌象图像块都具备的舌象图像块描述数据数量小于或等于数量阈值,则舌象图像块训练二元组对应的舌象图像块关联实际指示信息为假指示信息。舌象图像块训练二元组所对应的舌象图像块关联推测指示信息用于表示舌象图像块训练二元组中第一舌象图像块和第二舌象图像块之间推测出来的舌象图像块关系。
描述知识间的知识相似性评分代表描述知识之间的相似度,其可以通过对应的知识向量间的距离计算得到,例如将彼此的欧式距离作为知识相似性评分。
电子设备可以获取舌象图像块训练二元组,根据舌象图像块训练二元组和对应的舌象图像块关联实际指示信息,对待调优的第一描述知识挖掘算法和第二描述知识挖掘算法进行调优训练,得到调优后的第一描述知识挖掘算法和第二描述知识挖掘算法,从调优后的第一描述知识挖掘算法和第二描述知识挖掘算法中,获取的任一描述知识挖掘算法,将其确定为目标描述知识挖掘算法。
在算法调优过程中,将舌象图像块训练二元组中的第一舌象图像块加载至待调优的第一描述知识挖掘算法,得到第一舌象图像块对应的语义描述知识,将舌象图像块训练二元组中的第二舌象图像块加载至待调优的第二描述知识挖掘算法,得到第二舌象图像块对应的语义描述知识,计算第一舌象图像块对应的语义描述知识和第二舌象图像块对应的语义描述知识之间的知识相似性评分,根据知识相似性评分确定舌象图像块训练二元组所对应的舌象图像块关联推测指示信息。根据舌象图像块训练二元组所对应的舌象图像块关联实际指示信息和舌象图像块关联推测指示信息之间的代价计算描述知识挖掘算法代价,将描述知识挖掘算法代价反向传播以优化待调优的第一描述知识挖掘算法和第二描述知识挖掘算法的算法配置参数,在达到第二调优停止条件时停止,得到调优后的第一描述知识挖掘算法和第二描述知识挖掘算法。其中,第二调优停止条件例如是描述知识挖掘算法代价小于代价阈值、调优的轮次达到轮次阈值或描述知识挖掘算法代价的变化率低于变化率阈值。
作为一种实施方式,第一描述知识挖掘算法和第二描述知识挖掘算法为双生结构,二者的算法配置参数共享。描述知识挖掘算法包括数据输入算子、嵌入映射算子和全连接算子。数据输入算子用于接收舌象图像块对应的基础图映射知识,将舌象图像块对应的基础图映射知识加载至嵌入映射算子。嵌入映射算子用于对舌象图像块对应的基础图映射知识进行嵌入映射,得到舌象图像块对应的临时图映射知识。全连接算子用于对舌象图像块对应的临时图映射知识进行知识压缩,得到舌象图像块对应的语义描述知识。将舌象图像块训练二元组中的第一舌象图像块加载至待调优的第一描述知识挖掘算法,得到第一舌象图像块对应的语义描述知识,将舌象图像块训练二元组中的第二舌象图像块加载至待调优的第二描述知识挖掘算法,得到第二舌象图像块对应的语义描述知识。将第一舌象图像块对应的语义描述知识和第二舌象图像块对应的语义描述知识加载至匹配算子,匹配算子输出第一舌象图像块和第二舌象图像块之间的舌象图像块关联推测指示信息,即输出舌象图像块训练二元组所对应的舌象图像块关联推测指示信息。匹配算子用于计算知识相似性评分,例如,匹配算子基于欧几里得距离计算两个知识向量的欧几里得距离作为知识相似性评分。根据多个舌象图像块训练二元组所对应的舌象图像块关联实际指示信息和舌象图像块关联推测指示信息计算描述知识挖掘算法代价,将描述知识挖掘算法代价进行反向传播来优化共生算法的算法配置参数,在达到第二调优停止条件时停止,得到调优后的第一描述知识挖掘算法和第二描述知识挖掘算法。
本申请实施例,根据舌象图像块训练二元组和对应的舌象图像块关联实际指示信息,对待调优的第一描述知识挖掘算法和第二描述知识挖掘算法进行有监督优化,得到调优后的第一描述知识挖掘算法和第二描述知识挖掘算法,第一描述知识挖掘算法和第二描述知识挖掘算法用于抽取舌象图像块的语义描述知识。
作为一种实施方式,本申请实施例提供的舌象图像处理方法还包括:通过基础舌象推理算法,获取分布在目标坐标之前的各个舌象图像块标签坐标各自对应的坐标图映射知识,将舌象图像块标签对应的语义描述知识和舌象图像块标签归属的舌象图像块标签坐标对应的坐标图映射知识进行交互,分别得到舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的交互图映射知识。
对分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标坐标对应的推测舌象图像块描述知识,包括:对分布在目标坐标之前的各个舌象图像块标签对应的交互图映射知识进行描述知识分析,得到目标坐标对应的推测舌象图像块描述知识。
坐标图映射知识为舌象图像块标签坐标对应的图嵌入知识,坐标图映射知识用于为算法输入舌象图像块标签在舌象图像块标签矩阵中的位置。算法调优时,各个舌象图像块标签坐标各自对应的坐标图映射知识是可优化的,在算法调优结束后,各个舌象图像块标签坐标各自对应的坐标图映射知识趋于稳定。
舌象图像块标签对应的交互图映射知识是将舌象图像块标签对应的语义描述知识和舌象图像块标签的舌象图像块标签坐标对应的坐标图映射知识进行交互得到知识。例如,将语义描述知识和坐标图映射知识求和(即知识向量相加),得到交互图映射知识。
为了算法在处理输入矩阵时兼顾舌象图像块标签的空间顺序,本申请实施例还引入了坐标图映射知识,电子设备将舌象图像块训练标签矩阵加载至基础舌象推理算法,在基础舌象推理算法中,获取舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签坐标各自对应的坐标图映射知识,从事先部署的语义描述知识库中搜索舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识,将舌象图像块标签对应的语义描述知识和舌象图像块标签归属的舌象图像块标签坐标对应的坐标图映射知识进行交互(即进行知识融合,例如向量相加、拼接),分别得到舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的交互图映射知识,进而对分布在目标坐标之前的各个舌象图像块标签对应的交互图映射知识进行描述知识分析,得到目标坐标对应的推测舌象图像块描述知识,根据目标坐标对应的推测舌象图像块描述知识,得到舌象图像块训练标签矩阵中在目标坐标上的舌象图像块标签对应的推测支持系数。
本申请实施例,交互图映射知识融合了语义描述知识和坐标图映射知识,通过交互图映射知识,算法学习了输入矩阵中舌象图像块标签归属的舌象图像块的语义,且获取输入矩阵中舌象图像块标签的空间分布,如此可以更好学习生成和历史舌象图像块关联的下一舌象图像块的特征。
作为一种实施方式,根据目标坐标对应的推测舌象图像块描述知识,得到在目标坐标上的舌象图像块标签对应的推测支持系数,包括:将目标坐标对应的推测舌象图像块描述知识进行知识空间投影,得到目标坐标对应的基础舌象图像块分布知识;基础舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的知识数组;对基础舌象图像块分布知识进行知识数组标准化,得到目标坐标对应的目标舌象图像块分布知识;目标舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数;候选舌象图像块集合包括舌象图像块训练标签矩阵中各个舌象图像块标签分别对应的舌象图像块;从目标舌象图像块分布知识中确定在目标坐标上的舌象图像块标签所对应的推测支持系数。其中,知识空间投影用于将推测舌象图像块描述知识投射到设定维度的空间。将推测舌象图像块描述知识进行知识空间投影得到基础舌象图像块分布知识,基础舌象图像块分布知识的维度通过事先设定,具体根据实际需要设置。
知识数组标准化用于将知识数组中元素值标准化到设定的数值区间,如[0,1],以获得推测支持系数,具体可以采用Softmax进行知识数组标准化。
在根据目标坐标对应的推测舌象图像块描述知识得到在目标坐标上的舌象图像块标签所对应的推测支持系数时,根据目标坐标对应的推测舌象图像块描述知识获得候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数,候选舌象图像块集合包括舌象图像块训练标签矩阵中各个舌象图像块标签分别对应的舌象图像块,然后在候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数中,获取在目标坐标上的舌象图像块标签所对应的推测支持系数。
先将目标坐标对应的推测舌象图像块描述知识进行知识空间投影,得到目标坐标对应的基础舌象图像块分布知识,基础舌象图像块分布知识的维度和候选舌象图像块集合大小(即包含的舌象图像块数量)一致,基础舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的知识数组。接着对基础舌象图像块分布知识进行知识数组标准化,得到目标坐标对应的目标舌象图像块分布知识,目标舌象图像块分布知识的维度等于候选舌象图像块集合的大小,目标舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数。最后在目标舌象图像块分布知识中获取舌象图像块训练标签矩阵在目标坐标上的舌象图像块标签归属的舌象图像块对应的推测支持系数,确定为在目标坐标上的舌象图像块标签所对应的推测支持系数。
本申请实施例,通过知识空间投影和知识数组标准化可以将推测舌象图像块描述知识转换成候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数,依据推测支持系数能获得候选舌象图像块集合中各个舌象图像块分别和靠前的舌象图像块矩阵的推测相关度,通过推测支持系数获得候选舌象图像块集合中各个舌象图像块归属于下一舌象图像块的可能性。
作为一种实施方式,根据算法代价优化基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法,包括:根据算法代价优化基础舌象推理算法中第二图映射算子、知识分析算子和输出算子的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
基础舌象推理算法包括图映射算子、知识分析算子和输出算子。图映射算子包括第一图映射算子和第二图映射算子。第一图映射算子用于搜索语义描述知识。第一图映射算子中存储有事先部署的语义描述知识库,第一图映射算子用于根据舌象图像块标签从事先部署的语义描述知识库中搜索相应的语义描述知识。第二图映射算子用于获取坐标图映射知识。第二图映射算子可以基于相位编码获取坐标图映射知识。将第一图映射算子和第二图映射算子输出的图映射知识进行交互,将融合后的图映射知识加载至知识分析算子,知识分析算子对加载得到的描述知识进行描述知识分析。输出算子用于输出推测支持系数。将知识分析算子输出的描述知识加载至输出算子,输出算子对其进行处理得到舌象图像块标签对应的推测支持系数,输出算子输出舌象图像块标签对应的推测支持系数。
基础舌象推理算法包括图映射算子、知识分析算子和输出算子,图映射算子包括第一图映射算子和第二图映射算子,第一图映射算子用于搜索语义描述知识,第一图映射算子不用优化参数,第二图映射算子用于生成坐标图映射知识,第二图映射算子需要优化参数,知识分析算子用于进行描述知识分析,输出算子用于输出推测支持系数,知识分析算子和输出算子需要优化参数。则电子设备根据算法代价优化基础舌象推理算法的算法配置参数时,将算法代价进行反向传播,优化基础舌象推理算法中第二图映射算子、知识分析算子和输出算子的算法配置参数。
作为一种实施方式,基础舌象推理算法包括数据输入算子、图映射算子、知识分析算子和输出算子。数据输入算子用于获取舌象图像块训练标签矩阵,将舌象图像块训练标签矩阵加载至至图映射算子。其中,舌象图像块训练标签矩阵通常需要具有x个舌象图像块标签,如果舌象图像块训练标签矩阵中舌象图像块标签的个数少于x,可以将不够的位置通过补位码进行填补。第一图映射算子用于从事先部署的语义描述知识库中搜索相应的语义描述知识,第二图映射算子用于生成舌象图像块训练标签矩阵中各个舌象图像块标签坐标各自对应的坐标图映射知识。
将舌象图像块训练标签矩阵加载至基础舌象推理算法,数据输入算子将舌象图像块训练标签矩阵加载至图映射算子中的语义图映射算子和位置图映射算子,语义图映射算子搜索舌象图像块训练标签矩阵中各个舌象图像块标签分别对应的语义描述知识,输出语义描述知识矩阵,位置图映射算子生成舌象图像块训练标签矩阵中各个舌象图像块标签坐标各自对应的坐标图映射知识,输出坐标图映射知识矩阵,将语义描述知识矩阵和坐标图映射知识矩阵进行交互,得到交互图映射知识矩阵,交互图映射知识矩阵包括各个舌象图像块标签分别对应的交互图映射知识。将交互图映射知识矩阵加载至知识分析算子。知识分析算子用于对交互图映射知识进行描述知识分析。知识分析算子可以为Transformer,如果目标坐标为第三个舌象图像块标签坐标,可以基于Transformer的掩码机制对输入矩阵中第三个舌象图像块标签和之后的交互图映射知识进行掩码,令知识分析算子对输入矩阵中的前两个交互图映射知识进行描述知识分析。知识分析算子可以输出各目标坐标各自对应的推测舌象图像块描述知识。
知识分析算子将推测舌象图像块描述知识加载至输出算子,输出算子将知识分析算子的输出投影至维度与候选舌象图像块集合大小相等的空间中,接着基于Softmax将空间中的各元素值进行归一化,得到属于下一舌象图像块的推测支持系数,从而得到目标舌象图像块分布知识。输出算子可以输出各个目标坐标各自对应的目标舌象图像块分布知识。
将舌象图像块训练标签矩阵加载至基础舌象推理算法,得到舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,根据舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,得到算法代价,根据算法代价优化基础舌象推理算法中位置图映射算子、知识分析算子和输出算子的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
本申请实施例,在优化基础舌象推理算法的算法配置参数时,不用优化基础舌象推理算法中的第一图映射算子,仅优化基础舌象推理算法中的第二图映射算子、知识分析算子和输出算子,提高了算法调优的效率。
作为一种实施方式,本申请实施例提供的舌象图像处理方法还包括:
操作S201,当获得目标舌象推理算法后,如果候选舌象图像块集合更新了新舌象图像块,则在事先部署的语义描述知识库中添加新舌象图像块对应的语义描述知识,将参考舌象图像块标签矩阵加载至目标舌象推理算法,得到迭代后的候选舌象图像块集合中各个舌象图像块对各目标坐标的推测支持系数。
操作S202,从迭代后的候选舌象图像块集合中各个舌象图像块对各目标坐标的推测支持系数中获取参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数。
操作S203,根据参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,获得参考代价。
操作S204,根据参考代价优化目标舌象推理算法中输出算子的算法配置参数,在达到第三调优停止条件时停止,得到与迭代后的候选舌象图像块集合对应的目标舌象推理算法。
目标舌象推理算法的输出算子用于根据知识分析算子的输出结果得到候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数。将知识分析算子输出的目标坐标对应的推测舌象图像块描述知识加载至输出算子,输出算子输出目标坐标对应的目标舌象图像块分布知识,目标舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数。
新舌象图像块即新增的舌象图像块,对基础舌象推理算法调优获得目标舌象推理算法后,如果候选舌象图像块集合中新加入了其他舌象图像块,可以对目标舌象推理算法进行微调,增加目标舌象推理算法的推测准确性。参考舌象图像块标签矩阵为算法训练样本,用于对目标舌象推理算法进行微调。舌象图像块训练标签矩阵和参考舌象图像块标签矩阵可以相同或不同。第三调优停止条件例如是参考代价小于代价阈值、调优的轮次达到轮次阈值、或参考代价的变化率低于变化率阈值。可以理解,第一调优停止条件、第二调优停止条件和第三调优停止条件中涉及的各阈值可以相同或不同,根据实际需要进行选择。
当获得目标舌象推理算法后,将目标舌象图像块标签矩阵加载至目标舌象推理算法,目标舌象推理算法根据目标舌象图像块标签矩阵推测紧接的关联舌象图像块,目标舌象推理算法输出候选舌象图像块集合中各舌象图像块各自对应的推测支持系数,推测支持系数能表征对应下一关联舌象图像块的可能性。但是,当获得目标舌象推理算法后,如果候选舌象图像块集合更新了新舌象图像块,目标舌象推理算法可能不能根据输入矩阵准确推测新舌象图像块对应的推测支持系数,那么需要对目标舌象推理算法进行细微地优化,帮助目标舌象推理算法可以学习新舌象图像块。
当获得目标舌象推理算法后,如果需要在候选舌象图像块集合中加入新舌象图像块,电子设备可以获取新舌象图像块对应的语义描述知识,在事先部署的语义描述知识库中添加新舌象图像块对应的语义描述知识,令后续目标舌象推理算法在处理新舌象图像块的数据时能搜索到新舌象图像块对应的语义描述知识。
电子设备获取参考舌象图像块标签矩阵,根据参考舌象图像块标签矩阵对目标舌象推理算法进行微调,令目标舌象推理算法能输出新舌象图像块对应的推测支持系数。在算法在细节调整过程中,将参考舌象图像块标签矩阵加载至目标舌象推理算法,在迭代后的事先部署的语义描述知识库中搜索参考舌象图像块标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识,对分布在目标坐标之前的各舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标坐标对应的推测舌象图像块描述知识,根据目标坐标对应的推测舌象图像块描述知识,得到在目标坐标上的舌象图像块标签对应的推测支持系数。对于一个目标坐标,目标舌象推理算法输出迭代后的候选舌象图像块集合中各个舌象图像块对应的推测支持系数,则得到迭代后的候选舌象图像块集合中各个舌象图像块对各目标坐标的推测支持系数。对于一个目标坐标,在迭代后的候选舌象图像块集合中各个舌象图像块对应的相应的推测支持系数中获取参考舌象图像块标签矩阵中在目标坐标上的舌象图像块标签对应的推测支持系数,获得参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数。电子设备根据参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,获得参考代价,将参考代价反向传播,优化目标舌象推理算法中输出算子的算法配置参数,在达到第三调优停止条件时停止,得到与迭代后的候选舌象图像块集合对应的目标舌象推理算法。将目标舌象图像块标签矩阵加载至目标舌象推理算法,与迭代后的候选舌象图像块集合对应的目标舌象推理算法可输出迭代后的候选舌象图像块集合中各个舌象图像块对应的推测支持系数。
本申请实施例,当获得目标舌象推理算法后,若候选舌象图像块集合更新了新舌象图像块,不用花费较大的代价进行重新调优,仅在目标舌象推理算法中的事先部署的语义描述知识库中添加新舌象图像块对应的语义描述知识,根据参考舌象图像块标签矩阵对目标舌象推理算法中的输出算子进行细节优化,即可较快获得与迭代后的候选舌象图像块集合对应的目标舌象推理算法,目标舌象推理算法在应用环节能得到新舌象图像块的推测支持系数。
作为一种实施方式,本申请实施例提供的舌象图像处理方法还包括:
操作S301,获取目标舌象图像对应的目标舌象图像块标签矩阵,将目标舌象图像块标签矩阵加载至目标舌象推理算法;目标舌象图像块标签矩阵是将目标舌象图像对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵。
操作S302,通过目标舌象推理算法,在事先部署的语义描述知识库中搜索目标舌象图像块标签矩阵中各个舌象图像块标签分别对应的语义描述知识,对目标舌象图像块标签矩阵中各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标推测舌象图像块描述知识,根据目标推测舌象图像块描述知识,得到候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数。
操作S303,根据候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数,选择最大的目标支持系数对应的舌象图像块作为目标舌象图像块。
操作S304,获取目标舌象图像块与实际舌象图像块的相似性评分,并在相似性评分低于相似性评分阈值时对所述实际舌象图像块进行标注。
舌象图像块训练标签矩阵是将目标舌象图像样本对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵,舌象图像块训练标签矩阵用于算法调优。
电子设备获取舌象图像块训练标签矩阵,舌象图像块训练标签矩阵是将目标舌象图像样本对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵,根据舌象图像块训练标签矩阵对基础舌象推理算法进行调优,得到目标舌象推理算法。调优获得的目标舌象推理算法用于根据输入矩阵推测下一舌象图像块,算法在应用时,电子设备获取目标舌象图像对应的目标舌象图像块标签矩阵,目标舌象图像块标签矩阵是将目标舌象图像对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵,将目标舌象图像块标签矩阵加载至目标舌象推理算法,得到候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数。
将目标舌象图像块标签矩阵加载至目标舌象推理算法,目标舌象推理算法从事先部署的语义描述知识库中搜索目标舌象图像块标签矩阵中各个舌象图像块标签分别对应的语义描述知识,对目标舌象图像块标签矩阵中各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标推测舌象图像块描述知识,根据目标推测舌象图像块描述知识,得到候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数。目标支持系数可以反映舌象图像块确定为下一舌象图像块的可能性。例如,目标舌象推理算法包括数据输入算子、图映射算子、知识分析算子和输出算子,将目标舌象图像块标签矩阵加载至目标舌象推理算法,输出算子输出候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数。
最后,电子设备根据候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数,选择最大的目标支持系数对应的舌象图像块作为目标舌象图像块,获取目标舌象图像块与实际舌象图像块的相似性评分,并在相似性评分低于相似性评分阈值时,此时代表其不是期望出现的舌象图像块,对该实际舌象图像块进行标注,例如标注异常标签。
作为一种实施方式,本申请实施例提供的舌象图像处理方法还包括:
操作S401,从舌象图像块关系网包括的各个舌象图像块网结中确定目标网结,确定目标网结对应的舌象图像块标签矩阵。
舌象图像块关系网可以理解为类似知识图谱的图结构,用于描述舌象图像块和舌象图像块间的关系。舌象图像块关系网可以是包括舌象图像块网结和连接线,不同的舌象图像块网结表示不同的舌象图像块,舌象图像块网结和舌象图像块网结之间具有连接线表示舌象图像块网结和舌象图像块网结之间具有联系,舌象图像块网结和舌象图像块网结之间没有连接线代表舌象图像块网结和舌象图像块网结没有联系。通过舌象图像块之间的关联性,将关联的舌象图像块网结连接,得到舌象图像块关系网。两个舌象图像块之间相关与否,可以根据两个舌象图像块各自的舌象图像块描述数据集合确定,舌象图像块描述数据集合中的舌象图像块描述数据可以表征舌象图像块的内容。譬如,两个舌象图像块对应同一病患,则两个舌象图像块是关联的。从舌象图像块关系网中确定样本网结,根据样本网结在舌象图像块关系网中进行抽样,得到舌象图像块训练标签矩阵。样本网结是在舌象图像块关系网中任意选取的网结。抽样时,从舌象图像块关系网中以样本网结为起点,开始采样网结路线,网结路线中相邻的两个舌象图像块网结间存在连接线。作为一种实施方式,从舌象图像块关系网中任意选取一个网结为样本网结,在舌象图像块关系网中从样本网结开始,基于随机游走获得样本网结对应的路线,将其中包含的各舌象图像块网结对应的舌象图像块标签依据路线顺序排序,得到舌象图像块训练标签矩阵。目标网结是在舌象图像块关系网中任意选取的网结。目标网结对应的舌象图像块标签矩阵包括目标网结对应的舌象图像块标签和预设标签。预设标签为事先确定的,预设标签没有指代含义,用于平衡矩阵的尺寸,例如为0。目标网结对应的舌象图像块标签矩阵与舌象图像块训练标签矩阵的标签数目一致,也即目标网结对应的舌象图像块标签矩阵与舌象图像块训练标签矩阵的尺寸一致。
电子设备可以获取舌象图像块训练标签矩阵,舌象图像块训练标签矩阵是根据从舌象图像块关系网中获取的样本网结,在舌象图像块关系网中进行抽样获得,根据舌象图像块训练标签矩阵对基础舌象推理算法进行调优,获得目标舌象推理算法。目标舌象推理算法可以抽取舌象图像块关系网中舌象图像块网结的完善图映射知识。完善图映射知识是比语义描述知识更准确的图嵌入知识,在算法调优过程中,基础舌象推理算法用于根据舌象图像块训练标签矩阵中一部分舌象图像块推测下一舌象图像块。算法的应用环节,目标舌象推理算法用于抽取舌象图像块网结对应的完善图映射知识。算法应用环节,电子设备可从舌象图像块关系网包含的各个舌象图像块网结中确定目标网结,譬如将各个舌象图像块网结分别作为目标网结,通过目标舌象推理算法确定各个目标网结各自对应的完善图映射知识。在确定目标网结后,电子设备根据目标网结对应的舌象图像块标签和预设标签生成目标网结对应的舌象图像块标签矩阵,目标网结对应的舌象图像块标签矩阵和舌象图像块训练标签矩阵包含一致的矩阵尺寸。
操作S402,将目标网结对应的舌象图像块标签矩阵加载至目标舌象推理算法,得到目标网结对应的推测舌象图像块描述知识。
操作S403,对目标网结对应的推测舌象图像块描述知识进行降维(例如池化),得到目标网结对应的完善图映射知识。
电子设备将目标网结对应的舌象图像块标签矩阵加载至目标舌象推理算法,目标舌象推理算法从事先部署的语义描述知识库中搜索目标网结对应的舌象图像块标签矩阵中各个舌象图像块标签对应的语义描述知识,对各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标网结对应的推测舌象图像块描述知识,目标舌象推理算法输出目标网结对应的推测舌象图像块描述知识。目标舌象推理算法包括数据输入算子、图映射算子、知识分析算子和输出算子,将目标网结对应的舌象图像块标签矩阵加载至目标舌象推理算法,知识分析算子输出目标网结对应的推测舌象图像块描述知识。电子设备对目标网结对应的推测舌象图像块描述知识进行降维,得到目标网结对应的完善图映射知识。
作为一种实施方式,本申请实施例提供的舌象图像处理方法还可以包括:将舌象图像块关系网中与目标舌象图像对应相同病患的舌象图像块网结确定为参考网结;根据参考网结对应的完善图映射知识分别和舌象图像块关系网中各个其他舌象图像块网结对应的完善图映射知识之间的知识相似性评分,从各个其他舌象图像块网结中确定和参考网结对应的相似网结;将相似网结对应的舌象图像块作为目标舌象图像对应的下一推测舌象图像块。
需要说明的是,本申请实施例提供的舌象图像处理方法仅为辅助医生进行舌诊,提高舌诊的效率和精度,并不直接得到舌诊过程中的诊断结果,不涉及疾病的诊断与治疗。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的舌象图像处理方法。图2示意性地示出了本申请实施例提供的舌象图像处理装置的结构框图。如图2所示,舌象图像处理装置200包括:
数据获取模块210,用于获取舌象图像块训练标签矩阵,将所述舌象图像块训练标签矩阵加载至基础舌象推理算法;其中,所述舌象图像块训练标签矩阵包括逐次排列的舌象图像块标签。
标签推测模块220,用于通过所述基础舌象推理算法,在事先部署的语义描述知识库中搜索所述舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识,对分布在所述目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到所述目标坐标对应的推测舌象图像块描述知识,根据所述目标坐标对应的推测舌象图像块描述知识,得到在所述目标坐标上的舌象图像块标签所对应的推测支持系数;所述目标坐标是在所述舌象图像块训练标签矩阵对应的各个舌象图像块标签坐标中获取的,所述推测支持系数用于指示在所述目标坐标上的舌象图像块标签归属的的舌象图像块和所述目标坐标对应的靠前的舌象图像块矩阵的推测相关度,所述靠前的舌象图像块矩阵包括分布在所述目标坐标之前的各个舌象图像块标签对应的舌象图像块;
代价获取模块230,用于根据所述舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,得到算法代价;
算法调优模块240,用于根据所述算法代价优化所述基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
本申请各实施例中提供的舌象图像处理装置的具体细节已经在对应的方法实施例中进行了详细的描述,此处不再赘述。
图3示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是,图3示出的电子设备的计算机系统300仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示,计算机系统300包括中央处理器301(Central Processing Unit,CPU),其可以根据存储在只读存储器302(Read-Only Memory,ROM)中的程序或者从存储部分308加载到随机访问存储器303(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器303中,还存储有系统操作所需的各种程序和数据。中央处理器301、在只读存储器302以及随机访问存储器303通过总线304彼此相连。输入/输出接口305(Input/Output接口,即I/O接口)也连接至总线304。
以下部件连接至输入/输出接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至输入/输出接口305。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。在该计算机程序被中央处理器301执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。计算机可读存储介质上的可执行指令在被处理器执行时,实现本申请实施例提供的舌象图像处理方法。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种舌象图像处理方法,其特征在于,应用于电子设备,所述方法包括:
获取舌象图像块训练标签矩阵,将所述舌象图像块训练标签矩阵加载至基础舌象推理算法;其中,所述舌象图像块训练标签矩阵包括逐次排列的舌象图像块标签;
通过所述基础舌象推理算法,在事先部署的语义描述知识库中搜索所述舌象图像块训练标签矩阵中分布在目标坐标之前的各个舌象图像块标签对应的语义描述知识,对分布在所述目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到所述目标坐标对应的推测舌象图像块描述知识,根据所述目标坐标对应的推测舌象图像块描述知识,得到在所述目标坐标上的舌象图像块标签所对应的推测支持系数;所述目标坐标是在所述舌象图像块训练标签矩阵对应的各个舌象图像块标签坐标中获取的,所述推测支持系数用于指示在所述目标坐标上的舌象图像块标签归属的的舌象图像块和所述目标坐标对应的靠前的舌象图像块矩阵的推测相关度,所述靠前的舌象图像块矩阵包括分布在所述目标坐标之前的各个舌象图像块标签对应的舌象图像块;
根据所述舌象图像块训练标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,得到算法代价;
根据所述算法代价优化所述基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取候选舌象图像块集合中各个舌象图像块各自对应的基础图映射知识,将所述各个舌象图像块各自对应的基础图映射知识加载至目标描述知识挖掘算法;
针对各个基础图映射知识中的任一基础图映射知识,通过目标描述知识挖掘算法,对舌象图像块对应的基础图映射知识进行嵌入映射,得到舌象图像块对应的临时图映射知识,对舌象图像块对应的临时图映射知识进行知识压缩,得到舌象图像块对应的语义描述知识;
根据所述各个舌象图像块各自对应的语义描述知识,得到所述事先部署的语义描述知识库。
3.根据权利要求2所述的方法,其特征在于,所述获取候选舌象图像块集合中各个舌象图像块各自对应的基础图映射知识,包括:
获取候选舌象图像块集合中各个舌象图像块各自对应的舌象图像块描述数据集合;
针对各个舌象图像块描述数据集合中的任一舌象图像块描述数据集合,对舌象图像块描述数据集合中的各个舌象图像块描述数据进行知识抽取,得到各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,整合各个舌象图像块描述数据各自对应的舌象图像块描述数据知识,得到舌象图像块描述数据集合归属的舌象图像块对应的基础图映射知识;
所述方法还包括:
获取舌象图像块训练二元组;
将所述舌象图像块训练二元组中的第一舌象图像块加载至待调优的第一描述知识挖掘算法,得到所述第一舌象图像块对应的语义描述知识,将所述舌象图像块训练二元组中的第二舌象图像块加载至待调优的第二描述知识挖掘算法,得到所述第二舌象图像块对应的语义描述知识;
根据所述第一舌象图像块对应的语义描述知识和所述第二舌象图像块对应的语义描述知识之间的知识相似性评分,得到所述舌象图像块训练二元组所对应的舌象图像块关联推测指示信息;
根据所述舌象图像块训练二元组所对应的舌象图像块关联实际指示信息和舌象图像块关联推测指示信息之间的代价,优化所述待调优的第一描述知识挖掘算法和第二描述知识挖掘算法的算法配置参数,在达到第二调优停止条件时停止,得到调优后的第一描述知识挖掘算法和第二描述知识挖掘算法;所述目标描述知识挖掘算法是在所述调优后的第一描述知识挖掘算法和第二描述知识挖掘算法中获取的。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述基础舌象推理算法获取分布在所述目标坐标之前的各个舌象图像块标签坐标各自对应的坐标图映射知识,将舌象图像块标签对应的语义描述知识和舌象图像块标签归属的舌象图像块标签坐标对应的坐标图映射知识进行交互,分别得到所述舌象图像块训练标签矩阵中分布在所述目标坐标之前的各个舌象图像块标签对应的交互图映射知识;
所述对分布在所述目标坐标之前的各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到所述目标坐标对应的推测舌象图像块描述知识,包括:
对分布在所述目标坐标之前的各个舌象图像块标签对应的交互图映射知识进行描述知识分析,得到所述目标坐标对应的推测舌象图像块描述知识。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标坐标对应的推测舌象图像块描述知识,得到在所述目标坐标上的舌象图像块标签所对应的推测支持系数,包括:
将所述目标坐标对应的推测舌象图像块描述知识进行知识空间投影,得到所述目标坐标对应的基础舌象图像块分布知识;所述基础舌象图像块分布知识包括候选舌象图像块集合中各个舌象图像块各自对应的知识数组;
对所述基础舌象图像块分布知识进行知识数组标准化,得到所述目标坐标对应的目标舌象图像块分布知识;所述目标舌象图像块分布知识包括所述候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数;所述候选舌象图像块集合包括所述舌象图像块训练标签矩阵中的各个舌象图像块标签分别对应的舌象图像块;
从所述目标舌象图像块分布知识中确定在所述目标坐标上的舌象图像块标签所对应的推测支持系数。
6.根据权利要求1所述的方法,其特征在于,所述基础舌象推理算法包括图映射算子、知识分析算子和输出算子,所述图映射算子包括第一图映射算子和第二图映射算子,所述第一图映射算子用于搜索语义描述知识,所述第二图映射算子用于获取坐标图映射知识,所述知识分析算子用于进行描述知识分析,所述输出算子用于输出推测支持系数;
所述根据所述算法代价优化所述基础舌象推理算法的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法,包括:
根据所述算法代价优化所述基础舌象推理算法中所述第二图映射算子、所述知识分析算子和所述输出算子的算法配置参数,在达到第一调优停止条件时停止优化,得到目标舌象推理算法。
7.根据权利要求6所述的方法,其特征在于,所述输出算子用于根据所述知识分析算子的输出结果得到候选舌象图像块集合中各个舌象图像块各自对应的推测支持系数,所述方法还包括:
当获得所述目标舌象推理算法后,如果所述候选舌象图像块集合更新了新舌象图像块,则在所述事先部署的语义描述知识库中添加所述新舌象图像块对应的语义描述知识,将参考舌象图像块标签矩阵加载至所述目标舌象推理算法,得到迭代后的候选舌象图像块集合中各个舌象图像块对各目标坐标的推测支持系数;
从所述迭代后的候选舌象图像块集合中各个舌象图像块对各目标坐标的推测支持系数中获取所述参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数;
根据所述参考舌象图像块标签矩阵中在各个目标坐标上的舌象图像块标签分别对应的推测支持系数,获得参考代价;
根据所述参考代价优化所述目标舌象推理算法中所述输出算子的算法配置参数,在达到第三调优停止条件时停止,得到与所述迭代后的候选舌象图像块集合对应的目标舌象推理算法。
8.根据权利要求1~7任一项所述的方法,其特征在于,所述舌象图像块训练标签矩阵是将目标舌象图像样本对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵;所述方法还包括:
获取目标舌象图像对应的目标舌象图像块标签矩阵,将所述目标舌象图像块标签矩阵加载至所述目标舌象推理算法;所述目标舌象图像块标签矩阵是所述目标舌象图像对应的多个拆分舌象图像块的舌象图像块标签依据排列坐标顺序进行排列获得的矩阵;
通过所述目标舌象推理算法,在所述事先部署的语义描述知识库中搜索所述目标舌象图像块标签矩阵中各个舌象图像块标签分别对应的语义描述知识,对所述目标舌象图像块标签矩阵中各个舌象图像块标签对应的语义描述知识进行描述知识分析,得到目标推测舌象图像块描述知识,根据所述目标推测舌象图像块描述知识,得到候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数;
根据所述候选舌象图像块集合中各个舌象图像块各自对应的目标支持系数,选择最大的目标支持系数对应的舌象图像块作为目标舌象图像块;
获取所述目标舌象图像块与实际舌象图像块的相似性评分,并在所述相似性评分低于相似性评分阈值时对所述实际舌象图像块进行标注。
9.一种计算机可读存储介质,其特征在于,其上存储有可执行指令,当所述可执行指令被处理器执行时,实现如权利要求1至8中任意一项所述的方法。
10.一种电子设备,其特征在于,包括:
处理器;
以及存储器,用于存储所述处理器的可执行指令;
其中,所述处理器被配置为经由执行所述可执行指令来执行权利要求1至8中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311704641.0A CN117392138B (zh) | 2023-12-13 | 2023-12-13 | 舌象图像处理方法、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311704641.0A CN117392138B (zh) | 2023-12-13 | 2023-12-13 | 舌象图像处理方法、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117392138A CN117392138A (zh) | 2024-01-12 |
CN117392138B true CN117392138B (zh) | 2024-02-13 |
Family
ID=89435976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311704641.0A Active CN117392138B (zh) | 2023-12-13 | 2023-12-13 | 舌象图像处理方法、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117392138B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105117611A (zh) * | 2015-09-23 | 2015-12-02 | 北京科技大学 | 基于卷积神经元网络的中医舌诊模型的确定方法及系统 |
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN109410168A (zh) * | 2018-08-31 | 2019-03-01 | 清华大学 | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 |
CN110189305A (zh) * | 2019-05-14 | 2019-08-30 | 上海大学 | 一种多任务舌象自动分析方法 |
AU2021100367A4 (en) * | 2021-01-20 | 2021-04-15 | Shanghai University | A multi-task automatic analysis method for tongue manifestation |
CN113569855A (zh) * | 2021-07-07 | 2021-10-29 | 江汉大学 | 一种舌象分割方法、设备及存储介质 |
CN113744271A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
CN113989563A (zh) * | 2021-10-29 | 2022-01-28 | 河南科技大学 | 一种多尺度多标签融合的中医舌象分类方法 |
CN115375690A (zh) * | 2022-10-26 | 2022-11-22 | 合肥云诊信息科技有限公司 | 一种舌象腐腻苔分类识别方法 |
CN115810109A (zh) * | 2022-11-22 | 2023-03-17 | 厦门大学 | 一种舌像特征提取方法、系统和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109461154A (zh) * | 2018-11-16 | 2019-03-12 | 京东方科技集团股份有限公司 | 一种舌象检测方法、装置、客户端、服务器及系统 |
-
2023
- 2023-12-13 CN CN202311704641.0A patent/CN117392138B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105117611A (zh) * | 2015-09-23 | 2015-12-02 | 北京科技大学 | 基于卷积神经元网络的中医舌诊模型的确定方法及系统 |
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN109410168A (zh) * | 2018-08-31 | 2019-03-01 | 清华大学 | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 |
CN110189305A (zh) * | 2019-05-14 | 2019-08-30 | 上海大学 | 一种多任务舌象自动分析方法 |
AU2021100367A4 (en) * | 2021-01-20 | 2021-04-15 | Shanghai University | A multi-task automatic analysis method for tongue manifestation |
CN113569855A (zh) * | 2021-07-07 | 2021-10-29 | 江汉大学 | 一种舌象分割方法、设备及存储介质 |
CN113989563A (zh) * | 2021-10-29 | 2022-01-28 | 河南科技大学 | 一种多尺度多标签融合的中医舌象分类方法 |
CN113744271A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
CN115375690A (zh) * | 2022-10-26 | 2022-11-22 | 合肥云诊信息科技有限公司 | 一种舌象腐腻苔分类识别方法 |
CN115810109A (zh) * | 2022-11-22 | 2023-03-17 | 厦门大学 | 一种舌像特征提取方法、系统和存储介质 |
Non-Patent Citations (7)
Title |
---|
A survey of artificial intelligence in tongue image for disease diagnosis and syndrome differentiation;Qi Liu 等;《DIGITAL HEALTH》;20230806;第9卷;1–25 * |
Chinese Medicine Tongue Recognition under Data Scarcity Based on the Xingbaohui Platform;Mingxuan Jia 等;《2022 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)》;20230102;3669-3673 * |
Deep Learning Multi-label Tongue Image Analysis and Its Application in a Population Undergoing Routine Medical Checkup;Tao Jiang 等;《Evidence-Based Complementary andAlternative Medicine》;20220928;1-12 * |
Digital tongue image analyses for health assessment;Jiacheng Xie 等;《Med. Rev》;20220214;第1卷(第2期);172-198 * |
Unsupervised Tongue Segmentation Using Reference Labels;Kequan Yang 等;《ICONIP 2020》;20201119;603–615 * |
基于深度学习的舌象自监督聚类;罗思言 等;《中国医学物理学杂志》;20230109;第40卷(第1期);120-125 * |
计算机辅助舌象分析诊断的研究进展;唐智贤 等;《医学信息学杂志》;20220625;1-7 * |
Also Published As
Publication number | Publication date |
---|---|
CN117392138A (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110060263B (zh) | 医学图像的分割方法、分割装置、分割系统及计算机可读介质 | |
US11551333B2 (en) | Image reconstruction method and device | |
WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
US20240062369A1 (en) | Detection model training method and apparatus, computer device and storage medium | |
WO2021008328A1 (zh) | 图像处理方法、装置、终端及存储介质 | |
CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
WO2023010758A1 (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
CN111401406A (zh) | 一种神经网络训练方法、视频帧处理方法以及相关设备 | |
CN111739007B (zh) | 内窥镜图像识别方法、设备、存储介质及装置 | |
CN112668608B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
CN111091010A (zh) | 相似度确定、网络训练、查找方法及装置和存储介质 | |
CN112464760A (zh) | 一种目标识别模型的训练方法和装置 | |
CN112819848B (zh) | 抠图方法、抠图装置和电子设备 | |
CN111429414B (zh) | 基于人工智能的病灶影像样本确定方法和相关装置 | |
CN117392138B (zh) | 舌象图像处理方法、存储介质及电子设备 | |
US10810468B2 (en) | System for training descriptor with active sample selection | |
CN116805522A (zh) | 诊断报告输出方法、装置、终端及存储介质 | |
CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
WO2023108418A1 (zh) | 脑图谱构建及神经环路检测的方法和相关产品 | |
CN113255701B (zh) | 一种基于绝对-相对学习架构的小样本学习方法和系统 | |
CN112750124B (zh) | 模型生成、图像分割方法、装置、电子设备及存储介质 | |
CN112131902A (zh) | 闭环检测方法及装置、存储介质和电子设备 | |
WO2021121631A1 (en) | Correcting segmentation of medical images using a statistical analysis of historic corrections | |
US20240160842A1 (en) | Confidence-based interactable neural-symbolic visual question answering | |
CN115359040A (zh) | 预测待测对象的组织样本属性的方法、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |