CN112966792B - 血管图像分类处理方法、装置、设备及存储介质 - Google Patents

血管图像分类处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112966792B
CN112966792B CN202110547148.7A CN202110547148A CN112966792B CN 112966792 B CN112966792 B CN 112966792B CN 202110547148 A CN202110547148 A CN 202110547148A CN 112966792 B CN112966792 B CN 112966792B
Authority
CN
China
Prior art keywords
image
blood vessel
loss function
function value
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110547148.7A
Other languages
English (en)
Other versions
CN112966792A (zh
Inventor
余双
陈文婷
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110547148.7A priority Critical patent/CN112966792B/zh
Publication of CN112966792A publication Critical patent/CN112966792A/zh
Application granted granted Critical
Publication of CN112966792B publication Critical patent/CN112966792B/zh
Priority to PCT/CN2022/087404 priority patent/WO2022242392A1/zh
Priority to EP22803717.2A priority patent/EP4273747A1/en
Priority to US17/994,678 priority patent/US20230106222A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hematology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本申请关于一种血管图像分类处理方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：将第一血管图像样本输入第一图像处理模型，获得预测增强图像以及预测血管位置信息；基于第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息，对第一图像处理模型进行训练；上述方案在训练血管分类模型的同时，还考虑了图像质量对于血管分类的影响，使得后续基于训练完成的第一图像处理模型生成的端到端的血管分类模型能够对低质量的血管图像具有更高的分类精度，从而提高通过人工智能对血管图像中的血管进行分类的准确性。

Description

血管图像分类处理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种血管图像分类处理方法、装置、设备及存储介质。
背景技术
在医疗领域中，对视网膜血管定量分析有助于法限各种心脑血管疾病的潜在风险，而视网膜动静脉（Artery or Vein，A/V）分类则为定量分析视网膜血管奠定了基础。
在相关技术中，视网膜A/V分类通常是通过预先训练好的端到端深度学习模型对输入的眼底图像进行处理，直接输出眼底图像中的动脉和/或静脉的位置。其中，上述深度学习模型通常以眼底图像样本为输入，并以眼底图像样本中的动脉和/或静脉的位置为标注信息进行训练得到。
然而，眼底图像采集时，很多情况下无法保证采集到的图像的质量，而低质量的眼底图像会影响深度学习模型的处理效果，从而导致对眼底图像中的血管进行分类的准确性较低。
发明内容
本申请实施例提供了一种血管图像分类处理方法、装置、设备及存储介质，可以提高模型对图像中的血管进行分类的准确性，该技术方案如下。
一方面，提供了一种血管图像分类处理方法，所述方法包括：
获取第一血管图像样本、第二血管图像样本以及血管位置标注信息；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；
将所述第一血管图像样本输入第一图像处理模型，获得所述第一图像处理模型输出的预测增强图像，以及预测血管位置信息；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置；
基于所述第二血管图像样本、所述血管位置标注信息、所述预测增强图像以及所述预测血管位置信息，获取损失函数值；
基于所述损失函数值对所述第一图像处理模型进行训练；
训练完成后的所述第一图像处理模型用于生成第二图像处理模型，所述第二图像处理模型用于对输入的目标血管图像进行处理，以输出所述目标血管图像的血管分类信息，所述血管分类信息用于指示所述目标血管图像中的目标类型血管，所述目标类型血管是所述至少两种类型血管中的至少一种。
又一方面，提供了一种血管图像分类处理方法，所述方法包括：
获取目标血管图像；
将所述目标血管图像输入第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的目标类型血管的位置；
基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管；
其中，所述第二图像处理模型是基于训练完成的第一图像处理模型生成的；训练所述第一图像处理模型的损失函数值是基于第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息获取的；所述预测增强图像以及所述预测血管位置信息是所述第一图像处理模型对第一血管图像样本进行处理后输出的；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置。
再一方面，提供了一种血管图像分类处理装置，所述装置包括：
样本获取模块，用于获取第一血管图像样本、第二血管图像样本以及血管位置标注信息；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；
预测模块，用于将所述第一血管图像样本输入第一图像处理模型，获得所述第一图像处理模型输出的预测增强图像，以及预测血管位置信息；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置；
损失获取模块，用于基于所述第二血管图像样本、所述血管位置标注信息、所述预测增强图像以及所述预测血管位置信息，获取损失函数值；
训练模块，用于基于所述损失函数值对所述第一图像处理模型进行训练；
训练完成后的所述第一图像处理模型用于生成第二图像处理模型，所述第二图像处理模型用于对输入的目标血管图像进行处理，以输出所述目标血管图像的血管分类信息，所述血管分类信息用于指示所述目标血管图像中的目标类型血管，所述目标类型血管是所述至少两种类型血管中的至少一种。
在一种可能的实现方式中，所述预测模块，包括：
输入子模块，用于将所述第一血管图像样本输入第一图像处理模型；
分割子模块，用于通过所述第一图像处理模型中的图像分割分支对所述第一血管图像样本进行处理，获得所述图像分割分支输出的所述预测血管位置信息；
增强子模块，用于通过所述第一图像处理模型中的图像增强分支对所述第一血管图像样本进行处理，获得所述图像增强分支输出的所述预测增强图像。
在一种可能的实现方式中，所述损失获取模块，包括：
分类损失获取子模块，用于基于所述血管位置标注信息以及所述预测血管位置信息，获取所述损失函数值中的血管分类损失函数值；
增强损失获取子模块，用于基于所述第二血管图像样本以及所述预测增强图像，获取所述损失函数值中的图像增强损失函数值。
在一种可能的实现方式中，所述增强损失获取子模块，用于，
基于所述第二血管图像样本以及所述预测增强图像，获取子损失函数值；所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少一种；
基于所述子损失函数值获取所述图像增强损失函数值；
所述第一子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的整体差异；
所述第二子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的人眼视觉感知差异；
所述第三子损失函数值用于指示所述第二血管图像样本与所述预测增强图像各自对应的血管部位的图像差异。
在一种可能的实现方式中，响应于所述子损失函数值包括所述第三子损失函数值，所述增强损失获取子模块，用于，
基于所述第二血管图像样本以及所述血管位置标注信息获取第一局部图像，所述第一局部图像是所述第二血管图像样本中的血管部位的图像；
基于所述预测增强图像以及所述预测血管位置信息获取第二局部图像，所述第二局部图像是所述预测增强图像中的血管部位的图像；
基于所述第一局部图像和所述第二局部图像，获取所述第三子损失函数值。
在一种可能的实现方式中，增强损失获取子模块，用于，
响应于所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少两项数值，对所述子损失函数值中的至少两项数值进行加权处理，获得所述图像增强损失函数值。
在一种可能的实现方式中，所述图像分割分支和所述图像增强分支共享编码器，所述图像分割分支还包含第一解码器，所述图像增强分支还包含第二解码器；
所述训练模块，包括：
编码器更新子模块，用于基于所述血管分类损失函数值以及所述图像增强损失函数值，对所述编码器进行参数更新；
第一解码器更新子模块，用于基于所述血管分类损失函数值对所述第一解码器进行参数更新；
第二解码器更新子模块，用于基于所述图像增强损失函数值对所述第二解码器进行参数更新。
在一种可能的实现方式中，所述编码器更新子模块，用于，
对所述血管分类损失函数值以及所述图像增强损失函数值进行加权处理，获得总损失函数值；
基于所述总损失函数值对所述编码器进行参数更新。
在一种可能的实现方式中，所述装置还包括：
模型生成模块，用于响应于所述第一图像处理模型训练完成，基于所述图像分割分支生成所述第二图像处理模型。
在一种可能的实现方式中，所述装置还包括：
图像输入模块，用于将所述目标血管图像输入所述第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的所述目标类型血管的位置；
结果输出模块，用于基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管。
又一方面，提供了一种血管图像分类处理装置，所述装置包括：
图像获取模块，用于获取目标血管图像；
模型处理模块，用于将所述目标血管图像输入第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的目标类型血管的位置；
输出模块，用于基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管；
其中，所述第二图像处理模型是基于训练完成的第一图像处理模型生成的；训练所述第一图像处理模型的损失函数值是基于第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息获取的；所述预测增强图像以及所述预测血管位置信息是所述第一图像处理模型对第一血管图像样本进行处理后输出的；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置。
再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现上述的血管图像分类处理方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现上述的血管图像分类处理方法。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述血管图像分类处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
在训练过程中，第一图像处理模型对输入的第一血管图像样本同时执行血管位置预测和图像质量增强，并且同时使用高质量的第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息对第一图像处理模型进行训练，也就是说，在训练血管分类模型的同时，还考虑了图像质量对于血管分类的影响，使得后续基于训练完成的第一图像处理模型生成的端到端的血管分类模型能够对低质量的血管图像具有更高的分类精度，从而提高对血管图像中的血管进行分类的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请各个实施例涉及的一种血管分类系统的系统构成图；
图2是根据一示例性实施例示出的一种血管图像分类处理方法的流程示意图；
图3是根据一示例性实施例示出的一种血管图像分类处理方法的流程示意图；
图4是根据一示例性实施例示出的一种血管图像分类处理框架图；
图5是根据一示例性实施例示出的一种血管图像分类处理方法的流程示意图；
图6是图5所示实施例涉及的第一图像处理模型的模型框架图；
图7是图5所示实施例涉及的一种模型输入输出示意图；
图8是根据一示例性实施例示出的一种用于眼底图像处理模型的训练及应用框架图；
图9是根据一示例性实施例示出的一种血管图像分类处理装置的结构方框图；
图10是根据一示例性实施例示出的一种血管图像分类处理装置的结构方框图；
图11是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍。
1）AI（Artificial Intelligence，人工智能），AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2）计算机视觉技术（Computer Vision，CV），计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别（Optical Character Recognition，OCR）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3）ML（Machine Learning，机器学习），机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
4）医疗云，医疗云（Medical cloud），是指在云计算、移动技术、多媒体、无线通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合，医疗云提高医疗机构的效率，方便居民就医。像现在医院的预约挂号、电子病历、医保等都是云计算与医疗领域结合的产物，医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。
请参考图1，其示出了本申请各个实施例涉及的一种血管分类系统的系统构成图。如图1所示，该系统包括医疗图像采集设备120、终端140、以及服务器160；可选的，该系统还可以包括数据库180。
医疗图像采集设备120可以是用于采集血管图像的相机设备或者摄像头设备。其中，血管图像是指包含血管的医疗图像，比如，血管图像可以是眼底图像（包含视网膜下的血管）、胃镜图像、肠镜图像、口腔内部图像等等。
医疗图像采集设备120可以包含图像输出接口，比如通用串行总线（UniversalSerial Bus，USB）接口、高清多媒体接口（High Definition Multimedia Interface，HDMI）接口或者以太网接口等等；或者，上述图像输出接口也可以是无线接口，比如无线局域网（Wireless Local Area Network，WLAN）接口、蓝牙接口等等。
相应的，根据上述图像输出接口的类型的不同，操作人员将照相机拍摄的显微图像导出的方式也可以有多种，比如，通过有线或者短距离无线方式将显微图像导入至终端140，或者，也可以通过局域网或者互联网将显微图像导入至终端140或者服务器160。
终端140可以是具有一定的处理能力以及界面展示功能的终端设备，比如，终端140可以是手机、平板电脑、电子书阅读器、智能眼镜、膝上型便携计算机和台式计算机等等。
终端140可以包括开发人员使用的终端，以及医疗人员使用的终端。
当终端140实现为开发人员使用的终端时，开发人员可以通过终端140开发用于对血管图像中的血管进行识别的机器学习模型，并将机器学习模型部署到服务器160或者医疗人员使用的终端中。
当终端140实现为医疗人员使用的终端时，终端140中可以安装有获取血管图像的血管分类结果并呈现的应用程序，终端140获取到医疗图像采集设备120采集到的血管图像后，可以通过上述应用程序获取对血管图像进行处理得到的处理结果，并对处理结果进行呈现，以便医生进行病理诊断等操作。
在图1所示的系统中，终端140和医疗图像采集设备120是物理上分离的实体设备。可选的，在另一种可能的实现方式中，当终端140实现为医疗人员使用的终端时，终端140和医疗图像采集设备120也可以集成为单个实体设备；比如，该终端140可以是图像采集功能的终端设备。
其中，服务器160可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，上述服务器160可以是为终端140中安装的应用程序提供后台服务的服务器，该后台服务器可以是应用程序的版本管理、对应用程序获取到的血管图像进行后台处理并返回处理结果、对开发人员开发的机器学习模型进行后台训练等等。
上述数据库180可以是Redis数据库，或者，也可以是其它类型数据库。其中，数据库180用于存储各类数据。
可选的，终端140与服务器160之间通过通信网络相连。可选的，医疗图像采集设备120与服务器160之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。
可选的，该系统还可以包括管理设备（图1未示出），该管理设备与服务器160之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于LAN（Local Area Network，局域网）、MAN（Metropolitan Area Network，城域网）、WAN（Wide Area Network，广域网）、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括HTML(Hyper Text Mark-up Language，超文本标记语言)、XML (Extensible Markup Language，可扩展标记语言)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如SSL (Secure Socket Layer，安全套接字层)、TLS (Transport Layer Security，传输层安全)、VPN (Virtual Private Network，虚拟专用网络)、IPsec (Internet ProtocolSecurity，网际协议安全)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2是根据一示例性实施例示出的一种血管图像分类处理方法的流程示意图。该方法可以由计算机设备执行，比如，该计算机设备可以是服务器，或者，该计算机设备也可以是终端，或者，该计算机设备可以包括服务器和终端，其中，该服务器可以是上述图1所示的实施例中的服务器160，该终端可以是上述图1所示的实施例中由开发人员使用的终端140。该计算机设备可以实现为进行模型训练的模型训练设备。如图2所示，该血管图像分类处理方法可以包括如下步骤。
步骤201，获取第一血管图像样本、第二血管图像样本以及血管位置标注信息；该第一血管图像样本是该第二血管图像样本对应的低质量图像，该血管位置标注信息用于指示该第一血管图像样本中被标注出的至少两种类型血管的位置。
其中，上述第一血管图像样本是该第二血管图像样本对应的低质量图像，可以是指第一血管图像样本和第二血管图像样本具有相同的图像内容，并且，第一血管图像样本的图像质量低于第二血管图像样本的图像质量。
上述血管位置标注信息可以是开发人员预先基于第一血管图像样本标注出的信息。
在一种可能的实现方式中，上述血管位置标注信息可以是一个具有至少两个通道的掩模图像，该掩模图像的每个通道用于指示对应的血管图像中的一种类型血管的位置。
在另一种可能的实现方式中，上述血管位置标注信息也可以是坐标信息，比如，该坐标信息中可以包含至少两组坐标集，每一组坐标集中包含对应的血管图像中的一种类型血管的位置坐标（比如像素坐标）。
在本申请实施例中，上述至少两种类型血管，可以包括动脉血管、静脉血管、以及整体血管（即包含动脉血管和静脉血管的所有血管）中的至少两种。
步骤202，将该第一血管图像样本输入第一图像处理模型，获得该第一图像处理模型输出的预测增强图像，以及预测血管位置信息；该预测增强图像是对该第一血管图像样本进行质量增强后的图像；该预测血管位置信息用于指示该第一血管图像样本中被预测出的至少两种类型血管的位置。
在本申请实施例中，第一图像处理模型是开发人员预先构建好的，待训练的机器学习模型，比如，该第一图像处理模型可以是深度学习模型。
该第一图像处理模型至少包括一个输入端口和两个输出端口；其中，在训练过程中，输入端口用于输入第一血管图像样本；然后，该第一图像处理模型用于对第一血管图像样本进行两种处理，一种处理是预测第一血管图像样本中的至少两种类型血管的位置（也就是说，在对第一血管图像样本中的血管位置进行预测的同时，还对预测出的血管位置对应的血管进行分类），并通过一个输出端口输出预测血管位置信息，另一种处理是对第一血管图像样本的图像质量进行增强，并通过另一个输出端口输出预测增强图像。
其中，上述预测血管位置信息与上述血管位置标注信息可以是相同类型的信息，比如，预测血管位置信息与血管位置标注信息都是掩模图像，或者，都是坐标信息；或者，上述预测血管位置信息与上述血管位置标注信息也可以是不同类型的信息，比如，预测血管位置信息是掩模图像，血管位置标注信息是坐标信息，再比如，预测血管位置信息是坐标信息，血管位置标注信息是掩模图像。
步骤203，基于该第二血管图像样本、该血管位置标注信息、该预测增强图像以及该预测血管位置信息，获取损失函数值。
在本申请实施例中，计算机设备可以同时结合第二血管图像样本、该血管位置标注信息、该预测增强图像以及该预测血管位置信息，进行损失函数计算，得到用于对第一图像处理模型进行训练的损失函数值。
步骤204，基于该损失函数值对该第一图像处理模型进行训练；训练完成后的该第一图像处理模型用于生成第二图像处理模型，该第二图像处理模型用于对输入的目标血管图像进行处理，以输出该目标血管图像的血管分类信息，该血管分类信息用于指示该目标血管图像中的目标类型血管，该目标类型血管是该至少两种类型血管中的至少一种。
综上所述，本申请实施例所示的方案，在训练过程中，第一图像处理模型对输入的第一血管图像样本同时执行血管位置预测和图像质量增强，并且同时使用高质量的第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息对第一图像处理模型进行训练，也就是说，在训练血管分类模型的同时，还考虑了图像质量对于血管分类的影响，使得后续基于训练完成的第一图像处理模型生成的端到端的血管分类模型能够对低质量的血管图像具有更高的分类精度，从而提高对血管图像中的血管进行分类的准确性。
基于上述图2所示的实施例所示的方案训练得到第一图像处理模型后，基于该第一图像处理模型生成的第二图像处理模型，可以应用于各种对包含血管的图像处理并对其中的血管进行分类的场景。比如，第二图像处理模型可以应用于对眼底图像、胃镜图像、肠镜图像或者口腔内部图像进行端到端的血管分类。其中，第二图像处理模型用于血管分类的过程可以参考下述实施例。
图3是根据一示例性实施例示出的一种血管图像分类处理方法的流程示意图。该方法可以由计算机设备执行，比如，该计算机设备可以是服务器，或者，该计算机设备也可以是终端，或者，该计算机设备可以包括服务器和终端，其中，该服务器可以是上述图1所示的实施例中的服务器160，该终端可以是上述图1所示的实施例中由医疗人员使用的终端140。该计算机设备可以实现为进行血管分类的模型应用设备。如图3所示，该血管图像分类处理方法可以包括如下步骤。
步骤301，获取目标血管图像。
步骤302，将该目标血管图像输入第二图像处理模型，获得该第二图像处理模型输出的血管位置信息，该血管位置信息至少指示该目标血管图像中被预测出的目标类型血管的位置。
其中，该血管位置信息可以是掩模图像，或者，也可以是坐标信息。
步骤303，基于该血管位置信息，输出血管分类结果图像，该血管分类结果图像用于指示该目标血管图像中的该目标类型血管。
在一种可能的实现方式中，上述血管分类结果图像可以是在目标血管图像的基础上标注出目标类型血管的图像。比如，血管分类结果图像可以是在目标血管图像上标注出动脉/静脉血管的图像（例如，通过不同的颜色标记出动脉和静脉）。
其中，该第二图像处理模型是基于训练完成的第一图像处理模型生成的；训练该第一图像处理模型的损失函数值是基于第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息获取的；该预测增强图像以及该预测血管位置信息是该第一图像处理模型对第一血管图像样本进行处理后输出的；该第一血管图像样本是该第二血管图像样本对应的低质量图像，该血管位置标注信息用于指示该第一血管图像样本中被标注出的至少两种类型血管的位置；该预测增强图像是对该第一血管图像样本进行质量增强后的图像；该预测血管位置信息用于指示该第一血管图像样本中被预测出的至少两种类型血管的位置。
综上所述，本申请实施例所示的方案，第二图像处理模型是基于第一图像处理模型生成的，而在第一图像处理模型的训练过程中，第一图像处理模型对输入的第一血管图像样本同时执行血管位置预测和图像质量增强，并且同时使用高质量的第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息对第一图像处理模型进行训练，也就是说，在训练血管分类模型的同时，还考虑了图像质量对于血管分类的影响，使得后续基于训练完成的第一图像处理模型生成的端到端的血管分类模型能够对低质量的血管图像具有更高的分类精度，从而提高对血管图像中的血管进行分类的准确性。
本申请涉及到的血管图像分类处理方案可以分为两个阶段，分别为模型训练阶段和模型应用阶段。请参考图4，其是根据一示例性实施例示出的一种血管图像分类处理框架图。如图4所示，该血管图像分类处理过程如下。
计算机设备预先获取低质量的第一血管图像样本401、高质量的第二血管图像样本402、以及第一血管图像样本401对应的血管位置标注信息403。其中，血管位置标注信息403指示第一血管图像样本401中的多种类型血管的位置。
在模型训练阶段，计算机设备将第一血管图像样本401输入到第一图像处理模型404，第一图像处理模型404分别对第一血管图像样本401进行血管位置预测和图像质量增强，并分别输出预测得到的预测血管位置信息405，以及，质量增强后的预测增强图像406；其中，预测血管位置信息405也指示第一血管图像样本401中预测出的多种类型血管的位置；然后，通过第二血管图像样本402、血管位置标注信息403、预测血管位置信息405、以及预测增强图像406，计算获得损失函数值，并通过损失函数值对第一图像处理模型404进行训练。重复上述训练过程，直至第一图像处理模型404训练完成（比如达到收敛条件）。
在第一图像处理模型404训练完成后，计算机设备可以自动的，或者在开发人员的操作下，基于第一图像处理模型404生成第二图像处理模型407，并对第二图像处理模型407进行部署。
在模型应用阶段，计算机设备将目标血管图像408输入至第二图像处理模型407，由第二图像处理模型407输出血管位置信息409，然后，计算机设备可以根据该血管位置信息409输出能够指示目标血管图像中的该目标类型血管的血管分类结果图像410，以便医疗人员根据血管分类结果图像410做出响应的决策/判断。
图5是根据一示例性实施例示出的一种血管图像分类处理方法的流程示意图。该方法可以由计算机设备执行，比如，该计算机设备可以是服务器，或者，该计算机设备也可以是终端，或者，该计算机设备可以包括服务器和终端，其中，该服务器可以是上述图1所示的实施例中的服务器160，该终端可以是上述图1所示的实施例中的终端140。如图5所示，该血管图像分类处理方法可以包括如下步骤。
步骤501，获取第一血管图像样本、第二血管图像样本以及血管位置标注信息。
其中，该第一血管图像样本是该第二血管图像样本对应的低质量图像，该血管位置标注信息用于指示该第一血管图像样本中被标注出的至少两种类型血管的位置。
在一种可能的实现方式中，计算机设备可以通过对高质量的第二血管图像样本进行退化处理，得到低质量的第一血管图像样本。
例如，计算机设备可以通过模拟光照不均、图像模糊和伪影等因素的退化模型，对第二血管图像样本进行退化处理，得到第一血管图像样本，之后，开发人员对第一血管图像样本进行多种类型的血管标注，比如，分别对第一血管图像样本中的动脉血管、静脉血管进行标注，得到指示至少两种类型血管的位置的血管位置标注信息。
步骤502，将该第一血管图像样本输入第一图像处理模型，获得该第一图像处理模型输出的预测增强图像，以及预测血管位置信息。
其中，该预测增强图像是对该第一血管图像样本进行质量增强后的图像；该预测血管位置信息用于指示该第一血管图像样本中被预测出的至少两种类型血管的位置。
其中，计算机设备将该第一血管图像样本输入第一图像处理模型后，可以通过该第一图像处理模型中的图像分割分支对该第一血管图像样本进行处理，获得该图像分割分支输出的该预测血管位置信息；并通过该第一图像处理模型中的图像增强分支对该第一血管图像样本进行处理，获得该图像增强分支输出的该预测增强图像。
在本申请实施例中，第一图像处理模型可以包含两个分支，分别为图像分割分支和图像增强分支；其中，图像分割分支用于进行血管分类，即预测输入图像中的各种类型血管的位置；图像增强分支用于提升输入图像的图像质量。第一血管图像样本被输入第一图像处理模型之后，第一图像处理模型通过图像分割分支和图像增强分支，对第一血管图像样本并行处理，并分别输出预测增强图像，以及预测血管位置信息。
在一种可能的实现方式中，该图像分割分支和该图像增强分支共享编码器，该图像分割分支还包含第一解码器，该图像增强分支还包含第二解码器。
其中，上述图像分割分支和该图像增强分支共享编码器，可以是指共享编码器这个模型组件，比如，图像分割分支和图像增强分支只有一个编码器组件，图像分割分支和图像增强分支分别调用该编码器组件进行图像处理。
或者，上述图像分割分支和该图像增强分支共享编码器，可以是指共享编码器的参数，比如，图像分割分支和图像增强分支分别具有一个编码器组件，且这两个编码器组件中的编码器参数是相同的。
请参考图6，其示出了本申请实施例涉及的第一图像处理模型的模型框架图。如图6所示，第一图像处理模型60是一个双分支网络，整体架构包含两个分支：图像分割分支61和图像增强分支62；其中，图像分割分支61包含第一解码器61a，图像增强分支62包含第二解码器62a，并且，图像分割分支61和图像增强分支62共享编码器63。
在图6中，图像分割分支61用于对输入的图像中的血管进行位置预测和分类，比如生成A/V分类掩模图像，图像增强分支62基于输入的低质量图像中重构得到高质量图像。并且，上述两个分支共享同一个编码器，并各自具有不同的解码器，用于同时进行A/V分类和图像增强。对于每一幅高质量图像，通过退化模型处理，可以得到一副低质量的图像作为输入图像，并得到真实高质量图像和真值A/V分类掩模，分别用来训练图像增强分支和图像分割分支。
在图像分割分支中，可以采用U-Net结构，并以预先训练好的ResNet18作为编码器，该解码器产生了一个三通道的概率图，用于动脉、静脉和所有血管的分割。
图像增强分支也可以是一个基于编码器-解码器的网络，并且与图像分割分支共享同一个编码器，以鼓励编码器提取与A/V分类相关且对图像退化具有鲁棒性的特征。图像增强分支的目标是从有意退化的低质量图像中重建出高质量的原始图像。
在本申请实施例中，在通过第一图像处理模型对第一血管图像样本进行处理，以获得第一图像处理模型输出的预测增强图像以及预测血管位置信息时，计算机设备可以将第一血管图像样本分块后依次输入第一图像处理模型，得到各个第一血管图像样本块分别对应的预测增强图像块和预测血管位置信息块，并将各个第一血管图像样本块分别对应的预测增强图像块合并，得到预测增强图像，以及，将各个第一血管图像样本块分别对应的预测血管位置信息块进行合并，得到预测血管位置信息。
以预测血管位置信息是掩模图像为例，请参考图7，其示出了本申请实施例涉及的一种模型输入输出示意图。如图7所示，对于第一血管图像样本71，计算机设备在训练过程中，每次提取一个图像样本块72，并将提取的图像样本块72输入第一图像处理模型73，由第一图像处理模型73输出与图像样本块72对应的预测掩模图像块74和预测增强图像块75；最后，计算机设备将按照各个图像样本72的输入顺序，将各个预测掩模图像块74进行拼接，得到预测掩模图像76，并将各个预测增强图像块75进行拼接，得到预测增强图像77。
例如，在训练过程中，对于第一血管图像样本（比如低质量眼底彩照）和对应的动静脉标签进行随机提取分块（patch），然后将提取的patch送入网络（第一图像处理模型）进行预测，网络输出结果为重构的高质量图像，以及3个通道的预测掩模图像，预测掩模图像包括动脉血管图，静脉血管图和所有血管图；最后，将预测的patch对应的网络输出结果按原始提取顺序进行拼接，即得到最后的预测增强图像以及动静脉分类结果。
在本申请实施例中，使用从低质量的第一血管图像样本中提取的图像块作为输入数据进行模型训练的，可以增加有效的训练数量。
计算机设备可以基于该第二血管图像样本、该血管位置标注信息、该预测增强图像以及该预测血管位置信息，获取损失函数值；该过程可以参考后续步骤503和步骤504。
步骤503，基于该血管位置标注信息以及该预测血管位置信息，获取该损失函数值中的血管分类损失函数值。
在本申请实施例中，计算机设备可以计算血管位置标注信息以及该预测血管位置信息之间的差异，获得损失函数值中的血管分类损失函数值。
在一种可能的实现方式中，计算机设备可以使用二进制交叉熵损失计算生成的掩模与真实掩模之间的像素级距离，其公式如下所示：
Figure DEST_PATH_IMAGE001
其中，x表示低质量的输入图片（即上述第一血管图像样本），Lc表示第c类的真实动静脉分类掩膜图像（对应上述血管位置标注信息）；E和D1分别表示表示图像分割分支的编码器和解码器，D1（E丨（x））表示图像分割分支输出的某个通道的概率图，对于所有血管、动脉和静脉的权重，可以分别设置μc为0.4、0.3和0.3。
其中，当上述血管位置标注信息或者该预测血管位置信息不是掩模图像时，计算机设备可以先将其转化为掩模图像，然后再通过上述公式1计算出血管分类损失函数值LBCE。
步骤504，基于该第二血管图像样本以及该预测增强图像，获取该损失函数值中的图像增强损失函数值。
在本申请实施例中，计算机设备可以计算第二血管图像样本以及该预测增强图像之间的差异，获得损失函数值中的图像增强损失函数值。
在一种可能的实现方式中，该基于该第二血管图像样本以及该预测增强图像，获取该损失函数值中的图像增强损失函数值，包括：
基于该第二血管图像样本以及该预测增强图像，获取子损失函数值；该子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少一种；
基于该子损失函数值获取该图像增强损失函数值；
该第一子损失函数值用于指示该第二血管图像样本与该预测增强图像之间的整体差异；
该第二子损失函数值用于指示该第二血管图像样本与该预测增强图像之间的人眼视觉感知差异；
该第三子损失函数值用于指示该第二血管图像样本与该预测增强图像各自对应的血管部位的图像差异。
在本申请实施例中，可以采用L1损失作为重建损失，计算低质量图像与相应的高质量图像之间的整体相似度（对应上述第一子损失函数值）：
Figure DEST_PATH_IMAGE002
其中，D2代表图像增强分支的解码器，而y则代表真实的高质量图像（即第二血管图像样本）。
为了进一步保持低质量图像与高质量真实图像之间的结构相似性（StructuralSimilarity，SSIM），本申请还可以引入一种基于人眼视觉感知的感知图像质量损失（对应上述第二子损失函数值）。SSIM损失的计算如下：
Figure DEST_PATH_IMAGE003
其中μi和σi 2分别表示图像Ii的均值和方差。σ12表示I1和I2的协方差；C1和C2是用于稳定计算的常数（比如，C1=0.01×2552，C2=0.03×2552）。
除重建损失和SSIM损失外，本申请实施例还进一步提出一种掩模损失（对应上述第三子损失函数值），以增强血管区域附近的图像重建质量。由于本申请的主要任务是血管分类，因此血管区域生成图像的质量比背景像素更重要。
在一种可能的实现方式中，响应于该子损失函数值包括该第三子损失函数值，该基于该第二血管图像样本以及该预测增强图像，获取子损失函数值，包括：
基于该第二血管图像样本以及该血管位置标注信息获取第一局部图像，该第一局部图像是该第二血管图像样本中的血管部位的图像；
基于该预测增强图像以及该预测血管位置信息获取第二局部图像，该第二局部图像是该预测增强图像中的血管部位的图像；
基于该第一局部图像和该第二局部图像，获取该第三子损失函数值。
为了获得增强图像中的血管区域，将生成的血管掩模与增强图像进行元素相乘，得到掩模相关的增强图像M1。同样地，掩模相关的真实图像M2，也可以通过计算真实血管掩模与真实高质量图像的逐元素乘法得到。然后，针对位于真实血管区域的像素点，通过优化M1与M2之间的L1损失从而构建掩模损失。掩模损失的计算如下所示：
Figure DEST_PATH_IMAGE004
其中L表示真实的血管掩模；Lj表示L的第j个像素。在L中，每个像素若为血管则置为一，反之置为0；||L||表示L中的像素个数；
Figure DEST_PATH_IMAGE005
表示逐元素相乘；M1j和M2j分别表示掩模相关的增强图像和掩模相关的真实图像的第j个像素。
在一种可能的实现方式中，响应于该子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少两项数值，该基于该子损失函数值获取该图像增强损失函数值，包括：
对该子损失函数值中的至少两项数值进行加权处理，获得该图像增强损失函数值。
以子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值为例，最终的优化函数是二进制交叉熵损失、重构损失、SSIM损失和掩模损失的加权组合。总的优化函数可以如下所示：
Figure DEST_PATH_IMAGE006
其中，λ1，λ2和λ3用来控制每个损失相对于二进制交叉熵的重要性，比如，λ1，λ2和λ3可以分别设置为0.2、0.4和0.2。
其中，上述λ1，λ2和λ3可以由开发人员预先设置在计算机设备中，例如，可以由开发人员预先设置在第一图像处理模型的损失函数中。
步骤505，基于该损失函数值对该第一图像处理模型进行训练。
在本申请实施例中，在基于该损失函数值对该第一图像处理模型进行训练时，计算机设备可以基于该血管分类损失函数值以及该图像增强损失函数值，对该编码器进行参数更新，基于该血管分类损失函数值对该第一解码器进行参数更新，并基于该图像增强损失函数值对该第二解码器进行参数更新。
也就是说，计算机设备可以通过L对上述共享的编码器进行参数更新，通过LBCE对图像分割分支中的解码器（即第一解码器）进行参数更新，通过λ1Lrec+λ2Lssim+λ3Lmask对图像增强分支中的解码器（即第二解码器）进行参数更新。
在一种可能的实现方式中，该基于该血管分类损失函数值以及该图像增强损失函数值，对该编码器进行参数更新，包括：
对该血管分类损失函数值以及该图像增强损失函数值进行加权处理，获得总损失函数值；基于该总损失函数值对该编码器进行参数更新。
在本申请实施例中，为了更精确的控制血管分类和图像增强任务对编码器的影响，计算机设备还可以对血管分类损失函数值以及该图像增强损失函数值进行加权处理。
其中，计算机设备在对上述图像分割分支和图像增强分支共享的编码器进行训练时，可以考虑图像增强分支学习到的信息对血管分类任务的重要性程度，以对血管分类损失函数值以及该图像增强损失函数值设置不同的权重。其中，上述血管分类损失函数值以及该图像增强损失函数值各自的权重，可以由开发人员预先设置在计算机设备中，例如，可以由开发人员预先设置在第一图像处理模型的损失函数中。
其中，如图6所示，计算机设备通过上述损失函数值对第一图像处理模型进行训练时，可以通过损失函数值中的不同部分，分别对第一图像处理模型中的两个分支进行参数更新，其中，上述损失函数值中的血管分类损失函数值（如图6中的LBCE）用于训练图像分割分支，而损失函数值中的图像增强损失函数值（如图6中的Lrec、Lssim、以及Lmask）用于训练图像增强分支，由于图像分割分支和图像增强分支共享编码器，因此，第一图像处理模型中图像分割分支也能够学习到图像增强部分的信息，从而提高了图像分割分支对低质量图像进行血管分类的准确性。
步骤506，响应于该第一图像处理模型训练完成，基于第一图像处理模型生成第二图像处理模型。
在一种可能的实现方式中，响应于该第一图像处理模型训练完成，基于该图像分割分支生成该第二图像处理模型。
其中，该第二图像处理模型用于对输入的目标血管图像进行处理，以输出该目标血管图像的血管分类信息，该血管分类信息用于指示该目标血管图像中的目标类型血管，该目标类型血管是该至少两种类型血管中的至少一种。
如图6所示的结构，在推理应用阶段，可以舍弃图像增强分支，只保留图像分割分支进行血管分类（比如A/V分类），相对于完整运行第一图像处理模型来说，可以显著减少推理时间。
在一种可能的实现方式中，计算机设备可以将该目标血管图像输入该第二图像处理模型，获得该第二图像处理模型输出的血管位置信息，该血管位置信息至少指示该目标血管图像中被预测出的该目标类型血管的位置；并基于该血管位置信息，输出血管分类结果图像，该血管分类结果图像用于指示该目标血管图像中的该目标类型血管。
综上所述，本申请实施例所示的方案，在训练过程中，第一图像处理模型对输入的第一血管图像样本同时执行血管位置预测和图像质量增强，并且同时使用高质量的第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息对第一图像处理模型进行训练，也就是说，在训练血管分类模型的同时，还考虑了图像质量对于血管分类的影响，使得后续基于训练完成的第一图像处理模型生成的端到端的血管分类模型能够对低质量的血管图像具有更高的分类精度，从而提高对血管图像中的血管进行分类的准确性。
以上述血管图像是眼底图像，血管位置信息是掩模图像为例，请参考图8，其是根据一示例性实施例示出的一种用于眼底图像处理模型的训练及应用框架图。如图8所示，用于眼底图像血管分类的模型训练及应用过程可以如下：
首先，开发人员准备高质量的眼底图像样本，通过退化模型对高质量的眼底图像样本81a进行处理，得到低质量的眼底图像样本81b，然后，基于眼底图像样本进行标注操作，得到表示各类型血管真实位置的标注掩模图像81c，然后，将高质量的眼底图像样本81a、低质量的眼底图像样本81b以及标注掩模图像81c作为训练数据，输入至模型训练设备中。
在模型训练阶段，模型训练设备将低质量的眼底图像样本81b输入第一图像处理模型82，通过第一图像处理模型82中的图像分割分支输出预测掩模图像83，并通过第一图像处理模型82中的图像增强分支输出预测增强图像83；其中图像分割分支和图像增强分支共享编码器；模型训练设备通过高质量的眼底图像样本81a、标注掩模图像81c、预测掩模图像83以及预测增强图像84，计算得到损失函数值85，通过损失函数值85中的血管分类损失函数值对图像分割分支进行参数更新，并通过损失函数值85中的图像增强损失函数值对图像增强分支进行参数更新；其中，由于图像分割分支和图像增强分支共享编码器，因此，在进行参数更新时，模型训练设备通过血管分类损失函数值对图像分割分支中的解码器进行更新，并通过图像增强损失函数值对图像增强分支中的解码器进行更新，并通过血管分类损失函数值和图像增强损失函数值共同对共享的编码器进行更新。
在模型训练结束后，开发人员通过第一图像处理模型82中的图像分割分支，可以构建出第二图像处理模型86，并将其部署到模型应用设备中。
在血管分类阶段，模型应用设备可以接收输入的目标眼底图像87，并将目标眼底图像87输入第二图像处理模型86，由第二图像处理模型86输出对应的掩模图像88，并基于掩模图像88输出血管分类后的眼底图像89。
眼底图像是一种无介入医疗图像。通过眼底图像，可以无侵入地观察血管。当视网膜动静脉的形态学发生改变时，可能会导致各种系统性、心血管和脑部疾病的发生。另外，关于视网膜血管的生物标志物研究发现，较大的静脉口径与糖尿病视网膜病变的进展有关。此外，也有报道认为视网膜动脉口径的缩小与高血压和糖尿病的发生风险有关。因此，动脉/静脉分类为定量血管分析奠定基础，并且便于视网膜生物标志物研究。
在实际的临床实践中，捕获质量变化较大的眼底图像是非常普遍的，这取决于很多外界干扰因素，比如照明条件、眼底照相机、以及技术人员的水平参差等等，例如，眼底图像成像时容易产生伪影，从而导致低质量的眼底图像。据统计显示，在采集到的眼底图像中，有12 %的图像达不到眼科医生在临床实践中阅读所需要的质量，当图像质量较低时，模型的A/V分类性能将受到极大影响。针对低质量图像的动静脉分割，本申请上述实施例所提供的端到端的双分支网络，可以包含增强分支和分割分支，从而在提高图像质量的同时，还能够提高A/V分类的性能，其中，两个分支可以共享同一个编码器，利用结构相似度的损失来减少重建图像的伪影，本申请还可以通过掩模损失来强调血管附近重建的增强图像的质量。通过上述双分支网络构建的血管分类模型，可以提供更准确的血管分类，进一步辅助医生系统性的诊断心血管和脑部等疾病，以及在眼底筛查系统中，辅助医生判断血管分布正常与否，从而帮助预防和诊断眼底的疾病以及全身性疾病，如高血压和糖尿病等。
本申请基于本申请上述实施例所示的方案进行消融研究，以评估图像增强分支中的各种损失函数（即重建损失、SSIM损失和掩模损失）在低质量图像下进行测试时的有效性。为了评估本申请上述方案的A/V分类性能，本申请采用精度( Accuracy，Acc )、灵敏度( Sensitivity，Sen )和似然性( Specificity，Spec ) 3个度量指标，基于真实的血管像素级图像对A/V分类性能进行评估，以比较同一准则下不同模块的有效性。
如表1所示，通过在图像分割分支中加入具有重建损失的图像增强分支作为辅助任务，A/V分类精度提高了2.15%，说明在网络中加入图像增强任务时，编码器能够对低质量图像提取更稳健的特征。除了重建损失，本申请还将SSIM损失和掩模损失分别添加到图像增强分支中。将SSIM损失集成到图像增强分支后，A/V分类精度提高了1.02%。此外，当采用掩模损失时，A/V分类的准确率提高了0.90%，表明了该掩模损失通过强调血管区域对A/V分类任务的帮助。最后，在图像增强分支的作用下，图像分割分支对A/V分类性能最优，对低质量眼底图像的准确率达到91.52 %。
表1
Figure DEST_PATH_IMAGE007
在AV-DRIVE和INSPIRE-AVR数据集中，表2展示了本申请在低质量测试图像下的A/V分类性能与相关技术中的A/V分类技术的对比。本申请主要将上述实施例所示的方法与目前广泛采用的U型网络（U-Net）进行比较。本申请分别使用AV-DRIVE数据集的高质量（UNet-High Quality，UNet-HQ）和低质量（UNet-Low Quality，UNet-LQ）眼底图像训练两个U-Net模型。首先，UNet-HQ模型的性能分别在高质量和低质量的测试图像上进行评估，如表2的第前两行所示，在使用低质量测试图像进行性能评估时，与高质量测试图像评估的性能相比，性能明显下降4.66%。因此，高质量和低质量的眼底图像之间存在着巨大的域差距，这也是本申请研究低质量A/V分类的主要原因。当采用低质量图像作为训练集时，UNet-LQ模型将A/V分类性能提高1.27%。然而，UNet-LQ与理论上限（91.61%，即UNet-HQ在高质量图像上测试的Acc）之间仍存在较大的性能差距。相比之下，在相同的低质量的测试图像下，本申请提供的双分支网络对AV-DRIVE数据集的A/V分类准确率为91.52%，比U-Net模型在低质量眼底图像上训练的准确率高3.3%。此外，本申请提供的双分支网络的性能与理论上限非常接近，性能差距仅为0.1%。
对于INSPIRE-AVR数据集，由于只提供了血管中心线上的A/V标记，不具备真实血管分割，因此对分割后的血管进行A/V分类性能评估。在相同的评价标准下进行比较并且没有微调模型时，本申请提出的框架超过了U-Net，精度提高了2.53%，表明了本申请涉及的方法具有泛化能力。
表2
Figure DEST_PATH_IMAGE008
其中，本申请上述实施例所示的方案可以结合区块链来实现或者执行。比如，上述各个实施例中的部分或者全部步骤可以在区块链系统执行；或者，上述各个实施例中的各个步骤执行所需要的数据或者生成的数据，可以存储在区块链系统中；例如，上述模型训练使用的训练样本，以及模型应用过程中的目标血管图像等模型输入数据，可以由计算机设备从区块链系统中获取；再例如，上述模型训练后得到的模型的参数（包括第一图像处理模型的参数和第二图像处理模型的参数），可以存储在区块链系统中。
图9是根据一示例性实施例示出的一种血管图像分类处理装置的结构方框图。该装置可以实现图2或图5所示实施例提供的方法中的全部或部分步骤，该血管图像分类处理装置包括：
样本获取模块901，用于获取第一血管图像样本、第二血管图像样本以及血管位置标注信息；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；
预测模块902，用于将所述第一血管图像样本输入第一图像处理模型，获得所述第一图像处理模型输出的预测增强图像，以及预测血管位置信息；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置；
损失获取模块903，用于基于所述第二血管图像样本、所述血管位置标注信息、所述预测增强图像以及所述预测血管位置信息，获取损失函数值；
训练模块904，用于基于所述损失函数值对所述第一图像处理模型进行训练；
训练完成后的所述第一图像处理模型用于生成第二图像处理模型，所述第二图像处理模型用于对输入的目标血管图像进行处理，以输出所述目标血管图像的血管分类信息，所述血管分类信息用于指示所述目标血管图像中的目标类型血管，所述目标类型血管是所述至少两种类型血管中的至少一种。
在一种可能的实现方式中，所述预测模块902，包括：
输入子模块，用于将所述第一血管图像样本输入第一图像处理模型；
分割子模块，用于通过所述第一图像处理模型中的图像分割分支对所述第一血管图像样本进行处理，获得所述图像分割分支输出的所述预测血管位置信息；
增强子模块，用于通过所述第一图像处理模型中的图像增强分支对所述第一血管图像样本进行处理，获得所述图像增强分支输出的所述预测增强图像。
在一种可能的实现方式中，所述损失获取模块903，包括：
分类损失获取子模块，用于基于所述血管位置标注信息以及所述预测血管位置信息，获取所述损失函数值中的血管分类损失函数值；
增强损失获取子模块，用于基于所述第二血管图像样本以及所述预测增强图像，获取所述损失函数值中的图像增强损失函数值。
在一种可能的实现方式中，所述增强损失获取子模块，用于，
基于所述第二血管图像样本以及所述预测增强图像，获取子损失函数值；所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少一种；
基于所述子损失函数值获取所述图像增强损失函数值；
所述第一子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的整体差异；
所述第二子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的人眼视觉感知差异；
所述第三子损失函数值用于指示所述第二血管图像样本与所述预测增强图像各自对应的血管部位的图像差异。
在一种可能的实现方式中，响应于所述子损失函数值包括所述第三子损失函数值，所述增强损失获取子模块，用于，
基于所述第二血管图像样本以及所述血管位置标注信息获取第一局部图像，所述第一局部图像是所述第二血管图像样本中的血管部位的图像；
基于所述预测增强图像以及所述预测血管位置信息获取第二局部图像，所述第二局部图像是所述预测增强图像中的血管部位的图像；
基于所述第一局部图像和所述第二局部图像，获取所述第三子损失函数值。
在一种可能的实现方式中，增强损失获取子模块，用于，
响应于所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少两项数值，对所述子损失函数值中的至少两项数值进行加权处理，获得所述图像增强损失函数值。
在一种可能的实现方式中，所述图像分割分支和所述图像增强分支共享编码器，所述图像分割分支还包含第一解码器，所述图像增强分支还包含第二解码器；
所述训练模块904，包括：
编码器更新子模块，用于基于所述血管分类损失函数值以及所述图像增强损失函数值，对所述编码器进行参数更新；
第一解码器更新子模块，用于基于所述血管分类损失函数值对所述第一解码器进行参数更新；
第二解码器更新子模块，用于基于所述图像增强损失函数值对所述第二解码器进行参数更新。
在一种可能的实现方式中，所述编码器更新子模块，用于，
对所述血管分类损失函数值以及所述图像增强损失函数值进行加权处理，获得总损失函数值；
基于所述总损失函数值对所述编码器进行参数更新。
在一种可能的实现方式中，所述装置还包括：
模型生成模块，用于响应于所述第一图像处理模型训练完成，基于所述图像分割分支生成所述第二图像处理模型。
在一种可能的实现方式中，所述装置还包括：
图像输入模块，用于将所述目标血管图像输入所述第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的所述目标类型血管的位置；
结果输出模块，用于基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管。
综上所述，本申请实施例所示的方案，在训练过程中，第一图像处理模型对输入的第一血管图像样本同时执行血管位置预测和图像质量增强，并且同时使用高质量的第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息对第一图像处理模型进行训练，也就是说，在训练血管分类模型的同时，还考虑了图像质量对于血管分类的影响，使得后续基于训练完成的第一图像处理模型生成的端到端的血管分类模型能够对低质量的血管图像具有更高的分类精度，从而提高对血管图像中的血管进行分类的准确性。
图10是根据一示例性实施例示出的一种血管图像分类处理装置的结构方框图。该血管图像分类处理装置可以实现图3或图5所示实施例提供的方法中的全部或部分步骤，该对话信息处理装置包括：
图像获取模块1001，用于获取目标血管图像；
模型处理模块1002，用于将所述目标血管图像输入第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的目标类型血管的位置；
输出模块1003，用于基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管；
其中，所述第二图像处理模型是基于训练完成的第一图像处理模型生成的；训练所述第一图像处理模型的损失函数值是基于第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息获取的；所述预测增强图像以及所述预测血管位置信息是所述第一图像处理模型对第一血管图像样本进行处理后输出的；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置。
综上所述，本申请实施例所示的方案，第二图像处理模型是基于第一图像处理模型生成的，而在第一图像处理模型的训练过程中，第一图像处理模型对输入的第一血管图像样本同时执行血管位置预测和图像质量增强，并且同时使用高质量的第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息对第一图像处理模型进行训练，也就是说，在训练血管分类模型的同时，还考虑了图像质量对于血管分类的影响，使得后续基于训练完成的第一图像处理模型生成的端到端的血管分类模型能够对低质量的血管图像具有更高的分类精度，从而提高对血管图像中的血管进行分类的准确性。
图11是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中用于训练第一图像处理模型的计算机设备，或者，可以实现为上述各个方法实施例中用于通过第二图像处理模型进行血管分类的计算机设备。所述计算机设备1100包括中央处理单元（CPU，Central Processing Unit）1101、包括随机存取存储器（Random Access Memory，RAM）1102和只读存储器（Read-Only Memory，ROM）1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出控制器1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器（未示出）连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者光盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）驱动器之类的计算机可读介质（未示出）。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1101通过执行该一个或一个以上程序来实现图2、图3或图5任一所示的方法的全部或者部分步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序（指令）的存储器，上述程序（指令）可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种血管图像分类处理方法，其特征在于，所述方法包括：
获取第一血管图像样本、第二血管图像样本以及血管位置标注信息；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；
将所述第一血管图像样本输入第一图像处理模型，获得所述第一图像处理模型输出的预测增强图像，以及预测血管位置信息；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置；
基于所述第二血管图像样本、所述血管位置标注信息、所述预测增强图像以及所述预测血管位置信息，获取损失函数值；所述损失函数值中包含图像增强损失函数值，所述图像增强损失函数值是基于子损失函数值获取的；所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少一种；所述第一子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的整体差异；所述第二子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的人眼视觉感知差异；所述第三子损失函数值用于指示所述第二血管图像样本与所述预测增强图像各自对应的血管部位的图像差异；
基于所述损失函数值对所述第一图像处理模型进行训练；
训练完成后的所述第一图像处理模型用于生成第二图像处理模型，所述第二图像处理模型用于对输入的目标血管图像进行处理，以输出所述目标血管图像的血管分类信息，所述血管分类信息用于指示所述目标血管图像中的目标类型血管，所述目标类型血管是所述至少两种类型血管中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一血管图像样本输入第一图像处理模型，获得所述第一图像处理模型输出的预测增强图像，以及预测血管位置信息，包括：
将所述第一血管图像样本输入第一图像处理模型；
通过所述第一图像处理模型中的图像分割分支对所述第一血管图像样本进行处理，获得所述图像分割分支输出的所述预测血管位置信息；
通过所述第一图像处理模型中的图像增强分支对所述第一血管图像样本进行处理，获得所述图像增强分支输出的所述预测增强图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第二血管图像样本、所述血管位置标注信息、所述预测增强图像以及所述预测血管位置信息，获取损失函数值，包括：
基于所述血管位置标注信息以及所述预测血管位置信息，获取所述损失函数值中的血管分类损失函数值；
基于所述第二血管图像样本以及所述预测增强图像，获取所述损失函数值中的所述图像增强损失函数值。
4.根据权利要求1所述的方法，其特征在于，响应于所述子损失函数值包括所述第三子损失函数值，所述方法还包括：
基于所述第二血管图像样本以及所述血管位置标注信息获取第一局部图像，所述第一局部图像是所述第二血管图像样本中的血管部位的图像；
基于所述预测增强图像以及所述预测血管位置信息获取第二局部图像，所述第二局部图像是所述预测增强图像中的血管部位的图像；
基于所述第一局部图像和所述第二局部图像，获取所述第三子损失函数值。
5.根据权利要求1所述的方法，其特征在于，响应于所述子损失函数值包括所述第一子损失函数值、所述第二子损失函数值、以及所述第三子损失函数值中的至少两项数值，所述方法还包括：
对所述子损失函数值中的至少两项数值进行加权处理，获得所述图像增强损失函数值。
6.根据权利要求3所述的方法，其特征在于，所述图像分割分支和所述图像增强分支共享编码器，所述图像分割分支还包含第一解码器，所述图像增强分支还包含第二解码器；
所述基于所述损失函数值对所述第一图像处理模型进行训练，包括：
基于所述血管分类损失函数值以及所述图像增强损失函数值，对所述编码器进行参数更新；
基于所述血管分类损失函数值对所述第一解码器进行参数更新；
基于所述图像增强损失函数值对所述第二解码器进行参数更新。
7.根据权利要求6所述的方法，其特征在于，所述基于所述血管分类损失函数值以及所述图像增强损失函数值，对所述编码器进行参数更新，包括：
对所述血管分类损失函数值以及所述图像增强损失函数值进行加权处理，获得总损失函数值；
基于所述总损失函数值对所述编码器进行参数更新。
8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
响应于所述第一图像处理模型训练完成，基于所述图像分割分支生成所述第二图像处理模型。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
将所述目标血管图像输入所述第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的所述目标类型血管的位置；
基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管。
10.一种血管图像分类处理方法，其特征在于，所述方法包括：
获取目标血管图像；
将所述目标血管图像输入第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的目标类型血管的位置；
基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管；
其中，所述第二图像处理模型是基于训练完成的第一图像处理模型生成的；训练所述第一图像处理模型的损失函数值是基于第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息获取的；所述损失函数值中包含图像增强损失函数值，所述图像增强损失函数值是基于子损失函数值获取的；所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少一种；所述第一子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的整体差异；所述第二子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的人眼视觉感知差异；所述第三子损失函数值用于指示所述第二血管图像样本与所述预测增强图像各自对应的血管部位的图像差异；所述预测增强图像以及所述预测血管位置信息是所述第一图像处理模型对第一血管图像样本进行处理后输出的；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置。
11.一种血管图像分类处理装置，其特征在于，所述装置包括：
样本获取模块，用于获取第一血管图像样本、第二血管图像样本以及血管位置标注信息；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；
预测模块，用于将所述第一血管图像样本输入第一图像处理模型，获得所述第一图像处理模型输出的预测增强图像，以及预测血管位置信息；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置；
损失获取模块，用于基于所述第二血管图像样本、所述血管位置标注信息、所述预测增强图像以及所述预测血管位置信息，获取损失函数值；所述损失函数值中包含图像增强损失函数值，所述图像增强损失函数值是基于子损失函数值获取的；所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少一种；所述第一子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的整体差异；所述第二子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的人眼视觉感知差异；所述第三子损失函数值用于指示所述第二血管图像样本与所述预测增强图像各自对应的血管部位的图像差异；
训练模块，用于基于所述损失函数值对所述第一图像处理模型进行训练；
训练完成后的所述第一图像处理模型用于生成第二图像处理模型，所述第二图像处理模型用于对输入的目标血管图像进行处理，以输出所述目标血管图像的血管分类信息，所述血管分类信息用于指示所述目标血管图像中的目标类型血管，所述目标类型血管是所述至少两种类型血管中的至少一种。
12.一种血管图像分类处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标血管图像；
模型处理模块，用于将所述目标血管图像输入第二图像处理模型，获得所述第二图像处理模型输出的血管位置信息，所述血管位置信息至少指示所述目标血管图像中被预测出的目标类型血管的位置；
输出模块，用于基于所述血管位置信息，输出血管分类结果图像，所述血管分类结果图像用于指示所述目标血管图像中的所述目标类型血管；
其中，所述第二图像处理模型是基于训练完成的第一图像处理模型生成的；训练所述第一图像处理模型的损失函数值是基于第二血管图像样本、血管位置标注信息、预测增强图像以及预测血管位置信息获取的；所述损失函数值中包含图像增强损失函数值，所述图像增强损失函数值是基于子损失函数值获取的；所述子损失函数值包括第一子损失函数值、第二子损失函数值、以及第三子损失函数值中的至少一种；所述第一子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的整体差异；所述第二子损失函数值用于指示所述第二血管图像样本与所述预测增强图像之间的人眼视觉感知差异；所述第三子损失函数值用于指示所述第二血管图像样本与所述预测增强图像各自对应的血管部位的图像差异；所述预测增强图像以及所述预测血管位置信息是所述第一图像处理模型对第一血管图像样本进行处理后输出的；所述第一血管图像样本是所述第二血管图像样本对应的低质量图像，所述血管位置标注信息用于指示所述第一血管图像样本中被标注出的至少两种类型血管的位置；所述预测增强图像是对所述第一血管图像样本进行质量增强后的图像；所述预测血管位置信息用于指示所述第一血管图像样本中被预测出的至少两种类型血管的位置。
13.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现如权利要求1至10任一所述的血管图像分类处理方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现如权利要求1至10任一所述的血管图像分类处理方法。
CN202110547148.7A 2021-05-19 2021-05-19 血管图像分类处理方法、装置、设备及存储介质 Active CN112966792B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110547148.7A CN112966792B (zh) 2021-05-19 2021-05-19 血管图像分类处理方法、装置、设备及存储介质
PCT/CN2022/087404 WO2022242392A1 (zh) 2021-05-19 2022-04-18 血管图像分类处理方法、装置、设备及存储介质
EP22803717.2A EP4273747A1 (en) 2021-05-19 2022-04-18 Blood vessel image classification processing method and apparatus, and device and storage medium
US17/994,678 US20230106222A1 (en) 2021-05-19 2022-11-28 Vessel image classification method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110547148.7A CN112966792B (zh) 2021-05-19 2021-05-19 血管图像分类处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112966792A CN112966792A (zh) 2021-06-15
CN112966792B true CN112966792B (zh) 2021-08-13

Family

ID=76275643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110547148.7A Active CN112966792B (zh) 2021-05-19 2021-05-19 血管图像分类处理方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20230106222A1 (zh)
EP (1) EP4273747A1 (zh)
CN (1) CN112966792B (zh)
WO (1) WO2022242392A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966792B (zh) * 2021-05-19 2021-08-13 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质
CN114359284B (zh) * 2022-03-18 2022-06-21 北京鹰瞳科技发展股份有限公司 用于对视网膜眼底图像进行分析的方法及其相关产品
CN116229480B (zh) * 2023-01-10 2024-05-28 北京百度网讯科技有限公司 文本识别模型训练方法、文本识别方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211140A (zh) * 2019-06-14 2019-09-06 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110569899A (zh) * 2019-09-03 2019-12-13 嘉陵江亭子口水利水电开发有限公司 坝面缺陷分类模型训练方法及装置
CN111461134A (zh) * 2020-05-18 2020-07-28 南京大学 一种基于生成对抗网络的低分辨率车牌识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242865A (zh) * 2020-01-10 2020-06-05 南京航空航天大学 基于生成式对抗网络的眼底图像增强方法
CN111932535A (zh) * 2020-09-24 2020-11-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN112966792B (zh) * 2021-05-19 2021-08-13 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211140A (zh) * 2019-06-14 2019-09-06 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110569899A (zh) * 2019-09-03 2019-12-13 嘉陵江亭子口水利水电开发有限公司 坝面缺陷分类模型训练方法及装置
CN111461134A (zh) * 2020-05-18 2020-07-28 南京大学 一种基于生成对抗网络的低分辨率车牌识别方法

Also Published As

Publication number Publication date
US20230106222A1 (en) 2023-04-06
WO2022242392A1 (zh) 2022-11-24
EP4273747A1 (en) 2023-11-08
CN112966792A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN110909780B (zh) 一种图像识别模型训练和图像识别方法、装置及系统
CN112966792B (zh) 血管图像分类处理方法、装置、设备及存储介质
US20210272681A1 (en) Image recognition model training method and apparatus, and image recognition method, apparatus, and system
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
US20190102603A1 (en) Method and apparatus for determining image quality
CN113724228B (zh) 舌色苔色识别方法、装置、计算机设备及存储介质
WO2022089257A1 (zh) 医学图像处理方法、装置、设备、存储介质及产品
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN113688862A (zh) 一种基于半监督联邦学习的脑影像分类方法及终端设备
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及系统
CN110473176B (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
CN110503636B (zh) 参数调整方法、病灶预测方法、参数调整装置及电子设备
CN117237351B (zh) 一种超声图像分析方法以及相关装置
Liu Retinal vessel segmentation based on fully convolutional networks
Lin et al. Blu-gan: Bi-directional convlstm u-net with generative adversarial training for retinal vessel segmentation
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
Yang et al. Naunet: lightweight retinal vessel segmentation network with nested connections and efficient attention
CN115937129B (zh) 基于多模态磁共振影像的左右半脑关系的处理方法及装置
CN116645346A (zh) 肩袖扫描图像的处理方法、电子设备及存储介质
CN116503684A (zh) 模型训练方法、装置、电子设备及存储介质
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
Khalid et al. FGR-Net: Interpretable fundus image gradeability classification based on deep reconstruction learning
Perumal et al. Microaneurysms detection in fundus images using local fourier transform and neighbourhood analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045475

Country of ref document: HK