CN114445334A - 图像分析的方法、装置、设备及存储介质 - Google Patents
图像分析的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114445334A CN114445334A CN202111583434.5A CN202111583434A CN114445334A CN 114445334 A CN114445334 A CN 114445334A CN 202111583434 A CN202111583434 A CN 202111583434A CN 114445334 A CN114445334 A CN 114445334A
- Authority
- CN
- China
- Prior art keywords
- image
- pet
- ear
- region
- target feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003703 image analysis method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 52
- 239000012634 fragment Substances 0.000 claims abstract description 49
- 238000010191 image analysis Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 20
- 238000002591 computed tomography Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000007170 pathology Effects 0.000 abstract description 19
- 238000004458 analytical method Methods 0.000 abstract description 15
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 8
- 201000010099 disease Diseases 0.000 description 8
- 238000010827 pathological analysis Methods 0.000 description 8
- 210000003027 ear inner Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 210000000959 ear middle Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001613 neoplastic effect Effects 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011206 morphological examination Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000004451 qualitative analysis Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 208000003076 Osteolysis Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 208000002352 blister Diseases 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002597 diffusion-weighted imaging Methods 0.000 description 2
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 208000029791 lytic metastatic bone lesion Diseases 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010005963 Bone formation increased Diseases 0.000 description 1
- 241000197194 Bulla Species 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 206010033078 Otitis media Diseases 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000024035 chronic otitis media Diseases 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 201000010934 exostosis Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 201000010930 hyperostosis Diseases 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 206010033072 otitis externa Diseases 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000002255 vaccination Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请涉及人工智能领域，公开了一种图像分析的方法、装置、设备以及存储介质。其中方法包括：获取待分析宠物的多模态耳部影像；对所述多模态耳部影像的感兴趣区域进行分割，得到每一模态对应的感兴趣区域图像；对所述感兴趣区域图像进行特征提取，得到目标特征集合；将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，其中，M为大于或等于1的正整数；若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。实施本申请实施例，可以提高宠物病理分析的效率和准确性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像分析的方法、装置、设备及存储介质。
背景技术
病理检查是临床医学和科学研究中的常见项目，在临床方面，手术病理检查能够明确诊断及验证术前的诊断，在诊断明确的情况下，方能进行下一步的治疗方案，而临床病理分析同样又能为科研提供有价值的资料。形态学检查是病理学检查的重要方法之一，但是形态学检查属于病理中的定性分析方法，由于缺乏定量的标准，形态学检查方法在精度上存在一定问题。
图像分析技术的出现很大程度地解决了定性分析中的准确性问题，基于采集的电子计算机断层扫描(computed tomography，CT)、核磁共振成像(magneticresonanceimaging，MRI)或病理图像，对血管、细胞或者视盘等组织或器官进行定量分析，以确定患者的病情，辅助医生进行诊断和治疗。但是，目前针对宠物病理分析的技术相对较为欠缺，主要还是集中在人的病理分析层面，基于宠物的医学影像如何进行病理分析以提升宠物疾病检查的准确度，或者如何提升宠物病理分析的效率，都是行业内值得关注的问题。
发明内容
本申请实施例提供了一种图像分析的方法、装置、设备及存储介质，可以提高宠物病理分析的效率和准确性。
第一方面，本申请实施例提供了一种图像分析的方法，其中：
获取待分析宠物的多模态耳部影像；
对所述多模态耳部影像的感兴趣区域进行分割，得到每一模态对应的感兴趣区域图像；
对所述感兴趣区域图像进行特征提取，得到目标特征集合；
将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，其中，M为大于或等于1的正整数；
若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。
第二方面，本申请实施例提供了一种图像分析的装置，其中：
获取单元，用于获取宠物的多模态耳部影像；
处理单元，用于对所述多模态耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像；对所述感兴趣区域图像进行特征提取，得到目标特征集合；将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，其中，M为大于或等于1的正整数；若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。
第三方面，本申请实施例提供了一种计算机设备，包括处理器、存储器和通信接口，其中，所述存储器存储有计算机程序，所述计算机程序被配置由所述处理器执行，所述计算机程序包括用于如本申请实施例第一方面中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
实施本申请实施例，将具有如下有益效果：
采用上述的图像分析的方法、装置、设备及存储介质，在获取待分析宠物的多模态耳部影像之后，对多模态耳部影像的感兴趣区域进行分割，得到每一模态对应的感兴趣区域图像。然后对感兴趣区域图像进行特征提取，得到目标特征集合，并将目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到聚类图谱中相似度最大的前M个片段簇。若M个片段簇属于同一样本宠物，则获取样本宠物的病历作为所述待分析宠物的指导病历。如此，通过判断M个片段簇是否属于同一样本宠物，若属于同一样本宠物，则可以说明待分析宠物的多模态耳部影像与样本宠物的耳部影像具有较高的相似性。因此，样本宠物的病历对待分析宠物的病理分析具有较高的指导价值。根据指导病历可以快速对待分析宠物的病理进行分析，有利于提升提高宠物病理分析的效率和准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以基于这些附图获得其他的附图。其中：
图1为本申请实施例提供的一种系统架构示意图；
图2为本申请实施例提供的一种图像分析的方法的流程示意图；
图3为本申请实施例提供的一种图像分析的装置的结构示意图；
图4为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
还应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
为了更好地理解本申请实施例的技术方案，先对本申请实施例可能涉及的系统架构进行介绍。请参照图1，本申请实施例提供的一种系统架构示意图，该系统架构可以包括：电子设备101和服务器102。其中，电子设备101和服务器102之间可以通过网络通信。网络通信可以基于任何有线和无线网络，包括但不限于因特网、广域网、城域网、局域网、虚拟专用网络(virtual private network，VPN)和无线通信网络等等。
本申请实施例不限定电子设备和服务器的数量，服务器可同时为多个电子设备提供服务。在本申请实施例中，电子设备主要是宠物医院的工作人员在进行宠物病理分析时所使用的设备。电子设备可以是电子计算机断层扫描(computed tomography，CT)、核磁共振成像仪(magnetic resonance imaging，MRI)或正电子发射断层显像(positronemission tomography，PET)等医疗设备，也可以是与医疗设备相连的控制台设备，或者具有图像处理功能的个人计算机(personal computer，PC)、笔记本电脑或智能手机，还可以是一体机、掌上电脑、平板电脑(pad)、智能电视播放终端、车载终端或便捷式设备等。PC端的电子设备，例如一体机等，其操作系统可以包括但不限于Linux系统、Unix系统、Windows系列系统(例如Windows xp、Windows 7等)、Mac OS X系统(苹果电脑的操作系统)等操作系统。移动端的电子设备，例如智能手机等，其操作系统可以包括但不限于安卓系统、IOS(苹果手机的操作系统)、Window系统等操作系统。
服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器或者可以通过多个服务器组成的服务器集群来实现。
图像分析技术的出现很大程度地解决了定性分析中的准确性问题，基于采集的电子计算机断层扫描(computed tomography，CT)、核磁共振成像(magneticresonanceimaging，MRI)或病理图像，对血管、细胞或者视盘等组织或器官进行定量分析，以确定患者的病情，辅助医生进行诊断和治疗。但是，目前针对宠物病理分析的技术相对较为欠缺，主要还是集中在人的病理分析层面，基于宠物的医学影像如何进行病理分析以提升宠物疾病检查的准确度，或者如何提升宠物病理分析的效率，都是行业内值得关注的问题。
为了解决上述问题，本申请实施例提供了一种图像分析的方法，该方法可以应用在宠物医院配置的电子设备或服务器上。通过实施该方法，可以提高宠物病理分析的准确率和效率。
请参照图2，图2是本申请实施例提供的一种图像分析的方法的流程示意图。以该方法应用在电子设备为例进行举例说明，可以包括以下步骤S201-S205，其中：
步骤S201：获取待分析宠物的多模态耳部影像。
在本申请实施例中，宠物可以是指供玩赏、陪伴为目的而饲养的动物，具体可以是猫、狗、兔子等动物。耳部疾病是宠物的最常见的疾病种类之一，耳部疾病可以分为肿瘤性和非肿瘤性病变。肿瘤性病变可以包括鳞状上皮癌、转移的腺癌、淋巴瘤、起源不确定的癌等；非肿瘤性病变可以包括外耳炎、中耳炎、耳旁脓肿等。其中，某些病变(如慢性中耳炎和赘生物)的临床体征以及肉眼或放射学的表现可能极为相似，尤其是在疾病晚期时，这就导致了诊断的困难。因此，耳内部成像是中耳和内耳必不可少的检查工具之一。
在本申请实施例中，多模态耳部影像可以是指利用不同成像原理、设备得到耳部图像。宠物耳部成像方式有多种，可以包括耳内镜成像、X射线成像、CT或者MRI等等。由于耳镜能观察到的视野十分有限，并且对狭窄或阻塞的宠物耳道患者进行评估更加困难，而X射线成像的准确性偏低，因此，本申请实施例的多模态耳部影像主要可以包括灵敏度较高的CT耳部图像和MRI耳部图像。其中，CT可以对外耳、中耳和内耳进行断面成像，使得中耳和内耳结构的解剖细节可视化，并且可以提供出色的骨结构图像。CT可以用于检测影响骨结构的内耳和/或中耳的疾病，例如可以用于评估鼓膜大疱轮廓的改变；有无骨质增生和/或骨溶解、大疱内的液体或组织增多等现象。MRI可以提供出色的软组织对比度和分辨率，可以识别软组织成分，能更好地评估内耳和其液体含量，以及包括膜迷路及其相关的神经元等。
此外，根据成像参数的不同，MRI可以分为：T1加权成像(T1 weighted imaging，T1WI)、T2加权成像(T2weighted imaging，T2WI)、弥散加权成像(diffusion weightedimaging，DWI)、磁共振动态对比增强成像(DCE-MRI)等。其中，T1WI有利于获取组织解剖结构；T2WI可以显示组织的水分布，对出血较敏感，在确定病变范围上有重要的作用；DWI能够检测活体组织内的水分子扩散运动；DCE-MRI则能够利用高空间分辨率、高时间分辨率及动态连续的成像方法可获取注入对比剂前后的图像，可以同时反映病灶的形态学和血流灌注信息。
在本申请实施例中，待分析宠物的多模态耳部影像可以通过医疗设备(如电子计算机断层扫描和核磁共振成像仪)实时采集得到。也可以将采集得到的待分析宠物的多模态耳部影像预先存储在电子设备中，或者存储在服务器中，电子设备通过访问服务器获取。本申请实施例对每一模态耳部影像的数量不做限定，每一模态耳部影像的数量可以相同也可以不同。具体的数量根据实际情况确定，示例地，可以选用20张，也可以选用30张等。
步骤S202：对所述多模态耳部影像的感兴趣区域进行分割，得到每一模态对应的感兴趣区域图像。
感兴趣区域(region of interest，ROI)可以是从多模态耳部图像中选择的一个图像区域，是多模态耳部图像中待识别或待分割的区域。这个区域是多模态耳部影像分析所关注的重点，可以是某个组织器官，也可以是医学图像中的病灶区域。经过分割后，每一模态耳部影像对应一个或者多个感兴趣区域。示例地，可以将CT耳部影像分割成骨质增生区、骨溶解区等，可以将MRI耳部影像分割成肿瘤增强区、坏死区等。使用感兴趣区域圈定目标，可以减少处理时间，增加精度。
在一种可能的实施方式中，步骤S202具体可以包括以下步骤：
获取所述多模态耳部影像中每一模态对应的感兴趣区域的路径标注；根据所述路径标注对所述多模态耳部影像进行分割，得到每一模态对应的感兴趣图像。
在本申请实施例中，路径标注可以是宠物医院工作人员根据多模态耳部影像上待分割的感兴趣区域绘制的一条路径。该路径标注可以是任意封闭曲线，例如矩形、圆形或者自定义封闭图形等等。
具体地，工作人员可以根据待分割的感兴趣区域的内部密度分布、边缘特征、纹理、形状等特征，选择合适的路径标注，通过图像分割算法对感兴趣区域进行分割，以得到每一模态对应的感兴趣图像。在本申请实施例中，图像分割算法可以包括图像边缘检测算法、超像素分割算法、区块生长算法以及图割算法等。
图像边缘检测算法可以用于提取出图像中颜色梯度值超过一定阈值的边缘轮廓，可以大幅度地减少图像的数据量，剔除一些不相关的数据，保留图像中重要的边缘属性。下面以图像边缘检测算法为例，介绍根据路径标注对多模态耳部影像进行分割，得到每一模态对应的感兴趣图像的实现过程。首先，通过图像边缘检测算法可以获取多模态耳部影像中边缘特征，从而可以获取图像中各局部的边缘轮廓，例如多模态耳部影像中各组织或病灶的边缘轮廓。然后，从各局部边缘轮廓上寻找包围路径标注的感兴趣区域的轮廓，从而分割出感兴趣区域的轮廓，以得到每一模态对应的感兴趣图像。
可以看出，根据路径标注对多模态耳部影像进行分割，得到每一模态对应的感兴趣图像，可以提高分割的效率且可以得到较好的分割结果，从而可以减少处理时间，增加精度。
在一种可能的实施方式中，在执行步骤S202之前，还可以包括以下步骤：
对所述多模态耳部影像进行预处理得到待处理多模态耳部影像；对所述处理多模态耳部影像进行数据增强，得到目标多模态耳部影像；对所述目标多模态耳部影像中每个耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像。
在本申请实施例中，预处理的方式可以包括以下至少一种：影像配准和平滑处理。其中，影像配准可以用于将多模态耳部影像信息融合，可有效缓解不同成像模态在分辨率、组织位移、形变等造成的空间位置不匹配问题，进而可以让采自不同医疗设备下的CT、MRI等成像结果在空间上叠加显示，从而可以在相同的空间位置上观察耳部的多种成像结果，带给宠物医院工作人员更丰富诊断信息。影像配准方式可以包括刚性配准、弹性配准的影像配准，或者也可以是以深度学习神经网络的影像配准，还可以是其他的配准方式，在此不做限定。平滑处理可以将多模态耳部影像中不平滑的毛刺、锋利的边缘等情况进行滤除，有助于提高预处理之后的待处理多模态耳部影像的纯净度。
预处理的方式还可以包括插值处理和裁剪处理等方式。其中，插值处理可以使多模态耳部影像具有统一的物理间距。插值处理的方法可以包括最邻近插值法、双线性插值法或PV插值法等算法。裁剪处理可以用于根据耳部区域的大小设定一个最大尺寸，并将所有多模态耳部影像裁剪成这个固定尺寸，以尽量去除影像中耳部区域以外的背景图像。
数据增强的方式可以包括以下至少一种：旋转变换、翻转变换、缩放变换、尺度变换和对比度变换等等。进行数据增强可以提高多模态耳部影像的数据量，从而可以提高后续目标特征和聚类图谱匹配的准确度，还可以增加数据的多样性，在提高系统鲁棒性的同时也在一定程度上可以避免过拟合。
可以看出，对多模态耳部影像进行预处理，可以提高待处理多模态耳部影像的精确度和纯净度，从而可以提高后续特征提取的准确率和效率。对待处理多模态影像进行数据增强，可以增加数据的多样性，在提高系统鲁棒性的同时也在一定程度上可以避免过拟合，有助于提高后续目标特征和聚类图谱匹配的准确度。
步骤S203：对所述感兴趣区域图像进行特征提取，得到目标特征集合。
目标特征集合可以是指多个目标特征的集合。其中，目标特征集合可以包括以下至少一种目标特征：形态特征、颜色特征和纹理特征等。形态特征可以用于描述病灶的三维特征，如肿瘤体积、骨质增生体积、水肿区体积等。颜色特征可以用于每一个感兴趣区域中的所有像素对应的灰度值。灰度值可以表示灰度图像单个像素点的亮度值。纹理特征可以用于描述感兴趣区域影像的表面性质，如粗糙度、对比度、能量、惯量、熵和相关性等。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。作为一种统计特征，纹理特征具有旋转不变性，并且对于噪声有较强的抵抗能力。在针对感兴趣区域图像的处理过程中，往往在面对具有粗细、疏密等方面较大差别的纹理图像时，利用纹理特征是一种有效的方法。
在一种可能的实施方式中，步骤S203具体可以包括以下步骤：
对所述感兴趣区域图像进行灰度化处理，得到目标感兴趣区域图像；将所述目标感兴趣区域图像输入至特征提取模型中，得到目标特征集合。
医学影像通常采用灰度图像来显示，相对于伪彩图像而言，灰度图像技术成熟统一且更为标准规范。灰度是指黑白图像中点的颜色深度，RGB色彩分量全部相等。在本申请实施例中，灰度化处理可以包括灰度变换(也称为对比度增强或点运算)、图像求反等方式。灰度变换可以包括线性灰度变换。线性灰度变换对欠曝光度或过曝光、成像设备的非线性、记录设备的动态范围太窄引起的感兴趣区域图像，线性灰度变换将取得较好的图像增强的效果。图像求反是指将原图灰度值反转(例如使黑变白，使白变黑)。图像求反尤其适用于增强嵌入于图像暗色区域的白色或灰色细节，特别是当黑色面积占主导地位时的感兴趣区域图像。对感兴趣区域图像进行灰度化处理，可以提高特征提取的准确率和效率。
在本申请实施例中，特征提取模型是预先训练好的模型，可以用于对目标感兴趣区域图像进行特征提取，得到目标特征集合。特征提取模型可以是卷积神经网络(convolutional neural networks，CNN)模型。其中，基于卷积神经网络的特征提取模型中可以包含多个卷积神经网络模块。每个卷积神经网络模块包括卷积神经网络。每个卷积神经网络模块还可以包括以下的一项或多项：最大池化(max pooling)层、修正线性单元(rectified linear unit，ReLU)和批量标准化(batch normalization)层。特征提取模型也可以是极端梯度提升(eXtreme gradient boosting，Xgboost)、循环神经网络(recurrent neural network，RNN)、全卷积网络(fully convolutional networks，FCN)；也可以是长短期记忆网络模型(long short-term memory，LSTM)、支持向量机(supportvector machine，SVM)等模型中的一种或多种，对此不做限定。
可以看出，经过灰度化处理后可以得到质量较高的目标感兴趣区域图像，有利于提高特征提取的准确率和效率。采用特征提取模型进行特征提取，可以减少人为主观因素带来的误差，使得到的目标特征集合更有代表性，从而有利于提高宠物病理分析的效率和准确性。
步骤S204：将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇。
在本申请实施例中，聚类图谱可以预先存储于电子设备中，或者，存储在服务器中，电子设备通过访问服务器获取。聚类图谱可以是指根据预设聚类算法将相似的耳部影像样本划分在一起，不相似的耳部影像样本分成不同的类(簇)后得到的结果。聚类图谱中包括片段簇，该片段簇可以理解为基于预设聚类算法聚类得到的最终的聚类中心。片段簇的数量可以根据影像样本的相似性确定，可以通过人为设定，也可以通过其他方式进行确定。预设聚类算法可以是k均值聚类算法(k-means)、模糊C均值聚类算法(fuzzy c-means，FCM)、具有噪声的基于密度的聚类方法(density-based spatial clustering ofapplications with noise，DBSCAN)、均值漂移聚类算法等聚类方法中的一种或者多种。以目标特征集合作为查询向量，与聚类图谱中的片段簇进行匹配，从而得到聚类图谱中相似度最大的前M个片段簇。其中，M为大于或等于1的正整数，具体取值可以根据片段簇的数量确定。示例地，片段簇的数量为10个，那么M的取值可以是6。
在一种可能的实施方式中，步骤S204具体可以包括以下步骤：
计算所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇的第二子相似度；根据所述第二子相似度与预设最小相似度将所述目标特征集合中的每一目标特征分配至所述片段簇中；分别统计每个片段簇分配的目标特征的数量；选取数量最多的前M个片段簇作为所述聚类图谱中相似度最大的片段簇。
在本申请实施例中，第二子相似度可以是指目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇的相似性。第二子相似度越大，则可以表示目标特征与片段簇越相似。预设最小相似度是预先设定的参数，具体可以根据历史经验进行设置，也可以根据实际情况确定。在一种可能的实施方式中，第二子相似度，可以根据欧式距离进行计算。
具体地，计算目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇的第二子相似度，若计算得到的第二子相似度大于或等于预设最小相似度，则将目标特征分配至对应的片段簇中。否则，不进行分配。然后分别统计每个片段簇中分配得到的目标特征的数量，得到统计结果。再根据统计的结果，按照分配得到的目标特征的数量，对片段簇进行排序，并得到排序结果。最后，选取分配得到的目标特征数量最多的前M个片段簇作为聚类图谱中相似度最大的片段簇。
可以看出，通过计算目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇的第二子相似度，然后根据第二相似度与预设最小相似度将目标特征分配至片段簇中，然后统计每个片段簇分配得到的目标特征的数量，最后选取数量最多的前M个片段簇作为聚类图谱中相似度最大的片段簇。如此，可以提高目标特征和聚类图谱中的片段簇匹配的准确度，使得后续获取得到的指导病历具有较高的准确性，从而提高宠物病理分析的效率和准确性。
步骤S205：若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。
在本申请实施例中，可以预先标注耳部影像样本的基本信息，如耳部影像样本对应的宠物患者和耳部影像的类型等信息。根据标注的耳部影像样本的基本信息判断M个片段簇是否属于同一样本宠物，若M个片段簇中的耳部影像样本属于用一样本宠物，则可以说明待分析宠物的多模态耳部影像与样本宠物的耳部影像具有较高的相似性，样本宠物的病历对待分析宠物的病理分析具有较大的指导价值。因此，可以获取该样本宠物的病历作为待分析宠物的指导病历。样本宠物的病历可以包括样本宠物的基本信息、体格检查、化验数据、医学影像、疫苗接种、诊断和处方等信息。其中，基本信息可以包括宠物名字、宠物居住地址、宠物品种、宠物性别、年龄、体重、生病持续时间和生病诱因等。体格检查可以包括体温、心率等。医学影像可以包括CT、MRI、X射线、超声等等。根据指导病历可以快速对待分析宠物的病理进行分析，以提升提高宠物病理分析的效率和准确性。
或者，在一种可能的实施方式中，在步骤S204之后，还可以包括以下步骤：
若所述M个片段簇不属于同一样本宠物，则选取所述片段簇所属的样本宠物的数量最多的前N个样本宠物的病历作为参考病历；获取所述待分析宠物的文本病历；计算所述参考病历与所述文本病历的第一子相似度；将所述第一子相似度的最大值对应的参考病历作为所述待分析宠物的指导病历。
在本申请实施例中，若M个片段簇不属于同一样本宠物，则可以选取片段簇所属的样本宠物的数量最多的前N个样本宠物的病历作为参考病历。N为小于或等于M的正整数，N的具体取值可以根据M的取值确定。示例地，M为6，6片段簇中有3个片段簇属于样本宠物A，2个片段簇属于样本宠物B，1个片段簇属于样本宠物C，那么N可以取2。可以将样本宠物A和样本宠物B的病历作为参考病历。
待分析宠物的文本病历可以是指无需进行化验或者医学影像等辅助检查，由宠物所有者就可以提供的信息，例如宠物品种、性别、年龄、体重、生病持续时间和生病诱因等。第一子相似度可以用于描述参考病历与待分析宠物的文本病历的相似性，参考病历与待分析宠物的文本病例越接近，第一子相似度越大。将待分析宠物的文本病历与参考病历中的信息一一比对，得到第一子相似度。将第一子相似度的最大值对应的参考病历作为待分析宠物的指导病历。
示例地，待分析宠物的品种为贵宾犬，发病持续时间为4天。样本宠物A的品种为贵宾犬，发病持续时间为4天。样本宠物B的品种为贵宾犬，发病持续时间为2天。也就是说，待分析宠物的品种与样本宠物A的品种相似值为100％，发病持续时间相似值为100％，待分析宠物的品种与样本宠物B的品种相似值为100％，而发病持续时间相似值为50％。第一子相似度的计算方式可以是将每一信息的相似值简单的叠加，例如样本宠物A与待分析宠物的第一子相似度为200％，样本宠物B与待分析宠物的第一子相似度为150％，此时样本宠物A第一子相似度大于样本宠物B的第一子相似度，可以将样本宠物A的病历作为待分析宠物的指导病历。第一子相似度的计算方式可以是将每一信息的预先设置权值，根据每一信息的权值和相似值计算得到参考病历与待分析宠物的文本病历的第一子相似度，再将第一子相似度的最大值对应的参考病历作为待分析宠物的指导病历。
可以看出，若M个片段簇不属于同一样本宠物，则选取片段簇所属的样本宠物的数量最多的前N个样本宠物的病历作为参考病历。再计算参考病历与待分析宠物的文本病历的第一子相似度，并将第一子相似度的最大值对应的参考病历作为待分析宠物的指导病历。如此，可以使得获取待分析宠物的指导病历的方法具有更高的全面性和多样性，从而可以提高宠物病理分析的效率和准确性。
在图2所示的方法中，在获取待分析宠物的多模态耳部影像之后，对多模态耳部影像的感兴趣区域进行分割，得到每一模态对应的感兴趣区域图像。然后对感兴趣区域图像进行特征提取，得到目标特征集合，并将目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到聚类图谱中相似度最大的前M个片段簇。若M个片段簇属于同一样本宠物，则获取样本宠物的病历作为所述待分析宠物的指导病历。如此，通过判断M个片段簇是否属于同一样本宠物，若属于同一样本宠物，则可以说明待分析宠物的多模态耳部影像与样本宠物的耳部影像具有较高的相似性。因此，样本宠物的病历对待分析宠物的病理分析具有较高的指导价值。根据指导病历可以快速对待分析宠物的病理进行分析，有利于提升提高宠物病理分析的效率和准确性。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参照图3，图3是本申请实施例提供的一种图像分析的装置的结构示意图。该装置应用于电子设备。如图3所示，该图像分析的装置300包括获取单元301和处理单元302，各个单元的详细描述如下：
获取单元301用于获取宠物的多模态耳部影像；
处理单元302用于对所述多模态耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像；对所述感兴趣区域图像进行特征提取，得到目标特征集合；将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，其中，M为大于或等于1的正整数；若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。
在一种可能的实施方式中，处理单元302还用于若所述M个片段簇不属于同一样本宠物，则选取所述片段簇所属的样本宠物的数量最多的前N个样本宠物的病历作为参考病历，其中，N为小于或等于M的正整数；获取单元301还用于获取所述待分析宠物的文本病历，所述文本病历包括宠物品种、性别、年龄、体重、生病持续时间和生病诱因；处理单元302还用于计算所述参考病历与所述文本病历的第一子相似度；将所述第一子相似度的最大值对应的参考病历作为所述待分析宠物的指导病历。
在一种可能的实施方式中，处理单元302具体用于获取所述多模态耳部影像中每一模态对应的感兴趣区域的路径标注；根据所述路径标注对所述多模态耳部影像进行分割，得到每一模态对应的感兴趣图像。
在一种可能的实施方式中，处理单元302还用于对所述多模态耳部影像进行预处理得到待处理多模态耳部影像；对所述处理多模态耳部影像进行数据增强，得到目标多模态耳部影像；对所述目标多模态耳部影像中每个耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像，其中，所述预处理的方式包括以下至少一种：影像配准和平滑处理，所述数据增强的方式包括以下至少一种：旋转变换、翻转变换、缩放变换、尺度变换和对比度变换。
在一种可能的实施方式中，处理单元302具体用于对所述感兴趣区域图像进行灰度化处理，得到目标感兴趣区域图像；将所述目标感兴趣区域图像输入至特征提取模型中，得到目标特征集合。
在一种可能的实施方式中，处理单元302具体用于计算所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇的第二子相似度；根据所述第二子相似度与预设最小相似度将所述目标特征集合中的每一目标特征分配至所述片段簇中；分别统计每个片段簇分配的目标特征的数量；选取数量最多的前M个片段簇作为所述聚类图谱中相似度最大的片段簇。
在一种可能的实施方式中，所述多模态耳部影像包括电子计算机断层扫描耳部影像和核磁共振耳部影像，所述目标特征集合包括以下至少一种目标特征：形态特征、颜色特征和纹理特征。
需要说明的是，各个单元的实现还可以对应参照图2所示的方法实施例的相应描述。
请参照图4，图4是本申请实施例提供的一种计算机设备的结构示意图。如图4所示，该计算机设备400包括处理器401、存储器402和通信接口403，其中存储器402存储有计算机程序404。处理器401、存储器402、通信接口403以及计算机程序404之间可以通过总线405连接。
当计算机设备为电子设备时，上述计算机程序404用于执行以下步骤的指令：
获取待分析宠物的多模态耳部影像；
对所述多模态耳部影像的感兴趣区域进行分割，得到每一模态对应的感兴趣区域图像；
对所述感兴趣区域图像进行特征提取，得到目标特征集合；
将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，其中，M为大于或等于1的正整数；
若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。
在一种可能的实施方式中，在所述将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇之后，上述计算机程序404还用于执行以下步骤的指令：
若所述M个片段簇不属于同一样本宠物，则选取所述片段簇所属的样本宠物的数量最多的前N个样本宠物的病历作为参考病历，其中，N为小于或等于M的正整数；
获取所述待分析宠物的文本病历，所述文本病历包括宠物品种、性别、年龄、体重、生病持续时间和生病诱因；
计算所述参考病历与所述文本病历的第一子相似度；
将所述第一子相似度的最大值对应的参考病历作为所述待分析宠物的指导病历。
在一种可能的实施方式中，在所述对所述多模态耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像方面，上述计算机程序404具体用于执行以下步骤的指令：
获取所述多模态耳部影像中每一模态对应的感兴趣区域的路径标注；
根据所述路径标注对所述多模态耳部影像进行分割，得到每一模态对应的感兴趣图像。
在一种可能的实施方式中，在对所述多模态耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像之前，上述计算机程序404还用于执行以下步骤的指令：
对所述多模态耳部影像进行预处理得到待处理多模态耳部影像；
对所述处理多模态耳部影像进行数据增强，得到目标多模态耳部影像；
对所述目标多模态耳部影像中每个耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像，其中，所述预处理的方式包括以下至少一种：影像配准和平滑处理，所述数据增强的方式包括以下至少一种：旋转变换、翻转变换、缩放变换、尺度变换和对比度变换。
在一种可能的实施方式中，在所述对所述感兴趣区域图像进行特征提取，得到目标特征集合方面，上述计算机程序404具体用于执行以下步骤的指令：
对所述感兴趣区域图像进行灰度化处理，得到目标感兴趣区域图像；
将所述目标感兴趣区域图像输入至特征提取模型中，得到目标特征集合。
在一种可能的实施方式中，在所述将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇方面，上述计算机程序404具体用于执行以下步骤的指令：
计算所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇的第二子相似度；
根据所述第二子相似度与预设最小相似度将所述目标特征集合中的每一目标特征分配至所述片段簇中；
分别统计每个片段簇分配的目标特征的数量；
选取数量最多的前M个片段簇作为所述聚类图谱中相似度最大的片段簇。
在一种可能的实施方式中，所述多模态耳部影像包括电子计算机断层扫描耳部影像和核磁共振耳部影像，所述目标特征集合包括以下至少一种目标特征：形态特征、颜色特征和纹理特征。
本领域技术人员可以理解，为了便于说明，图4中仅示出了一个存储器和处理器。在实际的终端或服务器中，可以存在多个处理器和存储器。存储器402也可以称为存储介质或者存储设备等，本申请实施例对此不做限定。
应理解，在本申请实施例中，处理器401可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
还应理解，本申请实施例中提及的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器synchronize link DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
需要说明的是，当处理器401为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
应注意，本文描述的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
该总线405除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block，ILB)和步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。
在上述实施例中，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。例如，区块链中可以存储包括图像边缘检测算法、超像素分割算法、区块生长算法以及图割算法等在内的图像分割算法。也可以存储基于CNN算法、RNN算法或LSTM算法得到的特征提取模型。还可以存储聚类图谱以及聚类算法中的k-means算法、FCM算法、DBSCAN算法等，在此不做限定。
其中，本申请实施例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种图像分析的方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种图像分析的方法的部分或全部步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像分析的方法，其特征在于，包括：
获取待分析宠物的多模态耳部影像；
对所述多模态耳部影像的感兴趣区域进行分割，得到每一模态对应的感兴趣区域图像；
对所述感兴趣区域图像进行特征提取，得到目标特征集合；
将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，其中，M为大于或等于1的正整数；
若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。
2.根据权利要求1所述的方法，其特征在于，在所述将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇之后，还包括：
若所述M个片段簇不属于同一样本宠物，则选取所述片段簇所属的样本宠物的数量最多的前N个样本宠物的病历作为参考病历，其中，N为小于或等于M的正整数；
获取所述待分析宠物的文本病历，所述文本病历包括宠物品种、性别、年龄、体重、生病持续时间和生病诱因；
计算所述参考病历与所述文本病历的第一子相似度；
将所述第一子相似度的最大值对应的参考病历作为所述待分析宠物的指导病历。
3.根据权利要求1所述的方法，其特征在于，所述对所述多模态耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像，包括：
获取所述多模态耳部影像中每一模态对应的感兴趣区域的路径标注；
根据所述路径标注对所述多模态耳部影像进行分割，得到每一模态对应的感兴趣图像。
4.根据权利要求1所述的方法，其特征在于，在对所述多模态耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像之前，还包括：
对所述多模态耳部影像进行预处理得到待处理多模态耳部影像；
对所述处理多模态耳部影像进行数据增强，得到目标多模态耳部影像；
对所述目标多模态耳部影像中每个耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像，其中，所述预处理的方式包括以下至少一种：影像配准和平滑处理，所述数据增强的方式包括以下至少一种：旋转变换、翻转变换、缩放变换、尺度变换和对比度变换。
5.根据权利要求1所述的方法，其特征在于，所述对所述感兴趣区域图像进行特征提取，得到目标特征集合，包括：
对所述感兴趣区域图像进行灰度化处理，得到目标感兴趣区域图像；
将所述目标感兴趣区域图像输入至特征提取模型中，得到目标特征集合。
6.根据权利要求1所述的方法，其特征在于，所述将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，包括：
计算所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇的第二子相似度；
根据所述第二子相似度与预设最小相似度将所述目标特征集合中的每一目标特征分配至所述片段簇中；
分别统计每个片段簇分配的目标特征的数量；
选取数量最多的前M个片段簇作为所述聚类图谱中相似度最大的片段簇。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述多模态耳部影像包括电子计算机断层扫描耳部影像和核磁共振耳部影像，所述目标特征集合包括以下至少一种目标特征：形态特征、颜色特征和纹理特征。
8.一种图像分析的装置，其特征在于，包括：
获取单元，用于获取宠物的多模态耳部影像；
处理单元，用于对所述多模态耳部影像的感兴趣区域进行分割，得到每一种模态对应的感兴趣区域图像；对所述感兴趣区域图像进行特征提取，得到目标特征集合；将所述目标特征集合中的每一目标特征与预先构建的聚类图谱中的片段簇进行匹配，得到所述聚类图谱中相似度最大的前M个片段簇，其中，M为大于或等于1的正整数；若所述M个片段簇属于同一样本宠物，则获取所述样本宠物的病历作为所述待分析宠物的指导病历。
9.一种计算机设备，其特征在于，包括处理器、存储器和通信接口，其中，所述存储器存储有计算机程序，所述计算机程序被配置由所述处理器执行，所述计算机程序包括用于执行权利要求1-7中任一项方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序使得计算机执行以实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583434.5A CN114445334B (zh) | 2021-12-22 | 图像分析的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583434.5A CN114445334B (zh) | 2021-12-22 | 图像分析的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114445334A true CN114445334A (zh) | 2022-05-06 |
| CN114445334B CN114445334B (zh) | 2024-06-25 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116758309A (zh) * | 2023-06-09 | 2023-09-15 | 强联智创（北京）科技有限公司 | 血管段分型方法、导引导管塑形方法、设备及存储介质 |
| WO2024002996A1 (en) * | 2022-06-29 | 2024-01-04 | Koninklijke Philips N.V. | Automatic regional lung disease quantification from thorax x-ray images |
| CN117349027A (zh) * | 2023-12-04 | 2024-01-05 | 环球数科集团有限公司 | 一种降低算力需求的多模态大模型构建系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090010540A1 (en) * | 2007-07-03 | 2009-01-08 | General Electric Company | Method and system for performing image registration |
| CN106875401A (zh) * | 2017-01-10 | 2017-06-20 | 中国科学院深圳先进技术研究院 | 多模态影像组学的分析方法、装置及终端 |
| CN107657062A (zh) * | 2017-10-25 | 2018-02-02 | 医渡云（北京）技术有限公司 | 相似病例检索方法及装置、存储介质、电子设备 |
| CN108171692A (zh) * | 2017-12-26 | 2018-06-15 | 安徽科大讯飞医疗信息技术有限公司 | 一种肺部影像检索方法及装置 |
| CN111383211A (zh) * | 2020-03-04 | 2020-07-07 | 深圳大学 | 骨案例识别方法、装置、服务器及存储介质 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090010540A1 (en) * | 2007-07-03 | 2009-01-08 | General Electric Company | Method and system for performing image registration |
| CN106875401A (zh) * | 2017-01-10 | 2017-06-20 | 中国科学院深圳先进技术研究院 | 多模态影像组学的分析方法、装置及终端 |
| CN107657062A (zh) * | 2017-10-25 | 2018-02-02 | 医渡云（北京）技术有限公司 | 相似病例检索方法及装置、存储介质、电子设备 |
| CN108171692A (zh) * | 2017-12-26 | 2018-06-15 | 安徽科大讯飞医疗信息技术有限公司 | 一种肺部影像检索方法及装置 |
| CN111383211A (zh) * | 2020-03-04 | 2020-07-07 | 深圳大学 | 骨案例识别方法、装置、服务器及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024002996A1 (en) * | 2022-06-29 | 2024-01-04 | Koninklijke Philips N.V. | Automatic regional lung disease quantification from thorax x-ray images |
| CN116758309A (zh) * | 2023-06-09 | 2023-09-15 | 强联智创（北京）科技有限公司 | 血管段分型方法、导引导管塑形方法、设备及存储介质 |
| CN116758309B (zh) * | 2023-06-09 | 2024-02-27 | 强联智创（北京）科技有限公司 | 血管段分型方法、导引导管塑形方法、设备及存储介质 |
| CN117349027A (zh) * | 2023-12-04 | 2024-01-05 | 环球数科集团有限公司 | 一种降低算力需求的多模态大模型构建系统和方法 |
| CN117349027B (zh) * | 2023-12-04 | 2024-02-23 | 环球数科集团有限公司 | 一种降低算力需求的多模态大模型构建系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Balasubramaniam | Artificial intelligence algorithm with SVM classification using dermascopic images for melanoma diagnosis | |
| JP7297081B2 (ja) | 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム | |
| Rajinikanth et al. | Skin melanoma assessment using Kapur’s entropy and level set—a study with bat algorithm | |
| US10424411B2 (en) | Biopsy-free detection and staging of cancer using a virtual staging score | |
| WO2020038240A1 (zh) | 图像处理方法、装置、计算机可读存储介质及计算机设备 | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN110246109B (zh) | 融合ct影像和个性化信息的分析系统、方法、装置及介质 | |
| US20220058821A1 (en) | Medical image processing method, apparatus, and device, medium, and endoscope | |
| WO2021179484A1 (zh) | 多标签多示例的图像检测方法、装置、设备及存储介质 | |
| CN106709920B (zh) | 血管提取方法及其装置 | |
| Ganesh et al. | MRI brain image segmentation using enhanced adaptive fuzzy K-means algorithm | |
| CN111462115B (zh) | 医学图像显示方法、装置和计算机设备 | |
| Abbas et al. | Combined spline and B-spline for an improved automatic skin lesion segmentation in dermoscopic images using optimal color channel | |
| EP2948925A1 (en) | Medical image processing | |
| JP2020171687A (ja) | ３ｄ解剖学的ボリュームをその２ｄスライスの位置特定に基づいて処理するシステムおよび方法 | |
| CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
| Ortiz-Rodriguez et al. | Breast cancer detection by means of artificial neural networks | |
| Ramella | Saliency-based segmentation of dermoscopic images using colour information | |
| Faisal et al. | Computer assisted diagnostic system in tumor radiography | |
| Hosny et al. | Deep learning and optimization-based methods for skin lesions segmentation: a review | |
| CN111681205B (zh) | 图像分析方法、计算机设备和存储介质 | |
| WO2023198166A1 (zh) | 图像检测方法、系统、装置及存储介质 | |
| CN114445334B (zh) | 图像分析的方法、装置、设备及存储介质 | |
| CN114445334A (zh) | 图像分析的方法、装置、设备及存储介质 | |
| CN115187521A (zh) | 病灶识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |