CN110427870A - 眼部图片识别方法、目标识别模型训练方法及装置 - Google Patents
眼部图片识别方法、目标识别模型训练方法及装置 Download PDFInfo
- Publication number
- CN110427870A CN110427870A CN201910697330.3A CN201910697330A CN110427870A CN 110427870 A CN110427870 A CN 110427870A CN 201910697330 A CN201910697330 A CN 201910697330A CN 110427870 A CN110427870 A CN 110427870A
- Authority
- CN
- China
- Prior art keywords
- samples pictures
- eye
- type
- picture
- eye samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000012549 training Methods 0.000 title claims abstract description 63
- 201000010099 disease Diseases 0.000 claims abstract description 26
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 26
- 230000015654 memory Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 13
- 241000239290 Araneae Species 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 206010020718 hyperplasia Diseases 0.000 description 10
- 230000003993 interaction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 208000030533 eye disease Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000592274 Polypodium vulgare Species 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种眼部图片识别方法、目标识别模型训练方法及装置。其中,该图片识别方法包括:获取待识别眼部图片,将待识别眼部图片输入到目标识别模型中,其中,目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,多个类型包括正常类型与至少一个疾病类型,获取目标识别模型输出的识别结果,其中,识别结果至少用于表示待识别眼部图片属于多个类型中的目标类型。本发明解决了相关技术中识别待识别眼部图片的类型的效率低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种眼部图片识别方法、目标识别模型训练方法及装置。
背景技术
相关技术中,在自动识别眼部是否有疾病时,通常是使用预先训练的模型识别眼部图片,以识别眼部是否有疾病。而在训练模型的过程中,通常需要使用多个类型的眼部样本图片对模型进行训练,然后,使用训练后的模型对待识别的眼部图片进行识别。
然而,若是采用上述方法,则需要每一类眼部样本图片的数量都十分充足。若是有一类或几类眼部样本图片的数量较少,则训练出的模型的识别准确度低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种眼部图片识别方法、目标识别模型训练方法及装置,以至少解决相关技术中识别待识别眼部图片的类型的效率低的技术问题。
根据本发明实施例的一个方面,提供了一种图片识别方法,包括:获取待识别眼部图片;将上述待识别眼部图片输入到目标识别模型中,其中,上述目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,多个类型包括正常类型与至少一个疾病类型,上述多个类型的眼部样本图片用于形成在对上述原始识别模型进行训练时使用到的多组多元组图片,上述多组多元组图片中的每一组多元组图片包括上述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、上述一个类型的第一眼部样本图片、以及上述多个类型中与上述一个类型不同的至少一个类型的第二眼部样本图片,训练好的上述目标识别模型满足目标条件,上述目标条件为使用上述目标识别模型得到的上述当前眼部样本图片与上述第一眼部样本图片的第一相似度大于上述当前眼部样本图片与上述第二眼部样本图片的第二相似度;获取上述目标识别模型输出的识别结果,其中,上述识别结果至少用于表示上述待识别眼部图片属于上述多个类型中的目标类型。
根据本发明实施例的另一方面,还提供了一种目标识别模型训练方法,包括:从多个类型的眼部样本图片中获取多组多元组图片,其中,所述多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片,多个类型包括正常类型与至少一个疾病类型,;将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中所述第一相似度大于所述第二相似度;将调整后的所述原始识别模型确定为目标识别模型。
根据本发明实施例的又一方面,还提供了一种图片识别装置,包括:第一获取单元,用于获取待识别眼部图片;输入单元,用于将上述待识别眼部图片输入到目标识别模型中,其中,上述目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,多个类型包括正常类型与至少一个疾病类型,上述多个类型的眼部样本图片用于形成在对上述原始识别模型进行训练时使用到的多组多元组图片,上述多组多元组图片中的每一组多元组图片包括上述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、上述一个类型的第一眼部样本图片、以及上述多个类型中与上述一个类型不同的至少一个类型的第二眼部样本图片,训练好的上述目标识别模型满足目标条件,上述目标条件为使用上述目标识别模型得到的上述当前眼部样本图片与上述第一眼部样本图片的第一相似度大于上述当前眼部样本图片与上述第二眼部样本图片的第二相似度;第二获取单元,用于获取上述目标识别模型输出的识别结果,其中,上述识别结果至少用于表示上述待识别眼部图片属于上述多个类型中的目标类型。
作为一种可选的示例,上述装置还包括:提取单元,用于在获取待识别眼部图片之前,从上述多个类型的眼部样本图片中提取出上述多组多元组图片;调整单元,用于使用上述多组多元组图片对上述原始识别模型中的参数进行调整,得到上述目标识别模型
作为一种可选的示例,第二遍历模块,用于将上述多个类型的眼部样本图片中的每一张图片作为上述当前眼部样本图片,执行以下步骤,直到遍历上述多个类型的眼部样本图片中的每一张图片,以得到上述多组多元组图片:获取与上述当前眼部样本图片同为上述一个类型的上述第一眼部样本图片;确定上述多个类型的眼部样本图片中除上述一个类型之外的其他一个类型;从上述其他一个类型中确定至少一张图片,作为上述第二眼部样本图片;将上述当前眼部样本图片、上述第一眼部样本图片与上述第二眼部样本图片确定为一组多元组图片。
根据本发明实施例的又一方面,还提供了一种目标模型模型训练装置,包括:获取单元,用于从多个类型的眼部样本图片中获取多组多元组图片,其中,所述多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片,多个类型包括正常类型与至少一个疾病类型;输入单元,用于将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;调整单元,用于在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中,所述第一相似度大于所述第二相似度;确定单元,用于将调整后的所述原始识别模型确定为目标识别模型。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述图片识别方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的图片识别方法。
在本发明实施例中,采用获取待识别眼部图片,将上述待识别眼部图片输入到目标识别模型中,其中,上述目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,上述多个类型的眼部样本图片用于形成在对上述原始识别模型进行训练时使用到的多组多元组图片,上述多组多元组图片中的每一组多元组图片包括上述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、上述一个类型的第一眼部样本图片、以及上述多个类型中与上述一个类型不同的至少一个类型的第二眼部样本图片,训练好的上述目标识别模型满足目标条件,上述目标条件为使用上述目标识别模型得到的上述当前眼部样本图片与上述第一眼部样本图片的第一相似度大于上述当前眼部样本图片与上述第二眼部样本图片的第二相似度,获取上述目标识别模型输出的识别结果,其中,上述识别结果至少用于表示上述待识别眼部图片属于上述多个类型中的目标类型的方式,由于在上述方法中,使用了从多个类型的眼部样本图片中获取的多足多元组图片对原始识别模型进行了训练,且多个多元组图片中的每一组多元组图片包括上述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、上述一个类型的第一眼部样本图片、以及上述多个类型中与上述一个类型不同的至少一个类型的第二眼部样本图片,从而即使在一个类型的眼部样本图片数量很少的情况下,也能够对原始识别模型进行良好的训练,得到成熟的目标识别模型,并使用目标识别模型对待识别眼部图片进行识别,得到待识别眼部图片的目标类型,实现了提高识别待识别眼部图片的效率的技术效果,进而解决了相关技术中识别待识别眼部图片的类型的效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的图片识别方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的图片识别方法的流程示意图;
图3是根据本发明实施例的一种可选的图片识别方法的示意图;
图4是根据本发明实施例的另一种可选的图片识别方法的示意图;
图5是根据本发明实施例的又一种可选的图片识别方法的示意图;
图6是根据本发明实施例的又一种可选的图片识别方法的示意图;
图7是根据本发明实施例的又一种可选的图片识别方法的示意图;
图8是根据本发明实施例的又一种可选的图片识别方法的示意图;
图9是根据本发明实施例的一种可选的目标识别模型训练方法的流程示意图;
图10是根据本发明实施例的一种可选的图片识别装置的结构示意图;
图11是根据本发明实施例的一种可选的目标识别模型训练装置的结构示意图;
图12是根据本发明实施例的一种可选的电子装置的结构示意图;
图13是根据本发明实施例的另一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种图片识别方法,可选地,作为一种可选的实施方式,上述图片识别方法可以但不限于应用于如图1所示的环境中。
图1中用户102与用户设备104之间可以进行人机交互。用户设备104中包含有存储器106,用于存储交互数据、处理器108,用于处理交互数据。用户设备104可以通过网络110与服务器112之间进行数据交互。服务器112中包含有数据库114,用于存储交互数据、处理引擎116,用于处理交互数据。用户设备104在获取待识别眼部图片104-2后,可以将待识别眼部图片104-2输入到目标识别模型中,并输出识别结果104-4,识别结果104-4中包括待识别眼部图片的目标类型,如第一类型。
需要说明的是,在本方案中,由于使用了从多个类型的眼部样本图片中获取的多足多元组图片对原始识别模型进行了训练,且多个多元组图片中的每一组多元组图片包括上述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、上述一个类型的第一眼部样本图片、以及上述多个类型中与上述一个类型不同的至少一个类型的第二眼部样本图片,从而即使在一个类型的眼部样本图片数量很少的情况下,也能够对原始识别模型进行良好的训练,得到成熟的目标识别模型,并使用目标识别模型对待识别眼部图片进行识别,提高了对待识别眼部图片进行识别的效率。
可选地,上述图片识别方法可以但不限于应用于可以计算数据的终端上,例如手机、平板电脑、笔记本电脑、PC机等终端或者可以进行运算的硬件设备上,上述网络可以包括但不限于无线网络或有线网络。其中,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器可以包括但不限于任何可以进行计算的硬件设备。
可选地,作为一种可选的实施方式,如图2所示,上述图片识别方法包括:
S202,获取待识别眼部图片;
S204,将待识别眼部图片输入到目标识别模型中,其中,目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,多个类型的眼部样本图片用于形成在对原始识别模型进行训练时使用到的多组多元组图片,多组多元组图片中的每一组多元组图片包括多个类型的眼部样本图片中的一个类型的当前眼部样本图片、一个类型的第一眼部样本图片、以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片,训练好的目标识别模型满足目标条件,目标条件为使用目标识别模型得到的当前眼部样本图片与第一眼部样本图片的第一相似度大于当前眼部样本图片与第二眼部样本图片的第二相似度;
S206,获取目标识别模型输出的识别结果,其中,识别结果至少用于表示待识别眼部图片属于多个类型中的目标类型。
可选地,上述图片识别方法可以但不限于应用于识别一张图片所属的类型的过程中。上述图片识别方法可以但不限于应用于识别人物眼部图像、识别动物眼部图像、识别病灶图像等任何领域中,凡是需要识别一张眼部图片所属的类型的过程中,都可以使用本方案中的上述方法。
以下结合识别病灶图像的过程进行说明。如识别眼部是否有疾病。在识别之前,首选需要获取到眼部正常的眼部样本图片与眼部疾病的眼部样本图片。眼部疾病的眼部样本图片可以为一个大类或者细分为不同病重程度的多个类型。如细分为轻度疾病图片、中度疾病图片、重度疾病图片与增殖疾病图片。则眼部样本图片分成了五种类型:眼部正常图片、轻度疾病图片、中度疾病图片、重度疾病图片与增殖疾病图片,每一种类型中都有多张眼部样本图片。若是相关技术中的方法,则需要上述每一个类型的中的眼部样本图片都足够,才能训练出准确度高的成熟模型,并对待识别的图片进行识别。而本方案中,即使上述多个类型中的一个或几个类型的眼部样本图片数量少,也能够很好的对模型进行训练。例如,增殖疾病图片的数量很少,而采用本方案中的方法,可以提取与增殖疾病图片相关的多个多元组图片,并使用多个多元组图片对模型进行训练,实现了即使增殖疾病图片的数量很少的情况下,仍然可以对模型进行准确高效的训练,进而使用识别准确度高的模型识别待识别眼部图片中的眼部是否正常,提高了对待识别眼部图片进行识别的识别效率。
可选地,本方案中在对原始识别模型进行训练之前,首先需要获取到多个类型的眼部样本图片。多个类型的眼部样本图片中每一个类型的眼部样本图片的数量可以相同或不同。由于已经确定了多个类型的眼部样本图片的类型与每一个类型中眼部样本图片的数量,进一步可以从多个类型的眼部样本图片中确定出多组多元组图片,每一组多元组图片包括多个类型的眼部样本图片中的一个类型的当前眼部样本图片、一个类型的第一眼部样本图片、以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片。而若是一个类型下没有任何眼部样本图片,则该类型不能单独构成一个类型。每一个类型下均包括至少一张眼部样本图片。
例如,以上述眼部样本图片的类型为三个为例,分别为第一类型、第二类型、第三类型。如图3所示,第一类型下的眼部样本图片有10张,第二类型下的眼部样本图片有5张,第三类型下的眼部样本图片有3张。此时,可以随机选择一张图片,如选择第一类型下的一张眼部样本图片302作为当前眼部样本图片,并选择与眼部样本图片302同类型的眼部样本图片304作为第一眼部样本图片,以及选择第二类型下的一张眼部样本图片306并选择第三类型下的一张眼部样本图片308作为第二眼部样本图片,第二眼部样本图片有两张,将眼部样本图片302、眼部样本图片304、眼部样本图片306、眼部样本图片308确定为一组多元组图片。
在将眼部样本图片302、眼部样本图片304、眼部样本图片306、眼部样本图片308确定为一组多元组图片之后,由于眼部样本图片302、眼部样本图片304是相同类型的眼部样本图片,而眼部样本图片306、眼部样本图片308是与眼部样本图片302不同类型的眼部样本图片。因此,眼部样本图片302、眼部样本图片304之间的第一相似度应该是大于眼部样本图片302与眼部样本图片306或眼部样本图片302与眼部样本图片308的第二相似度。如图4所示,图4中眼部样本图片302与眼部样本图片304之间的第一相似度402-1小于了眼部样本图片302与眼部样本图片306之间的第二相似度404-1(箭头距离越大表示差距越大,相似度越小)。这种情况不符合实际情况。因此,需要进行学习,进行参数的调整。学习后,眼部样本图片302与眼部样本图片304之间的第一相似度402-2大于了眼部样本图片302与眼部样本图片306之间的第二相似度404-2(图4中未示出眼部样本图片308,学习后,眼部样本图片302与眼部样本图片304之间的第一相似度也大于眼部样本图片302与眼部样本图片308之间的第二相似度)。
需要说明的是,在选择第一类型的眼部样本图片304时,可以从除眼部样本图片302之外的其他9张眼部样本图片中任意选择一张,而选择第二类型的眼部样本图片时,可以从第二类型的5张眼部样本图片中任意选择一张,选择第三类型的眼部样本图片时,可以从第三类型的3张眼部样本图片中任意选择一张。经过此方法,可以确定出多组多元组图片。
以下以上述眼部样本图片的类型为五个为例,分别为第一类型、第二类型、第三类型、第四类型与第五类型,如图5所示,第一类型有10张图片,第二类型有6张图片,第三类型有3张图片,第四类型有2张图片,第五类型有1张图片。
首先确定出任意一个类型中的一张图片,如第二类型的502作为当前眼部样本图片,然后,在从第二类型剩余的5张眼部样本图片中随机确定出第一眼部样本图片504,并从剩余的四个类型中分别随机确定出眼部样本图片506、眼部样本图片508、眼部样本图片510、眼部样本图片512,眼部样本图片506、眼部样本图片508、眼部样本图片510、眼部样本图片512为第二眼部样本图片,共四张。眼部样本图片502、眼部样本图片504、眼部样本图片506、眼部样本图片508、眼部样本图片510与眼部样本图片512共同构成一组多元组图片。通过上述方法,即使第三类型、第四类型、第五类型中的眼部样本图片的数量较少,但是仍然可以确定出多组多元组图片,并使用多元组图片对原始识别模型进行训练,得到目标识别模型。作为另一种确定多元组图片的方式,如果一个类型中仅有一张眼部样本图片,如第五类型中的眼部样本图片仅有一张,因此,可以将该一张图片确定为当前眼部样本图片与第一眼部样本图片,并从其他类型中选择第二眼部样本图片。
在确定出眼部样本图片502、眼部样本图片504、眼部样本图片506、眼部样本图片508、眼部样本图片510与眼部样本图片512之后,由于眼部样本图片502、眼部样本图片504是相同类型的眼部样本图片,而眼部样本图片506、眼部样本图片508、眼部样本图片510、眼部样本图片512是与眼部样本图片502不同类型的眼部样本图片。因此,眼部样本图片502与眼部样本图片504之间的第一相似度应该是大于眼部样本图片502与眼部样本图片506或眼部样本图片502与眼部样本图片508或眼部样本图片502与眼部样本图片510或眼部样本图片502与眼部样本图片512之间的第二相似度。如图6所示,图6中眼部样本图片502与眼部样本图片504之间的第一相似度602-1小于了眼部样本图片502与眼部样本图片506或眼部样本图片502与眼部样本图片508或眼部样本图片502与眼部样本图片510或眼部样本图片502与眼部样本图片512之间的第二相似度604-1(箭头距离越大表示差距越大,相似度越小)。这种情况不符合实际情况。因此,需要进行学习,进行参数的调整。学习后,眼部样本图片502与眼部样本图片504之间的第一相似度602-2大于了眼部样本图片502与眼部样本图片506或眼部样本图片502与眼部样本图片508或眼部样本图片502与眼部样本图片510或眼部样本图片502与眼部样本图片512之间的第二相似度604-2。
需要说明的是,作为另一种可选的示例,本方案中在确定多元组图片时,也可以在确定了一个类型中的当前眼部样本图片与第一眼部样本图片之后,从其他类型中的一个类型或集合类型中随机选择几张眼部样本图片作为第二眼部样本图片。例如以类型为五个的情况进行说明,如在第二类型中选择出了当前眼部样本图片与第一眼部样本图片之后,可以从除第二类型之外的其他一个或几个类型中选择几张眼部样本图片。如在第三类型中选择两张眼部样本图片,在第一类型中选择三张眼部样本图片,组合为第二眼部样本图片,从而得到多元组图片。
在经过上述任意一种方法确定出多组多元组图片之后,需要根据多组多元组图片训练原始识别模型,从而得到目标识别模型。核心思路为,相同类型的当前眼部样本图片与第一眼部样本图片之间的第一相似度应该是大于当前眼部样本图片与任意一张第二眼部样本图片的第二相似度的。
原始识别模型可以获取当前眼部样本图片与第一眼部样本图片的第一相似度,并获取当前眼部样本图片与第二眼部样本图片的第二相似度(第二眼部样本图片有多张的情况下,第二相似度有多个),并判断第一相似度与第二相似度的大小,若是第一相似度小于或等于了任意一个第二相似度,则需要调整原始识别模型中的参数,保证调整后的原始识别模型获取到的第一相似度是大于任意一个第二相似度的。
需要说明的是,对原始识别模型的训练可以设置一个阈值,当原始识别模型训练到符合阈值之后,即可认为已经得到了目标识别模型。如,原始识别模型对M组多元组图片进行识别,若是识别其中的N组多元组图片时,并没有调整参数,则说明原始识别模型已经能够准确识别出N组多元组图片了。若是N与M的比值大于了预先设置的第一阈值,则说明原始识别模型的识别准确度已经大于了第一阈值,此时,可以将原始识别模型作为目标识别模型并进行使用。如将目标识别模型导入到一个终端,如PC,或者手机中,如图7所示,终端702中可以通过按钮702-1添加待识别眼部图片704,在添加待识别眼部图片704之后,终端通过目标识别模型对待识别眼部图片704进行识别,并输出识别结果706,识别结果中包括了待识别眼部图片704的目标类型。如待识别眼部图片704属于三个类型中的第二类型。
以下结合一个具体示例解释本方案中的上述图片识别方法。例如,将上述方法应用到对糖尿病视网膜病变进行识别的过程中。首选需要获取多个类型的眼部样本图片。使用来自多家医院的眼底数据,正常眼底,轻度糖网,中度糖网,重度糖网,增殖糖网五种类型的眼部样本图片分别有14500,1040,1300,675,590张眼部样本图片,正常眼底的眼部样本图片多,增殖糖网的眼部样本图片少。
然后设计识别模型。在基础网络设计中,本技术方案使用ResNet18作为基础特征提取网络,模型示意图如表(1)所示。每个卷积层之后都接有ReLU层和BatchNormalization层。每个模块的结构如图8所示。在高层特征向量设计中,本方案使用全连接层fc层来获得特征向量。在卷积操作Conv5_x层之后,接入1x1x512的全连接层fc1,其输出为一个1x512的向量,作为高层特征向量,用于多元组学习。fc1之后,接入1x1x5的全连接层fc2,其输出为一个1x5的向量,作为网络分类器。
表(1)
在设计好原始识别模型之后,需要对原始识别模型进行训练。以眼部样本图片的类型为三个类型为例,在每一次迭代训练过程中,选取任意一个类型的一张图片作为当前眼部样本图片,提取当前眼部样本图片的fc1特征向量作为anchor,与这张anchor属于同一类别的第一眼部样本图片对应的fc1特征向量则为positive,与anchor属于不同类别的第二眼部样本图片对应的fc1特征向量为negative。由于anchor和positive属于同一类别,anchor与negative属于不同类别,因此anchor和positive之间的相似度要比anchor和negative之间的相似度高。在网络参数还不是最优的时候,很可能出现anchor和positive的相似度要比anchor和negative之间的相似度低的情况,因此,在每一次迭代学习时,找出这样的组合,通过对应的损失函数,使得网络提取的特征,满足anchor与positive的相似度高于anchor和negative的相似度。
结合上述对糖尿病视网膜病变进行识别的过程,在糖网分类任务中,一共有五个类别(正常,轻度,中度,重度,增殖)需要进行分类,因此在本技术中,在每一次迭代中,选取任意一张图作为当前眼部样本图片anchor,其同一类的一张图作为第一眼部样本图片positive,其余4类中,每类各选取最多一张图片组成第二眼部样本图片negative集合。比如选取正常类中两张图作为anchor和positive,在其余4类中,每类最多选取一张,别选取的图片满足与anchor的相似度高于anchor和positive的相似度,若该类无符合条件的图片,则不做选取操作,若4类中,均无符合条件的图片,证明anchor和positive的相似度比anchor和negative的高,无需组成多元组。
在选择出多元组图片之后,需要保证anchor和positive的第一相似度大于anchor和negative的第二相似度。因此,需要设计损失函数对第一相似度小于或等于第二相似度的情况进行调整。在本技术中,同时使用交叉熵损失函数和多元组损失函数来优化原始识别模型的参数。交叉熵损失函数的数学表达式为:
L=-[ylogy′+(1-y)log(1-y′)] (1)
其中,y为标识的label,y为0或者1,y′为网络预测的属于某一类的概率值。交叉熵损失函数使得网络预测一张图片属于正确类的概率值最大。该损失函数是深度学习分类问题最常用的损失函数。本技术中,可以直接运用了交叉熵损失函数。
在本实施例中,还利用了多元组损失函数来学习每一类样本之间的关系。多元组损失函数的数学表达式如下:
其中,xa,xp,表示选取的anchor,positive和另外四类的negative图片,f(x)表示图片x的fc1层特征向量,表示anchor和positive之间的欧氏距离,表示anchor和negative之间的距离。欧氏距离和相似度之间存在反比关系,距离越大,表示相似度越低,距离越小,表示相似度越高,当两张图像一模一样时,相似度最高,欧式距离达到最小为0。α是一个常数,表示anchor和positive的距离,与anchor和negative之间的距离的差距。在多元组损失函数的约束下,不断选取符合条件的多元组进行优化。在最优的网络参数下,anchor与positive的距离,要比anchor和negative的距离小α,这就使得每一个类都能被区分开。由于每一类中每一张图像都能作为anchor,再按照规则选取positive和negative,在类别间数量差异较大,某些类别数量不足的情况下,依然可以找到大量的多元组,利用多元组约束条件,能将每一类都区分开,最终提升分类的准确性。从而区分出糖尿病的正常眼底与各个类型的患病眼底。
需要说明的是,在训练时,需要进行参数初始化,Conv1-Conv5采用在ImageNet数据集上预训练的ResNet18的参数,新添加的层采用方差为0.01,均值为0的高斯分布进行初始化。在训练过程中,选取α值为0.25,同时使用交叉熵损失函数和多元组损失函数来优化网络参数。本方案采用基于SGD(Stochastic Gradient Descent)的梯度下降法求解神经网络模型的卷积模板参数w和偏置参数b,在每次迭代过程中,计算预测结果误差并反向传播到卷积神经网络模型,计算梯度并更新卷积神经网络模型的参数。知道训练得到原始识别模型的识别准确度大于了第一阈值,如识别准确度为98%以上。此时,得到目标识别模型。
在得到目标识别模型后,通过目标识别模型识别待识别的眼部图片,识别得到该眼部图片为正常眼底,或者轻度糖网,中度糖网,重度糖网,增殖糖网等。
通过本实施例中的上述方法,通过使用从多个类型的眼部样本图片中获取的多足多元组图片对原始识别模型进行了训练,且多个多元组图片中的每一组多元组图片包括上述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、上述一个类型的第一眼部样本图片、以及上述多个类型中与上述一个类型不同的至少一个类型的第二眼部样本图片,从而即使在一个类型的眼部样本图片数量很少的情况下,也能够对原始识别模型进行良好的训练,得到成熟的目标识别模型,并使用目标识别模型对待识别眼部图片进行识别,得到待识别眼部图片的目标类型,实现了提高识别待识别眼部图片的效率的技术效果。
作为一种可选的实施方案,在获取待识别眼部图片之前,还包括:
S1,从多个类型的眼部样本图片中提取出多组多元组图片;
S2,使用多组多元组图片对原始识别模型中的参数进行调整,得到目标识别模型。
可选地,本实施例中在获取到多个类型的眼部样本图片后,可以从中选择出多组多元组图片,在选择多元组图片时,可以每一组多元组图片都包含每一个类型的眼部样本图片,或者某些组多元组图片包含多个类型中的几个类型的多元组图片,本实施例不做具体限定。
通过本实施例,通过选择出多组多元组图片对原始识别模型中的参数进行调整,从而使调整后的原始识别模型的识别准确度更高,提高了识别待识别眼部图片的效率。
作为一种可选的实施方案,从多个类型的眼部样本图片中提取出多组多元组图片包括:
将多个类型的眼部样本图片中的每一张眼部样本图片作为当前眼部样本图片,执行以下步骤,直到遍历多个类型的眼部样本图片中的每一张图片,以得到多组多元组图片:
S1,获取与当前眼部样本图片同为一个类型的第一眼部样本图片;确定多个类型的眼部样本图片中除一个类型之外的其他每一种类型;从其他每一种类型中确定一张图片,作为第二眼部样本图片;将当前眼部样本图片、第一眼部样本图片与第二眼部样本图片确定为一组多元组图片。
可选地,本实施例中在确定多元组图片时,可以从任意一个类型中随机确定出当前眼部样本图片,并确定一个与当前眼部样本图片类型相同的第一眼部样本图片,然后从其他每一个类型中确定出一个第二眼部样本图片,并组合得到多元组图片,用到上述实施例中的对原始识别模型进行训练的过程中。
通过本实施例,通过上述方法确定多元组图片,从而在提高了识别待识别眼部图片的效率的同时,还提高了获取多元组图片的效率。
作为一种可选的实施方案,从多个类型的眼部样本图片中提取出多组多元组图片包括:
将多个类型的眼部样本图片中的每一张图片作为当前眼部样本图片,执行以下步骤,直到遍历多个类型的眼部样本图片中的每一张图片,以得到多组多元组图片:
S1,获取与当前眼部样本图片同为一个类型的第一眼部样本图片;确定多个类型的眼部样本图片中除一个类型之外的其他一个类型;从其他一个类型中确定至少一张图片,作为第二眼部样本图片;将当前眼部样本图片、第一眼部样本图片与第二眼部样本图片确定为一组多元组图片。
可选地,本实施例中在确定多元组图片时,可以从任意一个类型中随机确定出当前眼部样本图片,并确定一个与当前眼部样本图片类型相同的第一眼部样本图片,然后从其他多个类型中确定出一张或多张第二眼部样本图片,并组合得到多元组图片,用到上述实施例中的对原始识别模型进行训练的过程中。
确定第二样本图片时,可以在一个类型中确定多张,或者在多个类型中的某几个类型中每个类型确定一张。本实施例不做具体限定。
通过本实施例,通过上述方法确定多元组图片,从而在提高了识别待识别眼部图片的效率的同时,还提高了获取多元组图片的效率。
作为一种可选的实施方案,使用多组多元组图片对原始识别模型中的参数进行调整,得到目标识别模型包括:
S1,获取一组多元组图片中当前眼部样本图片与第一眼部样本图片的第一相似度;
S2,获取一组多元组图片中当前眼部样本图片与每一张第二眼部样本图片的第二相似度;
S3,在第一相似度小于或等于任意一个第二相似度的情况下,调整原始识别模型中的参数,其中,使用调整后的原始识别模型识别得到的第一相似度大于每一个第二相似度。
可选地,本实施例中,第一相似度也可以比第二相似度的差值大于预定阈值。在第一相似度与第二相似度的差值大于预定阈值的情况下,保持原始识别模型中的参数不变,或者做适应性的修改,而在第一相似度与第二相似度的差值小于或等于预定阈值的情况下,修改原始识别模型中的参数,直到第一相似度与第二相似度的差值大于预定阈值。
通过本实施例,通过上述方法对原始识别模型进行调整,从而提高了对待识别眼部图片进行识别的效率。
作为一种可选的实施方案,使用多组多元组图片对原始识别模型进行训练,得到目标识别模型包括:
S1,在原始识别模型对M组多元组图片进行识别并在识别N组多元组图片时并未调整原始识别模型中的参数的情况下,在N/M大于第一阈值的情况下,将原始识别模型确定为目标识别模型,其中,M与N均为正整数,N小于或等于M。
需要说明的是,上述第一阈值可以根据经验值得到,或者通过计算得到,第一阈值可以进行更改,从而调整原始识别模型的识别准确度。
通过本实施例,通过上述方法控制原始识别模型的准确度,从而提高了对待识别眼部图片进行识别的识别效率的同时,还提高了对原始识别模型进行训练的训练效率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一方面,还提供了一种目标识别模型训练方法。如图9所示,上述目标识别模型训练方法包括:
S902,从多个类型的眼部样本图片中获取多组多元组图片,其中,所述多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片;
S904,将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;
S906,在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中,所述第一相似度大于所述第二相似度;
S908,将调整后的所述原始识别模型确定为目标识别模型。
可选地,上述目标模型模型训练方法可以但不限于应用于训练用于识别一张图片所属的类型的模型的过程中。如,采用上述方法训练一个原始识别模型,并使用训练得到的目标识别模型对待识别眼部图片进行识别,得到待识别眼部图片的目标类型。
需要说明的是,相关技术中在眼部样本图片分为多个类型且其中某类型的眼部样本图片数量不足时,无法做到对模型的有效训练,训练得到的模型识别准确度低。而采用本方案中的方法训练识别模型,由于训练过程中,获取到了包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片的多个多元组图片,并使用多元组图片训练模型,从而在眼部样本图片数量少的情况下,也能够对模型进行有效的训练,提高了对模型的训练效率。
本实施例中获取多元组图片与训练的具体过程可以参见上述实施例中的描述,在此不做赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述图片识别方法的图片识别装置。如图10所示,该装置包括:
(1)第一获取单元1002,用于获取待识别眼部图片;
(2)输入单元1004,用于将待识别眼部图片输入到目标识别模型中,其中,目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,多个类型的眼部样本图片用于形成在对原始识别模型进行训练时使用到的多组多元组图片,多组多元组图片中的每一组多元组图片包括多个类型的眼部样本图片中的一个类型的当前眼部样本图片、一个类型的第一眼部样本图片、以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片,训练好的目标识别模型满足目标条件,目标条件为使用目标识别模型得到的当前眼部样本图片与第一眼部样本图片的第一相似度大于当前眼部样本图片与第二眼部样本图片的第二相似度;
(3)第二获取单元1006,用于获取目标识别模型输出的识别结果,其中,识别结果至少用于表示待识别眼部图片属于多个类型中的目标类型。
可选地,上述图片识别装置可以但不限于应用于识别一张图片所属的类型的过程中。上述图片识别方法可以但不限于应用于识别人物图像、识别动物图像、识别风景图像、识别病灶图像、识别微观图形等任何领域中,凡是需要识别一张图片所属的类型的过程中,都可以使用本方案中的上述方法。
以下结合识别病灶图像的过程进行说明。如识别眼部是否有疾病。在识别之前,首选需要获取到眼部正常的眼部样本图片与眼部疾病的眼部样本图片。眼部疾病的眼部样本图片可以为一个大类或者细分为不同病重程度的多个类型。如细分为轻度疾病图片、中度疾病图片、重度疾病图片与增殖疾病图片。则眼部样本图片分成了五种类型:眼部正常图片、轻度疾病图片、中度疾病图片、重度疾病图片与增殖疾病图片,每一种类型中都有多张眼部样本图片。若是相关技术中的方法,则需要上述每一个类型的中的眼部样本图片都足够,才能训练出准确度高的成熟模型,并对待识别的图片进行识别。而本方案中,即使上述多个类型中的一个或几个类型的眼部样本图片数量少,也能够很好的对模型进行训练。例如,增殖疾病图片的数量很少,而采用本方案中的方法,可以提取与增殖疾病图片相关的多个多元组图片,并使用多个多元组图片对模型进行训练,实现了即使增殖疾病图片的数量很少的情况下,仍然可以对模型进行准确高效的训练,进而使用识别准确度高的模型识别待识别眼部图片中的眼部是否正常,提高了对待识别眼部图片进行识别的识别效率。
可选地,本方案中在对原始识别模型进行训练之前,首先需要获取到多个类型的眼部样本图片。多个类型的眼部样本图片中每一个类型的眼部样本图片的数量可以相同或不同。由于已经确定了多个类型的眼部样本图片的类型与每一个类型中眼部样本图片的数量,进一步可以从多个类型的眼部样本图片中确定出多组多元组图片,每一组多元组图片包括多个类型的眼部样本图片中的一个类型的当前眼部样本图片、一个类型的第一眼部样本图片、以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片。而若是一个类型下没有任何眼部样本图片,则该类型不能单独构成一个类型。每一个类型下均包括至少一张眼部样本图片。
例如,以上述眼部样本图片的类型为三个为例,分别为第一类型、第二类型、第三类型。如图3所示,第一类型下的眼部样本图片有10张,第二类型下的眼部样本图片有5张,第三类型下的眼部样本图片有3张。此时,可以随机选择一张图片,如选择第一类型下的一张眼部样本图片302作为当前眼部样本图片,并选择与眼部样本图片302同类型的眼部样本图片304作为第一眼部样本图片,以及选择第二类型下的一张眼部样本图片306并选择第三类型下的一张眼部样本图片308作为第二眼部样本图片,第二眼部样本图片有两张,将眼部样本图片302、眼部样本图片304、眼部样本图片306、眼部样本图片308确定为一组多元组图片。
在将眼部样本图片302、眼部样本图片304、眼部样本图片306、眼部样本图片308确定为一组多元组图片之后,由于眼部样本图片302、眼部样本图片304是相同类型的眼部样本图片,而眼部样本图片306、眼部样本图片308是与眼部样本图片302不同类型的眼部样本图片。因此,眼部样本图片302、眼部样本图片304之间的第一相似度应该是大于眼部样本图片302与眼部样本图片306或眼部样本图片302与眼部样本图片308的第二相似度。如图4所示,图4中眼部样本图片302与眼部样本图片304之间的第一相似度402-1小于了眼部样本图片302与眼部样本图片306之间的第二相似度404-1(箭头距离越大表示差距越大,相似度越小)。这种情况不符合实际情况。因此,需要进行学习,进行参数的调整。学习后,眼部样本图片302与眼部样本图片304之间的第一相似度402-2大于了眼部样本图片302与眼部样本图片306之间的第二相似度404-2(图4中未示出眼部样本图片308,学习后,眼部样本图片302与眼部样本图片304之间的第一相似度也大于眼部样本图片302与眼部样本图片308之间的第二相似度)。
需要说明的是,在选择第一类型的眼部样本图片304时,可以从除眼部样本图片302之外的其他9张眼部样本图片中任意选择一张,而选择第二类型的眼部样本图片时,可以从第二类型的5张眼部样本图片中任意选择一张,选择第三类型的眼部样本图片时,可以从第三类型的3张眼部样本图片中任意选择一张。经过此方法,可以确定出多组多元组图片。
以下以上述眼部样本图片的类型为五个为例,分别为第一类型、第二类型、第三类型、第四类型与第五类型,如图5所示,第一类型有10张图片,第二类型有6张图片,第三类型有3张图片,第四类型有2张图片,第五类型有1张图片。
首先确定出任意一个类型中的一张图片,如第二类型的502作为当前眼部样本图片,然后,在从第二类型剩余的5张眼部样本图片中随机确定出第一眼部样本图片504,并从剩余的四个类型中分别随机确定出眼部样本图片506、眼部样本图片508、眼部样本图片510、眼部样本图片512,眼部样本图片506、眼部样本图片508、眼部样本图片510、眼部样本图片512为第二眼部样本图片,共四张。眼部样本图片502、眼部样本图片504、眼部样本图片506、眼部样本图片508、眼部样本图片510与眼部样本图片512共同构成一组多元组图片。通过上述方法,即使第三类型、第四类型、第五类型中的眼部样本图片的数量较少,但是仍然可以确定出多组多元组图片,并使用多元组图片对原始识别模型进行训练,得到目标识别模型。作为另一种确定多元组图片的方式,如果一个类型中仅有一张眼部样本图片,如第五类型中的眼部样本图片仅有一张,因此,可以将该一张图片确定为当前眼部样本图片与第一眼部样本图片,并从其他类型中选择第二眼部样本图片。
在确定出眼部样本图片502、眼部样本图片504、眼部样本图片506、眼部样本图片508、眼部样本图片510与眼部样本图片512之后,由于眼部样本图片502、眼部样本图片504是相同类型的眼部样本图片,而眼部样本图片506、眼部样本图片508、眼部样本图片510、眼部样本图片512是与眼部样本图片502不同类型的眼部样本图片。因此,眼部样本图片502与眼部样本图片504之间的第一相似度应该是大于眼部样本图片502与眼部样本图片506或眼部样本图片502与眼部样本图片508或眼部样本图片502与眼部样本图片510或眼部样本图片502与眼部样本图片512之间的第二相似度。如图6所示,图6中眼部样本图片502与眼部样本图片504之间的第一相似度602-1小于了眼部样本图片502与眼部样本图片506或眼部样本图片502与眼部样本图片508或眼部样本图片502与眼部样本图片510或眼部样本图片502与眼部样本图片512之间的第二相似度604-1(箭头距离越大表示差距越大,相似度越小)。这种情况不符合实际情况。因此,需要进行学习,进行参数的调整。学习后,眼部样本图片502与眼部样本图片504之间的第一相似度602-2大于了眼部样本图片502与眼部样本图片506或眼部样本图片502与眼部样本图片508或眼部样本图片502与眼部样本图片510或眼部样本图片502与眼部样本图片512之间的第二相似度604-2。
需要说明的是,作为另一种可选的示例,本方案中在确定多元组图片时,也可以在确定了一个类型中的当前眼部样本图片与第一眼部样本图片之后,从其他类型中的一个类型或集合类型中随机选择几张眼部样本图片作为第二眼部样本图片。例如以类型为五个的情况进行说明,如在第二类型中选择出了当前眼部样本图片与第一眼部样本图片之后,可以从除第二类型之外的其他一个或几个类型中选择几张眼部样本图片。如在第三类型中选择两张眼部样本图片,在第一类型中选择三张眼部样本图片,组合为第二眼部样本图片,从而得到多元组图片。
在经过上述任意一种方法确定出多组多元组图片之后,需要根据多组多元组图片训练原始识别模型,从而得到目标识别模型。核心思路为,相同类型的当前眼部样本图片与第一眼部样本图片之间的第一相似度应该是大于当前眼部样本图片与任意一张第二眼部样本图片的第二相似度的。
原始识别模型可以获取当前眼部样本图片与第一眼部样本图片的第一相似度,并获取当前眼部样本图片与第二眼部样本图片的第二相似度(第二眼部样本图片有多张的情况下,第二相似度有多个),并判断第一相似度与第二相似度的大小,若是第一相似度小于或等于了任意一个第二相似度,则需要调整原始识别模型中的参数,保证调整后的原始识别模型获取到的第一相似度是大于任意一个第二相似度的。
通过本实施例中的上述方法,通过使用从多个类型的眼部样本图片中获取的多足多元组图片对原始识别模型进行了训练,且多个多元组图片中的每一组多元组图片包括上述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、上述一个类型的第一眼部样本图片、以及上述多个类型中与上述一个类型不同的至少一个类型的第二眼部样本图片,从而即使在一个类型的眼部样本图片数量很少的情况下,也能够对原始识别模型进行良好的训练,得到成熟的目标识别模型,并使用目标识别模型对待识别眼部图片进行识别,得到待识别眼部图片的目标类型,实现了提高识别待识别眼部图片的效率的技术效果。
作为一种可选的实施方案,上述装置还包括:
(1)提取单元,用于在获取待识别眼部图片之前,从多个类型的眼部样本图片中提取出多组多元组图片;
(2)调整单元,用于使用多组多元组图片对原始识别模型中的参数进行调整,得到目标识别模型。
通过本实施例,通过选择出多组多元组图片对原始识别模型中的参数进行调整,从而使调整后的原始识别模型的识别准确度更高,提高了识别待识别眼部图片的效率。
作为一种可选的实施方案,上述提取单元包括:
(1)第一遍历模块,用于将多个类型的眼部样本图片中的每一张眼部样本图片作为当前眼部样本图片,执行以下步骤,直到遍历多个类型的眼部样本图片中的每一张图片,以得到多组多元组图片:
获取与当前眼部样本图片同为一个类型的第一眼部样本图片;确定多个类型的眼部样本图片中除一个类型之外的其他每一种类型;从其他每一种类型中确定一张图片,作为第二眼部样本图片;将当前眼部样本图片、第一眼部样本图片与第二眼部样本图片确定为一组多元组图片。
通过本实施例,通过上述方法确定多元组图片,从而在提高了识别待识别眼部图片的效率的同时,还提高了获取多元组图片的效率。
作为一种可选的实施方案,上述提取单元包括:
(1)第二遍历模块,用于将多个类型的眼部样本图片中的每一张图片作为当前眼部样本图片,执行以下步骤,直到遍历多个类型的眼部样本图片中的每一张图片,以得到多组多元组图片:
获取与当前眼部样本图片同为一个类型的第一眼部样本图片;确定多个类型的眼部样本图片中除一个类型之外的其他一个类型;从其他一个类型中确定至少一张图片,作为第二眼部样本图片;将当前眼部样本图片、第一眼部样本图片与第二眼部样本图片确定为一组多元组图片。
通过本实施例,通过上述方法确定多元组图片,从而在提高了识别待识别眼部图片的效率的同时,还提高了获取多元组图片的效率。
作为一种可选的实施方案,上述调整单元包括:
(1)第一获取模块,用于获取一组多元组图片中当前眼部样本图片与第一眼部样本图片的第一相似度;
(2)第二获取模块,用于获取一组多元组图片中当前眼部样本图片与每一张第二眼部样本图片的第二相似度;
(3)调整模块,用于在第一相似度小于或等于任意一个第二相似度的情况下,调整原始识别模型中的参数,其中,使用调整后的原始识别模型识别得到的第一相似度大于每一个第二相似度。
通过本实施例,通过上述方法对原始识别模型进行调整,从而提高了对待识别眼部图片进行识别的效率。
作为一种可选的实施方案,上述调整单元包括:
(1)确定模块,用于在原始识别模型对M组多元组图片进行识别并在识别N组多元组图片时并未调整原始识别模型中的参数的情况下,在N/M大于第一阈值的情况下,将原始识别模型确定为目标识别模型,其中,M与N均为正整数,N小于或等于M。
通过本实施例,通过上述方法控制原始识别模型的准确度,从而提高了对待识别眼部图片进行识别的识别效率的同时,还提高了对原始识别模型进行训练的训练效率。
根据本发明实施例的又一方面,还提供了一种实现上述目标识别模型训练方法的目标识别模型训练装置,如图11所示,上述目标识别模型训练装置包括:
(1)获取单元1102,用于从多个类型的眼部样本图片中获取多组多元组图片,其中,所述多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片;
(2)输入单元1104,用于将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;
调整单元1106,用于在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中,所述第一相似度大于所述第二相似度;
确定单元1108,用于将调整后的所述原始识别模型确定为目标识别模型。
可选地,上述目标识别模型训练装置可以但不限于应用于训练用于识别一张图片所属的类型的模型的过程中。如,采用上述方法训练一个原始识别模型,并使用训练得到的目标识别模型对待识别眼部图片进行识别,得到待识别眼部图片的目标类型。
需要说明的是,相关技术中在眼部样本图片分为多个类型且其中某类型的眼部样本图片数量不足时,无法做到对模型的有效训练,训练得到的模型识别准确度低。而采用本方案中的方法训练识别模型,由于训练过程中,获取到了包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片的多个多元组图片,并使用多元组图片训练模型,从而在眼部样本图片数量少的情况下,也能够对模型进行有效的训练,提高了对模型的训练效率。
本实施例中获取多元组图片与训练的具体过程可以参见上述实施例中的描述,在此不做赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述图片识别方法的电子装置,如图12所示,该电子装置包括存储器1202和处理器1204,该存储器1202中存储有计算机程序,该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待识别眼部图片;
S2,将待识别眼部图片输入到目标识别模型中,其中,目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,多个类型的眼部样本图片用于形成在对原始识别模型进行训练时使用到的多组多元组图片,多组多元组图片中的每一组多元组图片包括多个类型的眼部样本图片中的一个类型的当前眼部样本图片、一个类型的第一眼部样本图片、以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片,训练好的目标识别模型满足目标条件,目标条件为使用目标识别模型得到的当前眼部样本图片与第一眼部样本图片的第一相似度大于当前眼部样本图片与第二眼部样本图片的第二相似度;
S3,获取目标识别模型输出的识别结果,其中,识别结果至少用于表示待识别眼部图片属于多个类型中的目标类型。
可选地,本领域普通技术人员可以理解,图12所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图12中所示更多或者更少的组件(如网络接口等),或者具有与图12所示不同的配置。
其中,存储器1202可用于存储软件程序以及模块,如本发明实施例中的图片识别方法和装置对应的程序指令/模块,处理器1204通过运行存储在存储器1202内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图片识别方法。存储器1202可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1202可进一步包括相对于处理器1204远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1202具体可以但不限于用于存储眼部样本图片等信息。作为一种示例,如图12所示,上述存储器1202中可以但不限于包括上述图片识别装置中的第一获取单元1002、输入单元1004与第二获取单元1006,此外,还可以包括但不限于上述图片识别装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1206包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1206为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1208,用于显示识别结果;和连接总线1210,用于连接上述电子装置中的各个模块部件。
根据本发明实施例的又一个方面,还提供了一种用于实施上述目标识别模型训练方法的电子装置,如图13所示,该电子装置包括存储器1302和处理器1304,该存储器1302中存储有计算机程序,该处理器1304被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,从多个类型的眼部样本图片中获取多组多元组图片,其中,多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片;
S2,将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;
S3,在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中,所述第一相似度大于所述第二相似度;
S4,将调整后的所述原始识别模型确定为目标识别模型。
可选地,本领域普通技术人员可以理解,图13所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图13中所示更多或者更少的组件(如网络接口等),或者具有与图13所示不同的配置。
其中,存储器1302可用于存储软件程序以及模块,如本发明实施例中的目标识别模型训练方法和装置对应的程序指令/模块,处理器1304通过运行存储在存储器1302内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的目标识别模型训练方法。存储器1302可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1302可进一步包括相对于处理器1304远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1302具体可以但不限于用于存储眼部样本图片等信息。作为一种示例,如图13所示,上述存储器1302中可以但不限于包括上述目标识别模型训练装置中的获取单元1102、输入单元1104、调整单元1106与确定单元1108。此外,还可以包括但不限于上述目标识别模型训练装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1306包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1306为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1308,用于显示训练结果;和连接总线1310,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取待识别眼部图片;
S2,将待识别眼部图片输入到目标识别模型中,其中,目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,多个类型的眼部样本图片用于形成在对原始识别模型进行训练时使用到的多组多元组图片,多组多元组图片中的每一组多元组图片包括多个类型的眼部样本图片中的一个类型的当前眼部样本图片、一个类型的第一眼部样本图片、以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片,训练好的目标识别模型满足目标条件,目标条件为使用目标识别模型得到的当前眼部样本图片与第一眼部样本图片的第一相似度大于当前眼部样本图片与第二眼部样本图片的第二相似度;
S3,获取目标识别模型输出的识别结果,其中,识别结果至少用于表示待识别眼部图片属于多个类型中的目标类型。
或者,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,从多个类型的眼部样本图片中获取多组多元组图片,其中,多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及多个类型中与一个类型不同的至少一个类型的第二眼部样本图片;
S2,将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;
S3,在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中,所述第一相似度大于所述第二相似度;
S4,将调整后的所述原始识别模型确定为目标识别模型。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种图片识别方法,其特征在于,包括:
获取待识别眼部图片;
将所述待识别眼部图片输入到目标识别模型中,其中,所述目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,所述多个类型包括正常类型与至少一个疾病类型,所述多个类型的眼部样本图片用于形成在对所述原始识别模型进行训练时使用到的多组多元组图片,所述多组多元组图片中的每一组多元组图片包括所述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、所述一个类型的第一眼部样本图片、以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片,训练好的所述目标识别模型满足目标条件,所述目标条件为使用所述目标识别模型得到的所述当前眼部样本图片与所述第一眼部样本图片的第一相似度大于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度;
获取所述目标识别模型输出的识别结果,其中,所述识别结果至少用于表示所述待识别眼部图片属于所述多个类型中的目标类型。
2.根据权利要求1所述的方法,其特征在于,在获取待识别眼部图片之前,还包括:
从所述多个类型的眼部样本图片中提取出所述多组多元组图片;
使用所述多组多元组图片对所述原始识别模型中的参数进行调整,得到所述目标识别模型。
3.根据权利要求2所述的方法,其特征在于,从所述多个类型的眼部样本图片中提取出所述多组多元组图片包括:
将所述多个类型的眼部样本图片中的每一张眼部样本图片作为所述当前眼部样本图片,执行以下步骤,直到遍历所述多个类型的眼部样本图片中的每一张图片,以得到所述多组多元组图片:获取与所述当前眼部样本图片同为所述一个类型的所述第一眼部样本图片;确定所述多个类型的眼部样本图片中除所述一个类型之外的其他每一种类型;从所述其他每一种类型中确定一张图片,作为所述第二眼部样本图片;将所述当前眼部样本图片、所述第一眼部样本图片与所述第二眼部样本图片确定为一组多元组图片。
4.根据权利要求2所述的方法,其特征在于,从所述多个类型的眼部样本图片中提取出所述多组多元组图片包括:
将所述多个类型的眼部样本图片中的每一张图片作为所述当前眼部样本图片,执行以下步骤,直到遍历所述多个类型的眼部样本图片中的每一张图片,以得到所述多组多元组图片:
获取与所述当前眼部样本图片同为所述一个类型的所述第一眼部样本图片;确定所述多个类型的眼部样本图片中除所述一个类型之外的其他一个类型;从所述其他一个类型中确定至少一张图片,作为所述第二眼部样本图片;将所述当前眼部样本图片、所述第一眼部样本图片与所述第二眼部样本图片确定为一组多元组图片。
5.根据权利要求2所述的方法,其特征在于,所述使用所述多组多元组图片对所述原始识别模型中的参数进行调整,得到所述目标识别模型包括:
获取一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度;
获取一组所述多元组图片中所述当前眼部样本图片与每一张所述第二眼部样本图片的第二相似度;
在所述第一相似度小于或等于任意一个所述第二相似度的情况下,调整所述原始识别模型中的参数,其中,使用调整后的所述原始识别模型识别得到的所述第一相似度大于每一个所述第二相似度。
6.根据权利要求2至5中任意一项所述的方法,其特征在于,所述使用所述多组多元组图片对所述原始识别模型进行训练,得到所述目标识别模型包括:
在所述原始识别模型对M组多元组图片进行识别并在识别N组多元组图片时并未调整所述原始识别模型中的参数的情况下,在N/M大于第一阈值的情况下,将所述原始识别模型确定为所述目标识别模型,其中,所述M与所述N均为正整数,所述N小于或等于所述M。
7.一种目标识别模型训练方法,其特征在于,包括:
从多个类型的眼部样本图片中获取多组多元组图片,其中,所述多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片,所述多个类型包括正常类型与至少一个疾病类型;
将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;
在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中,所述第一相似度大于所述第二相似度;
将调整后的所述原始识别模型确定为目标识别模型。
8.一种图片识别装置,其特征在于,包括:
第一获取单元,用于获取待识别眼部图片;
输入单元,用于将所述待识别眼部图片输入到目标识别模型中,其中,所述目标识别模型为使用多个类型的眼部样本图片对原始识别模型进行训练得到的模型,所述多个类型包括正常类型与至少一个疾病类型,所述多个类型的眼部样本图片用于形成在对所述原始识别模型进行训练时使用到的多组多元组图片,所述多组多元组图片中的每一组多元组图片包括所述多个类型的眼部样本图片中的一个类型的当前眼部样本图片、所述一个类型的第一眼部样本图片、以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片,训练好的所述目标识别模型满足目标条件,所述目标条件为使用所述目标识别模型得到的所述当前眼部样本图片与所述第一眼部样本图片的第一相似度大于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度;
第二获取单元,用于获取所述目标识别模型输出的识别结果,其中,所述识别结果至少用于表示所述待识别眼部图片属于所述多个类型中的目标类型。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
提取单元,用于在获取待识别眼部图片之前,从所述多个类型的眼部样本图片中提取出所述多组多元组图片;
调整单元,用于使用所述多组多元组图片对所述原始识别模型中的参数进行调整,得到所述目标识别模型。
10.根据权利要求9所述的装置,其特征在于,所述提取单元包括:
第一遍历模块,用于将所述多个类型的眼部样本图片中的每一张眼部样本图片作为所述当前眼部样本图片,执行以下步骤,直到遍历所述多个类型的眼部样本图片中的每一张图片,以得到所述多组多元组图片:获取与所述当前眼部样本图片同为所述一个类型的所述第一眼部样本图片;确定所述多个类型的眼部样本图片中除所述一个类型之外的其他每一种类型;从所述其他每一种类型中确定一张图片,作为所述第二眼部样本图片;将所述当前眼部样本图片、所述第一眼部样本图片与所述第二眼部样本图片确定为一组多元组图片。
11.根据权利要求9所述的装置,其特征在于,所述调整单元包括:
第一获取模块,用于获取一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度;
第二获取模块,用于获取一组所述多元组图片中所述当前眼部样本图片与每一张所述第二眼部样本图片的第二相似度;
调整模块,用于在所述第一相似度小于或等于任意一个所述第二相似度的情况下,调整所述原始识别模型中的参数,其中,使用调整后的所述原始识别模型识别得到的所述第一相似度大于每一个所述第二相似度。
12.根据权利要求9至11中任意一项所述的装置,其特征在于,所述调整单元包括:
确定模块,用于在所述原始识别模型对M组多元组图片进行识别并在识别N组多元组图片时并未调整所述原始识别模型中的参数的情况下,在N/M大于第一阈值的情况下,将所述原始识别模型确定为所述目标识别模型,其中,所述M与所述N均为正整数,所述N小于或等于所述M。
13.一种目标识别模型训练装置,其特征在于,包括:
获取单元,用于从多个类型的眼部样本图片中获取多组多元组图片,其中,所述多组多元组图片中的每一组多元组图片包括一个类型的当前眼部样本图片、一个类型的第一眼部样本图片以及所述多个类型中与所述一个类型不同的至少一个类型的第二眼部样本图片,所述多个类型包括正常类型与至少一个疾病类型;
输入单元,用于将所述多组多元组图片输入到原始识别模型,以对所述原始识别模型进行训练,得到目标识别模型,其中,所述原始识别模型包括:依次连接的M个卷积层和Q个全连接层,所述M、Q均为自然数;
调整单元,用于在所述原始识别模型识别得到每一组所述多元组图片中所述当前眼部样本图片与所述第一眼部样本图片的第一相似度小于或等于所述当前眼部样本图片与所述第二眼部样本图片的第二相似度的情况下,调整所述原始识别模型的参数,直到识别得到的每一组所述多元组图片中,所述第一相似度大于所述第二相似度;
确定单元,用于将调整后的所述原始识别模型确定为目标识别模型。
14.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序运行时执行所述权利要求1至6或7任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至6或7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910697330.3A CN110427870B (zh) | 2019-06-10 | 2019-06-10 | 眼部图片识别方法、目标识别模型训练方法及装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910697330.3A CN110427870B (zh) | 2019-06-10 | 2019-06-10 | 眼部图片识别方法、目标识别模型训练方法及装置 |
CN201910497461.7A CN110276283B (zh) | 2019-06-10 | 2019-06-10 | 图片识别方法、目标识别模型训练方法及装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910497461.7A Division CN110276283B (zh) | 2019-06-10 | 2019-06-10 | 图片识别方法、目标识别模型训练方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110427870A true CN110427870A (zh) | 2019-11-08 |
CN110427870B CN110427870B (zh) | 2024-06-18 |
Family
ID=67960560
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910697330.3A Active CN110427870B (zh) | 2019-06-10 | 2019-06-10 | 眼部图片识别方法、目标识别模型训练方法及装置 |
CN201910497461.7A Active CN110276283B (zh) | 2019-06-10 | 2019-06-10 | 图片识别方法、目标识别模型训练方法及装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910497461.7A Active CN110276283B (zh) | 2019-06-10 | 2019-06-10 | 图片识别方法、目标识别模型训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN110427870B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985565B (zh) * | 2020-08-20 | 2023-01-10 | 上海风秩科技有限公司 | 图片分析方法和装置、存储介质及电子设备 |
CN112381012A (zh) * | 2020-11-18 | 2021-02-19 | 中山大学中山眼科中心 | 眼部图像中目标区域的识别方法、装置及电子设备 |
CN114863163A (zh) * | 2022-04-01 | 2022-08-05 | 深思考人工智能科技(上海)有限公司 | 一种基于细胞图像进行细胞分类的方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197532A (zh) * | 2017-12-18 | 2018-06-22 | 深圳云天励飞技术有限公司 | 人脸识别的方法、装置及计算机装置 |
CN108230296A (zh) * | 2017-11-30 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 图像特征的识别方法和装置、存储介质、电子装置 |
WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
CN109117857A (zh) * | 2018-08-28 | 2019-01-01 | 苏州芯德锐信息科技有限公司 | 一种生物属性的识别方法、装置及设备 |
CN109166586A (zh) * | 2018-08-02 | 2019-01-08 | 平安科技(深圳)有限公司 | 一种识别说话人的方法及终端 |
CN109242042A (zh) * | 2018-09-28 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 图片训练样本挖掘方法、装置、终端及计算机可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9875429B2 (en) * | 2015-10-06 | 2018-01-23 | Adobe Systems Incorporated | Font attributes for font recognition and similarity |
CN110490213B (zh) * | 2017-09-11 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置及存储介质 |
CN108052944A (zh) * | 2017-12-27 | 2018-05-18 | 深圳市大熊动漫文化有限公司 | 一种图像识别方法和装置 |
CN108197666A (zh) * | 2018-01-30 | 2018-06-22 | 咪咕文化科技有限公司 | 一种图像分类模型的处理方法、装置及存储介质 |
CN109583332B (zh) * | 2018-11-15 | 2021-07-27 | 北京三快在线科技有限公司 | 人脸识别方法、人脸识别系统、介质及电子设备 |
-
2019
- 2019-06-10 CN CN201910697330.3A patent/CN110427870B/zh active Active
- 2019-06-10 CN CN201910497461.7A patent/CN110276283B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
CN108230296A (zh) * | 2017-11-30 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 图像特征的识别方法和装置、存储介质、电子装置 |
CN108197532A (zh) * | 2017-12-18 | 2018-06-22 | 深圳云天励飞技术有限公司 | 人脸识别的方法、装置及计算机装置 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
CN109166586A (zh) * | 2018-08-02 | 2019-01-08 | 平安科技(深圳)有限公司 | 一种识别说话人的方法及终端 |
CN109117857A (zh) * | 2018-08-28 | 2019-01-01 | 苏州芯德锐信息科技有限公司 | 一种生物属性的识别方法、装置及设备 |
CN109242042A (zh) * | 2018-09-28 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 图片训练样本挖掘方法、装置、终端及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
甘天圣: ""基于卷积神经网络的细粒度角膜炎图像分类研究"", 硕士电子期刊, 15 January 2019 (2019-01-15), pages 34 - 35 * |
Also Published As
Publication number | Publication date |
---|---|
CN110427870B (zh) | 2024-06-18 |
CN110276283A (zh) | 2019-09-24 |
CN110276283B (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852360B (zh) | 图像情感识别方法、装置、设备及存储介质 | |
CN109508789A (zh) | 预测手牌的方法、存储介质、处理器以及设备 | |
CN110427870A (zh) | 眼部图片识别方法、目标识别模型训练方法及装置 | |
CN109766872A (zh) | 图像识别方法和装置 | |
CN110070101A (zh) | 植物种类的识别方法及装置、存储介质、计算机设备 | |
CN109583297A (zh) | 视网膜oct体数据识别方法及装置 | |
CN110263724A (zh) | 图片识别方法、识别模型训练方法、装置及存储介质 | |
CN109086789A (zh) | 一种图像识别方法及系统 | |
CN109472240A (zh) | 人脸识别多模型自适应特征融合增强方法和装置 | |
CN107798027A (zh) | 一种信息热度预测方法、信息推荐方法及装置 | |
CN110490227A (zh) | 一种基于特征转换的少样本图像分类方法 | |
CN110380954A (zh) | 数据分享方法和装置,存储介质及电子装置 | |
CN108108743A (zh) | 异常用户识别方法和用于识别异常用户的装置 | |
CN110442738A (zh) | 图片去重方法和装置,存储介质及电子装置 | |
CN110349082A (zh) | 图像区域的裁剪方法和装置、存储介质及电子装置 | |
CN108228844A (zh) | 一种图片筛选方法及装置、存储介质、计算机设备 | |
CN108319974A (zh) | 数据处理方法、装置、存储介质和电子装置 | |
CN110152290A (zh) | 游戏运行方法和装置、存储介质及电子装置 | |
CN110704659B (zh) | 图像列表的排序方法和装置、存储介质及电子装置 | |
CN108681390A (zh) | 信息交互方法和装置、存储介质及电子装置 | |
CN108304853A (zh) | 游戏相关度的获取方法、装置、存储介质和电子装置 | |
CN112036261A (zh) | 手势识别方法、装置、存储介质、电子装置 | |
CN109978074A (zh) | 基于深度多任务学习的图像美感和情感联合分类方法及系统 | |
CN110152302A (zh) | 牌类游戏的手牌生成和聚类方法、设备以及处理器 | |
CN110502959A (zh) | 性别判断方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |