CN110349156A - 眼底图片中病变特征的识别方法和装置、存储介质 - Google Patents
眼底图片中病变特征的识别方法和装置、存储介质 Download PDFInfo
- Publication number
- CN110349156A CN110349156A CN201910697322.9A CN201910697322A CN110349156A CN 110349156 A CN110349156 A CN 110349156A CN 201910697322 A CN201910697322 A CN 201910697322A CN 110349156 A CN110349156 A CN 110349156A
- Authority
- CN
- China
- Prior art keywords
- training
- picture
- network model
- training set
- lesion characteristics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了一种眼底图片中病变特征的识别方法和装置、存储介质。其中,该方法包括:获取识别请求,识别请求用于请求对眼底图片中的病变特征进行识别;通过第一神经网络模型对眼底图片中的病变特征进行识别,其中,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记;返回第一神经网络模型的第一识别结果,其中,第一识别结果至少用于指示在眼底图片中识别出的病变特征。本发明解决了相关技术中对糖尿病视网膜病变的筛查效率较低的技术问题。
Description
技术领域
本发明涉及互联网领域,具体而言,涉及一种眼底图片中病变特征的识别方法和装置、存储介质。
背景技术
糖尿病性视网膜病变(DR)是糖尿病性微血管病变中最重要的表现,是一种具有特异性改变的眼底病变,是糖尿病的严重并发证之一。包括非增殖性糖尿病性视网膜病变(NPDR)(或称单纯型或背景型)和增殖性糖尿病性视网膜病变(PDR)等类型。据世界卫生组织(WHO)预测,到2030年,全球DR患者人数将增加到3.66亿,己成为四大致盲眼病之一,糖网病防治将成为一个严重的世界性问题。
研究表明,对DR患者进行早期诊断和治疗能有效防止视觉的损失以及失明,而防治的关键则是通过眼底照相检查,定期随访发现病情的进展,及时进行激光干预治疗。但是目前世界上超过50%的糖尿病患者没有接受任何形式的眼部检查,基于眼底影像的糖尿病视网膜病变的筛查工作基本还是依靠眼科医生的肉眼观察进行。
但当面临大规模筛查时,需要医生分析和处理的数据量非常大,人工判读方法既费时又费力,人工筛查无法实施。而且人工筛查主观性强,数据分析复杂并且难以量化,很难做到定量随访。
针对相关技术中对糖尿病视网膜病变的筛查效率较低的技术问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种眼底图片中病变特征的识别方法和装置、存储介质,以至少解决相关技术中对糖尿病视网膜病变的筛查效率较低的技术问题。
根据本发明实施例的一个方面,提供了一种病变特征的识别方法,该方法包括:获取识别请求,其中,识别请求用于请求对眼底图片中的病变特征进行识别;通过第一神经网络模型对眼底图片中的病变特征进行识别,其中,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记;返回第一神经网络模型的第一识别结果,其中,第一识别结果至少用于指示在眼底图片中识别出的病变特征,使用第一训练集合训练后的第一神经网络模型用于识别第二训练集合中的训练图片的病变特征,第二训练集合中被识别出病变特征的训练图片用于继续训练第一神经网络模型。
根据本发明实施例的另一方面,还提供了一种病变特征的识别装置,该装置包括:获取单元,用于获取识别请求,其中,识别请求用于请求对眼底图片中的病变特征进行识别;识别单元,用于通过第一神经网络模型对眼底图片中的病变特征进行识别,其中,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记;返回单元,用于返回第一神经网络模型的第一识别结果,其中,第一识别结果至少用于指示在眼底图片中识别出的病变特征,使用第一训练集合训练后的第一神经网络模型用于识别第二训练集合中的训练图片的病变特征,第二训练集合中被识别出病变特征的训练图片用于继续训练第一神经网络模型。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器通过计算机程序执行上述的方法。
在本发明实施例中,获取到识别请求时,通过第一神经网络模型对眼底图片中的病变特征进行识别,并返回第一神经网络模型的第一识别结果,第一识别结果至少用于指示在眼底图片中识别出的病变特征,上述的神经网络模型可以软件的形式存在于计算机设备上,并快速给出识别结果,若待识别的病变特征为糖尿病视网膜病变,则可以解决相关技术中对糖尿病视网膜病变的筛查效率较低的技术问题,进而达到提高糖尿病视网膜病变的筛查效率的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的眼底图片中病变特征的识别方法的硬件环境的示意图;
图2是根据本发明实施例的一种可选的眼底图片中病变特征的识别方法的流程图;
图3是根据本发明实施例的一种可选的眼底图片中病变特征的识别方法的硬件环境的示意图;
图4是根据本发明实施例的一种可选的眼底图片中病变特征的识别方法的硬件环境的示意图;
图5是根据本发明实施例的一种可选的眼底图片中病变特征的识别方法的硬件环境的示意图;
图6是根据本发明实施例的一种可选的神经网络模型的示意图;
图7是根据本发明实施例的一种可选的正样本图像的示意图;
图8是根据本发明实施例的一种可选的负样本图像的示意图;
图9是根据本发明实施例的一种可选的眼底图片中病变特征的识别装置的示意图;
以及
图10是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一方面,提供了一种病变特征的识别方法的方法实施例。
可选地,在本实施例中,上述病变特征的识别方法可以应用于如图1所示的由服务器102和终端104所构成的硬件环境中。如图1所示,服务器102通过网络与终端104进行连接,上述网络包括但不限于:广域网、城域网或局域网,终端104并不限定于PC、手机、平板电脑等。本发明实施例的病变特征的识别方法可以由服务器102来执行,也可以由终端104来执行,还可以是由服务器102和终端104共同执行。其中,终端104执行本发明实施例的病变特征的识别方法也可以是由安装在其上的客户端来执行。
下面以在服务器上执行本申请的方法为例详述包括本申请的方法的完整流程:
步骤S11,用户终端104通过采集装置106采集目标对象的病变部位的图片(也即眼底图片)。
上述的采集装置可以为独立的图像采集设备(如摄像头、基于放射原理的成像仪),也可为集成在用户终端上的一个模块。
步骤S12,终端向服务器发送识别请求,请求对眼底图片中的病变特征进行识别,具体而言,是根据图像分析识别出病况,如病变部位、疾病类型等信息。
可选地,用户终端与服务器可以集成为同一设备,也可为分离的两个不同设备,这两个设备可存在于同一局域网中,通过局域网进行通讯;也可存在于不同的局域网中,二者通过互联网进行通讯。
可选地,服务器可以云服务器的形式存在,用户终端可以是任意的终端,如用户的手机,用户可以随时将拍摄的病变影像(眼底图片)发送给云服务器进行诊断;服务器也可作为辅助病况诊断的设备存在于医院中,成为医生诊断的好帮手。
步骤S13,根据眼底图片进行病况识别和诊断。具体方式如下:
步骤S131,通过第一神经网络模型对眼底图片中的病变特征(如病变特征)进行识别,第一神经网络模型是通过标记过的第一训练集合和未标记过的第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记。
步骤S132,返回第一神经网络模型的第一识别结果,第一识别结果至少用于指示在眼底图片中识别出的病变特征。
步骤S14,服务器返回识别结果给终端。以便于终端展示识别结果。
本申请对上述完整流程的改进主要集中在步骤S13和与步骤S13相关的步骤,下面结合图2对改进的地方进行详述:
图2是根据本发明实施例的一种可选的病变特征的识别方法的流程图,如图2所示,该方法可以包括以下步骤:
步骤S202,获取识别请求,识别请求用于请求对眼底图片中的病变特征进行识别。
采集装置采集到的图片的类型包括但不局限于:以拍摄的形式获取的黑白图片或彩色图片,电脑断层扫描得到的图像,正子发射断层扫描得到的图像,核磁共振成像得到的图像,医学超音波检查得到的图像等。
上述的眼底图片是对目标对象的疑似病患部分采集到的;上述的病变特征可以为病变特征,病变特征即病患部分的病变特征,如非增殖性糖尿病性视网膜病变区域对应的没有视网膜新生血管这一特征,增殖性糖尿病性视网膜病变区域对应的有视网膜新生血管这一特征。
步骤S204,通过第一神经网络模型对眼底图片中的病变特征进行识别,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记,使用第一训练集合训练后的第一神经网络模型用于识别第二训练集合中的训练图片的病变特征,第二训练集合中被识别出病变特征的训练图片用于继续训练第一神经网络模型。
上述的第二神经网络模型为参数未初始化的模型(如深度神经网络模型),先使用已经标记好的第一训练集合中的训练图片对第二神经网络模型进行训练,将第二神经网络模型中的参数初始化,并利用利用未标记的第二训练集合中的训练图片进行参数优化,然后得到上述第一神经网络模型。
需要说明的是,若完全使用已标记的训练图片来对第二神经网络模型进行训练,由于训练图片的需求量较大,训练图片的标记需要耗费大量的时间,而本申请的技术方案中可仅标记一部分训练图片(即第一训练集合中的图片),而其余部分的训练图片不予标记,从而可以减少模型训练的工作量。
步骤S206,返回第一神经网络模型的第一识别结果,第一识别结果至少用于指示在眼底图片中识别出的病变特征。
需要说明的是,此处的识别结果与神经网络模型的训练息息相关,如训练图片包括各类糖尿病性视网膜病变的正负样本图片,那么识别的结果为某一类或几类糖尿病性视网膜病变,而某一类糖尿病性视网膜病变是与相应的病变特征对应的(如非增殖性糖尿病性视网膜病变对应于没有视网膜新生血管,增殖性糖尿病性视网膜病变对应于有视网膜新生血管);再如,训练图片包括各类肺炎的正负样本图片,那么识别的结果即为一类或几类肺炎。训练图片还可以是其他病变类型的正负样本图片,在此不一一赘述。
通过上述步骤S202至步骤S206,获取到识别请求时,通过第一神经网络模型对眼底图片中的病变特征进行识别,并返回第一神经网络模型的第一识别结果,第一识别结果至少用于指示在眼底图片中识别出的病变特征,上述的神经网络模型可以软件的形式存在于计算机设备上,并快速给出识别结果,若待识别的病变特征为糖尿病视网膜病变,则可以解决相关技术中对糖尿病视网膜病变的筛查效率较低的技术问题,进而达到提高糖尿病视网膜病变的筛查效率的技术效果。
下面结合图2所示的步骤详述本申请的实施例:
在步骤S202提供的技术方案中,获取识别请求,识别请求用于请求对眼底图片中的病变特征进行识别。
本申请的方法可应用于医院服务器、互联网云平台、局域网内等场景,发出识别请求的终端可以直接是上述医院服务器、互联网云平台、局域网内的终端,也可以是与医院服务器、互联网云平台、局域网通讯连接的设备,例如:
如图3所示,上述的终端可以为手机、平板、笔记本等具备摄像头的用户终端,用户终端可以通过向医院服务器、互联网云平台等发送符合要求(如清晰度要求、图片大小要求、并拍摄指定的部位)的眼底图片来发起识别请求;
如图4所示,上述的终端可以为医院中其他设备(如医务人员使用的电脑、手机、多普勒成像仪等),可与上述医院服务器、互联网云平台通讯连接,医院服务器、互联网云平台可以为一个或多个医院的所有医生提供服务,医生通过上述设备将眼底图片发送给医院服务器、互联网云平台来发起识别请求,并返回识别结果来辅助医生诊断;
如图5所示,上述的终端可以为公共场所的摄像头,可与上述医院服务器、互联网云平台通讯连接,摄像头实时对人群(也即目标对象)的指定部位(如眼睛所在区域)进行拍摄,并通过将拍摄得到的眼底图片发送给医院服务器、互联网云平台来发起识别请求。
对于上述的第三种情形,可以对某些流行性急病提供快速争端,快速定位出公共场所的病患,并配合一定的提示(以提示病患)可以对急病的传播起到良好的抑制作用。
需要说明的是,本申请的识别结果是与第一神经网络模型相对应的,意即第一神经网络模型是使用某一种病变的图像训练得到的,那么第一神经网络模型可以对这一种病变进行识别。
可选地,上述的第一神经网络模型可以使用多种病变的图像进行训练,进而使得第一神经网络模型对这多种病变进行识别。一种可选的神经网络模型如图6所示,包括输入层、多个卷积层和全连接层、输出识别结果的输出层。
在步骤S204提供的技术方案中,通过第一神经网络模型对眼底图片中的病变特征进行识别,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数(具体可以是多个卷积层和全连接层中的拟合参数)进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记。
使用第一训练集合训练后的第一神经网络模型用于识别第二训练集合中的训练图片的病变特征,第二训练集合中被识别出病变特征的训练图片用于继续训练第一神经网络模型。
可选地,在通过第一神经网络模型对眼底图片中的病变特征进行识别之前,可以预先训练好第一神经网络模型:依次使用第一训练集合中的训练图片和第二训练集合中的训练图片对第二神经网络模型进行训练,并将训练完后的第二神经网络模型作为第一神经网络模型,用于对第二神经网络模型进行训练的第二训练集合中的训练图片已使用预先被第二神经网络模型识别出的病变特征标记。
在上述实施例中,依次使用第一训练集合中的训练图片和第二训练集合中的训练图片对第二神经网络模型进行训练,并将训练完后的第二神经网络模型作为第一神经网络模型具体可以通过如下方式实现:
步骤S21,使用第一训练集合中的训练图片对第二神经网络模型中的参数进行训练初始化,并将参数初始化后的第二神经网络模型作为第三神经网络模型。
需要说明的是,上述的第一训练集合中可包括正样本的训练图片和负样本的训练图片,正样本的训练图片中标识出病变特征所在的图像区域以及病变特征的病变类型;负样本的训练图片中标识出某个图像区域不包括病变特征,一种可选的正样本图像如图7所示,一种可选的负样本图像如图8所示。
例如,对于糖尿病性视网膜病变而言,可以标识出非增殖性糖尿病性视网膜病变和增殖性糖尿病性视网膜病变这两种病变类型。上述的第二神经网络模型可以从正负样本中学习到非增殖性糖尿病性视网膜病变和增殖性糖尿病性视网膜病变这两种病变类型的相关病变特征(如小波特征、纹理特征等病变特征),可以是否出现视网膜新生血管为标志,如学习到非增殖性糖尿病性视网膜病变(NPDR)(或称单纯型或背景型)没有视网膜新生血管(具体可以通过上述的病变特征进行识别出)形成,而增殖性糖尿病性视网膜病变(PDR)有视网膜新生血管形成。
可选地,上述的病变类型可以根据需要进行划分,如对于增殖性糖尿病性视网膜病变,可进一步细分为:温和非增值性糖尿病性视网膜病变、中度非增值性糖尿病性视网膜病变、重度非增值性糖尿病性视网膜病变、增值性糖尿病性视网膜病变;对于非增殖性糖尿病性视网膜病变或其他疾病也可按照类似的方式进行细分。
步骤S22,使用第三神经网络模型对第二训练集合中训练图片的病变特征进行识别,并利用第三神经网络模型的第二识别结果对第二训练集合中的训练图片进行标记,其中,第二识别结果至少用于指示在第二训练集合的训练图片中识别出的病变特征。
需要说明的是,由于第一训练集合中的训练图片的样本容量有限,所以仅通过第一训练集合中的样本来对第二神经网络模型进行训练,那么训练效果不会特别好(如体现在第二神经网络模型中的参数出现欠拟合,而不是最优值),但是若提高第一训练集合中的样本容量则会大幅增加认为打标(对训练图片进行标识)的工作量,得不偿失。
为了解决上述问题,本申请提出了一种新的训练方法,将样本分为上述的第一训练集合和第二训练集合,在第一训练集合中的训练图片对第二神经网络模型中的参数进行训练初始化(相当于初步的训练)后,第二神经网络模型具备初步的识别能力(能够对一些病变特征比较明显的图像中的病变特征进行识别),利用具备初步的识别能力的第二神经网络模型对第二训练集合中训练图片的病变特征进行识别。
可选地,利用第三神经网络模型的第二识别结果对第二训练集合中的训练图片进行标记可包括:查找第二训练集合中训练图片的所有第二识别结果中置信度最高的多个第三识别结果;利用第三识别结果对第二训练集合中对应的训练图片进行标记。
上述的第二识别结果还可用于指示识别出的病变特征属于多个病变类型中的每个类型的概率,上述的查找第二训练集合中训练图片的所有第二识别结果中置信度最高的多个(如N个)第三识别结果可以通过如下方式实现:
步骤S221,按照如下公式计算对第二训练集合中当前训练图片的第二识别结果的置信度s,
其中,PA是根据当前训练图片的第二识别结果中每个类型的概率确定的用于表示当前训练图片的重要性的参数,d是根据第三神经网络模型从当前训练图片中识别出的特征向量和第二训练集合中训练图片的特征向量确定的密度参数,v是根据第三神经网络模型从当前训练图片中识别出的特征向量和第一训练集合中训练图片的特征向量确定的多样性参数,w1和w2为预先配置好的参数。
一种可选的PA的计算公式如下:
其中,pi表示属于Nc个类型中的第i个类型的概率,i的取值为1至Nc。
一种可选的d的计算公式如下:
可使用分类模型提取第二训练集合U中图像分类层前一层的全连接层(也即与图6中的输出层或称之为分类层相邻的全连接层)的特征向量fFC,密度x与第二训练集合U中图像对应的特征向量的平均余弦距离,公式中,fFC(x)表示当前训练图片的特征向量,fFC(x′)表示U中训练图片的特征向量,M1表示第二训练集合U中训练图片的数量,运算符号“||fFC(x)|”表示向量fFC(x)的范数,||fFC(x′)||表示向量fFC(x′)的范数,它事实上是由线性赋范空间到非负实数的映射,如fFC(x)是二维向量,则“||fFC(x)|”表示向量fFC(x)的长度。
可选地,可使用K-means算法,按照上述全连接层的特征向量对U中图像的进行聚类,得到K个聚类中心,对于U中任意一幅图像x,由于已经进行了聚类,那么上述的fFC(x′)可以替换为聚类中心的特征向量,此时M1即为聚类中心(或聚类)的个数K,此方法可以大大减少整个运算的数量。
一种可选的v的计算公式如下:
可使用分类模型提取第一训练集合V中图像分类层前一层的全连接层(也即与图6中的输出层或称之为分类层相邻的全连接层)的特征向量fFC,密度x与第一训练集合V中图像对应的特征向量的平均余弦距离,公式中,fFC(x)表示当前训练图片的特征向量,fFC(x′)表示V中训练图片的特征向量,M2表示第二训练集合V中训练图片的数量。
可选地,可使用K-means算法,按照上述全连接层的特征向量对V中图像的进行聚类,得到R个聚类中心,对于V中任意一幅图像x,由于已经进行了聚类,那么上述的fFC(x′)可以替换为聚类中心的特征向量,此时M2即为聚类中心(或聚类)的个数R,此方法可以大大减少整个运算的数量。
步骤S222,获取第二训练集合中训练图片的所有第二识别结果中置信度最高的多个为第三识别结果。
需要说明的是,重要性得分(置信度)的评价指标除了不确定性、密度和多样性,还可以是其他同类指标,如梯度长度(Gradient Length)、费雪信息矩阵(FisherInformation Matrix)等。评价指标除了基于每幅图进行度量,也可基于每幅图进行数据增强后的图像集进行度量。
步骤S23,通过使用第二训练集合中被标记过的训练图片继续对第三神经网络模型进行训练来对第三神经网络模型中的参数进行重新调整,并将参数调整后的第三神经网络模型作为第一神经网络模型。
在步骤S206提供的技术方案中,返回第一神经网络模型的第一识别结果,第一识别结果至少用于指示在眼底图片中识别出的病变特征。
可选地,返回第一神经网络模型的第一识别结果可包括:返回用于表示非增殖性糖尿病性视网膜病变的第一识别结果;返回用于表示增殖性糖尿病性视网膜病变的第一识别结果。
本申请的技术方案在产品侧的应用方式包括但不局限于前台识别和后台识别,如业务逻辑将需要进行预测的患者的眼底图片传递给本申请的上述技术方案所在的服务器进行病情的分类,并根据分类结果返回病情严重程度(正常、温和非增值性、中毒非增值性、重度非增值性、增值性等),该方案可以面向医院、私人医生,辅助进行糖尿病视网膜病变的病情诊断;也可面向个人,辅助个人进行健康咨询。
采用本申请的识别方案,可加快急病诊断模型(如糖尿病视网膜病变分类模型)的收敛速度,在标注相同数量的数据的情况下,收敛程度有很大的提高;节省了人工标注的开销,训练相同质量的分类模型,使用本发明的框架时需要人工标注的数据量有很大的减少。
作为一种可选的实施例,下面以糖尿病视网膜病变(简称“糖网”)为例进行详述:
在该可选的实施例中,在对深度神经网络模型进行训练时,可循环进行如下步骤直到模型收敛:
给定无标注数据集合U(第二训练集合)和已标注数据集合L(第一训练集合)和糖网分类模型f(即第二神经网络模型),在已标注数据L上训练f;使用f对无标注集合U中数据进行预测;基于预测结果定量计算数据的不确定性、密度和多样性,得到U中每一个数据的多样性得分(也即置信度);根据多样性得分对U中数据排序,选择前N个数据进行标注并加入L中,进一步训练m。
下面结合具体的步骤详述本申请的实施例:
步骤S31,输入包含NL幅图像的已标注数据集L,在L上训练糖尿病视网膜病变分类模型f。
步骤S32,给定包含NU幅眼底图像的未标注数据集U,将U中的眼底图像(即训练图片)输入分类模型f预测分类结果P,其中P是一个Nu*Nc的矩阵(其中Nu的取值为不大于图像数量NU的正整数),行向量中每一维分别代表模型预测当前图片属于第Ni(Ni为不大于类别数量Nc的常数)个类别的概率大小。
此处的Nc个类别可以是上述的非增殖性糖尿病性视网膜病变和增殖性糖尿病性视网膜病变这两种病变类型,也可是更为细分的类型。
步骤S33,根据模型f对未标注数据的预测结果,给定U中任意一幅眼底图像的预测结果p,使用下述三个指标来评定U中每幅图像的重要性。
(1)不确定性PA
pi表示该眼底图像属于第Ni个的概率,具体是由模型输出的。
(2)密度d
可使用分类模型f提取U中眼底图像的图像分类层前一层全连接层的特征向量;并使用K-means算法对U中图像的这一特征进行聚类,得到K个聚类中心。
对于U中任意一幅眼底图像x,对于U中任意一幅图像x,其密度x与U中图像对应的特征向量的平均余弦距离,计算公式如下:
其中,fFC表示抽取图像最后一层全连接层的特征。
(3)多样性
使用分类模型提取L中图像最后一层全连接层的特征。
使用K-means算法对L中图像的这一特征进行聚类,得到K个聚类中心。
对于U中任意一幅图像x,其多样性计算公式如下:
步骤S34,使用下述公式融合三个指标得到每幅图像的重要性得分s(或称为置信度):
其中,w1,w2是各项指标的权重或预先设置好的参数,如w1为0.5,w2为0.3,或w1为0.8,w2为0.1,或w1为0.4,w2为0.6等,具体可以根据实际情况进行调整。
步骤S35,对U中图像根据s进行排序,选择前N幅图像进行标注,更新U。
步骤S36,将新标注的图像加入训练集L中,返回步骤601开始新一轮迭代。
需要说明的是,可以根据需要进行多轮迭代,从而可以提高神经网络模型的识别准确率。
在训练好上述神经网络模型之后,可以将应用于如图1、图3至图5所示的场景,用户在手机终端上拍摄病变部位的图像上传,并接收神经网络模型返回的识别结果,如非增殖性糖尿病性视网膜病变的概率为90%,增殖性糖尿病性视网膜病变的概率为5%,整除的概率为5%。
若使用有监督学习方法训练糖尿病视网膜病变的眼底图像分类模型(即上述的第一神经网络模型)则会产生如下缺陷:
1)糖尿病视网膜病变分类模型的性能取决于人工标注的数据的规模,高质量的分类模型需要使用大规模标注数据进行训练;
2)糖尿病视网膜病变分类模型的训练方法未考虑标注人员会在训练过程中加入新标注数据,只考虑了在一个固定不变的训练集下进行一次性训练的场景;
3)糖尿病视网膜病变分类模型缺乏自动化地挑选高质量的未标注数据提供给标注人员产生新训练数据的机制。
而在本申请的实施例中,不需要大量已知分类的人工标注数据作为训练样本,能够自动化地、有目的性地选择使模型以最快速度收敛的数据进行标注,用于下一阶段的训练。这一方法能够大幅减少模型训练收敛前需要的标注数据的数量,有效缩减了训练中人工标注数据产生的开销,达到使用最少的标注数据训练优质的模型的目的。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面,还提供了一种用于实施上述病变特征的识别方法的病变特征的识别装置。图9是根据本发明实施例的一种可选的病变特征的识别装置的示意图,如图9所示,该装置可以包括:获取单元91、识别单元93以及返回单元95。
获取单元91,用于获取识别请求,其中,识别请求用于请求对眼底图片中的病变特征进行识别。
采集装置采集到的图片的类型包括但不局限于:以拍摄的形式获取的黑白图片或彩色图片,电脑断层扫描得到的图像,正子发射断层扫描得到的图像,核磁共振成像得到的图像,医学超音波检查得到的图像等。
上述的眼底图片是对目标对象的疑似病患部分采集到的;病变特征即病患部分的特征,如非增殖性糖尿病性视网膜病变区域对应的没有视网膜新生血管这一特征,增殖性糖尿病性视网膜病变区域对应的有视网膜新生血管这一特征。
识别单元93,用于通过第一神经网络模型对眼底图片中的病变特征进行识别,其中,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记。
使用第一训练集合训练后的第一神经网络模型用于识别第二训练集合中的训练图片的病变特征,第二训练集合中被识别出病变特征的训练图片用于继续训练第一神经网络模型。
上述的第二神经网络模型为参数未初始化的模型(如深度神经网络模型),先使用已经标记好的第一训练集合中的训练图片对第二神经网络模型进行训练,将第二神经网络模型中的参数初始化,并利用利用未标记的第二训练集合中的训练图片进行参数优化,然后得到上述第一神经网络模型。
需要说明的是,若完全使用已标记的训练图片来对第二神经网络模型进行训练,由于训练图片的需求量较大,训练图片的标记需要耗费大量的时间,而本申请的技术方案中可仅标记一部分训练图片(即第一训练集合中的图片),而其余部分的训练图片不予标记,从而可以减少模型训练的工作量。
返回单元95,用于返回第一神经网络模型的第一识别结果,其中,第一识别结果至少用于指示在眼底图片中识别出的病变特征。
需要说明的是,此处的识别结果与神经网络模型的训练息息相关,如训练图片包括各类糖尿病性视网膜病变的正负样本图片,那么识别的结果为某一类或几类糖尿病性视网膜病变,而某一类糖尿病性视网膜病变是与相应的病变特征对应的(如非增殖性糖尿病性视网膜病变对应于没有视网膜新生血管,增殖性糖尿病性视网膜病变对应于有视网膜新生血管);再如,训练图片包括各类肺炎的正负样本图片,那么识别的结果即为一类或几类肺炎。训练图片还可以是其他病变类型的正负样本图片,在此不一一赘述。
需要说明的是,该实施例中的获取单元91可以用于执行本申请实施例中的步骤S202,该实施例中的识别单元93可以用于执行本申请实施例中的步骤S204,该实施例中的返回单元95可以用于执行本申请实施例中的步骤S206。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。
通过上述模块,获取到识别请求时,通过第一神经网络模型对眼底图片中的病变特征进行识别,并返回第一神经网络模型的第一识别结果,第一识别结果至少用于指示在眼底图片中识别出的病变特征,上述的神经网络模型可以软件的形式存在于计算机设备上,并快速给出识别结果,若待识别的病变特征(如病变特征)为糖尿病视网膜病变,则可以解决相关技术中对糖尿病视网膜病变的筛查效率较低的技术问题,进而达到提高糖尿病视网膜病变的筛查效率的技术效果。
可选地,本申请的装置还可包括训练单元,用于在通过第一神经网络模型对眼底图片中的病变特征进行识别之前,依次使用第一训练集合中的训练图片和第二训练集合中的训练图片对第二神经网络模型进行训练,并将训练完后的第二神经网络模型作为第一神经网络模型,其中,用于对第二神经网络模型进行训练的第二训练集合中的训练图片已使用预先被第二神经网络模型识别出的病变特征标记。
上述的训练单元可包括如下模型:
第一训练模块,用于使用第一训练集合中的训练图片对第二神经网络模型中的参数进行训练初始化,并将参数初始化后的第二神经网络模型作为第三神经网络模型;
识别标记模块,用于使用第三神经网络模型对第二训练集合中训练图片的病变特征进行识别,并利用第三神经网络模型的第二识别结果对第二训练集合中的训练图片进行标记,其中,第二识别结果至少用于指示在第二训练集合的训练图片中识别出的病变特征;
第二训练模块,用于通过使用第二训练集合中被标记过的训练图片继续对第三神经网络模型进行训练来对第三神经网络模型中的参数进行重新调整,并将参数调整后的第三神经网络模型作为第一神经网络模型。
可选地,上述识别标记模块可包括:查找子模块,用于查找第二训练集合中训练图片的所有第二识别结果中置信度最高的多个第三识别结果;标记子模块,用于利用第三识别结果对第二训练集合中对应的训练图片进行标记。
可选地,上述的第二识别结果用于指示识别出的病变特征(也即病变特征)属于多个病变类型中的每个类型的概率,其中,查找子模块还可用于:
按照如下公式计算对第二训练集合中当前训练图片的第二识别结果的置信度s,
其中,u是根据当前训练图片的第二识别结果中每个类型的概率确定的用于表示当前训练图片的重要性的参数,d是根据第三神经网络模型从当前训练图片中识别出的特征向量和第二训练集合中训练图片的特征向量确定的密度参数,v是根据第三神经网络模型从当前训练图片中识别出的特征向量和第一训练集合中训练图片的特征向量确定的多样性参数,w1和w2为预先配置好的参数;
并获取第二训练集合中训练图片的所有第二识别结果中置信度最高的多个为第三识别结果。
可选地,返回单元还用于返回用于表示识别出的病变特征的病变类型和识别出的病变特征属于病变类型的置信度的第一识别结果。
可选地,返回单元还用于返回用于表示非增殖性糖尿病性视网膜病变的第一识别结果;和/或,返回用于表示增殖性糖尿病性视网膜病变的第一识别结果。
若使用有监督学习方法训练糖尿病视网膜病变的眼底图像分类模型(即上述的第一神经网络模型)则会产生如下缺陷:
1)糖尿病视网膜病变分类模型的性能取决于人工标注的数据的规模,高质量的分类模型需要使用大规模标注数据进行训练;
2)糖尿病视网膜病变分类模型的训练方法未考虑标注人员会在训练过程中加入新标注数据,只考虑了在一个固定不变的训练集下进行一次性训练的场景;
3)糖尿病视网膜病变分类模型缺乏自动化地挑选高质量的未标注数据提供给标注人员产生新训练数据的机制。
而在本申请的实施例中,不需要大量已知分类的人工标注数据作为训练样本,能够自动化地、有目的性地选择使模型以最快速度收敛的数据进行标注,用于下一阶段的训练。这一方法能够大幅减少模型训练收敛前需要的标注数据的数量,有效缩减了训练中人工标注数据产生的开销,达到使用最少的标注数据训练优质的模型的目的。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本发明实施例的另一个方面,还提供了一种用于实施上述病变特征的识别方法的服务器或终端。
图10是根据本发明实施例的一种终端的结构框图,如图10所示,该终端可以包括:一个或多个(图10中仅示出一个)处理器1001、存储器1003、以及传输装置1005(如上述实施例中的发送装置),如图10所示,该终端还可以包括输入输出设备1007。
其中,存储器1003可用于存储软件程序以及模块,如本发明实施例中的病变特征的识别方法和装置对应的程序指令/模块,处理器1001通过运行存储在存储器1003内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的病变特征的识别方法。存储器1003可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1003可进一步包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1005用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1005包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1005为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器1003用于存储应用程序。
处理器1001可以通过传输装置1005调用存储器1003存储的应用程序,以执行下述步骤:
获取识别请求,其中,识别请求用于请求对眼底图片中的病变特征进行识别;
通过第一神经网络模型对眼底图片中的病变特征进行识别,其中,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记,使用第一训练集合训练后的第一神经网络模型用于识别第二训练集合中的训练图片的病变特征,第二训练集合中被识别出病变特征的训练图片用于继续训练第一神经网络模型;
返回第一神经网络模型的第一识别结果,其中,第一识别结果至少用于指示在眼底图片中识别出的病变特征。
处理器1001还用于执行下述步骤:
使用第一训练集合中的训练图片对第二神经网络模型中的参数进行训练初始化,并将参数初始化后的第二神经网络模型作为第三神经网络模型;
使用第三神经网络模型对第二训练集合中训练图片的病变特征进行识别,并利用第三神经网络模型的第二识别结果对第二训练集合中的训练图片进行标记,其中,第二识别结果至少用于指示在第二训练集合的训练图片中识别出的病变特征;
通过使用第二训练集合中被标记过的训练图片继续对第三神经网络模型进行训练来对第三神经网络模型中的参数进行重新调整,并将参数调整后的第三神经网络模型作为第一神经网络模型。
采用本发明实施例,获取到识别请求时,通过第一神经网络模型对眼底图片中的病变特征进行识别,并返回第一神经网络模型的第一识别结果,第一识别结果至少用于指示在眼底图片中识别出的病变特征,上述的神经网络模型可以软件的形式存在于计算机设备上,并快速给出识别结果,若待识别的病变特征(如病变特征)为糖尿病视网膜病变,则可以解决相关技术中对糖尿病视网膜病变的筛查效率较低的技术问题,进而达到提高糖尿病视网膜病变的筛查效率的技术效果。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图10所示的结构仅为示意,终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices,MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如,终端还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图10所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行病变特征的识别方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S41,获取识别请求,其中,识别请求用于请求对眼底图片中的病变特征进行识别;
S42,通过第一神经网络模型对眼底图片中的病变特征进行识别,其中,第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,第一训练集合中训练图片的病变特征已经被标记、且第二训练集合中训练图片的病变特征未被标记,使用第一训练集合训练后的第一神经网络模型用于识别第二训练集合中的训练图片的病变特征,第二训练集合中被识别出病变特征的训练图片用于继续训练第一神经网络模型;
S43,返回第一神经网络模型的第一识别结果,其中,第一识别结果至少用于指示在眼底图片中识别出的病变特征。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S51,使用第一训练集合中的训练图片对第二神经网络模型中的参数进行训练初始化,并将参数初始化后的第二神经网络模型作为第三神经网络模型;
S52,使用第三神经网络模型对第二训练集合中训练图片的病变特征进行识别,并利用第三神经网络模型的第二识别结果对第二训练集合中的训练图片进行标记,其中,第二识别结果至少用于指示在第二训练集合的训练图片中识别出的病变特征;
S53,通过使用第二训练集合中被标记过的训练图片继续对第三神经网络模型进行训练来对第三神经网络模型中的参数进行重新调整,并将参数调整后的第三神经网络模型作为第一神经网络模型。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种病变特征的识别方法,其特征在于,包括:
获取识别请求,其中,所述识别请求用于请求对眼底图片中的病变特征进行识别;
通过第一神经网络模型对所述眼底图片中的病变特征进行识别,其中,所述第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,所述第一训练集合中训练图片的病变特征已经被标记、且所述第二训练集合中训练图片的病变特征未被标记,使用所述第一训练集合训练后的所述第一神经网络模型用于识别所述第二训练集合中的训练图片的病变特征,所述第二训练集合中被识别出病变特征的训练图片用于继续训练所述第一神经网络模型;
返回所述第一神经网络模型的第一识别结果,其中,所述第一识别结果至少用于指示在所述眼底图片中识别出的病变特征。
2.根据权利要求1所述的方法,其特征在于,在通过第一神经网络模型对所述眼底图片中的病变特征进行识别之前,所述方法还包括:
依次使用所述第一训练集合中的训练图片和所述第二训练集合中的训练图片对所述第二神经网络模型进行训练,并将训练完后的所述第二神经网络模型作为所述第一神经网络模型,其中,用于对所述第二神经网络模型进行训练的所述第二训练集合中的训练图片已使用预先被所述第二神经网络模型识别出的病变特征标记。
3.根据权利要求2所述的方法,其特征在于,依次使用所述第一训练集合中的训练图片和所述第二训练集合中的训练图片对所述第二神经网络模型进行训练,并将训练完后的所述第二神经网络模型作为所述第一神经网络模型包括:
使用所述第一训练集合中的训练图片对所述第二神经网络模型中的参数进行训练初始化,并将参数初始化后的所述第二神经网络模型作为第三神经网络模型;
使用所述第三神经网络模型对所述第二训练集合中训练图片的病变特征进行识别,并利用所述第三神经网络模型的第二识别结果对所述第二训练集合中的训练图片进行标记,其中,所述第二识别结果至少用于指示在所述第二训练集合的训练图片中识别出的病变特征;
通过使用所述第二训练集合中被标记过的训练图片继续对所述第三神经网络模型进行训练来对所述第三神经网络模型中的参数进行重新调整,并将参数调整后的所述第三神经网络模型作为所述第一神经网络模型。
4.根据权利要求3所述的方法,其特征在于,利用所述第三神经网络模型的第二识别结果对所述第二训练集合中的训练图片进行标记包括:
查找所述第二训练集合中训练图片的所有第二识别结果中置信度最高的多个第三识别结果;
利用所述第三识别结果对所述第二训练集合中对应的训练图片进行标记。
5.根据权利要求4所述的方法,其特征在于,所述第二识别结果用于指示识别出的病变特征属于多个病变类型中的每个类型的概率,其中,查找所述第二训练集合中训练图片的所有第二识别结果中置信度最高的多个第三识别结果包括:
按照如下公式计算对所述第二训练集合中当前训练图片的所述第二识别结果的置信度s,
其中,PA是根据所述当前训练图片的所述第二识别结果中每个类型的概率确定的用于表示所述当前训练图片的重要性的参数,d是根据所述第三神经网络模型从所述当前训练图片中识别出的特征向量和所述第二训练集合中训练图片的特征向量确定的密度参数,v是根据所述第三神经网络模型从所述当前训练图片中识别出的特征向量和所述第一训练集合中训练图片的特征向量确定的多样性参数,w1和w2为预先配置好的参数;
获取所述第二训练集合中训练图片的所有所述第二识别结果中置信度最高的多个为所述第三识别结果。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述返回所述第一神经网络模型的第一识别结果包括:
返回用于表示识别出的病变特征的病变类型和识别出的病变特征属于所述病变类型的置信度的第一识别结果。
7.根据权利要求1至5中任意一项所述的方法,其特征在于,所述返回所述第一神经网络模型的第一识别结果包括:
返回用于表示非增殖性糖尿病性视网膜病变的所述第一识别结果;和/或,
返回用于表示增殖性糖尿病性视网膜病变的所述第一识别结果。
8.一种病变特征的识别装置,其特征在于,包括:
获取单元,用于获取识别请求,其中,所述识别请求用于请求对眼底图片中的病变特征进行识别;
识别单元,用于通过第一神经网络模型对所述眼底图片中的病变特征进行识别,其中,所述第一神经网络模型是通过第一训练集合和第二训练集合对第二神经网络模型中的参数进行训练后得到的,所述第一训练集合中训练图片的病变特征已经被标记、且所述第二训练集合中训练图片的病变特征未被标记,使用所述第一训练集合训练后的所述第一神经网络模型用于识别所述第二训练集合中的训练图片的病变特征,所述第二训练集合中被识别出病变特征的训练图片用于继续训练所述第一神经网络模型;
返回单元,用于返回所述第一神经网络模型的第一识别结果,其中,所述第一识别结果至少用于指示在所述眼底图片中识别出的病变特征。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
训练单元,用于在通过第一神经网络模型对所述眼底图片中的病变特征进行识别之前,依次使用所述第一训练集合中的训练图片和所述第二训练集合中的训练图片对所述第二神经网络模型进行训练,并将训练完后的所述第二神经网络模型作为所述第一神经网络模型,其中,用于对所述第二神经网络模型进行训练的所述第二训练集合中的训练图片已使用预先被所述第二神经网络模型识别出的病变特征标记。
10.根据权利要求9所述的装置,其特征在于,所述训练单元包括:
第一训练模块,用于使用所述第一训练集合中的训练图片对所述第二神经网络模型中的参数进行训练初始化,并将参数初始化后的所述第二神经网络模型作为第三神经网络模型;
识别标记模块,用于使用所述第三神经网络模型对所述第二训练集合中训练图片的病变特征进行识别,并利用所述第三神经网络模型的第二识别结果对所述第二训练集合中的训练图片进行标记,其中,所述第二识别结果至少用于指示在所述第二训练集合的训练图片中识别出的病变特征;
第二训练模块,用于通过使用所述第二训练集合中被标记过的训练图片继续对所述第三神经网络模型进行训练来对所述第三神经网络模型中的参数进行重新调整,并将参数调整后的所述第三神经网络模型作为所述第一神经网络模型。
11.根据权利要求10所述的装置,其特征在于,所述识别标记模块包括:
查找子模块,用于查找所述第二训练集合中训练图片的所有第二识别结果中置信度最高的多个第三识别结果;
标记子模块,用于利用所述第三识别结果对所述第二训练集合中对应的训练图片进行标记。
12.根据权利要求11所述的装置,其特征在于,所述第二识别结果用于指示识别出的病变特征属于多个病变类型中的每个类型的概率,其中,所述查找子模块还用于:
按照如下公式计算对所述第二训练集合中当前训练图片的所述第二识别结果的置信度s,
其中,u是根据所述当前训练图片的所述第二识别结果中每个类型的概率确定的用于表示所述当前训练图片的重要性的参数,d是根据所述第三神经网络模型从所述当前训练图片中识别出的特征向量和所述第二训练集合中训练图片的特征向量确定的密度参数,v是根据所述第三神经网络模型从所述当前训练图片中识别出的特征向量和所述第一训练集合中训练图片的特征向量确定的多样性参数,w1和w2为预先配置好的参数;
获取所述第二训练集合中训练图片的所有所述第二识别结果中置信度最高的多个为所述第三识别结果。
13.根据权利要求8所述的装置,其特征在于,所述返回单元还用于返回用于表示识别出的病变特征的病变类型和识别出的病变特征属于所述病变类型的置信度的所述第一识别结果。
14.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
15.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910697322.9A CN110349156B (zh) | 2017-11-30 | 2017-11-30 | 眼底图片中病变特征的识别方法和装置、存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910697322.9A CN110349156B (zh) | 2017-11-30 | 2017-11-30 | 眼底图片中病变特征的识别方法和装置、存储介质 |
CN201711244421.9A CN108230296B (zh) | 2017-11-30 | 2017-11-30 | 图像特征的识别方法和装置、存储介质、电子装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711244421.9A Division CN108230296B (zh) | 2017-11-30 | 2017-11-30 | 图像特征的识别方法和装置、存储介质、电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110349156A true CN110349156A (zh) | 2019-10-18 |
CN110349156B CN110349156B (zh) | 2023-05-30 |
Family
ID=62653179
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910697322.9A Active CN110349156B (zh) | 2017-11-30 | 2017-11-30 | 眼底图片中病变特征的识别方法和装置、存储介质 |
CN201711244421.9A Active CN108230296B (zh) | 2017-11-30 | 2017-11-30 | 图像特征的识别方法和装置、存储介质、电子装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711244421.9A Active CN108230296B (zh) | 2017-11-30 | 2017-11-30 | 图像特征的识别方法和装置、存储介质、电子装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11526983B2 (zh) |
CN (2) | CN110349156B (zh) |
WO (1) | WO2019105218A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853021A (zh) * | 2019-11-13 | 2020-02-28 | 江苏迪赛特医疗科技有限公司 | 一种病理鳞状上皮细胞的检测分类模型的构建 |
CN111402246A (zh) * | 2020-03-20 | 2020-07-10 | 北京工业大学 | 一种基于联合网络的眼底图像分类方法 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11200665B2 (en) * | 2017-08-02 | 2021-12-14 | Shanghai Sixth People's Hospital | Fundus image processing method, computer apparatus, and storage medium |
CN110349156B (zh) * | 2017-11-30 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 眼底图片中病变特征的识别方法和装置、存储介质 |
WO2020062262A1 (en) | 2018-09-30 | 2020-04-02 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for generating a neural network model for image processing |
CN110163236B (zh) * | 2018-10-15 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 模型的训练方法和装置、存储介质、电子装置 |
CN109670524A (zh) * | 2018-10-30 | 2019-04-23 | 银河水滴科技(北京)有限公司 | 一种基于云平台和模型智能推荐的图像识别方法及系统 |
CN109670532B (zh) * | 2018-11-23 | 2022-12-09 | 腾讯医疗健康(深圳)有限公司 | 生物体器官组织图像的异常识别方法、装置及系统 |
CN111325067B (zh) * | 2018-12-14 | 2023-07-07 | 北京金山云网络技术有限公司 | 违规视频的识别方法、装置及电子设备 |
CN110009109B (zh) * | 2019-03-01 | 2021-09-10 | 上海拍拍贷金融信息服务有限公司 | 用于预测用户逾期还款概率的模型预测方法及相关设备 |
CN111723617B (zh) * | 2019-03-20 | 2023-10-27 | 顺丰科技有限公司 | 动作识别的方法、装置、设备及存储介质 |
CN110222710B (zh) * | 2019-04-30 | 2022-03-08 | 北京深演智能科技股份有限公司 | 数据处理方法、装置及存储介质 |
CN110427870A (zh) * | 2019-06-10 | 2019-11-08 | 腾讯医疗健康(深圳)有限公司 | 眼部图片识别方法、目标识别模型训练方法及装置 |
CN110349147B (zh) * | 2019-07-11 | 2024-02-02 | 腾讯医疗健康(深圳)有限公司 | 模型的训练方法、眼底黄斑区病变识别方法、装置及设备 |
CN111091106B (zh) * | 2019-12-23 | 2023-10-10 | 浙江大华技术股份有限公司 | 图像聚类方法及装置、存储介质、电子装置 |
CN111144483B (zh) * | 2019-12-26 | 2023-10-17 | 歌尔股份有限公司 | 一种图像特征点过滤方法以及终端 |
CN111096727B (zh) * | 2019-12-31 | 2021-02-26 | 上海市第十人民医院 | 妊高症的检测方法、系统、电子设备和存储介质 |
CN112078593B (zh) * | 2020-07-24 | 2021-12-21 | 西安电子科技大学 | 基于多种网络协同模型的自动驾驶系统及方法 |
CN112001321A (zh) * | 2020-08-25 | 2020-11-27 | 商汤国际私人有限公司 | 网络训练、行人重识别方法及装置、电子设备和存储介质 |
CN112200218B (zh) * | 2020-09-10 | 2023-06-20 | 浙江大华技术股份有限公司 | 一种模型训练方法、装置及电子设备 |
CN112116001B (zh) * | 2020-09-17 | 2022-06-07 | 苏州浪潮智能科技有限公司 | 图像识别方法、装置及计算机可读存储介质 |
CN112183613B (zh) * | 2020-09-24 | 2024-03-22 | 杭州睿琪软件有限公司 | 对象识别方法和设备与非暂态计算机可读存储介质 |
CN112149740B (zh) * | 2020-09-25 | 2021-12-28 | 上海商汤智能科技有限公司 | 目标重识别方法、装置、存储介质及设备 |
CN112365465B (zh) * | 2020-11-09 | 2024-02-06 | 浙江大华技术股份有限公司 | 合成图像类别确定方法、装置、存储介质及电子装置 |
CN112541906B (zh) * | 2020-12-17 | 2022-10-25 | 上海鹰瞳医疗科技有限公司 | 一种数据处理的方法及装置、电子设备、存储介质 |
CN113111962A (zh) * | 2021-04-27 | 2021-07-13 | 青岛农业大学 | 一种基于神经网络和特征匹配的果蔬识别方法 |
CN114841970B (zh) * | 2022-05-09 | 2023-07-18 | 抖音视界有限公司 | 检查图像的识别方法、装置、可读介质和电子设备 |
CN116167990A (zh) * | 2023-01-28 | 2023-05-26 | 阿里巴巴(中国)有限公司 | 基于图像的目标识别、神经网络模型处理方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110135166A1 (en) * | 2009-06-02 | 2011-06-09 | Harry Wechsler | Face Authentication Using Recognition-by-Parts, Boosting, and Transduction |
CN104464620A (zh) * | 2014-11-14 | 2015-03-25 | 北京智谷睿拓技术服务有限公司 | 图像显示控制方法和装置、显示设备 |
CN105528595A (zh) * | 2016-02-01 | 2016-04-27 | 成都通甲优博科技有限责任公司 | 在无人机航拍图像中对输电线路绝缘子的识别定位方法 |
CN105844283A (zh) * | 2015-01-16 | 2016-08-10 | 阿里巴巴集团控股有限公司 | 用于识别图像类目归属的方法、图像搜索方法及装置 |
US20170161633A1 (en) * | 2015-12-07 | 2017-06-08 | Xerox Corporation | Transductive adaptation of classifiers without source data |
US20170220897A1 (en) * | 2016-02-02 | 2017-08-03 | Xerox Corporation | Domain adaptation by multi-noising stacked marginalized denoising encoders |
CN107203778A (zh) * | 2017-05-05 | 2017-09-26 | 平安科技(深圳)有限公司 | 视网膜病变程度等级检测系统及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105989352B (zh) | 2015-03-06 | 2019-08-20 | 华为技术有限公司 | 图像识别加速器、终端设备及图像识别方法 |
US10115194B2 (en) * | 2015-04-06 | 2018-10-30 | IDx, LLC | Systems and methods for feature detection in retinal images |
CN106203298A (zh) * | 2016-06-30 | 2016-12-07 | 北京集创北方科技股份有限公司 | 生物特征识别方法及装置 |
CN106897738B (zh) * | 2017-01-22 | 2019-07-16 | 华南理工大学 | 一种基于半监督学习的行人检测方法 |
US11537869B2 (en) * | 2017-02-17 | 2022-12-27 | Twitter, Inc. | Difference metric for machine learning-based processing systems |
CN107145903A (zh) * | 2017-04-28 | 2017-09-08 | 武汉理工大学 | 一种基于卷积神经网络图片特征提取的船舶类型识别方法 |
EP3399465A1 (en) * | 2017-05-05 | 2018-11-07 | Dassault Systèmes | Forming a dataset for fully-supervised learning |
CN113284101A (zh) * | 2017-07-28 | 2021-08-20 | 新加坡国立大学 | 修改用于深度学习模型的视网膜眼底图像的方法 |
CN110349156B (zh) * | 2017-11-30 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 眼底图片中病变特征的识别方法和装置、存储介质 |
-
2017
- 2017-11-30 CN CN201910697322.9A patent/CN110349156B/zh active Active
- 2017-11-30 CN CN201711244421.9A patent/CN108230296B/zh active Active
-
2018
- 2018-11-13 WO PCT/CN2018/115168 patent/WO2019105218A1/zh active Application Filing
-
2020
- 2020-04-23 US US16/856,739 patent/US11526983B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110135166A1 (en) * | 2009-06-02 | 2011-06-09 | Harry Wechsler | Face Authentication Using Recognition-by-Parts, Boosting, and Transduction |
CN104464620A (zh) * | 2014-11-14 | 2015-03-25 | 北京智谷睿拓技术服务有限公司 | 图像显示控制方法和装置、显示设备 |
CN105844283A (zh) * | 2015-01-16 | 2016-08-10 | 阿里巴巴集团控股有限公司 | 用于识别图像类目归属的方法、图像搜索方法及装置 |
US20170161633A1 (en) * | 2015-12-07 | 2017-06-08 | Xerox Corporation | Transductive adaptation of classifiers without source data |
CN105528595A (zh) * | 2016-02-01 | 2016-04-27 | 成都通甲优博科技有限责任公司 | 在无人机航拍图像中对输电线路绝缘子的识别定位方法 |
US20170220897A1 (en) * | 2016-02-02 | 2017-08-03 | Xerox Corporation | Domain adaptation by multi-noising stacked marginalized denoising encoders |
CN107203778A (zh) * | 2017-05-05 | 2017-09-26 | 平安科技(深圳)有限公司 | 视网膜病变程度等级检测系统及方法 |
Non-Patent Citations (2)
Title |
---|
ZHIHUAWEI ET AL.: "Semi-supervised multi-label image classification based on nearest neighbor editing", 《NEUROCOMPUTING》 * |
刘孝良: "基于半监督学习的随机森林算法研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853021A (zh) * | 2019-11-13 | 2020-02-28 | 江苏迪赛特医疗科技有限公司 | 一种病理鳞状上皮细胞的检测分类模型的构建 |
CN111402246A (zh) * | 2020-03-20 | 2020-07-10 | 北京工业大学 | 一种基于联合网络的眼底图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108230296B (zh) | 2023-04-07 |
CN108230296A (zh) | 2018-06-29 |
CN110349156B (zh) | 2023-05-30 |
WO2019105218A1 (zh) | 2019-06-06 |
US11526983B2 (en) | 2022-12-13 |
US20200250821A1 (en) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110349156A (zh) | 眼底图片中病变特征的识别方法和装置、存储介质 | |
EP3445250B1 (en) | Echocardiographic image analysis | |
JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
CN113011485B (zh) | 多模态多病种长尾分布眼科疾病分类模型训练方法和装置 | |
CN110121749A (zh) | 用于图像采集的深度学习医疗系统和方法 | |
CN106530295A (zh) | 一种视网膜病变的眼底图像分类方法和装置 | |
Liao et al. | On modelling label uncertainty in deep neural networks: automatic estimation of intra-observer variability in 2d echocardiography quality assessment | |
CN105393252A (zh) | 生理数据采集和分析 | |
CN103959358B (zh) | 一种医疗培训方法及系统 | |
CN107624193A (zh) | 腹腔镜和内窥镜2d/2.5d图像数据中语义分割的方法和系统 | |
CN109069100A (zh) | 超声成像系统及其方法 | |
CN109411086A (zh) | 眼底图像病变的筛查系统 | |
CN110458217A (zh) | 图像识别方法及装置、眼底图像识别方法和电子设备 | |
CN110414607A (zh) | 胶囊内窥镜图像的分类方法、装置、设备及介质 | |
CN110326024A (zh) | 用于处理由医学成像装置捕获的组织学图像的方法和装置 | |
CN109377441A (zh) | 具有隐私保护功能的舌像采集方法和系统 | |
CN110097128A (zh) | 医学图像分类装置及系统 | |
CN110338763A (zh) | 一种智能中医诊测的图像处理方法及装置 | |
EP4022496A1 (en) | System and method for identification, labeling, and tracking of a medical instrument | |
CN109508755A (zh) | 一种基于图像认知的心理测评方法 | |
Chaabouni et al. | Prediction of visual attention with deep CNN on artificially degraded videos for studies of attention of patients with Dementia | |
CN110338759A (zh) | 一种正面疼痛表情数据采集方法 | |
CN115719334A (zh) | 基于人工智能的医学影像评价方法、装置、设备及介质 | |
CN110473176A (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
CN109480775A (zh) | 一种基于人工智能的新生儿黄疸识别装置、设备、系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |