具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能(Artificial Intelligence,简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,简称CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,简称ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
根据本发明实施例的一个方面,提供了一种切片图像识别方法,可选地,作为一种可选的实施方式,上述切片图像识别方法可以但不限于应用于如图1所示的环境中。其中,可以但不限于包括用户设备102、网络110及服务器112,其中,该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。显示器108可以但不限于显示多张切片扫描图像,其中,多张切片扫描图像包括目标扫描图像1022。
具体过程可如下步骤:
步骤S102,在显示在显示器108中的显示画面上,显示有多张切片扫描图像,获取在用户设备102中触发的识别请求,其中,识别请求用于请求识别目标扫描图像1022,目标扫描图像1022为生物组织切片的扫描图像;
步骤S104-S106,用户设备102通过网络110将识别请求发送给服务器112;
步骤S108,服务器112通过数据库114查找与识别请求对应的目标图像数据,并通过处理引擎116将目标图像数据进行处理,从而生成目标识别结果,其中,目标图像数据为目标扫描图像1022的图像数据;
步骤S110-S112,服务器112通过网络110将目标识别结果发送给用户设备102,用户设备102中的处理器106根据目标识别结果生成目标扫描图像1022的诊断信息,并将该诊断信息显示在显示器108中,以及将该诊断信息存储在存储器104中,其中,该诊断信息用于表示目标扫描图像1022对应的生物组织切片为阳性/阴性。可选的,目标图像数据还可以但不限于由用户设备102通过网络110发送给服务器112,在此仅为举例说明,并不做限定。
可选地,作为一种可选的实施方式,如图2所示,切片图像识别方法包括:
S202,获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;
S204,对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;
S206,从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;
S208,基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;
S210,基于病理特征得到目标扫描图像的识别结果。
可选地,在本实施例中,切片图像识别方法可以但不限于应用在宫颈液基细胞诊断场景下,例如,先将宫颈液基细胞扫描成全视野数字切片(whole slide images,简称WSI),然后使用上述切片图像识别方法对WSI进行预测,从而排除掉阴性切片,筛选出阳性切片,并把阳性切片中对应的阳性细胞区域提供给病理医生做最后的诊断。换言之,上述切片图像识别方法可以但不限于辅助病理医生进行宫颈液基细胞诊断,并减少病理医生的工作量,提升病理医生的工作效率,也可以但不限于代替病理医生进行宫颈液基细胞诊断,以自动排除掉阴性切片,筛选出阳性切片,以及记录阳性切片中对应的阳性细胞区域,进而实现了提高宫颈液基细胞的诊断效率的效果。
可选的,在本实施例中,生物组织切片可以但不限于利用特征刀具把生物体的组织切成可识别的薄片,以在显微镜下观察和研究,进一步在医学检查中,生物组织切片可以但不限于为病理切片,其中,病理切片可以但不限于包括阴性切片和阳性切片,阴性切片一般来说是代表正常,阳性切片代表有问题,阴性和阳性在医学上使用得较多,已成为一种术语,是泛指存在与否,或用来表示某种检查的结果。可选的,目标切片可以但不限于为病理切片,其中,病理切片可以但不限于为对一定大小的病变组织,用病理组织学方法制成的切片,在传统方法中,需用显微镜进一步检查病变,其病变的发生发展过程,最后由病理医生做出病理诊断。
可选地,在本实施例中,候选细胞可以但不限于阳性细胞,或为阳性细胞所在的区域。可选的,候选细胞可以但不限基于不同病理周期,分为不同细胞类型的候选细胞,以宫颈液基细胞的诊场景为例说明,因宫颈液基细胞诊断主要是为了筛查上皮内病变,阳性细胞可以但不限于分为至少6种阳性细胞,具体如下:非典型鳞状细胞(atypical squamouscells of undetermined significance,简称ASC-US),低度鳞状上皮内病变(lowsquamous intraepithelial lesion,简称LSIL),非典型鳞状细胞(atypical squamouscell-cannot exclude HISL,简称ASCH),高度鳞状上皮内病变(high squamousintraepithelial lesion,简称HSIL),鳞癌(squamous cell carcinoma,简称SCC)和非典型腺细胞(atypical glandular cells,简称AGC),可选的,上述阳性细胞的区别可以但不限在于处于不同的病理周期,例如非典型鳞状细胞倾向于高度病变,处于高度病变周期等。
可选的,在本实施例中,病理特征可以但不限于表示目标扫描图像中候选细胞的所在位置、识别概率、病理周期等。可选的,病理预测参数可以但不限用于表示目标切片的病理信息,其中,该病理信息可以但不限于包括阳性细胞信息,还可以但不限于包括目标切片对应的目标患者的病患信息。可选的,阳性细胞信息可以但不限于表示阳性细胞在目标切片中的位置、识别概率、所处病理周期等,病患信息可以但不限于表示目标患者的病史信息(例如历史病历、当前症状等)以及基本信息(例如年龄、性别等)。
可选地,在本实施例中,可以但不限于在切片识别模型的图像识别模型中识别目标扫描图像中的候选细胞图像对应的候选细胞,可以但不限于在在切片识别模型的分类式模型中生成与候选细胞的病理特征对应的病理预测参数。
需要说明的是,获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;基于病理特征得到目标扫描图像的识别结果,其中,识别结果可以但不限用于指示目标切片为阳性切片或阴性切片,此外,识别结果可以但不限于携带有该目标切片的病理预测参数。
进一步举例说明,可选的上述切片图像识别方法的应用场景例如图3中的图3(a)所示,在目标客户端中的切片扫描图像列表上显示有多张切片扫描图像,假设在切片扫描图像列表上触发目标扫描图像302的识别请求(例如在目标扫描图像302被选定的情况下,在虚拟按钮“识别”上识别到选定操作);
再者,可选的上述切片图像识别方法的应用场景例如图3中的图3(b)所示,在获取到在切片扫描图像列表上触发的目标扫描图像302的识别请求的情况下,在目标客户端中的识别结果界面显示目标扫描图像302的目标识别结果304(例如显示“阳性”)。
可选地,在本实施例中,目标扫描图像可以但不限于包括多张生物组织切片对应的扫描图像,例如基于图3所示场景,继续以图4中的图4(a)为例说明,批量选定切片扫描图像,以确定待识别的目标扫描图像402;进一步再以图4中的图4(b)为例说明,显示目标扫描图像402一一对应的目标识别结果404(例如分别显示“阳性”、“阴性”)。
通过本申请提供的实施例,获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;基于病理特征得到目标扫描图像的识别结果,利用提取目标切片的病理特征,并基于该病理特征自动生成识别结果的方式,进而达到了提高识别切片图像中阳性细胞,以及判断该切片图像是否为阳性切片的自动化程度的目的,从而实现了提高切片图像的识别效率的技术效果。
作为一种可选的方案,对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数,包括:
在切片识别模型的第一网络结构中识别候选细胞图像,得到候选细胞对应的病理预测参数,其中,切片识别模型为利用N个样本切片进行训练后得到的用于识别切片的扫描图像中的候选细胞图像的神经网络模型,不同病理周期的候选细胞中携带有不同的病理预测参数,第一网络结构为利用M个第一样本切片进行训练后得到的用于识别候选细胞的网络结构,N个样本切片包括M个第一样本切片,N为正整数,M为小于等于N的正整数。
可选地,在本实施例中,出于执行效率的考虑,上述切片图像识别方法的执行可以但不限基于切片识别模型执行,其中,该切片识别模型可以但不限于包括图像识别模型、分类式模型等,其中,图像识别模型可以但不限于为Faster R-CNN、YOLO、RetinaNet检测等模型,分类式模型可以但不限于为XGBoost分类模型、贝叶斯分类模型、AdaBoost分类模型等。
可选地,在本实施例中,第一网络结构可以但不限用于识别图像中与候选细胞对应的像素区域,第一网络结构可以但不限于采用速度较快的单阶段检测模型,例如基于resnet50的RetinaNet模型,其网络架构可以但不限于采用FPN结构,其主要结构例如图5所示,具体流程如下:
输入第一网络结构的目标扫描图像502经过卷积层的5个阶段卷积操作后,提取最后三个阶段的特征图C3、特征图C4和特征图C5,可选的,特征图C3、特征图C4和特征图C5的大小分别相当于目标扫描图像502的1/8,1/16和1/32,其中,特征图C5通过1x1卷积得到新的特征图P5,然后特征图P5通过上采样2倍并融合特征图C4得到新的特征图P4,特征图P4通过上采样2倍并融合特征图C3得到新的特征图P3,最后P5经过卷积层的两次卷积后分别得到特征图P6和特征图P7(与原始RetinaNet模型不同,这里是从特征图P5得到特征图P6和特征图P7,而不是特征图C5,因为特征图P5的特征语义更强),这样总计得到5个特征图,分别为特征图P3,特征图P4,特征图P5,特征图P6和特征图P7,其大小相当于目标扫描图像502的1/8,1/16,1/32,1/64和1/128,然后将上述5个特征图将分别送入检测模型504,以得到检测结果506,检测结果包括位置,类别以及预测概率。相比原始的RetinaNet,检测模型504可以但不限于采用GN(group normalization),回归分支采用GIoU loss来进一步提升性能。
通过本申请提供的实施例,在切片识别模型的第一网络结构中识别候选细胞图像,得到候选细胞对应的病理预测参数,其中,切片识别模型为利用N个样本切片进行训练后得到的用于识别切片的扫描图像中的候选细胞图像的神经网络模型,不同病理周期的候选细胞中携带有不同的病理预测参数,第一网络结构为利用M个第一样本切片进行训练后得到的用于识别候选细胞的网络结构,N个样本切片包括M个第一样本切片,N为正整数,M为小于等于N的正整数,达到了利用模型自动识别切片的目的,实现了提高切片的识别效率的效果。
作为一种可选的方案,基于病理特征得到目标扫描图像的识别结果,包括:
在切片识别模型的第二网络结构中生成识别结果,其中,第二网络结构为利用K个第二样本切片进行训练后得到的用于病理分类的网络结构,N个样本切片包括K个第二样本切片,K为小于等于N的正整数。
可选地,在本实施例中,第二网络结构可以但不限基于第一网络结构的输出特征,识别目标切片的阴阳性,例如采用XGBoost分类器结构,具体的,可以但不限于采用一种梯度提升决策树模型的XGBoost二分类器。
可选的,进一步举例说明,假设将XGBoost二分类器的具体参数设置为分类器类型为gbtree,树的最大深度max_depth=4,目标函数为binary:logistic,迭代次数为800,学习速率eta=0.03,并以此参数进行迭代训练,则训练好的XGBoost二分类器可以快速分类切片的阴阳性,大幅度提高切片的识别效率。
通过本申请提供的实施例,在切片识别模型的第二网络结构中生成识别结果,其中,第二网络结构为利用K个第二样本切片进行训练后得到的用于病理分类的网络结构,N个样本切片包括K个第二样本切片,K为小于等于N的正整数,达到了利用模型自动识别切片的目的,实现了提高切片的识别效率的效果。
作为一种可选的方案,从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数,包括:
S1,在第一网络结构中,筛选达到第一预测阈值的预测参数,并将达到第一预测阈值的预测参数对应的病理预测参数确定为筛选到的病理预测参数;
S2,在筛选到的病理预测参数的数量未达到数量阈值的情况下,在未达到第一预测阈值的预测参数中,筛选达到第二预测阈值的预测参数,并将达到第二预测阈值的预测参数对应的病理预测参数也确定为筛选到的病理预测参数,其中,第一预测阈值大于第二预测阈值。
可选的,在本实施例中,可以但不限于先对候选细胞进行筛选,其筛选的方式可以但不限基于病理预测参数,以获取符合特征提取条件的候选细胞,且筛选可以但不限于分为多次筛选过程,例如假设病理预测参数中的预测参数达到第一预测阈值的候选细胞才能通过第一次筛选,但第一次筛选到的候选细胞数量未达到数量阈值,则再进行第二次筛选,且第二次筛选的条件要低于第一次筛选,例如假设病理预测参数中的预测参数达到小于第一预测阈值的第二预测阈值的候选细胞就可以通过第二次筛选,如果第二次筛选后的候选细胞数量已经达到数量阈值,则不再进行筛选,如果第二次筛选后的候选细胞数量已经超过数量阈值,则可以但不限于按照预测参数的大小进行第三次筛选,以筛选掉较低的候选细胞,直至确定为筛选到的病理预测参数对应的候选细胞数量达到数量阈值。
需要说明的是,在第一网络结构中,筛选达到第一预测阈值的预测参数,并将达到第一预测阈值的预测参数对应的病理预测参数确定为筛选到的病理预测参数;在筛选到的病理预测参数的数量未达到数量阈值的情况下,在未达到第一预测阈值的预测参数中,筛选达到第二预测阈值的预测参数,并将达到第二预测阈值的预测参数对应的病理预测参数也确定为筛选到的病理预测参数,其中,第一预测阈值大于第二预测阈值。可选的,可以但不限于通过灵活的筛选方式,以保证筛选到的病理预测参数的数量与该数量阈值一致。
此外,第一预测阈值可以但不限于在不同筛选场景下被设置为不同阈值,假设筛选第一病理周期的候选细胞,则将第一预测阈值设置为50,同时,还要筛选第二病理周期的候选细胞,则将第一预设阈值设置为40,在此仅为举例说明,无论是预测阈值还是数量阈值都可灵活设置,并不做限定。
通过本申请提供的实施例,在第一网络结构中,筛选达到第一预测阈值的预测参数,并将达到第一预测阈值的预测参数对应的病理预测参数确定为筛选到的病理预测参数;在筛选到的病理预测参数的数量未达到数量阈值的情况下,在未达到第一预测阈值的预测参数中,筛选达到第二预测阈值的预测参数,并将达到第二预测阈值的预测参数对应的病理预测参数也确定为筛选到的病理预测参数,其中,第一预测阈值大于第二预测阈值,进而达到了灵活筛选病理预测参数的目的,从而实现了提高病理预测参数的获取灵活性的效果。
作为一种可选的方案,基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征,包括:
S1,按照病理周期,将符合特征提取条件的候选细胞划分为P个候选细胞类,其中,同一候选细胞类下的候选细胞对应的病理周期一致,预测参数包括指示每个候选细胞为对应的候选细胞类的目标概率,P为正整数;
S2,基于目标概率,整合各个候选细胞类下的候选细胞,以获得P张概率直方图,其中,概率直方图用于表示对应的候选细胞类下的候选细胞的概率区间占比;
S3,对P张概率直方图分别进行归一化处理,以获得多个病理特征。
可选地,在本实施例中,可以但不限于将候选细胞图像作为候选细胞,其中,候选细胞图像可以但不限于指目标扫描图像中可能存在候选细胞的像素区域,例如将目标扫描图像中的按照网格的方式切分成1024x1024大小的像素区域(例如patch),进而再将切分好的目标扫描图像输入至第一网络结构,在第一网络结构中识别满足识别条件的像素区域为候选细胞图像,其中,识别条件可以但不限于为像素区域与候选细胞对应的像素相似度大于等于预设阈值。
可选地,在本实施例中,候选细胞图像还可以但不限于指目标扫描图像中的细胞像素,或者说,一个候选细胞图像对应目标切片中的一个候选细胞,例如将目标扫描图像中所包含的细胞像素先识别并标注出来,进而再将标注好的目标扫描图像输入至第一网络结构后,在第一网络结构中识别满足识别条件的细胞像素为候选细胞图像。
需要说明的是,按照病理周期,将符合特征提取条件的候选细胞划分为P个候选细胞类,其中,同一候选细胞类下的候选细胞对应的病理周期一致,预测参数包括指示每个候选细胞为对应的候选细胞类的目标概率,P为正整数;基于目标概率,整合各个候选细胞类下的候选细胞,以获得P张概率直方图,其中,概率直方图用于表示对应的候选细胞类下的候选细胞的概率区间占比;对P张概率直方图分别进行归一化处理,以获得多个病理特征。
进一步举例说明,可选的上述切片图像识别方法的流程例如图6所示,具体步骤如下:
步骤S602,利用第一网络结构对目标扫描图像中的候选细胞图像进行识别,进而通过识别得到上所有候选细胞图像中疑似阳性细胞(候选细胞)的候选细胞图像,以及对应的识别信息,其中,识别信息包括候选细胞图像在目标扫描图像上的位置信息,预测候选细胞图像为疑似阳性细胞的细胞类别(病理周期)信息,候选细胞图像为疑似阳性细胞的预测概率信息;
步骤S604,按照细胞类别信息中的细胞类别(病理周期)对候选细胞图像中的候选细胞进行划分,并在各个细胞类别下再按照预测概率信息中的预测概率大小选择前50个(如果检出不足50个,那么用预测概率为0的候选细胞以补足到50个),并计算该类别的概率直方图,概率直方图共分为10个区间:[0,0.1),[0.1,0.2),[0.2,0.3),[0.3,0.4),[0.4,0.5),[0.5,0.6),[0.6,0.7),[0.7,0.8),[0.8,0.9),[0.9,1.0];
步骤S606,对概率直方图进行归一化,以得到各个区间内检出细胞的占比,假设有6个细胞类别,则总共有6个类和10个区间,那么将提取到60个病理特征,其中,提取到的病理特征可以但不限用于训练第二网络结构,也可以但不限于直接应用在实际场景下。
通过本申请提供的实施例,按照病理周期,将符合特征提取条件的候选细胞划分为P个候选细胞类,其中,同一候选细胞类下的候选细胞对应的病理周期一致,预测参数包括指示每个候选细胞为对应的候选细胞类的目标概率,P为正整数;基于目标概率,整合各个候选细胞类下的候选细胞,以获得P张概率直方图,其中,概率直方图用于表示对应的候选细胞类下的候选细胞的概率区间占比;对P张概率直方图分别进行归一化处理,以获得多个病理特征,达到了完善切片识别过程的处理细节的目的,实现了提高切片识别准确性的效果。
作为一种可选的方案,在获取目标切片的目标扫描图像之前,包括:
S1,获取M个第一样本切片;
S2,对部分第一样本切片中的图像数据的候选细胞图像进行标记,得到标记后的第一样本切片,其中,每个标记后的第一样本切片中包括标记的第一病理标识,第一病理标识用于标记阳性细胞在第一样本切片对应的第一图像中的对应位置,以及阳性细胞对应的病理周期;
S3,将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构。
可选地,在本实施例中,对部分第一样本切片中的图像数据的候选细胞进行标记可以但不限于采用矩阵框标记方法,例如图7所示,标记信息包括阳性细胞的位置,采用矩形框的中心点坐标(x,y)以及长和宽(h,w)来表征,另外还包括阳性细胞的细胞类型(病理周期),例如非典型鳞状细胞、低度鳞状上皮内病变等,其中,可以但不限于将带有标记的第一样本切片记为正样本,无标记的第一样本切片记为负样本,例如将正负样本比例控制为1:4。
需要说明的是,获取M个第一样本切片;对部分第一样本切片中的图像数据的候选细胞图像进行标记,得到标记后的第一样本切片,其中,每个标记后的第一样本切片中包括标记的第一病理标识,第一病理标识用于标记阳性细胞在第一样本切片对应的第一图像中的对应位置,以及阳性细胞对应的病理周期;将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构。
通过本申请提供的实施例,获取M个第一样本切片;对部分第一样本切片中的图像数据的候选细胞图像进行标记,得到标记后的第一样本切片,其中,每个标记后的第一样本切片中包括标记的第一病理标识,第一病理标识用于标记阳性细胞在第一样本切片对应的第一图像中的对应位置,以及阳性细胞对应的病理周期;将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构,进而达到了完善网络结构的训练过程的目的,实现了提高用于识别切片的网络结构的完整性的效果。
作为一种可选的方案,将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构,包括:
S1,重复执行以下步骤,直至得到第一网络结构:
S2,从M个第一样本切片中确定出当前第一样本切片,并确定当前第一网络结构;
S3,通过当前第一网络结构识别出当前第一识别结果,其中,当前第一识别结果中包括以下至少之一:符合特征提取条件的候选细胞在当前第一样本切片的目标位置,符合特征提取条件的候选细胞为各病理周期的概率;
S4,在当前第一识别结果未达到识别收敛条件的情况下,获取下一个第一样本切片作为当前第一样本切片;
S5,在当前第一识别结果达到识别收敛条件的情况下,确定当前第一网络结构为第一网络结构。
可选的,在本实施例中,将带有标记的第一样本切片按照7:3的比例划分为训练集和验证集,并配置第一网络结构的基本参数以及训练参数,其中,可选的num_classes=6,基于训练集对第一网络结构进行训练,选择在验证集效果最好的第一网络结构作为训练好的第一网络结构。
需要说明的是,重复执行以下步骤,直至得到第一网络结构:从M个第一样本切片中确定出当前第一样本切片,并确定当前第一网络结构;通过当前第一网络结构识别出当前第一识别结果,其中,当前第一识别结果中包括以下至少之一:符合特征提取条件的候选细胞在当前第一样本切片的目标位置,符合特征提取条件的候选细胞为各病理周期的概率;在当前第一识别结果未达到识别收敛条件的情况下,获取下一个第一样本切片作为当前第一样本切片;在当前第一识别结果达到识别收敛条件的情况下,确定当前第一网络结构为第一网络结构。
通过本申请提供的实施例,重复执行以下步骤,直至得到第一网络结构:从M个第一样本切片中确定出当前第一样本切片,并确定当前第一网络结构;通过当前第一网络结构识别出当前第一识别结果,其中,当前第一识别结果中包括以下至少之一:符合特征提取条件的候选细胞在当前第一样本切片的目标位置,符合特征提取条件的候选细胞为各病理周期的概率;在当前第一识别结果未达到识别收敛条件的情况下,获取下一个第一样本切片作为当前第一样本切片;在当前第一识别结果达到识别收敛条件的情况下,确定当前第一网络结构为第一网络结构,达到了完善网络结构的训练过程的目的,实现了提高用于识别切片的网络结构的完整性的效果。
作为一种可选的方案,在将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构之后,包括:
S1,获取K个第二样本切片;
S2,对部分第二样本切片中的图像数据进行标记,得到标记后的第二样本切片,其中,每个标记后的第二样本切片中包括标记的第二病理标识,其中,第二病理标识用于标记阳性切片和阴性切片;
S3,将K个第二样本切片输入训练好的第一网络结构,获取与K个第二样本切片对应的K个病理特征;
S4,将K个病理特征输入初始第二网络结构,训练得到第二网络结构。
需要说明的是,获取K个第二样本切片;对部分第二样本切片中的图像数据进行标记,得到标记后的第二样本切片,其中,每个标记后的第二样本切片中包括标记的第二病理标识,其中,第二病理标识用于标记阳性切片和阴性切片;将K个第二样本切片输入训练好的第一网络结构,获取与K个第二样本切片对应的K个病理特征;将K个病理特征输入初始第二网络结构,训练得到第二网络结构。
可选的,在本实施例中,可以但不限于在第一网络结构训练好的基础上,再训练第二网络结构,并将第一网络结构输出的病理特征用于训练第二网络结构。
可选的,在本实施例中,还可以但不限于使用单独的样本病理特征,以单独训练第二网络结构,在此不做限定。
通过本申请提供的实施例,获取K个第二样本切片;对部分第二样本切片中的图像数据进行标记,得到标记后的第二样本切片,其中,每个标记后的第二样本切片中包括标记的第二病理标识,其中,第二病理标识用于标记阳性切片和阴性切片;将K个第二样本切片输入训练好的第一网络结构,获取与K个第二样本切片对应的K个病理特征;将K个病理特征输入初始第二网络结构,训练得到第二网络结构,达到了完善网络结构的训练过程的目的,实现了提高用于识别切片的网络结构的完整性的效果。
作为一种可选的方案,将K个病理特征输入初始第二网络结构,训练得到第二网络结构,包括:
S1,重复执行以下步骤,直至得到第二网络结构:
S2,从K个病理特征中确定出当前样本病理特征,并确定当前第二网络结构;
S3,通过当前第二网络结构识别出当前第二识别结果,其中,当前第二识别结果中包括当前样本病理特征对应的病理结果,病理结果用于指示阳性切片或阴性切片;
S4,在当前第二识别结果未达到识别收敛条件的情况下,在K个病理特征中获取下一个病理特征作为当前样本病理特征;
S5,在当前第二识别结果达到识别收敛条件的情况下,确定当前第二网络结构为第二网络结构。
可选地,在本实施例中,假设第一网络结构用于识别目标切片中的阳性细胞,则第二网络结构可以但不限用于在已获取到目标切片中的阳性细胞对应的病理特征的基础上,对病理特征进行处理,以获取对应的病理预测参数,再基于预设的目标阈值,与该病理预测参数进行比对,若比对结果指示该病理预测参数未达到目标阈值,则指示目标切片为阴性切片,但若比对结果指示该病理预测参数达到或超过目标阈值,则指示目标切片为阳性切片。在此技术上,对第二网络结构的训练,可以但不限相当于不断调整计算病理特征以获取病理预测参数过程中的计算系数,还可以但不限相当于不断调整目标阈值。
需要说明的是,重复执行以下步骤,直至得到第二网络结构:从K个病理特征中确定出当前样本病理特征,并确定当前第二网络结构;通过当前第二网络结构识别出当前第二识别结果,其中,当前第二识别结果中包括当前样本病理特征对应的病理结果,病理结果用于指示阳性切片或阴性切片;在当前第二识别结果未达到识别收敛条件的情况下,在K个病理特征中获取下一个病理特征作为当前样本病理特征;在当前第二识别结果达到识别收敛条件的情况下,确定当前第二网络结构为第二网络结构。
进一步举例说明,可选的例如准备训练样集为1000张第二样本切片,而验证集为400张第二样本切片,其中,阳性第二样本切片和阴性第二样本切片比例为1:3,对数据集中的第二样本切片采用已经训练好的第一网络结构进行识别处理,然后计算各个病理周期对应的概率直方图,从而得到全部第二样本切片的对应病理特征,并将该病理特征用于XGBoost分类器的训练。可选的,病理特征该还携带有部分第二样本切片的标记。可选的,在训练XGBoost分类器时,采用early stop策略,选择验证集效果最好的模型。
通过本申请提供的实施例,重复执行以下步骤,直至得到第二网络结构:从K个病理特征中确定出当前样本病理特征,并确定当前第二网络结构;通过当前第二网络结构识别出当前第二识别结果,其中,当前第二识别结果中包括当前样本病理特征对应的病理结果,病理结果用于指示阳性切片或阴性切片;在当前第二识别结果未达到识别收敛条件的情况下,在K个病理特征中获取下一个病理特征作为当前样本病理特征;在当前第二识别结果达到识别收敛条件的情况下,确定当前第二网络结构为第二网络结构,达到了完善网络结构的训练过程的目的,实现了提高用于识别切片的网络结构的完整性的效果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述切片图像识别方法的切片图像识别装置。如图8所示,该装置包括:
第一获取单元802,用于获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;
第二获取单元804,对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;
筛选单元806,用于从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;
第一生成单元808,用于基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;
第二生成单元810,用于基于病理特征得到目标扫描图像的识别结果。
可选地,在本实施例中,切片图像识别装置可以但不限于应用在宫颈液基细胞诊断场景下,例如,先将宫颈液基细胞扫描成全视野数字切片(whole slide images,简称WSI),然后使用上述切片图像识别装置对WSI进行预测,从而排除掉阴性切片,筛选出阳性切片,并把阳性切片中对应的阳性细胞区域提供给病理医生做最后的诊断。换言之,上述切片图像识别装置可以但不限于辅助病理医生进行宫颈液基细胞诊断,并减少病理医生的工作量,提升病理医生的工作效率,也可以但不限于代替病理医生进行宫颈液基细胞诊断,以自动排除掉阴性切片,筛选出阳性切片,以及记录阳性切片中对应的阳性细胞区域,进而实现了提高宫颈液基细胞的诊断效率的效果。
可选的,在本实施例中,生物组织切片可以但不限于利用特征刀具把生物体的组织切成可识别的薄片,以在显微镜下观察和研究,进一步在医学检查中,生物组织切片可以但不限于为病理切片,其中,病理切片可以但不限于包括阴性切片和阳性切片,阴性切片一般来说是代表正常,阳性切片代表有问题,阴性和阳性在医学上使用得较多,已成为一种术语,是泛指存在与否,或用来表示某种检查的结果。可选的,目标切片可以但不限于为病理切片,其中,病理切片可以但不限于为对一定大小的病变组织,用病理组织学装置制成的切片,在传统装置中,需用显微镜进一步检查病变,其病变的发生发展过程,最后由病理医生做出病理诊断。
可选地,在本实施例中,候选细胞可以但不限于阳性细胞,或为阳性细胞所在的区域。可选的,候选细胞可以但不限基于不同病理周期,分为不同细胞类型的候选细胞,以宫颈液基细胞的诊场景为例说明,因宫颈液基细胞诊断主要是为了筛查上皮内病变,阳性细胞可以但不限于分为至少6种阳性细胞,具体如下:非典型鳞状细胞(atypical squamouscells of undetermined significance,简称ASC-US),低度鳞状上皮内病变(lowsquamous intraepithelial lesion,简称LSIL),非典型鳞状细胞(atypical squamouscell-cannot exclude HISL,简称ASCH),高度鳞状上皮内病变(high squamousintraepithelial lesion,简称HSIL),鳞癌(squamous cell carcinoma,简称SCC)和非典型腺细胞(atypical glandular cells,简称AGC),可选的,上述阳性细胞的区别可以但不限在于处于不同的病理周期,例如非典型鳞状细胞倾向于高度病变,处于高度病变周期等。
可选的,在本实施例中,病理特征可以但不限于表示目标扫描图像中候选细胞的所在位置、识别概率、病理周期等。可选的,病理预测参数可以但不限用于表示目标切片的病理信息,其中,该病理信息可以但不限于包括阳性细胞信息,还可以但不限于包括目标切片对应的目标患者的病患信息。可选的,阳性细胞信息可以但不限于表示阳性细胞在目标切片中的位置、识别概率、所处病理周期等,病患信息可以但不限于表示目标患者的病史信息(例如历史病历、当前症状等)以及基本信息(例如年龄、性别等)。
可选地,在本实施例中,可以但不限于在切片识别模型的图像识别模型中识别目标扫描图像中的候选细胞图像对应的候选细胞,可以但不限于在在切片识别模型的分类式模型中生成与候选细胞的病理特征对应的病理预测参数。
需要说明的是,获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;基于病理特征得到目标扫描图像的识别结果,其中,识别结果可以但不限用于指示目标切片为阳性切片或阴性切片,此外,识别结果可以但不限于携带有该目标切片的病理预测参数。
具体实施例可以参考上述切片图像识别装置中所示示例,本示例中在此不再赘述。
通过本申请提供的实施例,获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;基于病理特征得到目标扫描图像的识别结果,利用提取目标切片的病理特征,并基于该病理特征自动生成识别结果的方式,进而达到了提高识别切片图像中阳性细胞,以及判断该切片图像是否为阳性切片的自动化程度的目的,从而实现了提高切片图像的识别效率的技术效果。
作为一种可选的方案,可选的例如图9所示,第二获取单元804,包括:
第一获取模块902,用于在切片识别模型的第一网络结构中识别候选细胞图像,得到候选细胞对应的病理预测参数,其中,切片识别模型为利用N个样本切片进行训练后得到的用于识别切片的扫描图像中的候选细胞图像的神经网络模型,不同病理周期的候选细胞中携带有不同的病理预测参数,第一网络结构为利用M个第一样本切片进行训练后得到的用于识别候选细胞的网络结构,N个样本切片包括M个第一样本切片,N为正整数,M为小于等于N的正整数。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第二生成单元810,包括:
生成模块,用于在切片识别模型的第二网络结构中生成识别结果,其中,第二网络结构为利用K个第二样本切片进行训练后得到的用于病理分类的网络结构,N个样本切片包括K个第二样本切片,K为小于等于N的正整数。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,筛选单元806,包括:
第一筛选模块,用于在第一网络结构中,筛选达到第一预测阈值的预测参数,并将达到第一预测阈值的预测参数对应的病理预测参数确定为筛选到的病理预测参数;
第二筛选模块,用于在筛选到的病理预测参数的数量未达到数量阈值的情况下,在未达到第一预测阈值的预测参数中,筛选达到第二预测阈值的预测参数,并将达到第二预测阈值的预测参数对应的病理预测参数也确定为筛选到的病理预测参数,其中,第一预测阈值大于第二预测阈值。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,筛选单元806,包括:
划分模块,用于按照病理周期,将符合特征提取条件的候选细胞划分为P个候选细胞类,其中,同一候选细胞类下的候选细胞对应的病理周期一致,预测参数包括指示每个候选细胞为对应的候选细胞类的目标概率,P为正整数;
整合模块,用于基于目标概率,整合各个候选细胞类下的候选细胞,以获得P张概率直方图,其中,概率直方图用于表示对应的候选细胞类下的候选细胞的概率区间占比;
处理模块,用于对P张概率直方图分别进行归一化处理,以获得多个病理特征。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,包括:
第二获取模块,用于在获取目标切片的目标扫描图像之前,获取M个第一样本切片;
第一标记模块,用于在获取目标切片的目标扫描图像之前,对部分第一样本切片中的图像数据的候选细胞图像进行标记,得到标记后的第一样本切片,其中,每个标记后的第一样本切片中包括标记的第一病理标识,第一病理标识用于标记阳性细胞在第一样本切片对应的第一图像中的对应位置,以及阳性细胞对应的病理周期;
第一输入模块,用于在获取目标切片的目标扫描图像之前,将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一输入模块,包括:
第一重复子模块,用于重复执行以下步骤,直至得到第一网络结构:
第一确定子模块,用于从M个第一样本切片中确定出当前第一样本切片,并确定当前第一网络结构;
第一识别子模块,用于通过当前第一网络结构识别出当前第一识别结果,其中,当前第一识别结果中包括以下至少之一:符合特征提取条件的候选细胞在当前第一样本切片的目标位置,符合特征提取条件的候选细胞为各病理周期的概率;
第一获取子模块,用于在当前第一识别结果未达到识别收敛条件的情况下,获取下一个第一样本切片作为当前第一样本切片;
第二确定子模块,用于在当前第一识别结果达到识别收敛条件的情况下,确定当前第一网络结构为第一网络结构。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,包括:
第三获取模块,用于在将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构之后,获取K个第二样本切片;
第二标记模块,用于在将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构之后,对部分第二样本切片中的图像数据进行标记,得到标记后的第二样本切片,其中,每个标记后的第二样本切片中包括标记的第二病理标识,其中,第二病理标识用于标记阳性切片和阴性切片;
第二输入模块,用于在将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构之后,将K个第二样本切片输入训练好的第一网络结构,获取与K个第二样本切片对应的K个病理特征;
第三输入模块,用于在将M个第一样本切片输入初始第一网络结构,以训练得到第一网络结构之后,将K个病理特征输入初始第二网络结构,训练得到第二网络结构。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第三输入模块,包括:
第二重复子模块,用于重复执行以下步骤,直至得到第二网络结构:
第三确定子模块,用于从K个病理特征中确定出当前样本病理特征,并确定当前第二网络结构;
第二识别子模块,用于通过当前第二网络结构识别出当前第二识别结果,其中,当前第二识别结果中包括当前样本病理特征对应的病理结果,病理结果用于指示阳性切片或阴性切片;
第二获取子模块,用于在当前第二识别结果未达到识别收敛条件的情况下,在K个病理特征中获取下一个病理特征作为当前样本病理特征;
第四确定子模块,用于在当前第二识别结果达到识别收敛条件的情况下,确定当前第二网络结构为第二网络结构。
具体实施例可以参考上述切片图像识别方法中所示示例,本示例中在此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述切片图像识别方法的电子设备,如图10所示,该电子设备包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;
S2,对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;
S3,从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;
S4,基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;
S5,基于病理特征得到目标扫描图像的识别结果。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的切片图像识别方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的切片图像识别方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储目标扫描图像、病理预测参数以及识别结果等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述切片图像识别装置中的第一获取单元802、第二获取单元804、筛选单元806、第一生成单元808及第二生成单元810。此外,还可以包括但不限于上述切片图像识别装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1008,用于显示上述目标扫描图像、病理预测参数以及识别结果等信息;和连接总线1010,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(Peer To Peer,简称P2P)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述切片图像识别方法,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标切片的目标扫描图像,其中,目标切片为待识别的生物组织切片;
S2,对目标扫描图像中的候选细胞图像进行识别,得到候选细胞对应的病理预测参数;
S3,从病理预测参数中,筛选符合特征提取条件的候选细胞所对应的病理预测参数,得到筛选到的病理预测参数;
S4,基于筛选到的病理预测参数中的病理周期和预测参数,生成各病理周期的病理特征;
S5,基于病理特征得到目标扫描图像的识别结果。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。